StreamSets'e Bağlan
Önemli
Bu özellik Genel Önizlemededir.
StreamSets, yaşam döngüsü boyunca veri akışınızı yönetmenize ve izlemenize yardımcı olur. Azure Databricks ve Delta Lake ile StreamSets yerel tümleştirmesi, çeşitli kaynaklardan veri çekmenizi ve işlem hatlarınızı kolayca yönetmenizi sağlar.
StreamSets'in genel bir tanıtımı için aşağıdaki YouTube videosunu izleyin (10 dakika).
StreamSets'i Azure Databricks ile kullanma adımları aşağıdadır.
1. Adım: Databricks kişisel erişim belirteci oluşturma
StreamSets, Azure Databricks kişisel erişim belirtecini kullanarak Azure Databricks ile kimlik doğrulaması yapar.
Not
En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.
2. Adım: Tümleştirme gereksinimlerini desteklemek için küme ayarlama
StreamSets bir Azure Data Lake Depolama yoluna veri yazar ve Azure Databricks tümleştirme kümesi bu konumdaki verileri okur. Bu nedenle tümleştirme kümesi, Azure Data Lake Depolama yoluna güvenli erişim gerektirir.
Azure Data Lake Depolama yoluna güvenli erişim
Azure Data Lake Depolama'nde (ADLS) verilere erişimin güvenliğini sağlamak için azure depolama hesabı erişim anahtarı (önerilen) veya Microsoft Entra ID hizmet sorumlusu kullanabilirsiniz.
Azure depolama hesabı erişim anahtarı kullanma
Spark yapılandırmasının bir parçası olarak tümleştirme kümesinde bir depolama hesabı erişim anahtarı yapılandırabilirsiniz. Depolama hesabının hazırlama verileri için kullanılan ADLS kapsayıcısına ve dosya sistemine ve Delta Lake tablolarını yazmak istediğiniz ADLS kapsayıcısına ve dosya sistemine erişimi olduğundan emin olun. Tümleştirme kümesini anahtarı kullanacak şekilde yapılandırmak için Bağlan Azure Data Lake Storage 2. Nesil ve Blob Depolama adımlarını izleyin.
Microsoft Entra ID hizmet sorumlusu kullanma
Spark yapılandırmasının bir parçası olarak Azure Databricks tümleştirme kümesinde bir hizmet sorumlusu yapılandırabilirsiniz. Hizmet sorumlusunun hazırlama verileri için kullanılan ADLS kapsayıcısına ve Delta tablolarını yazmak istediğiniz ADLS kapsayıcısına erişimi olduğundan emin olun. Tümleştirme kümesini hizmet sorumlusunu kullanacak şekilde yapılandırmak için Hizmet sorumlusuyla ADLS 2. Nesil'e erişme adımlarını izleyin.
Küme yapılandırmasını belirtme
Küme Modu'nu Standart olarak ayarlayın.
Databricks Runtime Sürümünü Çalışma Zamanı: 6.3 veya üzeri olarak ayarlayın.
Spark yapılandırmanıza aşağıdaki özellikleri ekleyerek en iyi duruma getirilmiş yazmaları ve otomatik sıkıştırmayı etkinleştirin:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueTümleştirme ve ölçeklendirme gereksinimlerinize bağlı olarak kümenizi yapılandırın.
Küme yapılandırma ayrıntıları için bkz . İşlem yapılandırma başvurusu.
JDBC URL'sini ve HTTP yolunu elde etme adımları için bkz . Azure Databricks işlem kaynağının bağlantı ayrıntılarını alma.
3. Adım: Bir kümeye bağlanmak için JDBC ve ODBC bağlantı ayrıntılarını alma
Azure Databricks kümesini StreamSets'e bağlamak için aşağıdaki JDBC/ODBC bağlantı özelliklerine ihtiyacınız vardır:
- JDBC URL'si
- HTTP Path
4. Adım: Azure Databricks için StreamSets'i alma
Henüz bir StreamSets hesabınız yoksa Databricks için StreamSets'e kaydolun. Ücretsiz kullanmaya başlayabilir ve hazır olduğunuzda yükseltebilirsiniz; Bkz . StreamSets DataOps Platformu Fiyatlandırması.
5. Adım: StreamSets'i kullanarak Delta Lake'e veri yüklemeyi öğrenin
Örnek bir işlem hattıyla başlayın veya Verileri Delta Lake'e aktaran bir işlem hattı oluşturmayı öğrenmek için StreamSets çözümlerine göz atın.