Infoworks'e Bağlan
Önemli
Bu özellik Genel Önizlemededir.
Infoworks DataFoundry, Azure Databricks'te yerel olarak çalışan ve veri ekleme için kolay bir çözüm sunmak için Azure Databricks'in tüm gücünden yararlanan ve veri gölünüzü kullanıma sunmanın önemli bir ilk adımı olan otomatik bir kurumsal veri işlemleri ve düzenleme sistemidir. DataFoundry yalnızca veri alımını otomatikleştirmekle kalmaz, aynı zamanda analiz için bir temel oluşturmak için veri alımına eşlik etmesi gereken temel işlevleri de otomatikleştirir. DataFoundry ile veri ekleme işlemi şu işlemleri otomatikleştirir:
- Veri alımı: Tüm kurumsal ve dış veri kaynaklarından
- Veri eşitleme: Verileri kaynakla eşitlenmiş olarak tutmak için CDC
- Veri idaresi: kataloglama, köken, meta veri yönetimi, denetim ve geçmiş
Infoworks'i Azure Databricks ile kullanma adımları aşağıdadır.
1. Adım: Databricks kişisel erişim belirteci oluşturma
Infoworks, Azure Databricks kişisel erişim belirtecini kullanarak Azure Databricks ile kimlik doğrulaması yapar.
Not
En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.
2. Adım: Tümleştirme gereksinimlerini desteklemek için küme ayarlama
Infoworks bir Azure Data Lake Depolama yoluna veri yazar ve Azure Databricks tümleştirme kümesi bu konumdaki verileri okur. Bu nedenle tümleştirme kümesi, Azure Data Lake Depolama yoluna güvenli erişim gerektirir.
Azure Data Lake Depolama yoluna güvenli erişim
Azure Data Lake Depolama'nde (ADLS) verilere erişimin güvenliğini sağlamak için azure depolama hesabı erişim anahtarı (önerilen) veya Microsoft Entra ID hizmet sorumlusu kullanabilirsiniz.
Azure depolama hesabı erişim anahtarı kullanma
Spark yapılandırmasının bir parçası olarak tümleştirme kümesinde bir depolama hesabı erişim anahtarı yapılandırabilirsiniz. Depolama hesabının hazırlama verileri için kullanılan ADLS kapsayıcısına ve dosya sistemine ve Delta Lake tablolarını yazmak istediğiniz ADLS kapsayıcısına ve dosya sistemine erişimi olduğundan emin olun. Tümleştirme kümesini anahtarı kullanacak şekilde yapılandırmak için Bağlan Azure Data Lake Storage 2. Nesil ve Blob Depolama adımlarını izleyin.
Microsoft Entra ID hizmet sorumlusu kullanma
Spark yapılandırmasının bir parçası olarak Azure Databricks tümleştirme kümesinde bir hizmet sorumlusu yapılandırabilirsiniz. Hizmet sorumlusunun hazırlama verileri için kullanılan ADLS kapsayıcısına ve Delta tablolarını yazmak istediğiniz ADLS kapsayıcısına erişimi olduğundan emin olun. Tümleştirme kümesini hizmet sorumlusunu kullanacak şekilde yapılandırmak için Hizmet sorumlusuyla ADLS 2. Nesil'e erişme adımlarını izleyin.
Küme yapılandırmasını belirtme
Küme Modu'nu Standart olarak ayarlayın.
Databricks Runtime Sürümünü Databricks çalışma zamanı sürümüne ayarlayın.
Spark yapılandırmanıza aşağıdaki özellikleri ekleyerek en iyi duruma getirilmiş yazmaları ve otomatik sıkıştırmayı etkinleştirin:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueTümleştirme ve ölçeklendirme gereksinimlerinize bağlı olarak kümenizi yapılandırın.
Küme yapılandırma ayrıntıları için bkz . İşlem yapılandırma başvurusu.
JDBC URL'sini ve HTTP yolunu elde etme adımları için bkz . Azure Databricks işlem kaynağının bağlantı ayrıntılarını alma.
3. Adım: Bir kümeye bağlanmak için JDBC ve ODBC bağlantı ayrıntılarını alma
Azure Databricks kümesini Infoworks'e bağlamak için aşağıdaki JDBC/ODBC bağlantı özelliklerine ihtiyacınız vardır:
- JDBC URL'si
- HTTP Path
4. Adım: Azure Databricks için Infoworks'i alma
Daha fazla bilgi edinmek ve tanıtım almak için Infoworks'e gidin.