Microsoft Fabric yansıtılmış veritabanlarını Azure Databricks'ten yapılandırma Eğitimi

Microsoft Fabric'te veritabanı yansıtma kurumsal, bulut tabanlı, sıfır ETL, SaaS teknolojisidir. Bu kılavuz, Azure Databricks verilerinizin OneLake'de sürekli olarak çoğaltılarak sadece okunabilir hale getirilen bir yedeğini oluşturan yansıtılmış bir veritabanını yapılandırmanıza yardımcı olur.

Önkoşullar

• Fabric çalışma alanı.
• Meta veri deposunda dış veri erişimini etkinleştirin. Daha fazla bilgi için bkz. Meta veri deposunda dış veri erişimini etkinleştirme.
• Unity Kataloğu'nu etkinleştirerek mevcut bir Azure Databricks çalışma alanı oluşturun veya kullanın.
• Fabric erişen tabloları içeren Unity Kataloğu şemasında EXTERNAL USE SCHEMA ayrıcalığına sahip olun.
• Doku'da kataloglar, şemalar ve tablolar için erişim denetimleri ayarlamak için Doku'nun izin modelini kullanın.

Azure Databricks'ten aynalanmış veritabanı oluşturma

Azure Databricks Unity Kataloğunuzdan yeni bir yansıtılmış veritabanı oluşturmak için bu adımları izleyin.

1. Fabric'da çalışma alanınıza gidin.

2. Yeni öğe>Mirrored Azure Databricks catalog öğesini seçin.

   

3. Yapılandırılmış bir bağlantınız varsa mevcut bir bağlantıyı seçin veya yeni bir bağlantı oluşturun.

   Bağlantı oluşturmak için Azure Databricks çalışma alanının kullanıcısı veya yöneticisi olmanız gerekir. Organizational account veya Service principal kimlik doğrulamasını kullanarak Azure Databricks çalışma alanınızda kimlik doğrulaması yapabilirsiniz.

   Note

   Burada yaptığınız kimlik doğrulama seçimi Databricks kimlik doğrulaması ve Unity Kataloğu yetkilendirmesi için geçerlidir. Güvenlik duvarının arkasındaki Azure Data Lake Storage (ADLS) Gen2 hesaplarına erişmeniz gerekiyorsa, bu makalenin ilerleyen bölümlerinde Azure Data Lake Storage 2. Nesil hesabınız için ağ güvenliği erişimini etkinleştirme adımlarını izleyin. ADLS 2. Nesil bir güvenlik duvarının arkasında olduğunda, Databricks bağlantısı için seçilen kimlik doğrulama yönteminden bağımsız olarak depolama güvenlik duvarı erişimi için Fabric Çalışma Alanı Kimliği gerekir.

4. Azure Databricks çalışma alanına bağlandıktan sonra, Databricks kataloğundan tablolar seçin sayfasında, dahil etme veya hariç tutma listesini kullanarak Fabric’ten eklemek ve erişmek istediğiniz kataloğu, şemaları ve tabloları seçin. Microsoft Fabric çalışma alanınıza eklemek istediğiniz katalog ve onunla ilgili şema ve tabloları seçin.

   Yalnızca erişiminiz olan katalogları, şemaları ve tabloları görebilirsiniz. Daha fazla bilgi için bkz. Unity Kataloğu ayrıcalıkları ve güvenlik altına alınabilir nesneler.

   Varsayılan olarak, seçilen şema için gelecekteki katalog değişikliklerini otomatik olarak eşitle seçeneği etkinleştirilir. Daha fazla bilgi için bkz. Mirroring Azure Databricks > Metadata sync.

5. Devam etmek için İleri'yi seçin.

6. Gözden geçir ve oluştur sayfasında ayrıntıları gözden geçirin ve isteğe bağlı olarak, çalışma alanınızda benzersiz olması gereken yansıtılmış veritabanı öğesi adını değiştirin. Varsayılan olarak, yansıtılan öğenin adı kataloğun adıdır.

7. Devam etmek için Oluştur'u seçin.

8. Databricks katalog öğesi oluşturulur ve her tablo için ilgili Databricks türü kısayolu da oluşturulur.

   Tablo içermeyen şemalar gösterilmez.

9. Ayrıca, SQL analiz uç noktasını seçerek bir kısayola erişirken verilerin önizlemesini de görebilirsiniz. Gezgin ve Sorgu düzenleyicisi sayfasını başlatmak için SQL analytics uç noktası öğesini açın. SQL Düzenleyicisi'nde T-SQL kullanarak yansıtılmış Azure Databricks tablolarınızı sorgulayabilirsiniz.

Databricks katalog öğesi için Lakehouse kısayolları oluşturma

Lakehouse verilerinizi kullanmak ve Spark Notebooks'u kullanmak için Lakehouse'unuzdan Databricks katalog öğenize kısayollar da oluşturabilirsiniz.

1. İlk olarak bir göl evi oluşturun. Bu çalışma alanında zaten bir göl evi varsa mevcut bir göl evi kullanabilirsiniz.
   1. Gezinti menüsünde çalışma alanınızı seçin.
   2. + Yeni>Lakehouse seçin.
   3. Ad alanında göl evi için bir ad girin ve Oluştur'u seçin.
2. Göl evinizin Explorer görünümünde, Göl evinizdeki verileri al menüsünde, Göl evinizdeki verileri yükle'nin altında Yeni kısayol düğmesini seçin.
3. Microsoft OneLake'i seçin. Bir katalog seçin. Bu, önceki adımlarda oluşturduğunuz veri öğesidir. Sonra İleri'yi seçin.
4. Şema içindeki tabloları seçin ve İleri'yi seçin.
5. Oluştur'i seçin.
6. Kısayollar artık Lakehouse'unuzda diğer Lakehouse verilerinizle birlikte kullanılabilir. Ayrıca, Azure Databricks çalışma alanınızdan eklediğiniz bu katalog tablolarının verileri üzerinde veri işleme gerçekleştirmek için Not Defterleri ve Spark'ı da kullanabilirsiniz.

Anlamsal model oluşturma

Yansıtılmış öğenizi temel alan Power BI bir anlam modeli oluşturabilir ve tabloları el ile ekleyebilir veya kaldırabilirsiniz. Anlamsal modelleri oluşturma ve yönetme hakkında daha fazla bilgi için bkz. Power BI anlam modeli oluşturma.

En iyi deneyimi yaşamak için anlamsal modelleme görevleri için Microsoft Edge tarayıcısını kullanın.

Anlam modeli ilişkilerinizi yönetme

Yansıtılmış veritabanınızı temel alan yeni bir anlam modeli oluşturduktan sonra tablolar arasındaki ilişkileri yapılandırın.

1. Çalışma alanınızdaki Gezgin'denModel Düzenleri'ni seçin.
2. Model düzenlerini seçtikten sonra, semantik modelin parçası olarak eklenen tabloların grafiği gösterilir.
3. Tablolar arasında ilişki oluşturmak için, bir tablodaki sütun adını başka bir tablonun başka bir sütun adına sürükleyin. Tabloların ilişkisini ve kardinalitesini tanımlamak için bir açılır pencere görüntülenir.

Azure Data Lake Storage 2. Nesil hesabınız için ağ güvenliği erişimini etkinleştirme

Azure Depolama güvenlik duvarınız yapılandırılmışsa Azure Data Lake Storage (ADLS) 2. Nesil hesabınız için ağ güvenliğini yapılandırın. Bu bölüm, Azure Depolama güvenlik duvarının arkasındaki ADLS 2. Nesil depolama hesapları için geçerlidir. Azure Depolama güvenlik duvarının arkasındaki Azure Databricks çalışma alanı depolaması desteklenmez.

Önkoşullar

• Azure Depolama güvenlik duvarı ADLS 2. Nesil'i koruduğunda, Fabric güvenlik duvarına erişmek için Çalışma Alanı Kimliği'ni kullanır. Network Security sekmesinde ADLS kimlik doğrulaması için Service principal öğesini seçseniz bile, Azure Depolama hesabı güvenlik duvarında Çalışma Alanı Kimliğine izin vermelisiniz.

  • Çalışma Alanı Kimliği, depolama güvenlik duvarı erişimi için kullanılır. Databricks kimlik doğrulaması ve Unity Kataloğu yetkilendirmesi için hizmet sorumlusu veya OAuth kullanılır.

  • Çalışma alanı kimliği kimlik doğrulama türünü etkinleştirmek için (önerilen), Fabric çalışma alanını bir F kapasitesiyle ilişkilendirin. Çalışma alanı kimliği oluşturmak için bkz. Çalışma alanı kimliğiyle kimlik doğrulaması.

• Kataloğu yalnızca tek bir depolama hesabıyla ilişkilendirebilirsiniz.

Ağ güvenliği erişimini etkinleştirme

1. Yeni bir Yansıtılmış Azure Databricks Kataloğu oluştururken , Veri seçin adımında Ağ Güvenliği sekmesini seçin.

   

2. Yapılandırılmış bir depolama hesabınız varsa Depolama hesabına var olan bir bağlantı seçin. 

   • Mevcut bir ADLS bağlantınız yoksa Yeni bağlantı oluşturun.  
   • Depolama uç noktasının URL'si , seçilen kataloğun verilerinin depolandığı yerdir. Uç nokta, depolama hesabı düzeyinde olacak uç noktayı belirtmek yerine verilerin depolandığı belirli bir klasör olmalıdır. Örneğin, https://<storage account>.dfs.core.windows.net/container1/folder1 yerine https://<storage account>.dfs.core.windows.net/ sağlayın.
   • Bağlantı kimlik bilgilerini sağlayın. Desteklenen kimlik doğrulama türleri Kuruluş hesabı, Hizmet sorumlusu ve Çalışma Alanı Kimliği'dir (önerilir).

   Note

   ADLS 2. Nesil bir Azure Depolama güvenlik duvarı tarafından korunduğunda, Fabric burada seçilen kimlik doğrulama türünden bağımsız olarak güvenlik duvarında gezinmek için Çalışma Alanı Kimliği'ni kullanır. Kimlik doğrulama türü (Hizmet sorumlusu veya Kuruluş hesabı) Databricks kimlik doğrulamasını ve Unity Kataloğu yetkilendirmesini denetlerken, Çalışma Alanı Kimliği depolama güvenlik duvarı üzerinden güvenilir erişimi denetler. ADLS bağlantısı için farklı bir kimlik doğrulama türü seçseniz bile çalışma alanı kimliğine Azure Depolama hesabı güvenlik duvarında izin verilmelidir.

3. Azure portalında, önceki adımda seçtiğiniz kimlik doğrulama türüne göre depolama hesabına erişim hakları sağlayın. Azure portalında depolama hesabına gidin. Erişim Denetimi (IAM) öğesini seçin. +Ekle ve Rol ataması ekle'yi seçin. Daha fazla bilgi için bkz. Azure portal kullanarak Azure rolleri atama.

   Bağlantının kapsamına göre bir rol atayın:

   • Depolama hesabı: Seçilen kimlik doğrulama kimliği için depolama hesabında Depolama Blobu Veri Okuyucusu rolü gerekir.
   • Kapsayıcı: Seçilen kimlik doğrulama kimliğinin kapsayıcıda Depolama Blob Veri Okuyucusu rolüne ihtiyacı vardır.
   • Kapsayıcı içindeki klasör (önerilen): Seçilen kimlik doğrulama kimliğinin klasör düzeyinde Okuma (R) ve Yürütme (E) izinlerine sahip olması gerekir. Kimlik doğrulama türü olarak Hizmet Sorumlusu veya Çalışma Alanı Kimliği kullanıyorsanız, bu kimliğe kapsayıcının kök klasöründe ve hiyerarşideki belirtilen klasöre giden her klasörde Yürütme izinleri de verin.

   ADLS erişimi verme hakkında daha fazla bilgi ve adım için bkz. ADLS Erişim denetimi.

4. depolama hesabındaki Fabric çalışma alanınız için bir kaynak örneği kuralı yapılandırarak Trusted Workspace Access etkinleştirin. Ayrıntılı adımlar için bkz. Güvenilen çalışma alanı erişimi ve Azure Databricks'ten güvenli Fabric yansıtılmış veritabanları.

Bağlantı kurulduktan sonra, depolama hesabı adı ADLS bağlantısında belirtilen depolama hesabıyla eşleşen tablolar için Unity Kataloğu tablolarının kısayolu oluşturulur. Depolama hesabı adı eşleşmeyen tablolar için kısayollar oluşturulmaz.

Önemli

AdLS bağlantısını Yansıtılmış Azure Databricks katalog öğesi senaryolarının dışında kullanmayı planlıyorsanız depolama hesabında Storage Blob Delegator rolünü de atamanız gerekir.

Tip

Güvenlik duvarı korumalı ADLS 2. Nesil hesabıyla Databricks kimlik doğrulaması için Hizmet Sorumlusu kullanırken 403 yetkilendirme hatası alırsanız, Azure Depolama hesabı güvenlik duvarında Çalışma Alanı Kimliği'ne izin verildiğini doğrulayın. Kimlik doğrulaması için bir Hizmet Sorumlusu seçildiğinde bile, Fabric depolama güvenlik duvarından geçiş yapmak için Çalışma Alanı Kimliği'ni kullanır.

Yansıtılmış Databricks öğesinde OneLake güvenliğini etkinleştirme

Unity Kataloğu (UC) ilkelerini Aşağıdaki adımları izleyerek Microsoft OneLake güvenliğiyle eşleyin:

1. Entra Grubunu eşitleyin ve Unity Kataloğu'nda izinleri uygulayın. Azure Databricks'te, bir Microsoft Entra ID grubunu eşitlemek ve bu gruba ilgili katalog ve tablolar üzerinde gerekli Unity Catalog ayrıcalıklarını (USE, BROWSE ve SELECT) vermek için Otomatik Kimlik Yönetimi'ni kullanın.
2. OneLake Veri Erişim Rolü atayın. Fabric çalışma alanında, yeni yansıtılan veriler için bir veri erişim rolü oluşturun. Bu role aynı Entra grubunu ekleyin ve Azure Databricks tablolarına karşılık gelen OneLake kısayollarına okuma erişimi verin. Tablo düzeyinde güvenliği kullanmaya başlamak için şeritteki OneLake güvenliğini yönet düğmesini seçin. Katalog yapıları ve izinler geliştikçe erişim yapılandırmalarını eşitlenmiş tuttuğunuzdan emin olun. Daha fazla bilgi için bkz. OneLake veri erişim denetimi modeli (önizleme).

İlgili içerik

• Azure Databricks tarafından sağlanan Güvenli Altyapı kopyalanmış veritabanları
• Blog: OneLake güvenliği ile Azure Databricks Verilerinin Ağda Yansıtma Güvenliğini Sağlama
• Azure Databricks'ten Microsoft Fabric eşlenmiş veritabanlarındaki sınırlamalar
• Microsoft Fabric'te Azure Databricks'ten yansıtılmış veritabanları için sık sorulan sorular
• Azure Databricks Unity Kataloğunu Yansıtma
• Unity Kataloğu'nda verilere dış erişimi denetleme