Samouczek: konfigurowanie dublowanych baz danych usługi Microsoft Fabric z usługi Azure Databricks

Dublowanie baz danych w usłudze Microsoft Fabric to technologia SaaS oparta na chmurze, zero-ETL. Ten przewodnik pomaga ustanowić zwierciadlaną bazę danych z usługi Azure Databricks, która tworzy kopię tylko do odczytu, stale replikowaną w usłudze OneLake.

Wymagania wstępne

• Przestrzeń robocza Fabric.
• Włącz dostęp do danych zewnętrznych w magazynie metadanych. Aby uzyskać więcej informacji, zobacz Włączanie dostępu do danych zewnętrznych w magazynie metadanych.
• Utwórz lub użyj istniejącego obszaru roboczego Azure Databricks z włączonym Unity Catalog.
• Musisz mieć uprawnienie EXTERNAL USE SCHEMA do schematu w Unity Catalog, który zawiera tabele, do których Fabric uzyskuje dostęp.
• Użyj modelu uprawnień Fabric do ustawienia mechanizmów kontroli dostępu dla katalogów, schematów i tabel w Fabric.

Tworzenie dublowanej bazy danych na podstawie usługi Azure Databricks

Wykonaj następujące kroki, aby utworzyć nową lustrzaną bazę danych z Azure Databricks Unity Catalog.

1. Przejdź do obszaru roboczego w Fabric.

2. Wybierz Nowy element>Mirrored Azure Databricks catalog.

   

3. Wybierz istniejące połączenie, jeśli zostało skonfigurowane, lub utwórz nowe połączenie.

   Aby utworzyć połączenie, musisz być użytkownikiem lub administratorem obszaru roboczego usługi Azure Databricks. Możesz uwierzytelnić się w obszarze roboczym Azure Databricks za pomocą uwierzytelniania Kontem organizacyjnym lub Nazwą główną usługi.

   Note

   Wybrana tutaj metoda uwierzytelniania dotyczy uwierzytelniania w Databricks i autoryzacji w Unity Catalog. Jeśli musisz uzyskać dostęp do kont usługi Azure Data Lake Storage (ADLS) Gen2 znajdujących się za zaporą, wykonaj czynności opisane w sekcji Włączanie dostępu zabezpieczeń sieciowych dla konta Azure Data Lake Storage Gen2 w dalszej części tego artykułu. Gdy usługa ADLS Gen2 znajduje się za zaporą, do uzyskania dostępu przez zaporę magazynu wymagana jest tożsamość obszaru roboczego w usłudze Fabric, niezależnie od metody uwierzytelniania wybranej dla połączenia z usługą Databricks.

4. Po nawiązaniu połączenia z obszarem roboczym Azure Databricks na stronie Wybieranie tabel z katalogu usługi Databricks wybierz katalog, schematy i tabele, które chcesz dodać i do których chcesz uzyskać dostęp z poziomu platformy Fabric, za pomocą listy uwzględnień lub wykluczeń. Wybierz katalog oraz powiązane z nim schematy i tabele, które chcesz dodać do obszaru roboczego Fabric.

   Możesz zobaczyć tylko wykazy, schematy i tabele, do których masz dostęp. Aby uzyskać więcej informacji, zobacz uprawnienia Unity Catalog i obiekty, które można zabezpieczyć.

   Domyślnie opcja Automatycznie synchronizuj przyszłe zmiany wykazu dla wybranego schematu jest włączona. Aby uzyskać więcej informacji, zobacz Mirroring Azure Databricks > Metadata sync.

5. Wybierz przycisk Dalej, aby kontynuować.

6. Na stronie Przejrzyj i utwórz przejrzyj szczegóły i w razie potrzeby zmień nazwę elementu dublowanej bazy danych, która musi być unikalna w obszarze roboczym. Domyślnie nazwa zduplikowanego elementu jest nazwą katalogu.

7. Wybierz pozycję Utwórz , aby kontynuować.

8. Zostanie utworzony element katalogu Databricks, a dla każdej tabeli zostanie również utworzony odpowiedni skrót typu Databricks.

   Schematy, które nie mają żadnych tabel, nie są wyświetlane.

9. Podgląd danych można również zobaczyć podczas uzyskiwania dostępu do skrótu klawiszowego, gdy wybierze się punkt końcowy analizy SQL. Otwórz element punktu końcowego analizy SQL, aby uruchomić stronę Eksplorator i Edytor zapytań. Zapytania dotyczące dublowanych tabel Azure Databricks można wykonywać przy użyciu języka T-SQL w edytorze SQL.

Utwórz skróty Lakehouse do elementu katalogu Databricks

Możesz również tworzyć skróty z usługi Lakehouse do elementu wykazu usługi Databricks, aby używać danych usługi Lakehouse i korzystać z notesów platformy Spark.

1. Najpierw utwórz jezioro. Jeśli masz już lakehouse w tym obszarze roboczym, możesz użyć istniejącego lakehouse.
   1. Wybierz swój obszar roboczy w menu nawigacji.
   2. Wybierz + Nowy>Lakehouse.
   3. Podaj nazwę dla lakehouse w polu Nazwa, a następnie wybierz Utwórz.
2. W widoku Eksploratora usługi Lakehouse w menu Pobierz dane w usłudze Lakehouse w obszarze Załaduj dane w usłudze Lakehouse wybierz przycisk Nowy skrót .
3. Wybierz pozycję Microsoft OneLake. Wybierz wykaz. Jest to element danych utworzony w poprzednich krokach. Następnie wybierz Dalej.
4. Wybierz tabele w schemacie, a następnie wybierz pozycję Dalej.
5. Wybierz Utwórz.
6. Skróty są teraz dostępne w usłudze Lakehouse do użycia z innymi danymi usługi Lakehouse. Możesz również użyć notatników i platformy Spark do przetwarzania danych w tabelach katalogowych dodanych z obszaru roboczego usługi Azure Databricks.

Tworzenie modelu semantycznego

Można utworzyć model semantyczny Power BI na podstawie elementu dublowanego i ręcznie dodać lub usunąć tabele. Aby uzyskać więcej informacji na temat tworzenia modeli semantycznych i zarządzania nimi, zobacz Tworzenie modelu semantycznego usługi Power BI.

Aby uzyskać najlepsze środowisko, użyj przeglądarki Microsoft Edge do wykonywania zadań modelowania semantycznego.

Zarządzanie relacjami modelu semantycznego

Po utworzeniu nowego modelu semantycznego na podstawie dublowanej bazy danych skonfiguruj relacje między tabelami.

1. Wybierz pozycję Układy modelu w Eksploratorze w obszarze roboczym.
2. Po wybraniu pozycji Układy modelu zostanie wyświetlona grafika tabel, które są uwzględnione w ramach modelu semantycznego.
3. Aby utworzyć relacje między tabelami, przeciągnij nazwę kolumny z jednej tabeli do innej nazwy kolumny innej tabeli. Pojawi się wyskakujące okno umożliwiające określenie relacji i kardynalności między tabelami.

Włączanie dostępu zabezpieczeń sieci dla konta usługi Azure Data Lake Storage Gen2

Skonfiguruj zabezpieczenia sieci dla konta usługi Azure Data Lake Storage (ADLS) Gen2, gdy masz skonfigurowaną zaporę Azure Storage. Ta sekcja dotyczy kont magazynu ADLS Gen2 chronionych zaporą usługi Azure Storage. Magazyn obszaru roboczego Azure Databricks chroniony zaporą usługi Azure Storage nie jest obsługiwany.

Wymagania wstępne

• Gdy zapora Azure Storage chroni usługę ADLS Gen2, Fabric używa tożsamości obszaru roboczego do uzyskiwania dostępu do zapory. Nawet jeśli na karcie Network Security wybierzesz opcję Jednostka usługi do uwierzytelniania ADLS, musisz zezwolić tożsamości obszaru roboczego w zaporze konta usługi Azure Storage.

  • Tożsamość obszaru roboczego jest używana do uzyskiwania dostępu do zapory sieciowej magazynu danych. Podmiot usługi lub uwierzytelnianie OAuth są używane do uwierzytelniania Databricks i autoryzacji Unity Catalog.

  • Aby włączyć typ uwierzytelniania tożsamości obszaru roboczego (zalecane), skojarz obszar roboczy Fabric z pojemnością F. Aby utworzyć tożsamość obszaru roboczego, zobacz Uwierzytelnianie przy użyciu tożsamości obszaru roboczego.

• Katalog można skojarzyć tylko z jednym kontem magazynu danych.

Włączanie dostępu do zabezpieczeń sieci

1. Podczas tworzenia nowego dublowanego katalogu usługi Azure Databricks w kroku Wybieranie danych wybierz kartę Zabezpieczenia sieciowe .

   

2. Wybierz istniejące połączenie z kontem magazynowym, jeśli zostało skonfigurowane. 

   • Jeśli nie masz istniejącego połączenia usługi ADLS, utwórz nowe połączenie.  
   • Adres URL punktu końcowego magazynu to miejsce przechowywania danych wybranego wykazu. Punkt końcowy powinien być określonym folderem, w którym są przechowywane dane, zamiast określać punkt końcowy na poziomie konta magazynowego. Na przykład podaj https://<storage account>.dfs.core.windows.net/container1/folder1 zamiast https://<storage account>.dfs.core.windows.net/.
   • Podaj poświadczenia połączenia. Obsługiwane typy uwierzytelniania to Konto organizacyjne, Jednostka usługi i Tożsamość obszaru roboczego (zalecane).

   Note

   Gdy usługa ADLS Gen2 jest chroniona przez zaporę Azure Storage, Fabric używa tożsamości obszaru roboczego do przechodzenia przez zaporę niezależnie od wybranego tutaj typu uwierzytelniania. Typ uwierzytelniania (jednostka usługi lub konto organizacyjne) kontroluje uwierzytelnianie w usłudze Databricks i autoryzację w Unity Catalog, natomiast Tożsamość obszaru roboczego kontroluje zaufany dostęp za pośrednictwem zapory sieciowej magazynu. Tożsamość obszaru roboczego musi być dozwolona w zaporze konta Azure Storage, nawet jeśli wybierzesz inny typ uwierzytelniania dla połączenia usługi ADLS.

3. W portalu Azure przyznaj prawa dostępu do konta magazynu na podstawie typu uwierzytelniania wybranego w poprzednim kroku. Przejdź do konta magazynowego w Azure portal. Wybierz pozycję Kontrola dostępu (IAM). Wybierz pozycję +Dodaj i Dodaj przypisanie roli. Aby uzyskać więcej informacji, odwiedź przypisywanie ról Azure za pomocą portalu Azure.

   Przypisz rolę na podstawie zakresu połączenia:

   • Konto magazynu: wybrana tożsamość uwierzytelniania wymaga roli Czytelnik danych obiektu blob usługi Storage na koncie magazynu.
   • Kontener: wybrana tożsamość uwierzytelniania wymaga roli Czytelnik danych obiektu blob usługi Storage w kontenerze.
   • Folder w kontenerze (zalecane): wybrana tożsamość uwierzytelniania wymaga uprawnień Odczyt (R) i Wykonaj (E) na poziomie folderu. Jeśli jako typu uwierzytelniania używasz nazwy głównej usługi lub tożsamości obszaru roboczego, nadaj również tej tożsamości uprawnienia Wykonaj do folderu głównego kontenera oraz do każdego foldera w hierarchii prowadzącej do określonego foldera.

   Aby uzyskać więcej informacji i kroków udzielania dostępu do usługi ADLS, zobacz AdLS Access control (Kontrola dostępu w usłudze ADLS).

4. Włącz Zaufany dostęp obszaru roboczego, konfigurując regułę instancji zasobu dla obszaru roboczego usługi Fabric na koncie magazynowym. Aby uzyskać szczegółowe instrukcje, zobacz Dostęp do zaufanego obszaru roboczego oraz Bezpieczne dublowane bazy danych usługi Fabric z platformy Azure Databricks.

Po nawiązaniu połączenia tworzony jest skrót do tabel Unity Catalog dla tych tabel, których nazwa konta magazynu odpowiada nazwie konta magazynu określonego w połączeniu ADLS. Skróty nie są tworzone dla tabel, których nazwa konta magazynowego nie odpowiada.

Ważne

Jeśli planujesz używać połączenia ADLS poza scenariuszami dotyczącymi elementów wykazu Mirrored Azure Databricks, musisz również przypisać rolę Storage Blob Delegator na koncie magazynowym.

Tip

Jeśli podczas używania nazwy głównej usługi do uwierzytelniania w Databricks z kontem ADLS Gen2 chronionym zaporą wystąpi błąd autoryzacji 403, sprawdź, czy tożsamość obszaru roboczego jest dozwolona w zaporze konta usługi Azure Storage. Nawet gdy do uwierzytelniania wybrano nazwę główną usługi, Fabric używa Tożsamości obszaru roboczego do przechodzenia przez zaporę sieciową magazynu.

Włącz zabezpieczenia OneLake w zduplikowanym elemencie Databricks

Zmapuj zasady Unity Catalog (UC) na zabezpieczenia Microsoft OneLake, wykonując następujące kroki:

1. Zsynchronizuj grupę Entra i zastosuj uprawnienia w Unity Catalog. W Azure Databricks użyj funkcji Automatyczne zarządzanie tożsamościami, aby zsynchronizować grupę Microsoft Entra ID i przyznać jej niezbędne uprawnienia Unity Catalog (USE, BROWSE i SELECT) do odpowiedniego katalogu i tabel.
2. Przypisz rolę dostępu do danych w usłudze OneLake. W obszarze roboczym Fabric utwórz rolę dostępu do danych dla nowo odwzorowanych danych. Dodaj tę samą grupę Entra do tej roli i przyznaj jej dostęp do odczytu do skrótów OneLake odpowiadających tabelom usługi Azure Databricks. Aby rozpocząć pracę z zabezpieczeniami na poziomie tabeli, wybierz przycisk Zarządzaj zabezpieczeniami oneLake na wstążce. Upewnij się, że konfiguracje dostępu są synchronizowane w miarę rozwoju struktur katalogu i uprawnień. Aby uzyskać więcej informacji, zobacz model kontroli dostępu do danych OneLake (wersja zapoznawcza).

Treści powiązane

• Odbite bazy danych Secure Fabric z usługi Azure Databricks
• Blog: Zabezpieczanie zduplikowanych danych Azure Databricks w Fabric przy użyciu zabezpieczeń OneLake
• Ograniczenia w dublowanych bazach danych usługi Microsoft Fabric z usługi Azure Databricks
• Często zadawane pytania dotyczące dublowanych baz danych z usługi Azure Databricks w usłudze Microsoft Fabric
• Odbicie lustrzane Unity Catalog w Azure Databricks
• Kontrola zewnętrznego dostępu do danych w Unity Catalog