Samouczek: konfigurowanie dublowanych baz danych usługi Microsoft Fabric z usługi Azure Databricks

Dublowanie baz danych w usłudze Microsoft Fabric to technologia SaaS oparta na chmurze, zero-ETL. Ten przewodnik pomaga ustanowić zwierciadlaną bazę danych z usługi Azure Databricks, która tworzy kopię tylko do odczytu, stale replikowaną w usłudze OneLake.

Wymagania wstępne

  • Należy włączyć dostęp do danych zewnętrznych w magazynie metadanych. Aby uzyskać więcej informacji, zobacz Włączanie dostępu do danych zewnętrznych w magazynie metadanych.
  • Utwórz lub użyj istniejącego obszaru roboczego Azure Databricks z włączonym Unity Catalog.
  • Musisz mieć EXTERNAL USE SCHEMA uprawnienia do schematu w katalogu Unity, który zawiera tabele, do których będzie uzyskiwany dostęp z Fabric.
  • Aby ustawić mechanizmy kontroli dostępu dla katalogów, schematów i tabel w Fabric, należy użyć modelu uprawnień Fabric.

Tworzenie dublowanej bazy danych na podstawie usługi Azure Databricks

Wykonaj następujące kroki, aby utworzyć nową lustrzaną bazę danych z Azure Databricks Unity Catalog.

  1. Przejdź do strony https://powerbi.com.

  2. Wybierz + Nowy, a następnie odzwierciedlony katalog Azure Databricks.

    Zrzut ekranu z portalu Fabric nowego elementu zwierciadlanego usługi Azure Databricks.

  3. Wybierz istniejące połączenie, jeśli zostało skonfigurowane.

    • Jeśli nie masz istniejącego połączenia, utwórz nowe połączenie i wprowadź wszystkie szczegóły. Możesz uwierzytelnić się w obszarze roboczym usługi Azure Databricks przy użyciu konta organizacyjnego lub jednostki usługi. Aby utworzyć połączenie, musisz być użytkownikiem lub administratorem obszaru roboczego usługi Azure Databricks.
    • Aby uzyskać dostęp do kont usługi Azure Data Lake Storage (ADLS) Gen2 za zaporą, wykonaj kroki opisane w temacie Włączanie dostępu do zabezpieczeń sieci dla konta usługi Azure Data Lake Storage Gen2 w dalszej części tego artykułu.

  4. Po nawiązaniu połączenia z obszarem roboczym usługi Azure Databricks, na stronie Wybieranie tabel z katalogu Databricks możesz wybrać katalog, schematy i tabele za pomocą listy dołączania/wykluczania, które chcesz dodać i uzyskać do nich dostęp z Microsoft Fabric. Wybierz katalog oraz powiązane z nim schematy i tabele, które chcesz dodać do obszaru roboczego Fabric.

  5. Domyślnie nazwa elementu będzie nazwą katalogu, który próbujesz dodać do Fabric. Na stronie Przeglądanie i tworzenie można przejrzeć szczegóły oraz opcjonalnie zmienić nazwę odzwierciedlonego elementu bazy danych. Nazwa ta musi być unikatowa w Twoim obszarze roboczym. Wybierz Utwórz.

  6. Zostanie utworzony element katalogu Databricks, a dla każdej tabeli zostanie również utworzony odpowiedni skrót typu Databricks.

    • Schematy, które nie mają żadnych tabel, nie są wyświetlane.

  7. Podgląd danych można również zobaczyć podczas uzyskiwania dostępu do skrótu klawiszowego, gdy wybierze się punkt końcowy analizy SQL. Otwórz element punktu końcowego analizy SQL, aby uruchomić stronę Eksplorator i Edytor zapytań. W edytorze SQL można wykonywać zapytania dotyczące dublowanych tabel usługi Azure Databricks za pomocą języka T-SQL.

Utwórz skróty Lakehouse do elementu katalogu Databricks

Możesz również tworzyć skróty z usługi Lakehouse do elementu wykazu usługi Databricks, aby używać danych usługi Lakehouse i korzystać z notesów platformy Spark.

  1. Najpierw tworzymy jezioro. Jeśli masz już lakehouse w tym obszarze roboczym, możesz użyć istniejącego lakehouse.
    1. Wybierz swój obszar roboczy w menu nawigacji.
    2. Wybierz + Nowy>Lakehouse.
    3. Podaj nazwę dla lakehouse w polu Nazwa, a następnie wybierz Utwórz.
  2. W widoku Eksploratora usługi Lakehouse w menu Pobierz dane w usłudze Lakehouse w obszarze Załaduj dane w usłudze Lakehouse wybierz przycisk Nowy skrót .
  3. Wybierz pozycję Microsoft OneLake. Wybierz wykaz. Jest to element danych utworzony w poprzednich krokach. Następnie wybierz Dalej.
  4. Wybierz tabele w schemacie, a następnie wybierz pozycję Dalej.
  5. Wybierz Utwórz.
  6. Skróty są teraz dostępne w usłudze Lakehouse do użycia z innymi danymi usługi Lakehouse. Możesz również użyć notatników i platformy Spark do przetwarzania danych w tabelach katalogowych dodanych z obszaru roboczego usługi Azure Databricks.

Tworzenie modelu semantycznego

Możesz utworzyć semantyczny model usługi Power BI na podstawie elementu zreplikowanego i ręcznie dodać/usunąć tabele. Aby uzyskać więcej informacji na temat tworzenia modeli semantycznych i zarządzania nimi, zobacz Tworzenie modelu semantycznego usługi Power BI.

Aby uzyskać najlepsze środowisko, zaleca się użycie przeglądarki Microsoft Edge dla zadań modelowania semantycznego.

Zarządzanie relacjami modelu semantycznego

Po utworzeniu nowego modelu semantycznego na podstawie dublowanej bazy danych,

  1. Wybierz pozycję Układy modelu w Eksploratorze w obszarze roboczym.
  2. Po wybraniu układów modelu zostanie wyświetlona grafika tabel, które zostały uwzględnione w ramach modelu semantycznego.
  3. Aby utworzyć relacje między tabelami, przeciągnij nazwę kolumny z jednej tabeli do innej nazwy kolumny innej tabeli. Pojawi się okno podręczne określające relację i kardynalność tabel.

Włączanie dostępu zabezpieczeń sieci dla konta usługi Azure Data Lake Storage Gen2

Ta sekcja zawiera instrukcje dotyczące konfigurowania zabezpieczeń sieci dla konta usługi Azure Data Lake Storage (ADLS) Gen2 po skonfigurowaniu zapory usługi Azure Storage . 

Wymagania wstępne

  • Utwórz lub użyj istniejącego obszaru roboczego Azure Databricks z włączonym Unity Catalog.

  • Gdy usługa ADLS Gen2 jest chroniona przez zaporę Azure Storage, Fabric używa tożsamości obszaru roboczego do uzyskiwania dostępu do zapory. Nawet jeśli Service principal jest wybrany dla uwierzytelniania ADLS w karcie Zabezpieczenia sieci, tożsamość obszaru roboczego musi mieć dostęp w zaporze sieciowej konta Azure Storage.

    • Tożsamość obszaru roboczego jest używana do uzyskiwania dostępu do zapory sieciowej magazynu danych. Podmiot usługi lub uwierzytelnianie OAuth są używane do uwierzytelniania Databricks i autoryzacji Unity Catalog.
    • Aby włączyć typ uwierzytelniania tożsamości obszaru roboczego (zalecane), obszar roboczy Fabric musi być skojarzony z dowolną pojemnością F. Aby utworzyć tożsamość obszaru roboczego, zobacz Uwierzytelnianie przy użyciu tożsamości obszaru roboczego.

  • Ta sekcja dotyczy uzyskania dostępu do konta magazynu usługi Azure Data Lake Storage (ADLS) Gen2 za zaporą usługi Azure Storage. Przestrzeń dyskowa dla obszarów roboczych usługi Azure Databricks za zaporą usługi Azure Storage nie jest obsługiwana.

  • Wykaz musi być skojarzony z jednym kontem magazynu.

Włączanie dostępu do zabezpieczeń sieci

  1. Podczas tworzenia nowego dublowanego katalogu usługi Azure Databricks w kroku Wybieranie danych wybierz kartę Zabezpieczenia sieciowe .

    Zrzut ekranu przedstawiający kartę Zabezpieczenia sieciowe w usłudze Databricks.

  2. Wybierz istniejące połączenie z kontem magazynowym, jeśli zostało skonfigurowane. 

    • Jeśli nie masz istniejącego połączenia usługi ADLS, utwórz nowe połączenie.  
    • Adres URL punktu końcowego magazynu to miejsce przechowywania danych wybranego wykazu. Punkt końcowy powinien być określonym folderem, w którym są przechowywane dane, zamiast określać punkt końcowy na poziomie konta magazynowego. Na przykład podaj https://<storage account>.dfs.core.windows.net/container1/folder1 zamiast https://<storage account>.dfs.core.windows.net/.
    • Podaj poświadczenia połączenia. Obsługiwane typy uwierzytelniania to Konto organizacyjne, Jednostka usługi i Tożsamość obszaru roboczego (zalecane).

  3. W portalu Azure przyznaj prawa dostępu do konta magazynu na podstawie typu uwierzytelniania wybranego w poprzednim kroku. Przejdź do konta magazynowego w Azure portal. Wybierz pozycję Kontrola dostępu (IAM). Wybierz pozycję +Dodaj i Dodaj przypisanie roli. Aby uzyskać więcej informacji, odwiedź przypisywanie ról Azure za pomocą portalu Azure.

    • Jeśli określiłeś konto magazynu jako część połączenia, wybrany obiekt uwierzytelniania musi mieć rolę Czytelnik danych blob magazynu na koncie magazynu. 
    • Jeśli kontener został określony jako część połączenia, wybrany obiekt uwierzytelniania musi mieć rolę Czytelnik danych obiektu blob usługi Storage w tym kontenerze.  
    • Jeśli w kontenerze określono konkretny folder (zalecane), wybrany obiekt uwierzytelniania musi mieć uprawnienia do odczytu (R) i wykonywania (E) na poziomie folderu. Jeśli używasz jednostki usługi lub tożsamości obszaru roboczego jako typu uwierzytelniania, musisz nadać jednostce usługi lub tożsamości obszaru roboczego uprawnienia Wykonaj do folderu głównego kontenera oraz do każdego folderu w hierarchii folderów, które prowadzą do określonego folderu. 

    Aby uzyskać więcej informacji i kroków udzielania dostępu do usługi ADLS, zobacz AdLS Access control (Kontrola dostępu w usłudze ADLS).

  4. Włącz Zaufany dostęp do obszaru roboczego, aby w bezpieczny sposób uzyskać dostęp do kont usługi Azure Data Lake Storage (ADLS) Gen2 z włączoną zaporą. Dostęp do zaufanego obszaru roboczego wymaga utworzenia połączenia bezpośrednio z kontem magazynu usługi ADLS, które można używać niezależnie od połączenia obszaru roboczego usługi Azure Databricks. Aby uzyskać więcej informacji, zobacz Secure Fabric dublowane bazy danych z usługi Azure Databricks.

  5. Skrót do tabel Unity Catalog jest tworzony dla tabel, których nazwa konta magazynu odpowiada nazwie konta magazynu określonego w połączeniu z ADLS. W przypadku tabel, których nazwa konta magazynu nie jest zgodna z kontem magazynu określonym w połączeniu usługi ADLS, skróty dla tych tabel nie zostaną utworzone. 

Ważne

Jeśli planujesz używać połączenia usługi Azure Data Lake Storage (ADLS) poza scenariuszami elementów katalogu dublowanych usługi Azure Databricks, musisz również nadać rolę Delegat do obiektów blob na koncie Storage.

Włącz zabezpieczenia OneLake w zduplikowanym elemencie Databricks

Zmapuj zasady Unity Catalog (UC) na zabezpieczenia Microsoft OneLake, wykonując następujące kroki:

  1. Zsynchronizuj grupę Entra i zastosuj uprawnienia w Unity Catalog. W usłudze Azure Databricks użyj Automatycznego Zarządzania Tożsamościami, aby zsynchronizować grupę ID Microsoft Entra i przyznać jej niezbędne uprawnienia Unity Catalog, na przykład USE, BROWSE, SELECT w odpowiednim katalogu/tabelach.
  2. Przypisz rolę dostępu do danych w usłudze OneLake. W obszarze roboczym Fabric utwórz rolę dostępu do danych dla nowo odwzorowanych danych. Dodaj tę samą grupę Entra do tej roli i przyznaj jej dostęp do odczytu do skrótów OneLake odpowiadających tabelom usługi Azure Databricks. Od razu możesz rozpocząć pracę z zabezpieczeniami na poziomie tabeli, korzystając z przycisku Zarządzaj zabezpieczeniami usługi OneLake na wstążce. Upewnij się, że konfiguracje dostępu są synchronizowane w miarę rozwoju struktur katalogu i uprawnień. Aby uzyskać więcej informacji, zobacz model kontroli dostępu do danych OneLake (wersja zapoznawcza).

Treści powiązane

  • Last updated on