Replikacja Unity Catalog w Azure Databricks

Wiele organizacji obecnie rejestruje swoje dane w Unity Catalog w usłudze Azure Databricks. Odbity Unity Catalog w Fabric umożliwia klientowi odczytywanie danych zarządzanych przez Unity Catalog z obciążeń w Fabric. Usługi Azure Databricks i Fabric są lepsze razem.

Aby zapoznać się z samouczkiem dotyczącym konfigurowania obszaru roboczego usługi Azure Databricks do kopiowania lustrzanego usługi Unity Catalog w usłudze Fabric, zobacz Samouczek: konfigurowanie baz danych dublowanych w usłudze Microsoft Fabric z usługi Azure Databricks.

Korzystając z Mirroring in Fabric, możesz cieszyć się wysoce zintegrowanym, kompleksowym i łatwym w użyciu produktem, który upraszcza Twoje potrzeby analityczne i jest stworzony z myślą o otwartości oraz współpracy między Microsoft Fabric a Azure Databricks.

Gdy używasz usługi Fabric do odczytu danych zarejestrowanych w Unity Catalog, nie dochodzi do przenoszenia ani replikacji danych. Tylko struktura katalogu usługi Azure Databricks jest odzwierciedlana w usłudze Fabric, a dostęp do bazowych danych katalogu uzyskuje się za pośrednictwem skrótów. Zmiany w danych źródłowych mogą nie pojawiać się natychmiast w Fabric. Propagacja może potrwać od kilku sekund do kilku minut, zgodnie z opisem w dokumentacji wydajności punktu końcowego analizy SQL.

Jakie funkcje analityczne są wbudowane

Katalogi lustrzane są elementem magazynowania danych Fabric, odrębnym od magazynu danych i punktu końcowego analizy SQL.

Podczas tworzenia kopii lustrzanej katalogu Unity Catalog w usłudze Azure Databricks platforma Fabric tworzy następujące elementy:

Możesz uzyskać dostęp do lustrzanych danych Azure Databricks Unity Catalog na różne sposoby:

  • Każdy zdublowany element usługi Azure Databricks ma automatycznie wygenerowany punkt końcowy analityki SQL, który zapewnia rozbudowane możliwości analityczne tworzone przez proces dublowania. Użyj poleceń języka T-SQL, aby zdefiniować i wysyłać zapytania o obiekty danych z punktu końcowego analizy SQL tylko do odczytu.
  • Użyj usługi Power BI z trybem Direct Lake, aby tworzyć raporty względem elementu usługi Azure Databricks.

Synchronizacja metadanych

Gdy tworzysz nowe lustrzane odbicie z Azure Databricks w Fabric, opcja Automatycznie synchronizuj przyszłe zmiany katalogu dla wybranego schematu jest domyślnie włączona. Jeśli włączysz automatyczną synchronizację, następujące zmiany metadanych są odzwierciedlane z twojej przestrzeni roboczej Azure Databricks w usłudze Fabric:

  • Dodawanie schematów do wykazu.
  • Usuwanie schematów z wykazu.
  • Dodawanie tabel do schematu.
  • Usuwanie tabel ze schematu.

Wybór schematu/tabeli:

  • Domyślnie cały wykaz jest wybierany, gdy użytkownik dodaje wykaz.
  • Użytkownik może wykluczyć niektóre tabele w schemacie.
  • Usunięcie zaznaczenia schematu usuwa zaznaczenie wszystkich tabel w schemacie.
  • Jeśli użytkownik wróci i wybierze schemat, wszystkie tabele w schemacie zostaną ponownie wybrane.
  • To samo zachowanie wyboru dotyczy schematów w wykazie.

Istnieją inne warunki filtrowania stosowane do katalogów/schematów/tabel:

  • Zmaterializowane widoki i tabele strumieniowe nie będą wyświetlane.
  • Tabele zewnętrzne, które nie obsługują formatu Delta, nie będą wyświetlane.