Domyślne przechowywanie na platformie Databricks

Na tej stronie wyjaśniono, jak działa domyślny magazyn w usłudze Azure Databricks oraz jak tworzyć wykazy i obiekty danych, które go używają.

Co to jest magazyn domyślny?

Magazyn domyślny to w pełni zarządzana platforma magazynu obiektów, która zapewnia gotowy do użycia magazyn na koncie usługi Azure Databricks. Niektóre funkcje usługi Azure Databricks używają domyślnego magazynu jako alternatywy dla magazynu zewnętrznego.

Obszary robocze bezserwerowe używają domyślnego przechowywania na potrzeby przechowywania wewnętrznego i roboczego oraz domyślnego katalogu, który jest tworzony razem z obszarem roboczym. W obszarach roboczych bezserwerowych można utworzyć dodatkowe wykazy w domyślnym magazynie lub we własnym magazynie obiektów w chmurze.

W klasycznych i bezserwerowych obszarach roboczych domyślny magazyn jest używany przez funkcje do przechowywania takich elementów jak metadane płaszczyzny sterowania, dane pochodne, modele i inne artefakty. Na przykład czyste pokoje, klasyfikacja danych, wykrywanie anomalii, asystent wiedzy i automatyczne przywracanie sesji dla notesów bezserwerowych używają domyślnego magazynu obszaru roboczego. Zapoznaj się z dokumentacją poszczególnych funkcji, aby uzyskać szczegółowe informacje o tym, co każda funkcja przechowuje w magazynie domyślnym.

Uwaga / Notatka

Aby uzyskać informacje na temat monitorowania domyślnych kosztów magazynowania na koncie, zobacz Monitorowanie domyślnych kosztów magazynu.

Wymagania

• Tworzenie katalogów w magazynie domyślnym jest dostępne tylko w obszarach roboczych bezserwerowych.
• Domyślnie wykazy korzystające z magazynu domyślnego są dostępne tylko z obszaru roboczego, w którym są tworzone. Możesz przyznać innym obszarom roboczym dostęp, w tym klasycznym obszarom roboczym, ale muszą używać bezserwerowych zasobów obliczeniowych w celu uzyskania dostępu do danych w wykazie. Zobacz Ograniczanie dostępu katalogu do określonych obszarów roboczych.
• Musisz mieć CREATE CATALOG uprawnienia do utworzenia katalogu z domyślną przestrzenią magazynową. Zobacz odniesienie dotyczące uprawnień Unity Catalog.
• Jeśli klient używa sterownika ODBC usługi Azure Databricks w celu uzyskania dostępu do domyślnego katalogu magazynu zza zapory, należy skonfigurować zaporę, aby zezwolić na dostęp do regionalnych bram magazynu usługi Azure Databricks. Aby uzyskać szczegółowe informacje dotyczące adresu IP i nazwy domeny dla magazynu domyślnego, zobacz Adresy IP i domeny dla usług i zasobów usługi Azure Databricks.

Tworzenie nowego wykazu

Wykonaj następujące kroki, aby utworzyć nowy wykaz przy użyciu magazynu domyślnego:

1. Kliknij Wykaz na pasku bocznym. Pojawi się Eksplorator wykazu.
2. Kliknij pozycję Utwórz katalog. Zostanie wyświetlone okno dialogowe Tworzenie nowego wykazu .
3. Podaj nazwę wykazu , która jest unikatowa na Twoim koncie.
4. Wybierz opcję Użyj domyślnego przechowywania.
5. Kliknij pozycję Utwórz.

W obszarach roboczych bezserwerowych można również użyć następującego polecenia SQL, aby utworzyć nowy katalog w magazynie domyślnym. Nie trzeba określać lokalizacji katalogu.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Praca z magazynem domyślnym

Wszystkie interakcje z magazynem domyślnym wymagają bezserwerowego przetwarzania z włączoną obsługą katalogu Unity.

Zasoby korzystające z domyślnego magazynu używają tego samego modelu uprawnień, co inne obiekty w Unity Catalog. Musisz mieć wystarczające uprawnienia do tworzenia, wyświetlania, wykonywania zapytań lub modyfikowania obiektów danych. Zobacz odniesienie dotyczące uprawnień Unity Catalog.

Pracujesz z domyślnym magazynem poprzez tworzenie i współdziałanie z zarządzanymi tabelami i woluminami wspieranymi przez ten magazyn. Zobacz tabele zarządzane przez Unity Catalog w Azure Databricks dla Delta Lake i Apache Iceberg oraz Co to są woluminy katalogu Unity?.

Eksplorator katalogów, notesy, edytor SQL i pulpity nawigacyjne umożliwiają interakcję z obiektami danych przechowywanymi w domyślnym magazynie.

Przykładowe zadania

Poniżej przedstawiono przykłady zadań, które można wykonać z domyślną pamięcią masową:

• Przekaż pliki lokalne do woluminu zarządzanego lub utwórz zarządzaną tabelę. Zobacz Praca z plikami w woluminach katalogu Unity i Tworzenie lub modyfikowanie tabeli przy użyciu przesyłania plików.
• Wykonywanie zapytań dotyczących danych za pomocą notesów. Zobacz Samouczek: wykonywanie zapytań i wizualizowanie danych z notesu.
• Utwórz pulpit nawigacyjny. Zobacz Tworzenie pulpitu nawigacyjnego.
• Wykonywanie zapytań dotyczących danych przy użyciu języka SQL i planowanie zapytań SQL. Zobacz Pisanie zapytań i eksplorowanie danych w nowym edytorze SQL.
• Import danych z zewnętrznego woluminu do tabeli zarządzanej. Zobacz Auto Loader z Unity Catalog.
• Pozyskiwanie danych do zarządzanej tabeli za pomocą Fivetran. Zobacz Connect to Fivetran (Nawiązywanie połączenia z platformą Fivetran).
• Korzystanie z narzędzi analizy biznesowej do eksplorowania tabel zarządzanych. Zobacz Connect Tableau and Azure Databricks and Power BI with Azure Databricks (Łączenie usług Tableau i Azure Databricksi Power BI za pomocą usługi Azure Databricks).
• Uruchamianie notesów bezserwerowych. Zobacz obliczenia bezserwerowe dla notatników.
• Uruchamianie zadań bezserwerowych. Zobacz Run your Lakeflow Jobs with serverless compute for workflows (Uruchamianie zadań lakeflow z bezserwerowymi obliczeniami dla przepływów pracy).
• Uruchamianie modelu obsługującego punkty końcowe. Zobacz Modele wdrażane przy użyciu serwera modeli Mosaic AI.
• Uruchamianie bezserwerowych deklaratywnych potoków Spark w usłudze Lakeflow. Zobacz Jak skonfigurować potok bezserwerowy.
• Użyj optymalizacji predykcyjnej w tabelach. Zobacz Optymalizację predykcyjną dla tabel zarządzanych w Unity Catalog.

Ograniczenia

Obowiązują następujące ograniczenia:

• Klasyczne zasoby obliczeniowe (czyli takie, które nie są bezserwerowe) nie mogą wchodzić w interakcje z zasobami danych w domyślnym magazynie.
• Delta Sharing obsługuje udostępnianie tabel wszystkim adresatom — platformom otwartym lub Azure Databricks — a adresaci mogą uzyskiwać dostęp do udostępnionych tabel (Beta) używając klasycznych metod obliczeniowych. Włącz funkcję Delta Sharing dla domyślnego magazynu – rozszerzony dostęp w konsoli konta.
  • Ta funkcja nie jest obsługiwana w następujących regionach: southcentralus, uksouthi westus2.
  • Wszystkie inne współużytkowane zasoby mogą być udostępniane tylko adresatom usługi Azure Databricks w tej samej chmurze. Adresaci muszą używać bezserwerowych obliczeń.
• Tabele z włączonym partycjonowaniem nie mogą być udostępniane przy użyciu Delta Sharing.
• Zewnętrzni klienci Iceberg i Delta nie mogą bezpośrednio uzyskiwać dostępu do leżących u podstaw metadanych, listy manifestów i plików danych dla tabel UC w domyślnej pamięci masowej (dostęp do FileIO nie jest obsługiwany). Jednak narzędzia analizy biznesowej, takie jak Power BI i Tableau, mogą uzyskiwać dostęp do tabel katalogu Unity w domyślnym magazynie, korzystając ze sterowników ODBC i JDBC. Klienci zewnętrzni mogą również uzyskiwać dostęp do woluminów Unity Catalog w domyślnym magazynie przy użyciu interfejsu API plików.
• Magazyn domyślny obsługuje zewnętrzny dostęp za pośrednictwem sterowników ODBC i JDBC w Azure Databricks, w tym optymalizację wydajności sterownika ODBC z funkcją Cloud Fetch dla zapytań dotyczących większych zestawów danych. Jednakże, jeśli uzyskujesz dostęp do domyślnej tabeli przechowywania z obszaru roboczego z włączoną funkcją Private Link dla interfejsu frontowego, zapytania klienta ODBC przekraczające 100 MB nie powiodą się, ponieważ optymalizacja pobierania z chmury dla domyślnych tabel przechowywania nie obsługuje aktualnie funkcji Private Link dla interfejsu frontowego.
• Obsługa poświadczeń nie jest dostępna, na przykład, gdy systemy zewnętrzne łączą się z REST API Unity lub katalogiem REST Iceberg. Zobacz wydawanie poświadczeń dla Unity Catalog w celu uzyskania dostępu do systemu zewnętrznego.