Co to są woluminy?

Woluminy to obiekty Unity Catalog, które zarządzają dostępem do danych nietabelarycznych. Zapewniają one warstwę logiczną nad chmurowym magazynem obiektów, dzięki czemu można przechowywać, organizować i zarządzać plikami za pomocą scentralizowanego zarządzania.

Aby uzyskać kompleksową dokumentację woluminów, zobacz Co to są woluminy Unity Catalog?.

Katalog Unity obsługuje dwa typy woluminów:

• Woluminy zarządzane: Usługa Azure Databricks zarządza cyklem życia zasobu i lokalizacją pamięci masowej w chmurze
• Woluminy zewnętrzne: Kontrolujesz lokalizację przechowywania w chmurze i cykl życia

Co można zrobić z woluminami katalogu Unity?

Operacje zarządzania plikami można wykonywać przy użyciu woluminów przy użyciu wielu interfejsów i narzędzi:

• Przekazywanie, pobieranie i przeglądanie plików w Eksploratorze wykazu. Zobacz Co to jest Eksplorator wykazu?.
  • Aby przekazać pliki lokalne do woluminu, zobacz Praca z plikami w woluminach Unity Catalog.
  • Aby pobrać pliki z Internetu do woluminu, zobacz Pobieranie danych z Internetu.
  • Aby przechowywać własne pliki bez uprzedniego tworzenia katalogu, schematu i woluminu, użyj opcji Moje pliki, wolumin dla poszczególnych użytkowników. Moje pliki są w wersji beta. Zobacz Przechowywanie plików w obszarze Moje pliki.
• Programowe odczytywanie i zapisywanie danych przy użyciu platformy Apache Spark, biblioteki pandas lub sql. Zobacz Programowanie z plikami w woluminach.
• Zarządzaj plikami przy użyciu dbutils.fs, poleceń magicznych lub poleceń powłoki bash. Zobacz Polecenia narzędziowe dla plików w woluminach.

Woluminy można używać z funkcjami usługi Databricks, które wymagają ścieżki systemu plików. Woluminy zapewniają ścieżkę zarządzaną, która działa spójnie między użytkownikami i obszarami roboczymi. Przykład:

• Pozyskiwanie danych: użyj woluminów jako lokalizacji źródłowej na potrzeby pozyskiwania danych. Rozpocznij od plików w woluminie i załaduj je do tabel przy użyciu:
  • COPY INTO: Ładowanie plików z woluminu do tabeli przy użyciu języka SQL. Zobacz: COPY INTO.
  • Automatyczne ładowanie: przyrostowe wczytywanie nowych plików, które pojawiają się w katalogu woluminu do tabeli. Zobacz Co to jest moduł automatycznego ładowania?.
  • API odczytu platformy Spark: użyj API odczytu platformy Spark (na przykład spark.read.load), aby załadować pliki z ścieżki wolumenu do DataFrame i zapisać je w tabeli. Zobacz Programowanie z plikami w woluminach.
  • Interfejs użytkownika usługi Databricks: utwórz tabelę bezpośrednio z plików przechowywanych w woluminie. Zobacz Tworzenie tabeli na podstawie danych w woluminie.
• Dostarczanie dzienników obliczeniowych: skonfiguruj zapisywanie dzienników w ścieżce woluminu, aby dostęp do nich był regulowany przez Unity Catalog. Zobacz dostarczanie logów obliczeń.
• Wyzwalacze przybycia plików: użyj wyzwalaczy przybycia plików, aby uruchomić zadania lakeflow po nadejściu nowych plików w woluminie. Zobacz Wyzwalanie zadań po nadejściu nowych plików.
• Biblioteki klastrów: zainstalować biblioteki klastra z woluminu (pliki JAR, pliki wheel, requirements.txt), więc dostęp do bibliotek podlega Unity Catalog. Zobacz Instalowanie bibliotek z woluminu.
• pl-PL: Skrypty inicjowania: Przechowuj i uruchamiaj skrypty inicjowania w zakresie klastra z wolumenu, aby dostęp do tych skryptów był zarządzany przez Unity Catalog. Zobacz Skrypty inicjalizacyjne klastrowe.
• Artefakty eksperymentów uczenia maszynowego: Przechowywanie artefaktów eksperymentów uczenia maszynowego (modeli, metryk i plików wyjściowych) w woluminie pamięci, aby dostęp do wyników eksperymentu MLflow podlegał katalogowi Unity. Zobacz Organizowanie przebiegów trenowania przy użyciu eksperymentów MLflow.