Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Jako odbiorca czytasz dane i notatniki udostępniane Ci za pomocą protokołu OpenSharing Databricks-to-Databricks , gdzie Databricks zarządza bezpiecznym połączeniem do udostępniania danych. W przeciwieństwie do protokołu OpenSharing open sharing protokół Databricks-to-Databricks nie wymaga pliku danych uwierzytelniających (zabezpieczenia opartego na tokenach).
Udostępnianie danych z usługi Databricks do usługi Databricks wymaga spełnienia obu następujących wymagań:
- Masz dostęp do obszaru roboczego usługi Databricks, który jest włączony dla katalogu Unity.
- Dostawca korzysta z protokołu Databricks-to-Databricks OpenSharing, a nie protokołu databricks-to-Open sharing, który udostępnia plik poświadczeń.
Jeśli dostawca korzysta z otwartego udostępniania (które zapewnia plik poświadczeń), ale masz obszar roboczy z włączonym Unity Catalog, możesz zaimportować dostawcę i odczytać współdzielone dane w usłudze Azure Databricks. Zobacz Importowanie dostawcy i odczytywanie udostępnionych danych w Azure Databricks. Jeśli nie masz obszaru roboczego z włączonym Unity Catalog, zobacz Odczytywanie danych udostępnionych za pomocą tokenów okaziciela.
Jak udostępnić współdzielone dane mojemu zespołowi?
Aby odczytać dane i notesy, które zostały Ci udostępnione przy użyciu protokołu Databricks-to-Databricks, musisz być użytkownikiem obszaru roboczego usługi Databricks, który jest skonfigurowany do używania usługi Unity Catalog. Członek zespołu przekazuje dostawcy danych unikatowy identyfikator metastore Unity Catalog, a dostawca danych wykorzystuje ten identyfikator do utworzenia bezpiecznego połączenia udostępniania z organizacją. Dane udostępnione stają się następnie dostępne do odczytu w obszarze roboczym. Aktualizacje dokonywane przez dostawcę danych w udostępnianych tabelach, widokach, woluminach i partycjach są niemal natychmiast odzwierciedlane w obszarze roboczym. Aktualizacje wprowadzane przez dostawcę danych do współdzielonych umiejętności agenta Unity Catalog docierają do Twojej przestrzeni roboczej asynchronicznie.
Note
Zmiany kolumn, takie jak dodawanie, zmienianie nazw lub usuwanie, mogą nie być wyświetlane w Eksploratorze wykazu przez maksymalnie jedną minutę. Podobnie nowe udziały i aktualizacje udziałów, w tym dodawanie nowych tabel, są buforowane przez minutę, zanim będą dostępne do wyświetlania i wykonywania zapytań.
Note
Tabele w information_schema z wykazu udostępnionego odzwierciedlają metadane przechowywane w Unity Catalog. Te metadane są aktualizowane przez dostawcę tylko wtedy, gdy zapytasz bezpośrednio do tabeli współdzielonej lub wykonasz polecenie takie jak DESCRIBE. Do tego czasu information_schema może wydawać się nieaktualne w porównaniu z danymi dostawcy.
Aby odczytać dane, które zostały Ci udostępnione:
- Użytkownik z Twojego zespołu znajduje ten zasób udostępniony (kontener na tabele, widoki, woluminy i notesy, które zostały Ci udostępnione) i używa tego zasobu do utworzenia katalogu (kontenera najwyższego poziomu dla wszystkich danych w Databricks Unity Catalog).
- Użytkownik w zespole udziela lub odmawia dostępu do katalogu i obiektów w katalogu (schematów, tabel, widoków i woluminów) członkom zespołu.
- Dane są odczytywane w tabelach, widokach i woluminach, do których udzielono dostępu, tak jak każdy zasób danych w usłudze Databricks, do którego masz dostęp tylko do odczytu (
SELECTlubREAD VOLUME). - Możesz wyświetlać podgląd i klonować notesy w sekcji współdzielonej, pod warunkiem posiadania
USE CATALOGuprawnień do katalogu.
Wymagane uprawnienia
Aby móc wyświetlać listę i szczegółowe informacje o wszystkich dostawcach i udziałach dostawców, musisz mieć USE PROVIDER uprawnienia. Inni użytkownicy mają dostęp tylko do dostawców i udziałów, których są właścicielami.
Aby utworzyć katalog z udziału dostawcy, musisz być administratorem metastore, użytkownikiem, który ma zarówno uprawnienia CREATE CATALOG, jak i USE PROVIDER dla Unity Catalog, lub użytkownikiem, który ma zarówno uprawnienia CREATE CATALOG, jak i własność obiektu dostawcy.
Możliwość udzielania dostępu w trybie tylko do odczytu do schematów (baz danych), tabel, widoków i woluminów w katalogu utworzonym z udziału jest zgodna z typową hierarchią uprawnień Unity Catalog. Możliwość wyświetlania notatników w katalogu utworzonym z udostępnienia wymaga uprawnień USE CATALOG w katalogu. Zobacz Zarządzanie uprawnieniami dla schematów, tabel i woluminów w katalogu openSharing.
Dostęp do danych w tabeli współdzielonej lub woluminie
Aby odczytać dane w udostępnionej tabeli lub woluminie:
- Użytkownik uprzywilejowany musi utworzyć katalog na podstawie udziału zawierającego tabelę lub wolumin. Może to być administrator magazynu metadanych, użytkownik, który ma zarówno uprawnienia
CREATE CATALOG, jak iUSE PROVIDERdla Unity Catalog, lub użytkownik, który ma zarówno uprawnieniaCREATE CATALOG, jak i własność obiektu dostawcy. - Ten użytkownik lub użytkownik z tymi samymi uprawnieniami musi udzielić Ci dostępu do udostępnionej tabeli lub woluminu.
- Dostęp do tabeli lub objętości można uzyskać tak samo, jak do każdego innego zasobu danych zarejestrowanego w Katalogu Unity.
Utwórz katalog z udostępnienia
Aby dane w udziale były dostępne dla twojego zespołu, należy utworzyć katalog z udziału lub zamontować udział w istniejącym katalogu udostępnionym. Aby utworzyć katalog z udziału, możesz użyć Eksploratora Katalogu, interfejsu wiersza polecenia Databricks Unity Catalog lub poleceń SQL w notatniku Azure Databricks albo edytorze zapytań SQL Databricks. Aby zainstalować udział w istniejącym wykazie udostępnionym, możesz użyć Eksploratora wykazu.
Uprawnienia wymagane do utworzenia katalogu: administrator metastore, użytkownik posiadający zarówno uprawnienia, CREATE CATALOG jak i USE PROVIDER uprawnień dla metastore Unity Catalog, lub użytkownik posiadający zarówno uprawnienia, CREATE CATALOG jak i własność obiektu dostawcy.
Uprawnienia wymagane do zamontowania udostępniania do istniejącego katalogu: Użytkownik musi posiadać USE PROVIDER uprawnienia lub własność obiektu dostawcy, a także musi być właścicielem istniejącego katalogu współdzielonego lub mieć MANAGE uprawnienia do istniejącego katalogu współdzielonego.
Note
Jeśli tworzysz katalog na podstawie udostępnienia SAP BDC, metadane semantyczne SAP (komentarze tabel i kolumn, klucze podstawowe, klucze obce i tagi zarządzania) są automatycznie synchronizowane z katalogiem. Nie jest wymagana żadna dodatkowa akcja. Aby uzyskać szczegółowe informacje, zobacz metadane semantyczne usługi SAP BDC.
Note
Jeśli zasób zawiera widoki, należy użyć nazwy katalogu innej niż nazwa katalogu zawierającego widok w magazynie metadanych dostawcy.
Eksplorator wykazu
W obszarze roboczym Azure Databricks kliknij pozycję
Katalog aby otworzyć Eksplorator Katalogu.
W górnej części panelu Katalog kliknij ikonę koła zębatego
i wybierz pozycję OpenSharing.
Alternatywnie, w górnym prawym rogu kliknij Udostępnij > OpenSharing.
Na karcie Udostępnione mi znajdź i wybierz dostawcę.
Znajdź żądany udział i kliknij Zamontuj do katalogu w wierszu udziału.
Wybierz Utwórz nowy katalog lub Dołącz do istniejącego katalogu, aby dodać zasób danych do istniejącego katalogu.
Wprowadź nazwę nowego wykazu lub wybierz istniejący wykaz, do którego chcesz dodać udział.
Kliknij Utwórz lub Zamontuj.
Alternatywnie po otwarciu Eksploratora wykazu możesz kliknąć pozycję + > Utwórz wykaz w prawym górnym rogu, aby utworzyć wykaz udostępniony. Zobacz Tworzenie katalogów.
SQL
Uruchom następujące polecenie w notesie lub edytorze zapytań SQL usługi Databricks.
CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
CLI
databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>
Katalog utworzony z udostępnienia ma typ OpenSharing. Typ można wyświetlić na stronie szczegółów wykazu w Eksploratorze wykazu lub uruchamiając polecenie DESCRIBE CATALOG SQL w notesie lub zapytaniu SQL usługi Databricks. Wszystkie udostępnione katalogi są wymienione w Katalog > Shared w okienku po lewej stronie Eksploratora katalogu.
Katalogiem OpenSharing można zarządzać w taki sam sposób jak zwykłymi katalogami w metastore usługi Unity Catalog. Katalog OpenSharing można wyświetlać, aktualizować i usuwać przy użyciu Eksploratora wykazu, interfejsu wiersza polecenia usługi Databricks oraz poleceń SHOW CATALOGS, DESCRIBE CATALOGALTER CATALOG, i DROP CATALOG SQL.
Struktura przestrzeni nazw 3-poziomowej w katalogu OpenSharing utworzonym z udziału jest taka sama jak w zwykłym katalogu w Unity Catalog: catalog.schema.table, catalog.schema.volume, lub catalog.schema.skill.
Dane tabeli i woluminu w katalogu udostępnionym są tylko do odczytu, co oznacza, że można wykonywać operacje odczytu, takie jak:
-
DESCRIBE,SHOW, orazSELECTdla tabel. -
DESCRIBE VOLUME,LIST <volume-path>,SELECT * FROM <format>.'<volume_path>', orazCOPY INTOdla woluminów.
Notatniki w katalogu udostępnionym mogą być przeglądane i klonowane przez dowolnego użytkownika z USE CATALOG w katalogu.
Modele w wykazie udostępnionym można odczytywać i ładować do wnioskowania przez dowolnego użytkownika z następującymi uprawnieniami: EXECUTE uprawnienia do zarejestrowanego modelu oraz uprawnienia USE SCHEMA i USE CATALOG w schemacie i wykazie zawierającym model.
Zarządzanie uprawnieniami dla schematów, tabel i woluminów w katalogu OpenSharing
Domyślnie twórca wykazu jest właścicielem wszystkich obiektów danych w katalogu openSharing i może zarządzać uprawnieniami dla dowolnego z nich.
Uprawnienia są dziedziczone w dół, chociaż niektóre obszary robocze mogą nadal znajdować się w starszym modelu zabezpieczeń, który nie umożliwia dziedziczenia. Zobacz Dziedziczenie uprawnień. Każdy użytkownik, któremu udzielono uprawnień SELECT w wykazie, będzie miał uprawnienia SELECT dla wszystkich schematów i tabel w wykazie, chyba że to uprawnienie zostanie odwołane. Podobnie każdy użytkownik, któremu udzielono uprawnień READ VOLUME w wykazie, będzie miał uprawnienia READ VOLUME dla wszystkich woluminów w wykazie, chyba że to uprawnienie zostanie odwołane. Nie można przyznać uprawnień, które zapewniają dostęp do zapisu lub aktualizacji katalogu lub obiektów openSharing w wykazie openSharing.
Właściciel wykazu może delegować własność obiektów danych innym użytkownikom lub grupom, co pozwala tym użytkownikom zarządzać uprawnieniami obiektów i cyklami życia.
Aby uzyskać szczegółowe informacje na temat zarządzania uprawnieniami do obiektów danych przy użyciu katalogu Unity, zobacz Zarządzanie uprawnieniami w katalogu Unity.
Odczytywanie danych w udostępnionej tabeli
Dane w tabeli udostępnionej można odczytywać za pomocą dowolnych narzędzi dostępnych dla użytkownika usługi Azure Databricks: Eksploratora katalogu, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks oraz interfejsów API REST Databricks. Musisz mieć uprawnienia SELECT w tabeli.
Jeśli dostawca udostępnił tabelę WITH HISTORY, możesz uruchamiać transakcje w tabeli. Aby uzyskać więcej informacji na temat wymagań i ograniczeń transakcji, zobacz Transakcje.
Odczytuj dane w wspólnej tabeli obcej lub schemacie obcym
Jako użytkownik usługi Azure Databricks, możesz odczytywać dane w udostępnionej tabeli zagranicznej lub schemacie zagranicznym, korzystając z dowolnych dostępnych narzędzi: Eksploratora Katalogu, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks oraz interfejsów API REST Databricks. Musisz mieć SELECT uprawnienia do udostępnionej tabeli obcej lub schematu obcego.
Transakcje można uruchamiać w udostępnionych tabelach obcych. Zobacz wymagania i ograniczenia transakcji.
Podczas uzyskiwania dostępu do udostępnionej tabeli obcej lub schematu obcego są dodatkowe koszty. Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.
Ograniczenia: Nie da się obejść ograniczenia klastrowego, aby odczytać udostępnione tabele obce, nawet jeśli dostawca na to pozwala.
Odczyt danych ze współdzielonej tabeli zewnętrznej Iceberg
Dane można odczytywać w udostępnionej zewnętrznej tabeli Iceberg przy użyciu dowolnego z narzędzi dostępnych jako użytkownik Azure Databricks: Eksploratora katalogu, notesów, zapytań SQL, interfejsu wiersza poleceń Databricks i interfejsów API REST Databricks. W Eksploratorze katalogów udostępniona obca tabela Iceberg jest wyświetlana z typem tabeli Foreign i formatem źródła danych Iceberg.
Masz dostęp do źródłowej lokalizacji Góry Lodowej, ale może wykonywać tylko następujące typy zapytań:
- Zapytania migawki
- Zapytania przesyłane strumieniowo
Wymagania:
- Musisz mieć
SELECTuprawnienia dla udostępnionej zewnętrznej tabeli Iceberg. - Musisz użyć środowiska Databricks Runtime 15.4 LTS lub nowszego.
Odczyt danych w udostępnionej tabeli foreign Delta
Możesz odczytywać dane ze współdzielonej zewnętrznej tabeli Delta za pomocą dowolnego z narzędzi dostępnych dla użytkownika usługi Azure Databricks: Catalog Explorer, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks (CLI) oraz interfejsów API REST Databricks. W Catalog Explorer udostępniona tabela zewnętrzna Delta jest wyświetlana z typem tabeli Foreign i formatem źródła danych Delta.
W udostępnianiu Databricks-to-Databricks zewnętrzne tabele Delta są zawsze udostępniane z pełną historią i bez filtra partycjonowania, więc pliki źródłowe Delta są zawsze odczytywane bezpośrednio przy użyciu tokenów chmurowych.
Wymagania:
- Musisz mieć uprawnienie
SELECTdo udostępnionej zewnętrznej tabeli Delta. - Musisz używać Databricks Runtime 16.4 LTS lub nowszego.
Odczyt danych w wolumenie współdzielonym
Dane w udostępnionym woluminie można odczytywać przy użyciu dowolnego narzędzia dostępnego dla Ciebie jako użytkownik Azure Databricks: Eksplorator wykazu, notesy, zapytania SQL, interfejs wiersza polecenia usługi Databricks i interfejsy API REST usługi Databricks. Musisz mieć uprawnienie READ VOLUME na woluminie.
Wykorzystaj umiejętności współdzielonego agenta
Important
Ta funkcja jest dostępna w wersji beta. Administratorzy kont mogą zarządzać dostępem do tej funkcji na stronie podglądów konsoli konta. Zobacz Zarządzanie podglądami na poziomie konta.
Aby korzystać z umiejętności agenta, w tym współdzielonych, na Twoim koncie musi być włączony podgląd Enhanced Unity AI Gateway. Nie potrzebujesz podglądu Agent Skill Sharing.
Umiejętności współdzielonego agenta pojawiają się w katalogu, który tworzysz z udostępniania, obok tabel i woluminów dostawcy. Nazwa, komentarz i zawartość umiejętności pochodzą od dostawcy, a umiejętność jest synchronizowana z oryginałem. Zmiany docierają do twojego obszaru roboczego asynchronicznie. Aby korzystać ze wspólnej umiejętności, potrzebujesz grantu na katalog współdzielony, tak jak w przypadku wspólnych tabel i woluminów. Aby dowiedzieć się, jak agenci ładują umiejętności, zobacz Samouczek: Odkryj i używaj umiejętności Unity Gateway.
Udostępnione umiejętności są tylko do odczytu. Nie możesz edytować udostępnionej umiejętności, przesyłać do niej plików, komentować jej ani usuwać jej. Catalog Explorer ukrywa te działania w przypadku udostępnionych umiejętności. Nie możesz też dodać współdzielonej umiejętności do innego udostępnienia.
Wymagania i ograniczenia dostawcy znajdziesz w artykule Dodawanie umiejętności agenta do udostępnienia.
Czytaj dane chronione przez ABAC i stosuj polityki ABAC
Kontrola dostępu oparta na atrybutach (ABAC) to model zarządzania danymi, który zapewnia elastyczną, skalowalną i scentralizowaną kontrolę dostępu w Azure Databricks.
Twórz polityki ABAC dotyczące współdzielonych tabel, wyświetleń (Beta), zmaterializowanych widoków, tabel streamingowych, schematów i katalogów utworzonych z jednego udostępnienia. Obsługiwane są wyświetlenia materializowane i tabele streamingowe, choć z ograniczeniami. Aby utworzyć polityki ABAC dotyczące współdzielonych widoków, włącz podgląd ABAC on views (Beta). Nie można stosować polityk ABAC do widoków danych. Aby skonfigurować zasady ABAC, zobacz Tworzenie zasad filtrowania wierszy i maski kolumn oraz zarządzanie nimi.
Czytaj kolumny śledzenia wierszy w tabelach współdzielonych
Jeśli dostawca danych włączył śledzenie wierszy w udostępnionej tabeli, możesz wykonać zapytanie dotyczące kolumn metadanych śledzenia wierszy. Listę dostępnych kolumn można znaleźć w artykule Śledzenie wierszy w Azure Databricks.
Sposób uzyskiwania dostępu do tych kolumn zależy od typu udostępnionej tabeli:
Tabele udostępniane z historią i bez filtrów partycji: Możesz wykonywać zapytania dotyczące kolumn śledzenia wierszy bez ograniczeń.
Tabele z filtrami partycji lub tabele udostępniane bez historii: Musisz użyć Scala Spark i wyraźnie ustawić
responseFormatopcję nadelta.spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
Ładowanie modelu udostępnionego na potrzeby wnioskowania
Aby uzyskać szczegółowe informacje na temat ładowania modelu współdzielonego i używania go do wnioskowania wsadowego, zobacz Ładowanie wersji modelu według aliasu dla obciążeń wnioskowania.
Wykonywanie zapytań dotyczących danych historii tabeli
Jeśli historia jest udostępniana wraz z tabelą, możesz wykonać zapytanie o dane tabeli dla wersji lub znacznika czasu. Wymaga środowiska Databricks Runtime 12.2 LTS lub nowszego.
Przykład:
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";
Ponadto, jeśli źródło danych zmian (CDF) jest włączone dla tabeli, możesz wykonać zapytanie dotyczące CDF. Obsługiwane są zarówno wersje, jak i znacznik czasu:
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");
Aby uzyskać więcej informacji na temat zestawienia danych zmian, zobacz Use change data feed on Azure Databricks (Używanie zestawienia zmian danych w Azure Databricks).
Wykonywanie zapytań względem tabeli za pomocą Apache Spark Structured Streaming
Jeśli tabela jest udostępniana z historią, możesz użyć jej jako źródła dla strumieniowego przesyłania danych Spark Structured Streaming. Wymaga środowiska Databricks Runtime 12.2 LTS lub nowszego.
Obsługiwane opcje:
-
ignoreDeletes: Ignoruj transakcje usuwające dane. -
ignoreChanges: Przetwarzaj aktualizacje ponownie, jeśli pliki zostały przepisane w tabeli źródłowej w wyniku operacji zmiany danych, takiej jakUPDATE,MERGE INTO,DELETE(w ramach partycji) lubOVERWRITE. Niezmienione wiersze mogą nadal być emitowane. W związku z tym odbiorcy podrzędni powinni mieć możliwość obsługi duplikatów. Usunięcia nie są propagowane w dół.ignoreChangesobejmujeignoreDeletes. W związku z tym, jeśli używaszignoreChanges, strumień nie będzie zakłócany przez usunięcia lub aktualizacje tabeli źródłowej. -
startingVersion: Wersja współdzielonej tabeli, od której można zacząć. Wszystkie zmiany tabeli rozpoczynające się od tej wersji (włącznie) będą odczytywane przez źródło przesyłania strumieniowego. -
startingTimestamp: Znacznik czasu, od którego warto zacząć. Wszystkie zmiany tabeli zatwierdzone w danym lub późniejszym momencie (włącznie) będą odczytywane przez źródło strumieniowe. Przykład:"2023-01-01 00:00:00.0" -
maxFilesPerTrigger: Liczba nowych plików rozważanych w każdej mikropartii. -
maxBytesPerTrigger: Ilość danych przetwarzanych w każdej mikropartii. Ta opcja ustawia "miękki pułap", co oznacza, że partia przetwarza około tej ilości danych i może przetwarzać więcej niż limit, aby zapytanie strumieniowe mogło kontynuować, gdy najmniejsza jednostka danych wejściowych przekracza ten limit. -
readChangeFeed: Strumieniowo odczytywać strumień danych o zmianach we współdzielonej tabeli.
Obsługiwane wyzwalacze:
-
Trigger.ProcessingTime: Domyślny wyzwalacz, używany gdy nie jest określony wyraźny wyzwalacz. Dane są przetwarzane w sposób ciągły w mikropartiach. -
Trigger.AvailableNow: Zapytanie rejestruje wersję serwerową tabeli współdzielonej na początku, przetwarza backlog jako wiele mikropartii, które respektująmaxFilesPerTriggerimaxVersionsPerRpc, i kończy się, gdy przechwycona wersja zostanie wyczerpana. Wymaga środowiska Databricks Runtime 18.0 lub nowszego dlaresponseFormat=delta;responseFormat=parquetdodatkowo wymaga, aby dołączony plik JARdelta-sharing-clientmiał wersję 1.4.0 lub nowszą (starsze wersje wracają do otoczkiTrigger.AvailableNow, która nie uwzględniamaxVersionsPerRpc). -
Trigger.Once: Wycofane; używajTrigger.AvailableNowzamiast tego. W środowisku Databricks Runtime 17.3 i starszych wersjachTrigger.AvailableNowjest automatycznie konwertowany naTrigger.Once, ponieważ natywna obsługaTrigger.AvailableNowwymaga środowiska Databricks Runtime w wersji 18.0 lub wyższej.
Przykładowe zapytania strukturalnego przesyłania strumieniowego
Scala - język programowania
spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")
Python
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")
Jeśli źródło danych zmian (CDF) jest włączone w tabeli, możesz odczytywać strumieniowo dane ze źródła CDF.
spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")
Stosuj filtry wierszowe i maski kolumnowe
Aby zastosować filtry wierszy i maski kolumn w tabelach i tabelach obcych udostępnionych przez dostawcę danych, zobacz Ręczne stosowanie filtrów wierszy i masek kolumn. Nie można stosować masek kolumn do tabel przesyłania strumieniowego ani zmaterializowanych widoków.
Czytaj tabele z włączonymi wektorami usuwania lub mapowaniem kolumn
Wektory usuwania są funkcją optymalizacji przechowywania, którą Twój dostawca może włączyć w współdzielonych tabelach Delta. Zobacz Wektory usuwania w usłudze Databricks.
Azure Databricks obsługuje również mapowanie kolumn dla tabel Delta. Zobacz Zmień nazwę i usuń kolumny za pomocą mapowania kolumn Delta Lake.
Jeśli dostawca udostępnił tabelę z włączonymi wektorami usuwania lub mapowaniem kolumn, możesz wykonać odczyty wsadowe w tabeli za pomocą magazynu SQL lub klastra z uruchomionym środowiskiem Databricks Runtime 14.1 lub nowszym. Dla zapytań CDF i przesyłania strumieniowego wymagane jest zastosowanie środowiska Databricks Runtime 14.2 lub nowszego.
Możesz wykonywać zapytania wsadowe as-is, ponieważ mogą one automatycznie rozwiązywać responseFormat na podstawie właściwości współdzielonej tabeli.
Aby odczytać strumień danych zmian (CDF) lub wykonywać zapytania strumieniowe na współdzielonych tabelach z włączonymi wektorami usunięć lub mapowaniem kolumn, ustaw dodatkową opcję responseFormat=delta.
responseFormat=delta Jednak jest opcjonalny w następujących przypadkach:
- Jesteś na Databricks Runtime 16.4 lub nowszym i uruchamiasz zapytanie CDF lub zwykłe zapytanie streamingowe na tabelach współdzielonych z włączonymi wektorami usuwania lub mapowaniem kolumn.
- Korzystasz z Databricks Runtime 17.3 lub nowszej i uruchamiasz zapytanie strumieniowe CDF.
W poniższych przykładach pokazano zapytania wsadowe, typu CDF oraz strumieniowe.
import org.apache.spark.sql.SparkSession
// Batch query
spark.read.format("deltaSharing").table(<tableName>)
// CDF query
spark.read.format("deltaSharing")
.option("readChangeFeed", "true")
.option("responseFormat", "delta")
.option("startingVersion", 1)
.table(<tableName>)
// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)
Czytaj udostępniane zarządzane tabele Iceberg
Odczytywanie udostępnionych tabel Iceberg jest takie samo jak odczytywanie tabel udostępnionych z następującymi wyjątkami:
Obsługa udostępniania Databricks-to-Open:
Instrukcje w tym artykule koncentrują się na odczytywaniu udostępnionych danych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów Unity Catalog. Ze względu na ograniczoną obsługę zaawansowanych funkcji Delta przez łączniki OpenSharing wykonywanie zapytań do udostępnionych zarządzanych tabel Iceberg w języku Python oraz za pomocą Tableau i Power BI nie jest obsługiwane.
Strumień danych zmian:
Strumień danych zmian nie jest obsługiwany dla zarządzanych tabel Iceberg.
Azure Databricks Iceberg ograniczenia:
Ograniczenia dotyczą zarówno tabel Iceberg, jak i zarządzanych tabel Iceberg. Zobacz Ograniczenia.
Przeczytaj udostępnione widoki
Odczytywanie widoków udostępnionych jest takie samo jak odczytywanie tabel udostępnionych, z następującymi wyjątkami:
Ograniczenia dotyczące widoków współdzielonych:
- Udostępnione widoki obsługują tylko podzbiór wbudowanych funkcji i operatorów na platformie Databricks. Zobacz Funkcje obsługiwane w udostępnianiu widoków Databricks-to-Databricks.
- Adresaci nie mogą wykonywać zapytań o więcej niż 20 widoków udostępnionych w zapytaniu w udostępnianiu usługi Databricks-to-Databricks. Widoki udostępnione nie mogą pochodzić z więcej niż pięciu różnych udziałów dostawcy.
- Jeśli dostawca pochodzi z tego samego konta lub gdy używasz bezserwerowych obliczeń na innym koncie, nie można wykonywać zapytań dotyczących wielu widoków zależnych od tego samego dostawcy w jednym zapytaniu.
Jeśli na przykład
view1zależy odview2po stronie dostawcy i oba widoki są Ci udostępniane, nie możesz odwoływać się zarówno doview1, jak i doview2w tym samym zapytaniu. - Transakcje można uruchamiać w widokach udostępnionych. Zobacz wymagania i ograniczenia transakcji.
Wymagania dotyczące nazewnictwa:
Nazwa wykazu używana dla wykazu udostępnionego, która zawiera widok, nie może być taka sama jak wykaz dostawców, który zawiera tabelę, do której odwołuje się widok. Jeśli na przykład widok udostępniony znajduje się w test katalogu, a jedna z tabel dostawcy, do której odwołuje się ten widok, znajduje się w wykazie dostawcy test , zapytanie spowoduje błąd konfliktu przestrzeni nazw. Zobacz Tworzenie wykazu na podstawie udziału.
Czas na wynik zapytania:
Jeśli nie masz bezpośredniego dostępu do danych bazowych, usługa Azure Databricks wykonuje materializację na bieżąco podczas wykonywania zapytań dotyczących widoku. Gdy ta materializacja trwa dłużej niż 5 minut, zapytanie zostaje przerwane z powodu upływu limitu czasu. Przełącz się na bezserwerowe zasoby obliczeniowe, aby uniknąć tego ograniczenia.
Historia i strumieniowanie:
Nie można wykonywać zapytań dotyczących historii ani używać widoku jako źródła przesyłania strumieniowego.
Obsługa widoków w udostępnianiu Databricks-to-Open:
Instrukcje w tym artykule koncentrują się na odczytywaniu udostępnionych danych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów Unity Catalog. Możesz również wykonywać zapytania dotyczące widoków udostępnionych przy użyciu platformy Apache Spark, Python i narzędzi analizy biznesowej, takich jak Tableau i Power BI.
Koszty:
Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.
Czytaj wspólne tabele streamingowe i widoki zmaterializowane
Odczytywanie udostępnionych tabel przesyłania strumieniowego i zmaterializowanych widoków jest takie samo jak odczytywanie udostępnionych tabel z następującymi wyjątkami:
Wsparcie w udostępnianiu Databricks-to-Open:
Instrukcje na tej stronie koncentrują się na odczytywaniu danych współdzielonych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów użytkownika Unity Catalog. Możesz również wykonywać zapytania dotyczące udostępnionych tabel przesyłania strumieniowego i zmaterializowanych widoków przy użyciu platformy Apache Spark, Python i narzędzi analizy biznesowej, takich jak Tableau i Power BI. Zobacz Odczytywanie danych udostępnionych za pomocą tokenów bearer.
Transakcje:
- Można wykonywać transakcje na udostępnianych zmaterializowanych widokach i tabelach przesyłania strumieniowego. Zobacz wymagania i ograniczenia transakcji.
Ograniczenia SQL:
- Funkcja
current_recipientnie jest obsługiwana. - Polecenie
DESCRIBE EXTENDEDnie jest obsługiwane.
Mapowanie kolumn:
Jeśli korzystasz z klasycznych zasobów obliczeniowych, gdy otrzymujesz udział z innego konta usługi Azure Databricks, musisz określić responseFormat w sposób pokazany poniżej, gdy wykonujesz zapytania dotyczące zmaterializowanego widoku lub tabel przesyłania strumieniowego z mapowaniem kolumn.
spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")
Jeśli używasz klasycznej mocy obliczeniowej przy udostępnianiu w ramach tego samego konta Azure Databricks lub mocy obliczeniowej bez serwera w dowolnym scenariuszu, możesz wykonywać zapytania bez ograniczeń.
Koszty:
Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.
Wyjątki specyficzne dla zmaterializowanego widoku
Historia:
Nie można wykonywać zapytań dotyczących historii.
Odśwież:
Nie można uzyskać dostępu do stanu odświeżania i harmonogramu odświeżania zmaterializowanego widoku.
Przeglądanie i tworzenie tabel streamingowych:
Nie można tworzyć tabel strumieniowych na udostępnionych zmaterializowanych widokach.
Wyjątki dotyczące tabeli streamingu
Historia:
Historia zapytań jest dostępna w następujących okolicznościach udostępniania usługi Databricks-to-Databricks:
Używasz bezserwerowych zasobów obliczeniowych podczas udostępniania z innym kontem usługi Azure Databricks.
Używasz zasobów obliczeniowych bezserwerowych lub klasycznych podczas udostępniania w ramach tego samego konta Azure Databricks.
Aby uzyskać więcej informacji na temat różnych obliczeń, zobacz Obliczenia.
Odświeżanie:
Nie można uzyskać dostępu do stanu odświeżania i harmonogramu odświeżania tabeli przesyłania strumieniowego.
Odczytywanie udostępnionych widoków metryk
Odczytywanie widoków współdzielonych metryk jest tym samym, co czytanie widoków współdzielonych, z tymi ograniczeniami:
- Możesz wysyłać zapytania do udostępnionego widoku metryk tylko za pomocą bezserwerowych zasobów obliczeniowych.
- Nie masz dostępu do definicji widoku metryki ani YAML.
- Parametry w współdzielonych parametryzowanych widokach metryk są użyteczne w zapytaniach, ale nie są wykrywalne za pomocą poleceń metadanych i API. Aby dowiedzieć się, które parametry akceptuje współdzielony widok metryki, skontaktuj się z dostawcą danych.
- Nie można wykonywać zapytań względem widoku metryki, który odwołuje się do tabel z filtrami wierszy lub maskami kolumn. Skontaktuj się z dostawcą danych, jeśli potrzebujesz dostępu.
- Nie można wysyłać zapytań do widoku metryki, który odwołuje się do tabel objętych zasadami ABAC. Skontaktuj się z dostawcą danych, jeśli potrzebujesz dostępu.
Odczytywanie udostępnionych funkcji UDF języka Python
Odczytywanie udostępnionych UDF w Pythonie jest takie samo jak odczytywanie udostępnionych tabel. Po utworzeniu nowego katalogu dla udziału lub zamontowaniu udziału w istniejącym katalogu, możesz uzyskać dostęp do funkcji UDF w Pythonie i korzystać z niej.
Używaj współdzielonych FeatureSpecs i modeli z automatycznym wyszukiwaniem cech
Po utworzeniu nowego katalogu dla udziału lub podłączeniu udziału do istniejącego katalogu możesz udostępniać jeden z następujących elementów:
- Wdróż współdzielony
FeatureSpecdo endpointu Feature Serving. Zobacz tabele funkcji Serve. - Wdróż model współdzielony z automatycznym wyszukiwaniem cech do punktu końcowego Model Serving. Zobacz Obsługa modelu z automatycznym wyszukiwaniem cech.
W obu przypadkach katalog odbiorcy może mieć inną nazwę niż katalog dostawcy. Azure Databricks automatycznie rozwiązuje zależności współdzielonych funkcji poprzez katalog odbiorców.
Na przykład załóżmy, że współdzielony FeatureSpec lub model z automatycznym wyszukiwaniem cech odwołuje się do tabeli cech prod_features.customer_features.customer_profile. Jeśli nazwiesz katalog odbiorcy shared_features, Azure Databricks rozpoznaje zależność jako shared_features.customer_features.customer_profile.
Wymagania i ograniczenia dotyczące obsługi funkcji i modeli
Następujące wymagania i ograniczenia dotyczą zarówno współdzielonego FeatureSpec, jak i współdzielonego modelu z automatycznym wyszukiwaniem cech:
- Udostępniony
FeatureSpeclub model oraz wszystkie jego zależności muszą znajdować się w tym samym udziale sieciowym. Jeśli zależności ulegną zmianie, dostawca musi dodać pełny, zaktualizowany zestaw zależności do istniejącego udziału. Jeśli dostawca używa nowego udziału sieciowego, musi on zawieraćFeatureSpeclub model oraz wszystkie stare i nowe zależności. - Współdzielony
FeatureSpeclub model nie może korzystać z zależności tworzonych przez odbiorcę. To ograniczenie dotyczy tabel cech oraz funkcji katalogu Unity utworzonych przez odbiorcę. - Tworz sklepy internetowe i obsługuj punkty końcowe w każdym regionie. Zanim zaczniesz serwować współdzielony
FeatureSpecmodel przez Feature Serving lub model przez Model Serving, stwórz sklep internetowy i publikuj zależne tabele w swojej przestrzeni roboczej. Utwórz odpowiedni punkt końcowy obsługujący w każdym regionie, w którym używasz współdzielonegoFeatureSpeclub modelu. Aby uzyskać informacje o tworzeniu sklepów internetowych i publikowaniu tabel, zobacz Databricks Online Feature Stores.
Odczytywanie udostępnionych notesów
Aby wyświetlić podgląd i sklonować pliki udostępnionego notesu, możesz użyć Eksploratora Katalogu.
Ograniczenie pamięci masowej: Jeśli używana pamięć masowa korzysta z prywatnych punktów końcowych, nie możesz odczytywać współdzielonych notatników.
Wymagane uprawnienia: Właściciel katalogu lub użytkownik z uprawnieniem USE CATALOG do katalogu utworzonego z udostępnienia.
W obszarze roboczym Azure Databricks kliknij pozycję
Catalog.
W okienku po lewej stronie rozwiń menu Katalog, znajdź i wybierz katalog utworzony na podstawie udziału.
Na karcie Inne zasoby zobaczysz jakiekolwiek pliki notatek udostępnionych.
Kliknij nazwę udostępnionego pliku notesu, aby wyświetlić jego podgląd.
(Opcjonalnie) Kliknij przycisk Klonuj, aby zaimportować plik notesu udostępnionego do obszaru roboczego.
- W oknie dialogowym Klonuj do opcjonalnie wprowadź Nową nazwą, a następnie wybierz folder obszaru roboczego, do którego chcesz sklonować plik notatnika.
- Kliknij , sklonuj.
- Po sklonowaniu notesu pojawi się okno dialogowe informujące, że został pomyślnie sklonowany. Kliknij pokaż w edytorze notatników w oknie dialogowym, aby to wyświetlić w edytorze notatników.
Zobacz Notesy usługi Databricks.
Odłącz udział
Odmontować udział, aby usunąć zasób danych z katalogu.
Wymagane uprawnienia: Użytkownik z uprawnieniem MANAGE w katalogu współdzielonym.
W obszarze roboczym Azure Databricks kliknij pozycję
Katalog aby otworzyć Eksplorator Katalogu.
W górnej części panelu Katalog kliknij ikonę koła zębatego
i wybierz pozycję OpenSharing.
Alternatywnie, w górnym prawym rogu kliknij Udostępnij > OpenSharing.
Na karcie Udostępnione mi znajdź i wybierz dostawcę.
Kliknij
w pasku udostępniania.
Kliknij Odmontuj udział.
Kliknij przycisk Odinstaluj.