Odczytywanie danych udostępnionych przy użyciu usługi Databricks-to-Databricks OpenSharing (dla adresatów)

Jako odbiorca czytasz dane i notatniki udostępniane Ci za pomocą protokołu OpenSharing Databricks-to-Databricks , gdzie Databricks zarządza bezpiecznym połączeniem do udostępniania danych. W przeciwieństwie do protokołu OpenSharing open sharing protokół Databricks-to-Databricks nie wymaga pliku danych uwierzytelniających (zabezpieczenia opartego na tokenach).

Udostępnianie danych z usługi Databricks do usługi Databricks wymaga spełnienia obu następujących wymagań:

  • Masz dostęp do obszaru roboczego usługi Databricks, który jest włączony dla katalogu Unity.
  • Dostawca korzysta z protokołu Databricks-to-Databricks OpenSharing, a nie protokołu databricks-to-Open sharing, który udostępnia plik poświadczeń.

Jeśli dostawca korzysta z otwartego udostępniania (które zapewnia plik poświadczeń), ale masz obszar roboczy z włączonym Unity Catalog, możesz zaimportować dostawcę i odczytać współdzielone dane w usłudze Azure Databricks. Zobacz Importowanie dostawcy i odczytywanie udostępnionych danych w Azure Databricks. Jeśli nie masz obszaru roboczego z włączonym Unity Catalog, zobacz Odczytywanie danych udostępnionych za pomocą tokenów okaziciela.

Jak udostępnić współdzielone dane mojemu zespołowi?

Aby odczytać dane i notesy, które zostały Ci udostępnione przy użyciu protokołu Databricks-to-Databricks, musisz być użytkownikiem obszaru roboczego usługi Databricks, który jest skonfigurowany do używania usługi Unity Catalog. Członek zespołu przekazuje dostawcy danych unikatowy identyfikator metastore Unity Catalog, a dostawca danych wykorzystuje ten identyfikator do utworzenia bezpiecznego połączenia udostępniania z organizacją. Dane udostępnione stają się następnie dostępne do odczytu w obszarze roboczym. Aktualizacje dokonywane przez dostawcę danych w udostępnianych tabelach, widokach, woluminach i partycjach są niemal natychmiast odzwierciedlane w obszarze roboczym. Aktualizacje wprowadzane przez dostawcę danych do współdzielonych umiejętności agenta Unity Catalog docierają do Twojej przestrzeni roboczej asynchronicznie.

Note

Zmiany kolumn, takie jak dodawanie, zmienianie nazw lub usuwanie, mogą nie być wyświetlane w Eksploratorze wykazu przez maksymalnie jedną minutę. Podobnie nowe udziały i aktualizacje udziałów, w tym dodawanie nowych tabel, są buforowane przez minutę, zanim będą dostępne do wyświetlania i wykonywania zapytań.

Note

Tabele w information_schema z wykazu udostępnionego odzwierciedlają metadane przechowywane w Unity Catalog. Te metadane są aktualizowane przez dostawcę tylko wtedy, gdy zapytasz bezpośrednio do tabeli współdzielonej lub wykonasz polecenie takie jak DESCRIBE. Do tego czasu information_schema może wydawać się nieaktualne w porównaniu z danymi dostawcy.

Aby odczytać dane, które zostały Ci udostępnione:

  1. Użytkownik z Twojego zespołu znajduje ten zasób udostępniony (kontener na tabele, widoki, woluminy i notesy, które zostały Ci udostępnione) i używa tego zasobu do utworzenia katalogu (kontenera najwyższego poziomu dla wszystkich danych w Databricks Unity Catalog).
  2. Użytkownik w zespole udziela lub odmawia dostępu do katalogu i obiektów w katalogu (schematów, tabel, widoków i woluminów) członkom zespołu.
  3. Dane są odczytywane w tabelach, widokach i woluminach, do których udzielono dostępu, tak jak każdy zasób danych w usłudze Databricks, do którego masz dostęp tylko do odczytu (SELECT lub READ VOLUME).
  4. Możesz wyświetlać podgląd i klonować notesy w sekcji współdzielonej, pod warunkiem posiadania USE CATALOG uprawnień do katalogu.

Wymagane uprawnienia

Aby móc wyświetlać listę i szczegółowe informacje o wszystkich dostawcach i udziałach dostawców, musisz mieć USE PROVIDER uprawnienia. Inni użytkownicy mają dostęp tylko do dostawców i udziałów, których są właścicielami.

Aby utworzyć katalog z udziału dostawcy, musisz być administratorem metastore, użytkownikiem, który ma zarówno uprawnienia CREATE CATALOG, jak i USE PROVIDER dla Unity Catalog, lub użytkownikiem, który ma zarówno uprawnienia CREATE CATALOG, jak i własność obiektu dostawcy.

Możliwość udzielania dostępu w trybie tylko do odczytu do schematów (baz danych), tabel, widoków i woluminów w katalogu utworzonym z udziału jest zgodna z typową hierarchią uprawnień Unity Catalog. Możliwość wyświetlania notatników w katalogu utworzonym z udostępnienia wymaga uprawnień USE CATALOG w katalogu. Zobacz Zarządzanie uprawnieniami dla schematów, tabel i woluminów w katalogu openSharing.

Dostęp do danych w tabeli współdzielonej lub woluminie

Aby odczytać dane w udostępnionej tabeli lub woluminie:

  1. Użytkownik uprzywilejowany musi utworzyć katalog na podstawie udziału zawierającego tabelę lub wolumin. Może to być administrator magazynu metadanych, użytkownik, który ma zarówno uprawnienia CREATE CATALOG, jak i USE PROVIDER dla Unity Catalog, lub użytkownik, który ma zarówno uprawnienia CREATE CATALOG, jak i własność obiektu dostawcy.
  2. Ten użytkownik lub użytkownik z tymi samymi uprawnieniami musi udzielić Ci dostępu do udostępnionej tabeli lub woluminu.
  3. Dostęp do tabeli lub objętości można uzyskać tak samo, jak do każdego innego zasobu danych zarejestrowanego w Katalogu Unity.

Utwórz katalog z udostępnienia

Aby dane w udziale były dostępne dla twojego zespołu, należy utworzyć katalog z udziału lub zamontować udział w istniejącym katalogu udostępnionym. Aby utworzyć katalog z udziału, możesz użyć Eksploratora Katalogu, interfejsu wiersza polecenia Databricks Unity Catalog lub poleceń SQL w notatniku Azure Databricks albo edytorze zapytań SQL Databricks. Aby zainstalować udział w istniejącym wykazie udostępnionym, możesz użyć Eksploratora wykazu.

Uprawnienia wymagane do utworzenia katalogu: administrator metastore, użytkownik posiadający zarówno uprawnienia, CREATE CATALOG jak i USE PROVIDER uprawnień dla metastore Unity Catalog, lub użytkownik posiadający zarówno uprawnienia, CREATE CATALOG jak i własność obiektu dostawcy.

Uprawnienia wymagane do zamontowania udostępniania do istniejącego katalogu: Użytkownik musi posiadać USE PROVIDER uprawnienia lub własność obiektu dostawcy, a także musi być właścicielem istniejącego katalogu współdzielonego lub mieć MANAGE uprawnienia do istniejącego katalogu współdzielonego.

Note

Jeśli tworzysz katalog na podstawie udostępnienia SAP BDC, metadane semantyczne SAP (komentarze tabel i kolumn, klucze podstawowe, klucze obce i tagi zarządzania) są automatycznie synchronizowane z katalogiem. Nie jest wymagana żadna dodatkowa akcja. Aby uzyskać szczegółowe informacje, zobacz metadane semantyczne usługi SAP BDC.

Note

Jeśli zasób zawiera widoki, należy użyć nazwy katalogu innej niż nazwa katalogu zawierającego widok w magazynie metadanych dostawcy.

Eksplorator wykazu

  1. W obszarze roboczym Azure Databricks kliknij pozycję Ikona Danych.Katalog aby otworzyć Eksplorator Katalogu.

  2. W górnej części panelu Katalog kliknij ikonę koła zębatego i wybierz pozycję OpenSharing.

    Alternatywnie, w górnym prawym rogu kliknij Udostępnij > OpenSharing.

  3. Na karcie Udostępnione mi znajdź i wybierz dostawcę.

  4. Znajdź żądany udział i kliknij Zamontuj do katalogu w wierszu udziału.

  5. Wybierz Utwórz nowy katalog lub Dołącz do istniejącego katalogu, aby dodać zasób danych do istniejącego katalogu.

  6. Wprowadź nazwę nowego wykazu lub wybierz istniejący wykaz, do którego chcesz dodać udział.

  7. Kliknij Utwórz lub Zamontuj.

Alternatywnie po otwarciu Eksploratora wykazu możesz kliknąć pozycję + > Utwórz wykaz w prawym górnym rogu, aby utworzyć wykaz udostępniony. Zobacz Tworzenie katalogów.

SQL

Uruchom następujące polecenie w notesie lub edytorze zapytań SQL usługi Databricks.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

Katalog utworzony z udostępnienia ma typ OpenSharing. Typ można wyświetlić na stronie szczegółów wykazu w Eksploratorze wykazu lub uruchamiając polecenie DESCRIBE CATALOG SQL w notesie lub zapytaniu SQL usługi Databricks. Wszystkie udostępnione katalogi są wymienione w Katalog > Shared w okienku po lewej stronie Eksploratora katalogu.

Katalogiem OpenSharing można zarządzać w taki sam sposób jak zwykłymi katalogami w metastore usługi Unity Catalog. Katalog OpenSharing można wyświetlać, aktualizować i usuwać przy użyciu Eksploratora wykazu, interfejsu wiersza polecenia usługi Databricks oraz poleceń SHOW CATALOGS, DESCRIBE CATALOGALTER CATALOG, i DROP CATALOG SQL.

Struktura przestrzeni nazw 3-poziomowej w katalogu OpenSharing utworzonym z udziału jest taka sama jak w zwykłym katalogu w Unity Catalog: catalog.schema.table, catalog.schema.volume, lub catalog.schema.skill.

Dane tabeli i woluminu w katalogu udostępnionym są tylko do odczytu, co oznacza, że można wykonywać operacje odczytu, takie jak:

  • DESCRIBE, SHOW, oraz SELECT dla tabel.
  • DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>', oraz COPY INTO dla woluminów.

Notatniki w katalogu udostępnionym mogą być przeglądane i klonowane przez dowolnego użytkownika z USE CATALOG w katalogu.

Modele w wykazie udostępnionym można odczytywać i ładować do wnioskowania przez dowolnego użytkownika z następującymi uprawnieniami: EXECUTE uprawnienia do zarejestrowanego modelu oraz uprawnienia USE SCHEMA i USE CATALOG w schemacie i wykazie zawierającym model.

Zarządzanie uprawnieniami dla schematów, tabel i woluminów w katalogu OpenSharing

Domyślnie twórca wykazu jest właścicielem wszystkich obiektów danych w katalogu openSharing i może zarządzać uprawnieniami dla dowolnego z nich.

Uprawnienia są dziedziczone w dół, chociaż niektóre obszary robocze mogą nadal znajdować się w starszym modelu zabezpieczeń, który nie umożliwia dziedziczenia. Zobacz Dziedziczenie uprawnień. Każdy użytkownik, któremu udzielono uprawnień SELECT w wykazie, będzie miał uprawnienia SELECT dla wszystkich schematów i tabel w wykazie, chyba że to uprawnienie zostanie odwołane. Podobnie każdy użytkownik, któremu udzielono uprawnień READ VOLUME w wykazie, będzie miał uprawnienia READ VOLUME dla wszystkich woluminów w wykazie, chyba że to uprawnienie zostanie odwołane. Nie można przyznać uprawnień, które zapewniają dostęp do zapisu lub aktualizacji katalogu lub obiektów openSharing w wykazie openSharing.

Właściciel wykazu może delegować własność obiektów danych innym użytkownikom lub grupom, co pozwala tym użytkownikom zarządzać uprawnieniami obiektów i cyklami życia.

Aby uzyskać szczegółowe informacje na temat zarządzania uprawnieniami do obiektów danych przy użyciu katalogu Unity, zobacz Zarządzanie uprawnieniami w katalogu Unity.

Odczytywanie danych w udostępnionej tabeli

Dane w tabeli udostępnionej można odczytywać za pomocą dowolnych narzędzi dostępnych dla użytkownika usługi Azure Databricks: Eksploratora katalogu, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks oraz interfejsów API REST Databricks. Musisz mieć uprawnienia SELECT w tabeli.

Jeśli dostawca udostępnił tabelę WITH HISTORY, możesz uruchamiać transakcje w tabeli. Aby uzyskać więcej informacji na temat wymagań i ograniczeń transakcji, zobacz Transakcje.

Odczytuj dane w wspólnej tabeli obcej lub schemacie obcym

Jako użytkownik usługi Azure Databricks, możesz odczytywać dane w udostępnionej tabeli zagranicznej lub schemacie zagranicznym, korzystając z dowolnych dostępnych narzędzi: Eksploratora Katalogu, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks oraz interfejsów API REST Databricks. Musisz mieć SELECT uprawnienia do udostępnionej tabeli obcej lub schematu obcego.

Transakcje można uruchamiać w udostępnionych tabelach obcych. Zobacz wymagania i ograniczenia transakcji.

Podczas uzyskiwania dostępu do udostępnionej tabeli obcej lub schematu obcego są dodatkowe koszty. Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.

Ograniczenia: Nie da się obejść ograniczenia klastrowego, aby odczytać udostępnione tabele obce, nawet jeśli dostawca na to pozwala.

Odczyt danych ze współdzielonej tabeli zewnętrznej Iceberg

Dane można odczytywać w udostępnionej zewnętrznej tabeli Iceberg przy użyciu dowolnego z narzędzi dostępnych jako użytkownik Azure Databricks: Eksploratora katalogu, notesów, zapytań SQL, interfejsu wiersza poleceń Databricks i interfejsów API REST Databricks. W Eksploratorze katalogów udostępniona obca tabela Iceberg jest wyświetlana z typem tabeli Foreign i formatem źródła danych Iceberg.

Masz dostęp do źródłowej lokalizacji Góry Lodowej, ale może wykonywać tylko następujące typy zapytań:

  • Zapytania migawki
  • Zapytania przesyłane strumieniowo

Wymagania:

  • Musisz mieć SELECT uprawnienia dla udostępnionej zewnętrznej tabeli Iceberg.
  • Musisz użyć środowiska Databricks Runtime 15.4 LTS lub nowszego.

Odczyt danych w udostępnionej tabeli foreign Delta

Możesz odczytywać dane ze współdzielonej zewnętrznej tabeli Delta za pomocą dowolnego z narzędzi dostępnych dla użytkownika usługi Azure Databricks: Catalog Explorer, notesów, zapytań SQL, interfejsu wiersza polecenia Databricks (CLI) oraz interfejsów API REST Databricks. W Catalog Explorer udostępniona tabela zewnętrzna Delta jest wyświetlana z typem tabeli Foreign i formatem źródła danych Delta.

W udostępnianiu Databricks-to-Databricks zewnętrzne tabele Delta są zawsze udostępniane z pełną historią i bez filtra partycjonowania, więc pliki źródłowe Delta są zawsze odczytywane bezpośrednio przy użyciu tokenów chmurowych.

Wymagania:

  • Musisz mieć uprawnienie SELECT do udostępnionej zewnętrznej tabeli Delta.
  • Musisz używać Databricks Runtime 16.4 LTS lub nowszego.

Odczyt danych w wolumenie współdzielonym

Dane w udostępnionym woluminie można odczytywać przy użyciu dowolnego narzędzia dostępnego dla Ciebie jako użytkownik Azure Databricks: Eksplorator wykazu, notesy, zapytania SQL, interfejs wiersza polecenia usługi Databricks i interfejsy API REST usługi Databricks. Musisz mieć uprawnienie READ VOLUME na woluminie.

Wykorzystaj umiejętności współdzielonego agenta

Important

Ta funkcja jest dostępna w wersji beta. Administratorzy kont mogą zarządzać dostępem do tej funkcji na stronie podglądów konsoli konta. Zobacz Zarządzanie podglądami na poziomie konta.

Aby korzystać z umiejętności agenta, w tym współdzielonych, na Twoim koncie musi być włączony podgląd Enhanced Unity AI Gateway. Nie potrzebujesz podglądu Agent Skill Sharing.

Umiejętności współdzielonego agenta pojawiają się w katalogu, który tworzysz z udostępniania, obok tabel i woluminów dostawcy. Nazwa, komentarz i zawartość umiejętności pochodzą od dostawcy, a umiejętność jest synchronizowana z oryginałem. Zmiany docierają do twojego obszaru roboczego asynchronicznie. Aby korzystać ze wspólnej umiejętności, potrzebujesz grantu na katalog współdzielony, tak jak w przypadku wspólnych tabel i woluminów. Aby dowiedzieć się, jak agenci ładują umiejętności, zobacz Samouczek: Odkryj i używaj umiejętności Unity Gateway.

Udostępnione umiejętności są tylko do odczytu. Nie możesz edytować udostępnionej umiejętności, przesyłać do niej plików, komentować jej ani usuwać jej. Catalog Explorer ukrywa te działania w przypadku udostępnionych umiejętności. Nie możesz też dodać współdzielonej umiejętności do innego udostępnienia.

Wymagania i ograniczenia dostawcy znajdziesz w artykule Dodawanie umiejętności agenta do udostępnienia.

Czytaj dane chronione przez ABAC i stosuj polityki ABAC

Kontrola dostępu oparta na atrybutach (ABAC) to model zarządzania danymi, który zapewnia elastyczną, skalowalną i scentralizowaną kontrolę dostępu w Azure Databricks.

Twórz polityki ABAC dotyczące współdzielonych tabel, wyświetleń (Beta), zmaterializowanych widoków, tabel streamingowych, schematów i katalogów utworzonych z jednego udostępnienia. Obsługiwane są wyświetlenia materializowane i tabele streamingowe, choć z ograniczeniami. Aby utworzyć polityki ABAC dotyczące współdzielonych widoków, włącz podgląd ABAC on views (Beta). Nie można stosować polityk ABAC do widoków danych. Aby skonfigurować zasady ABAC, zobacz Tworzenie zasad filtrowania wierszy i maski kolumn oraz zarządzanie nimi.

Czytaj kolumny śledzenia wierszy w tabelach współdzielonych

Jeśli dostawca danych włączył śledzenie wierszy w udostępnionej tabeli, możesz wykonać zapytanie dotyczące kolumn metadanych śledzenia wierszy. Listę dostępnych kolumn można znaleźć w artykule Śledzenie wierszy w Azure Databricks.

Sposób uzyskiwania dostępu do tych kolumn zależy od typu udostępnionej tabeli:

  • Tabele udostępniane z historią i bez filtrów partycji: Możesz wykonywać zapytania dotyczące kolumn śledzenia wierszy bez ograniczeń.

  • Tabele z filtrami partycji lub tabele udostępniane bez historii: Musisz użyć Scala Spark i wyraźnie ustawić responseFormat opcję na delta.

    spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
    

Ładowanie modelu udostępnionego na potrzeby wnioskowania

Aby uzyskać szczegółowe informacje na temat ładowania modelu współdzielonego i używania go do wnioskowania wsadowego, zobacz Ładowanie wersji modelu według aliasu dla obciążeń wnioskowania.

Wykonywanie zapytań dotyczących danych historii tabeli

Jeśli historia jest udostępniana wraz z tabelą, możesz wykonać zapytanie o dane tabeli dla wersji lub znacznika czasu. Wymaga środowiska Databricks Runtime 12.2 LTS lub nowszego.

Przykład:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Ponadto, jeśli źródło danych zmian (CDF) jest włączone dla tabeli, możesz wykonać zapytanie dotyczące CDF. Obsługiwane są zarówno wersje, jak i znacznik czasu:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Aby uzyskać więcej informacji na temat zestawienia danych zmian, zobacz Use change data feed on Azure Databricks (Używanie zestawienia zmian danych w Azure Databricks).

Wykonywanie zapytań względem tabeli za pomocą Apache Spark Structured Streaming

Jeśli tabela jest udostępniana z historią, możesz użyć jej jako źródła dla strumieniowego przesyłania danych Spark Structured Streaming. Wymaga środowiska Databricks Runtime 12.2 LTS lub nowszego.

Obsługiwane opcje:

  • ignoreDeletes: Ignoruj transakcje usuwające dane.
  • ignoreChanges: Przetwarzaj aktualizacje ponownie, jeśli pliki zostały przepisane w tabeli źródłowej w wyniku operacji zmiany danych, takiej jak UPDATE, MERGE INTO, DELETE (w ramach partycji) lub OVERWRITE. Niezmienione wiersze mogą nadal być emitowane. W związku z tym odbiorcy podrzędni powinni mieć możliwość obsługi duplikatów. Usunięcia nie są propagowane w dół. ignoreChanges obejmuje ignoreDeletes. W związku z tym, jeśli używasz ignoreChanges, strumień nie będzie zakłócany przez usunięcia lub aktualizacje tabeli źródłowej.
  • startingVersion: Wersja współdzielonej tabeli, od której można zacząć. Wszystkie zmiany tabeli rozpoczynające się od tej wersji (włącznie) będą odczytywane przez źródło przesyłania strumieniowego.
  • startingTimestamp: Znacznik czasu, od którego warto zacząć. Wszystkie zmiany tabeli zatwierdzone w danym lub późniejszym momencie (włącznie) będą odczytywane przez źródło strumieniowe. Przykład: "2023-01-01 00:00:00.0"
  • maxFilesPerTrigger: Liczba nowych plików rozważanych w każdej mikropartii.
  • maxBytesPerTrigger: Ilość danych przetwarzanych w każdej mikropartii. Ta opcja ustawia "miękki pułap", co oznacza, że partia przetwarza około tej ilości danych i może przetwarzać więcej niż limit, aby zapytanie strumieniowe mogło kontynuować, gdy najmniejsza jednostka danych wejściowych przekracza ten limit.
  • readChangeFeed: Strumieniowo odczytywać strumień danych o zmianach we współdzielonej tabeli.

Obsługiwane wyzwalacze:

  • Trigger.ProcessingTime: Domyślny wyzwalacz, używany gdy nie jest określony wyraźny wyzwalacz. Dane są przetwarzane w sposób ciągły w mikropartiach.
  • Trigger.AvailableNow: Zapytanie rejestruje wersję serwerową tabeli współdzielonej na początku, przetwarza backlog jako wiele mikropartii, które respektują maxFilesPerTrigger i maxVersionsPerRpc, i kończy się, gdy przechwycona wersja zostanie wyczerpana. Wymaga środowiska Databricks Runtime 18.0 lub nowszego dla responseFormat=delta; responseFormat=parquet dodatkowo wymaga, aby dołączony plik JAR delta-sharing-client miał wersję 1.4.0 lub nowszą (starsze wersje wracają do otoczki Trigger.AvailableNow, która nie uwzględnia maxVersionsPerRpc).
  • Trigger.Once: Wycofane; używaj Trigger.AvailableNow zamiast tego. W środowisku Databricks Runtime 17.3 i starszych wersjach Trigger.AvailableNow jest automatycznie konwertowany na Trigger.Once, ponieważ natywna obsługa Trigger.AvailableNow wymaga środowiska Databricks Runtime w wersji 18.0 lub wyższej.

Przykładowe zapytania strukturalnego przesyłania strumieniowego

Scala - język programowania
spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")
Python
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Jeśli źródło danych zmian (CDF) jest włączone w tabeli, możesz odczytywać strumieniowo dane ze źródła CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Stosuj filtry wierszowe i maski kolumnowe

Aby zastosować filtry wierszy i maski kolumn w tabelach i tabelach obcych udostępnionych przez dostawcę danych, zobacz Ręczne stosowanie filtrów wierszy i masek kolumn. Nie można stosować masek kolumn do tabel przesyłania strumieniowego ani zmaterializowanych widoków.

Czytaj tabele z włączonymi wektorami usuwania lub mapowaniem kolumn

Wektory usuwania są funkcją optymalizacji przechowywania, którą Twój dostawca może włączyć w współdzielonych tabelach Delta. Zobacz Wektory usuwania w usłudze Databricks.

Azure Databricks obsługuje również mapowanie kolumn dla tabel Delta. Zobacz Zmień nazwę i usuń kolumny za pomocą mapowania kolumn Delta Lake.

Jeśli dostawca udostępnił tabelę z włączonymi wektorami usuwania lub mapowaniem kolumn, możesz wykonać odczyty wsadowe w tabeli za pomocą magazynu SQL lub klastra z uruchomionym środowiskiem Databricks Runtime 14.1 lub nowszym. Dla zapytań CDF i przesyłania strumieniowego wymagane jest zastosowanie środowiska Databricks Runtime 14.2 lub nowszego.

Możesz wykonywać zapytania wsadowe as-is, ponieważ mogą one automatycznie rozwiązywać responseFormat na podstawie właściwości współdzielonej tabeli.

Aby odczytać strumień danych zmian (CDF) lub wykonywać zapytania strumieniowe na współdzielonych tabelach z włączonymi wektorami usunięć lub mapowaniem kolumn, ustaw dodatkową opcję responseFormat=delta.

responseFormat=delta Jednak jest opcjonalny w następujących przypadkach:

  • Jesteś na Databricks Runtime 16.4 lub nowszym i uruchamiasz zapytanie CDF lub zwykłe zapytanie streamingowe na tabelach współdzielonych z włączonymi wektorami usuwania lub mapowaniem kolumn.
  • Korzystasz z Databricks Runtime 17.3 lub nowszej i uruchamiasz zapytanie strumieniowe CDF.

W poniższych przykładach pokazano zapytania wsadowe, typu CDF oraz strumieniowe.

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Czytaj udostępniane zarządzane tabele Iceberg

Odczytywanie udostępnionych tabel Iceberg jest takie samo jak odczytywanie tabel udostępnionych z następującymi wyjątkami:

Obsługa udostępniania Databricks-to-Open:

Instrukcje w tym artykule koncentrują się na odczytywaniu udostępnionych danych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów Unity Catalog. Ze względu na ograniczoną obsługę zaawansowanych funkcji Delta przez łączniki OpenSharing wykonywanie zapytań do udostępnionych zarządzanych tabel Iceberg w języku Python oraz za pomocą Tableau i Power BI nie jest obsługiwane.

Strumień danych zmian:

Strumień danych zmian nie jest obsługiwany dla zarządzanych tabel Iceberg.

Azure Databricks Iceberg ograniczenia:

Ograniczenia dotyczą zarówno tabel Iceberg, jak i zarządzanych tabel Iceberg. Zobacz Ograniczenia.

Przeczytaj udostępnione widoki

Odczytywanie widoków udostępnionych jest takie samo jak odczytywanie tabel udostępnionych, z następującymi wyjątkami:

Ograniczenia dotyczące widoków współdzielonych:

  • Udostępnione widoki obsługują tylko podzbiór wbudowanych funkcji i operatorów na platformie Databricks. Zobacz Funkcje obsługiwane w udostępnianiu widoków Databricks-to-Databricks.
  • Adresaci nie mogą wykonywać zapytań o więcej niż 20 widoków udostępnionych w zapytaniu w udostępnianiu usługi Databricks-to-Databricks. Widoki udostępnione nie mogą pochodzić z więcej niż pięciu różnych udziałów dostawcy.
  • Jeśli dostawca pochodzi z tego samego konta lub gdy używasz bezserwerowych obliczeń na innym koncie, nie można wykonywać zapytań dotyczących wielu widoków zależnych od tego samego dostawcy w jednym zapytaniu. Jeśli na przykład view1 zależy od view2 po stronie dostawcy i oba widoki są Ci udostępniane, nie możesz odwoływać się zarówno do view1, jak i do view2 w tym samym zapytaniu.
  • Transakcje można uruchamiać w widokach udostępnionych. Zobacz wymagania i ograniczenia transakcji.

Wymagania dotyczące nazewnictwa:

Nazwa wykazu używana dla wykazu udostępnionego, która zawiera widok, nie może być taka sama jak wykaz dostawców, który zawiera tabelę, do której odwołuje się widok. Jeśli na przykład widok udostępniony znajduje się w test katalogu, a jedna z tabel dostawcy, do której odwołuje się ten widok, znajduje się w wykazie dostawcy test , zapytanie spowoduje błąd konfliktu przestrzeni nazw. Zobacz Tworzenie wykazu na podstawie udziału.

Czas na wynik zapytania:

Jeśli nie masz bezpośredniego dostępu do danych bazowych, usługa Azure Databricks wykonuje materializację na bieżąco podczas wykonywania zapytań dotyczących widoku. Gdy ta materializacja trwa dłużej niż 5 minut, zapytanie zostaje przerwane z powodu upływu limitu czasu. Przełącz się na bezserwerowe zasoby obliczeniowe, aby uniknąć tego ograniczenia.

Historia i strumieniowanie:

Nie można wykonywać zapytań dotyczących historii ani używać widoku jako źródła przesyłania strumieniowego.

Obsługa widoków w udostępnianiu Databricks-to-Open:

Instrukcje w tym artykule koncentrują się na odczytywaniu udostępnionych danych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów Unity Catalog. Możesz również wykonywać zapytania dotyczące widoków udostępnionych przy użyciu platformy Apache Spark, Python i narzędzi analizy biznesowej, takich jak Tableau i Power BI.

Koszty:

Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.

Czytaj wspólne tabele streamingowe i widoki zmaterializowane

Odczytywanie udostępnionych tabel przesyłania strumieniowego i zmaterializowanych widoków jest takie samo jak odczytywanie udostępnionych tabel z następującymi wyjątkami:

Wsparcie w udostępnianiu Databricks-to-Open:

Instrukcje na tej stronie koncentrują się na odczytywaniu danych współdzielonych przy użyciu interfejsów użytkownika Azure Databricks, w szczególności składni i interfejsów użytkownika Unity Catalog. Możesz również wykonywać zapytania dotyczące udostępnionych tabel przesyłania strumieniowego i zmaterializowanych widoków przy użyciu platformy Apache Spark, Python i narzędzi analizy biznesowej, takich jak Tableau i Power BI. Zobacz Odczytywanie danych udostępnionych za pomocą tokenów bearer.

Transakcje:

Ograniczenia SQL:

  • Funkcja current_recipient nie jest obsługiwana.
  • Polecenie DESCRIBE EXTENDED nie jest obsługiwane.

Mapowanie kolumn:

Jeśli korzystasz z klasycznych zasobów obliczeniowych, gdy otrzymujesz udział z innego konta usługi Azure Databricks, musisz określić responseFormat w sposób pokazany poniżej, gdy wykonujesz zapytania dotyczące zmaterializowanego widoku lub tabel przesyłania strumieniowego z mapowaniem kolumn.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Jeśli używasz klasycznej mocy obliczeniowej przy udostępnianiu w ramach tego samego konta Azure Databricks lub mocy obliczeniowej bez serwera w dowolnym scenariuszu, możesz wykonywać zapytania bez ograniczeń.

Koszty:

Informacje o tym, jak obliczane są koszty udostępniania, znajdziesz w artykule Jak ponieść i sprawdzić koszty OpenSharing?.

Wyjątki specyficzne dla zmaterializowanego widoku

Historia:

Nie można wykonywać zapytań dotyczących historii.

Odśwież:

Nie można uzyskać dostępu do stanu odświeżania i harmonogramu odświeżania zmaterializowanego widoku.

Przeglądanie i tworzenie tabel streamingowych:

Nie można tworzyć tabel strumieniowych na udostępnionych zmaterializowanych widokach.

Wyjątki dotyczące tabeli streamingu

Historia:

Historia zapytań jest dostępna w następujących okolicznościach udostępniania usługi Databricks-to-Databricks:

  • Używasz bezserwerowych zasobów obliczeniowych podczas udostępniania z innym kontem usługi Azure Databricks.

  • Używasz zasobów obliczeniowych bezserwerowych lub klasycznych podczas udostępniania w ramach tego samego konta Azure Databricks.

Aby uzyskać więcej informacji na temat różnych obliczeń, zobacz Obliczenia.

Odświeżanie:

Nie można uzyskać dostępu do stanu odświeżania i harmonogramu odświeżania tabeli przesyłania strumieniowego.

Odczytywanie udostępnionych widoków metryk

Odczytywanie widoków współdzielonych metryk jest tym samym, co czytanie widoków współdzielonych, z tymi ograniczeniami:

  • Możesz wysyłać zapytania do udostępnionego widoku metryk tylko za pomocą bezserwerowych zasobów obliczeniowych.
  • Nie masz dostępu do definicji widoku metryki ani YAML.
  • Parametry w współdzielonych parametryzowanych widokach metryk są użyteczne w zapytaniach, ale nie są wykrywalne za pomocą poleceń metadanych i API. Aby dowiedzieć się, które parametry akceptuje współdzielony widok metryki, skontaktuj się z dostawcą danych.
  • Nie można wykonywać zapytań względem widoku metryki, który odwołuje się do tabel z filtrami wierszy lub maskami kolumn. Skontaktuj się z dostawcą danych, jeśli potrzebujesz dostępu.
  • Nie można wysyłać zapytań do widoku metryki, który odwołuje się do tabel objętych zasadami ABAC. Skontaktuj się z dostawcą danych, jeśli potrzebujesz dostępu.

Odczytywanie udostępnionych funkcji UDF języka Python

Odczytywanie udostępnionych UDF w Pythonie jest takie samo jak odczytywanie udostępnionych tabel. Po utworzeniu nowego katalogu dla udziału lub zamontowaniu udziału w istniejącym katalogu, możesz uzyskać dostęp do funkcji UDF w Pythonie i korzystać z niej.

Używaj współdzielonych FeatureSpecs i modeli z automatycznym wyszukiwaniem cech

Po utworzeniu nowego katalogu dla udziału lub podłączeniu udziału do istniejącego katalogu możesz udostępniać jeden z następujących elementów:

W obu przypadkach katalog odbiorcy może mieć inną nazwę niż katalog dostawcy. Azure Databricks automatycznie rozwiązuje zależności współdzielonych funkcji poprzez katalog odbiorców.

Na przykład załóżmy, że współdzielony FeatureSpec lub model z automatycznym wyszukiwaniem cech odwołuje się do tabeli cech prod_features.customer_features.customer_profile. Jeśli nazwiesz katalog odbiorcy shared_features, Azure Databricks rozpoznaje zależność jako shared_features.customer_features.customer_profile.

Wymagania i ograniczenia dotyczące obsługi funkcji i modeli

Następujące wymagania i ograniczenia dotyczą zarówno współdzielonego FeatureSpec, jak i współdzielonego modelu z automatycznym wyszukiwaniem cech:

  • Udostępniony FeatureSpec lub model oraz wszystkie jego zależności muszą znajdować się w tym samym udziale sieciowym. Jeśli zależności ulegną zmianie, dostawca musi dodać pełny, zaktualizowany zestaw zależności do istniejącego udziału. Jeśli dostawca używa nowego udziału sieciowego, musi on zawierać FeatureSpec lub model oraz wszystkie stare i nowe zależności.
  • Współdzielony FeatureSpec lub model nie może korzystać z zależności tworzonych przez odbiorcę. To ograniczenie dotyczy tabel cech oraz funkcji katalogu Unity utworzonych przez odbiorcę.
  • Tworz sklepy internetowe i obsługuj punkty końcowe w każdym regionie. Zanim zaczniesz serwować współdzielony FeatureSpec model przez Feature Serving lub model przez Model Serving, stwórz sklep internetowy i publikuj zależne tabele w swojej przestrzeni roboczej. Utwórz odpowiedni punkt końcowy obsługujący w każdym regionie, w którym używasz współdzielonego FeatureSpec lub modelu. Aby uzyskać informacje o tworzeniu sklepów internetowych i publikowaniu tabel, zobacz Databricks Online Feature Stores.

Odczytywanie udostępnionych notesów

Aby wyświetlić podgląd i sklonować pliki udostępnionego notesu, możesz użyć Eksploratora Katalogu.

Ograniczenie pamięci masowej: Jeśli używana pamięć masowa korzysta z prywatnych punktów końcowych, nie możesz odczytywać współdzielonych notatników.

Wymagane uprawnienia: Właściciel katalogu lub użytkownik z uprawnieniem USE CATALOG do katalogu utworzonego z udostępnienia.

  1. W obszarze roboczym Azure Databricks kliknij pozycję Ikona danych.Catalog.

  2. W okienku po lewej stronie rozwiń menu Katalog, znajdź i wybierz katalog utworzony na podstawie udziału.

  3. Na karcie Inne zasoby zobaczysz jakiekolwiek pliki notatek udostępnionych.

  4. Kliknij nazwę udostępnionego pliku notesu, aby wyświetlić jego podgląd.

  5. (Opcjonalnie) Kliknij przycisk Klonuj, aby zaimportować plik notesu udostępnionego do obszaru roboczego.

    1. W oknie dialogowym Klonuj do opcjonalnie wprowadź Nową nazwą, a następnie wybierz folder obszaru roboczego, do którego chcesz sklonować plik notatnika.
    2. Kliknij , sklonuj.
    3. Po sklonowaniu notesu pojawi się okno dialogowe informujące, że został pomyślnie sklonowany. Kliknij pokaż w edytorze notatników w oknie dialogowym, aby to wyświetlić w edytorze notatników.

    Zobacz Notesy usługi Databricks.

Odłącz udział

Odmontować udział, aby usunąć zasób danych z katalogu.

Wymagane uprawnienia: Użytkownik z uprawnieniem MANAGE w katalogu współdzielonym.

  1. W obszarze roboczym Azure Databricks kliknij pozycję Ikona Danych.Katalog aby otworzyć Eksplorator Katalogu.

  2. W górnej części panelu Katalog kliknij ikonę koła zębatego i wybierz pozycję OpenSharing.

    Alternatywnie, w górnym prawym rogu kliknij Udostępnij > OpenSharing.

  3. Na karcie Udostępnione mi znajdź i wybierz dostawcę.

  4. Kliknij ikonę menu Kebab. w pasku udostępniania.

  5. Kliknij Odmontuj udział.

  6. Kliknij przycisk Odinstaluj.