Skróty OneLake

Skróty w usłudze Microsoft OneLake ujednolicają dane między domenami, chmurami i kontami, tworząc usługę OneLake jako pojedynczy magazyn danych wirtualnych dla całego przedsiębiorstwa. Środowiska usługi Fabric i mechanizmy analityczne mogą łączyć się z istniejącymi źródłami danych, w tym z platformą Azure, usługami Amazon Web Services (AWS) oraz usługą OneLake, w ramach ujednoliconej przestrzeni nazw. Usługa OneLake zarządza wszystkimi uprawnieniami i poświadczeniami, dlatego nie trzeba oddzielnie konfigurować każdego obciążenia Fabric w celu nawiązania połączenia z poszczególnymi źródłami danych. Ponadto można użyć szybkich skrótów, aby wyeliminować zbędne kopie danych i zmniejszyć opóźnienie procesu związane z kopiowaniem i etapowaniem danych. Skróty zachowują również synchronizację z danymi źródłowymi, w tym automatyczne aktualizacje schematu dla tabel skrótów.

Co to są skróty?

Skróty to obiekty w usłudze OneLake wskazujące na inne lokalizacje przechowywania. Lokalizacja może być wewnętrzna lub zewnętrzna dla usługi OneLake. Lokalizacja wskazująca skrót to ścieżka docelowa skrótu. Lokalizacja, w której pojawia się skrót, to ścieżka skrótu.

Skróty są wyświetlane jako foldery w usłudze OneLake oraz wszystkie obciążenia lub usługi, które mają dostęp do usługi OneLake, mogą ich używać. Skróty zachowują się jak linki symboliczne. Są one obiektem niezależnym od obiektu docelowego. Jeśli usuniesz skrót, obiekt docelowy pozostanie nienaruszony. Jeśli przenosisz, zmieniasz nazwę lub usuwasz ścieżkę docelową, skrót może zostać przerwany.

Gdzie można tworzyć skróty?

Możesz tworzyć skróty w lakehouses i bazach danych Kusto Query Language (KQL).

Portal Fabric umożliwia interaktywne tworzenie skrótów i programowe tworzenie skrótów za pomocą interfejsu API REST.

Lakehouse

Podczas tworzenia skrótów w systemie Lakehouse należy zrozumieć strukturę folderów elementu. Lakehouses mają dwa najwyższego poziomu foldery: folder Tabele i folder Pliki. Folder tables jest przeznaczony dla zestawów danych ze strukturą. Folder plików jest dla danych nieustrukturyzowanych lub częściowo ustrukturyzowanych.

W folderze Tables można tworzyć skróty tylko na najwyższym poziomie. Usługa OneLake nie obsługuje skrótów w podkatalogach folderu Tables . Skróty w sekcji Tabele zwykle wskazują wewnętrzne źródła w usłudze OneLake lub link do innych zasobów danych, które są zgodne z formatem tabeli delty. Jeśli element docelowy skrótu zawiera dane w obsługiwanym formacie tabeli (takim jak delta), usługa Lakehouse automatycznie synchronizuje metadane tabeli i rozpoznaje folder jako tabelę.

Schematy tabel są synchronizowane automatycznie dla wszystkich tabel skrótów, w tym zarówno nowych, jak i istniejących tabel. Ta synchronizacja gwarantuje, że zmiany schematu w źródle zostaną odzwierciedlone w skrótach bez konieczności ręcznego aktualizowania. Skróty w sekcji Tabele mogą łączyć się z pojedynczą tabelą lub schematem, który jest folderem nadrzędnym dla wielu tabel.

Uwaga

Format delty nie obsługuje tabel z znakami spacji w nazwie. Usługa OneLake nie rozpoznaje żadnego skrótu zawierającego spację w nazwie jako tabelę delty w lakehouse.

W folderze plików nie ma żadnych ograniczeń dotyczących tego, gdzie można tworzyć skróty. Skróty można tworzyć na dowolnym poziomie hierarchii folderów. Odnajdywanie tabel nie jest wykonywane w folderze plików. Skróty w tym miejscu mogą wskazywać na wewnętrzne systemy magazynowania OneLake i zewnętrzne z danymi w dowolnym formacie.

Diagram przedstawiający widok Plików i widok Tabel obok siebie.

Baza danych KQL

Po utworzeniu skrótu w bazie danych KQL zostanie on wyświetlony w folderze Skróty bazy danych. Baza danych KQL traktuje skróty tak, jak tabele zewnętrzne. Aby wysłać zapytanie do skrótu, użyj funkcji external_table języka zapytań Kusto.

Skróty bazy danych usługi Eventhouse

Podczas tworzenia skrótu bazy danych w Eventhouse można wybrać opcję uwzględnienia wszystkich elementów podrzędnych ze źródłowej bazy danych lub wybrania określonych elementów podrzędnych do udostępnienia. Ta funkcja udostępniania na poziomie tabeli umożliwia bezpieczne, kontrolowane udostępnianie danych bez uwidaczniania całych baz danych.

Wybieranie określonych elementów podrzędnych

Podczas tworzenia nowego skrótu bazy danych można wybrać spośród następujących typów subitem:

• Tabele — regularne tabele ze źródłowej bazy danych
• Tabele skrótów — tabele będące skrótami
• Zmaterializowane widoki — wstępnie skompilowane widoki dla zoptymalizowanych zapytań
• Funkcje — funkcje przechowywane dla logiki zapytań wielokrotnego użytku

Aby wybrać określone elementy podrzędne:

1. W obiekcie Eventhouse wybierz pozycję + Nowy>Skrót bazy danych.
2. Wybierz metodę identyfikowania źródłowej bazy danych:
   • Katalog OneLake — przeglądaj i wybierz bazę danych z Fabric.
   • Identyfikator URI klastra — ręcznie wprowadź identyfikator URI klastra Azure Data Explorer i nazwę bazy danych.
   • Token zaproszenia — wklej token wystawiony przez producenta danych. Wybór subitem jest wstępnie zdefiniowany przez producenta.
3. W sekcji Elementy podrzędne do uwzględnienia wybierz opcję Uwzględnij wszystkie elementy podrzędne (domyślnie) lub Wybierz określone elementy podrzędne.
4. Jeśli wybierzesz konkretne elementy podrzędne, użyj wbudowanego selektora, aby filtrować według typu i wyszukiwać według nazwy.
5. Wybierz pozycję Utwórz , aby utworzyć skrót.

Uwaga

Możesz zobaczyć tylko elementy podrzędne i wybrać, do których masz uprawnienia do udostępniania. Subitems, do których nie masz uprawnień do udostępniania, są ukryte.

Automatyczna synchronizacja schematu

Istnieją dwa typy automatycznej synchronizacji schematów dla skrótów bazy danych eventhouse:

• Automatyczna synchronizacja schematu dla skrótu do bazy danych: dodaje lub usuwa tabele, tabele skrótowe, widoki materializowane i funkcje. Ta synchronizacja następuje tylko wtedy, gdy utworzysz skrót do bazy danych i wybierzesz Include all subitems (Uwzględnij wszystkie podelementy). Jeśli wybierzesz tylko podzbiór podelementów, ta synchronizacja nie ma zastosowania.
• Automatyczna synchronizacja schematu dla tabeli skrótów: Dodaje, usuwa lub zmienia nazwy kolumn oraz zmienia typy kolumn. Ta synchronizacja zachodzi domyślnie dla wszystkich tabel skrótów, chyba że wyłączysz ją za pomocą polecenia KQL w poniższym przykładzie.

Odbiorcy udziału współdzielonego na poziomie tabeli mogą wykonywać zapytania i wyświetlać tylko elementy podrzędne jawnie uwzględnione w tym udziale. Nazwy nieudostępnianych elementów podrzędnych nie są widoczne dla użytkowników.

Aby wyłączyć automatyczną synchronizację schematu dla tabeli skrótów, uruchom następujące polecenie w bazie danych źródłowej:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Zależności subitem

Po wybraniu elementów podrzędnych system automatycznie obsługuje zależności:

• Po wybraniu zmaterializowanego widoku lub funkcji zostaną automatycznie wybrane określone tabele.
• Po usunięciu zaznaczenia widoku zmaterializowanego lub funkcji tabele, do których się odwołuje, pozostają zaznaczone.
• Po usunięciu zaznaczenia tabeli wszystkie zmaterializowane widoki lub funkcje, które są od niej zależne, są automatycznie usuwane.

Uwaga

Gdy uzyskujesz dostęp do tabeli skrótów, możesz wykonywać zapytania dotyczące tabeli i wyświetlać jej metadane tylko wtedy, gdy masz uprawnienia zarówno dla obserwowanej bazy danych, jak i danych źródłowych tabeli skrótów. Te same wymagania dotyczące uprawnień dotyczą funkcji i zmaterializowanych widoków odwołujących się do tabel skrótów.

Gdzie można uzyskać dostęp do skrótów?

Każda usługa Fabric lub inna niż Fabric, która może uzyskiwać dostęp do danych w usłudze OneLake, może używać skrótów. Skróty są przezroczyste dla wszystkich usług, które uzyskują dostęp do danych za pośrednictwem interfejsu API OneLake. Skróty pojawiają się po prostu jako kolejny folder w jeziorze. Usługi Apache Spark, SQL, Analizy w czasie rzeczywistym i Analysis Services mogą używać skrótów podczas wykonywania zapytań dotyczących danych.

Apache Spark

Notesy platformy Apache Spark i zadania platformy Apache Spark mogą używać skrótów tworzonych w usłudze OneLake. Użyj względnych ścieżek plików, aby odczytywać dane bezpośrednio ze skrótów. Ponadto, jeśli utworzysz skrót w sekcji Tabele usługi Lakehouse i jest on w formacie Delta, możesz go odczytać jako tabelę zarządzaną przy użyciu składni Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Skróty można odczytać w sekcji Tabele w lakehouse za pośrednictwem punktu końcowego analityki SQL dla lakehouse. Dostęp do punktu końcowego analizy SQL można uzyskać za pomocą selektora trybu lakehouse lub za pośrednictwem SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Analiza w czasie rzeczywistym

Skróty w bazach danych KQL są rozpoznawane jako tabele zewnętrzne. Aby wysłać zapytanie do skrótu, użyj funkcji external_table języka zapytań Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Można tworzyć modele semantyczne dla lakehouse'ów zawierające skróty w sekcji Tabele. Gdy model semantyczny działa w trybie Direct Lake, usługi Analysis Services mogą odczytywać dane bezpośrednio ze skrótu.

Usługi inne niż Fabric

Aplikacje i usługi poza Fabric mogą również uzyskiwać dostęp do skrótów za pośrednictwem interfejsu API OneLake. OneLake obsługuje podzbiór interfejsów API przechowywania ADLS Gen2 i Blob. Aby dowiedzieć się więcej o interfejsie API OneLake, zobacz OneLake access with APIs (Dostęp do usługi OneLake za pomocą interfejsów API).

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typy skrótów

Skróty w usłudze OneLake obsługują wiele źródeł danych systemu plików. Te źródła obejmują wewnętrzne lokalizacje usługi OneLake i zewnętrzne lub inne niż Microsoft źródła.

Możesz również tworzeć skróty do lokalizacji lokalnych lub z ograniczeniami sieci przy użyciu Fabric lokalnej bramy danych (OPDG).

Wewnętrzne skróty "OneLake"

Użyj wewnętrznych skrótów OneLake, aby odwoływać się do danych w istniejących elementach Fabric, w tym:

• Bazy danych KQL
• Domy nad jeziorem
• Odzwierciedlone katalogi Azure Databricks
• Dublowane bazy danych
• Modele semantyczne
• Bazy danych SQL
• Magazyny

Aby uzyskać instrukcje dotyczące tworzenia skrótu wewnętrznego, zobacz Tworzenie wewnętrznego skrótu OneLake.

Skrót może wskazywać lokalizację folderu w obrębie tego samego elementu, między elementami w tym samym obszarze roboczym, a nawet między elementami w różnych obszarach roboczych. Podczas tworzenia skrótu między elementami typy elementów nie muszą być zgodne. Można na przykład utworzyć skrót w usłudze Lakehouse, która wskazuje dane w magazynie.

Gdy użytkownik uzyskuje dostęp do danych z innej lokalizacji OneLake za pomocą skrótu, usługa OneLake używa tożsamości użytkownika wywołującego do autoryzowania dostępu do danych. Ten użytkownik musi mieć uprawnienia w lokalizacji docelowej, aby odczytać dane.

Ważne

Gdy użytkownicy uzyskują dostęp do skrótów za pośrednictwem modeli semantycznych Power BI przy użyciu Direct Lake over SQL lub aparatów T-SQL w trybie tożsamości delegowanej, tożsamość wywołującego użytkownika nie jest przekazywana do obiektu docelowego skrótu. Zamiast tego przekazywana jest tożsamość właściciela wywoływanego elementu, co przyznaje dostęp wywołującemu użytkownikowi. Aby rozwiązać ten problem, użyj modeli semantycznych Power BI w trybie Direct Lake za pośrednictwem trybu OneLake lub języka T-SQL w trybie tożsamości użytkownika.

Skróty zewnętrzne OneLake

Aby uzyskać szczegółowe instrukcje dotyczące tworzenia określonego typu skrótu, wybierz artykuł z tej listy obsługiwanych źródeł zewnętrznych:

• Skróty usługi Amazon S3
• Skróty zgodne ze standardem Amazon S3
• Skróty Azure Data Lake Storage (ADLS) Gen 2
• skróty Azure Blob Storage
• Skróty usługi Dataverse
• Skróty usługi Google Cloud Storage
• Skróty góry lodowej
• Skróty OneDrive i SharePoint

Buforowanie

Buforowanie skrótów może zmniejszyć koszty wychodzące związane z dostępem do danych między chmurami. Gdy usługa OneLake odczytuje pliki za pomocą skrótu zewnętrznego, usługa przechowuje pliki w pamięci podręcznej dla obszaru roboczego Fabric. Usługa OneLake odpowiada na kolejne żądania odczytu z pamięci podręcznej, a nie od zdalnego dostawcy magazynu. Okres przechowywania plików buforowanych można ustawić między 1–28 dni. Za każdym razem, gdy uzyskujesz dostęp do pliku, okres przechowywania jest resetowany. Jeśli magazyn zdalny udostępnia najnowszą wersję pliku niż wersja pamięci podręcznej, usługa OneLake obsługuje żądanie od dostawcy magazynu zdalnego i aktualizuje plik w pamięci podręcznej. Jeśli nie uzyskujesz dostępu do pliku w wybranym okresie przechowywania, zostanie on przeczyszczone z pamięci podręcznej. Pojedyncze pliki o rozmiarze większym niż 1 GB nie są buforowane.

Uwaga

Buforowanie skrótów obsługuje obecnie skróty usługi Google Cloud Storage (GCS), S3, zgodne z S3 i lokalne skróty bramy danych.

Buforowanie jest również obsługiwane dla lokalnych skrótów Amazon S3, które używają uwierzytelniania jednostki usługi Microsoft Entra.

Aby włączyć buforowanie skrótów, otwórz panel Ustawienia obszaru roboczego . Wybierz kartę OneLake . Przełącz ustawienie pamięci podręcznej na Włączone i wybierz okres przechowywania.

Pamięć podręczną można wyczyścić w dowolnym momencie. Na tej samej stronie ustawień wybierz przycisk Resetuj pamięć podręczną. Ta akcja usuwa wszystkie pliki z pamięci podręcznej skrótów w tym obszarze roboczym.

Jak skróty korzystają z połączeń w chmurze

Skróty ADLS i S3 delegują autoryzację przy użyciu połączeń w chmurze. Podczas tworzenia nowego skrótu usługi ADLS lub S3 należy utworzyć nowe połączenie lub wybrać istniejące połączenie dla źródła danych. Ustawienie połączenia dla skrótu jest operacją wiązania. Tylko użytkownicy z uprawnieniami do połączenia mogą wykonać operację powiązania. Jeśli nie masz uprawnień do połączenia, nie możesz tworzyć nowych skrótów przy użyciu tego połączenia.

Aby uzyskać więcej informacji na temat wyświetlania i aktualizowania połączeń w chmurze, zobacz Zarządzanie połączeniami dla skrótów.

Bezpieczeństwo skrótów

Skróty wymagają pewnych uprawnień do zarządzania i używania. Zabezpieczenie skrótów OneLake wyjaśnia uprawnienia potrzebne do tworzenia skrótów i uzyskiwania dostępu do danych poprzez nie.

Jak skróty radzą sobie z usunięciami?

Skróty nie obsługują kaskadowego usuwania. Usunięcie skrótu powoduje usunięcie tylko obiektu skrótu. Dane w obiekcie docelowym skrótów pozostają niezmienione. Jeśli jednak usuniesz plik lub folder w ramach skrótu i masz uprawnienia w obiekcie docelowym skrótu do wykonania operacji usuwania, usuniesz również plik lub folder w obiekcie docelowym.

Przykładem może być dom nad jeziorem z następującą ścieżką: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut to skrót wskazujący konto usługi ADLS Gen2 zawierające katalogi Foo\Bar .

Jeśli usuniesz MyLakehouse\Files\MyShortcut, usuniesz skrót MyShortcut z lakehouse, ale pliki i katalogi na koncie ADLS Gen2 Foo\Bar pozostaną nienaruszone.

Jeśli usuniesz MyLakehouse\Files\MyShortcut\Foo\Bar, a posiadasz uprawnienia do zapisu na koncie ADLS Gen2, usuniesz katalog Bar z konta ADLS Gen2.

Jako kolejny przykład rozważmy lakehouse z obsługą schematu, w którym znajduje się następująca ścieżka: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut to skrót schematu wskazujący konto usługi ADLS Gen2 zawierające katalog Dir1 .

Jeśli usuniesz MyLakehouse\Tables\MySchemaShortcut, usuniesz skrót schematu MySchemaShortcut z lakehouse, ale pliki i katalogi na koncie ADLS Gen2 Dir1 pozostają nienaruszone.

Jeśli usuniesz MyLakehouse\Tables\MySchemaShortcut\Dir1element i masz uprawnienia do zapisu na koncie usługi ADLS Gen2, usuniesz katalog Dir1 z konta usługi ADLS Gen2.

Widok zależności obszaru roboczego

Podczas tworzenia skrótów między wieloma elementami Fabric w obszarze roboczym można wizualizować relacje skrótów za pomocą widoku pochodzenia obszaru roboczego. Wybierz przycisk Widok pochodzenia ( ) w prawym górnym rogu Eksploratora obszaru roboczego.

Uwaga

Widok zależności jest ograniczony do pojedynczego obszaru roboczego. Skróty do lokalizacji spoza wybranego obszaru roboczego nie są wyświetlane.

Ograniczenia i istotne zagadnienia

• Każdy element Fabric obsługuje maksymalnie 100 000 skrótów. W tym kontekście termin item odnosi się do aplikacji, lakehouses, magazynów, raportów i nie tylko.
• Pojedyncza ścieżka OneLake obsługuje maksymalnie 10 skrótów.
• Maksymalna liczba bezpośrednich skrótów do linków wynosi 5.
• Nazwy skrótów, ścieżki nadrzędne i ścieżki docelowe nie mogą zawierać znaków "%" ani "+".
• Skróty nie obsługują znaków innych niż łacińskie.
• Informacje o pochodzeniu danych dla skrótów do magazynów i modeli semantycznych nie są obecnie dostępne.
• Skrót Fabric automatycznie synchronizuje się ze źródłem. Aktualizacje schematu i metadanych są stosowane bez ręcznej interwencji, ale czas propagacji może się różnić ze względu na wydajność źródła danych, buforowane widoki lub łączność sieciową.
• Rozpoznanie nowych skrótów przez API tabeli może potrwać do minuty.
• Skróty schematu można tworzyć tylko w obiektach typu lakehouse z obsługą schematu.

Powiązana zawartość

• Utwórz skrót OneLake
• Przenieś skróty do nowego regionu
• Używanie skrótów OneLake dla interfejsów API REST