Skratky oneLake

Skratky v Microsoft OneLake zjednotia vaše dáta naprieč doménami, cloudmi a účtami tým, že sa OneLake stane jediným virtuálnym dátovým jazerom pre celý váš podnik. Fabric zážitky a analytické enginy sa môžu pripojiť k vašim existujúcim dátovým zdrojom, vrátane Azure, Amazon Web Services (AWS) a OneLake prostredníctvom jednotného menného priestoru. OneLake spravuje všetky oprávnenia a prihlasovacie údaje, takže nemusíte každý Fabric workload samostatne konfigurovať na pripojenie ku každému zdroju dát. Okrem toho môžete použiť odkazy na odstránenie okrajových kópií údajov a zníženie latencie procesu, ktorá sa spája s kópiami údajov a fázou. Skratky tiež udržiavajú synchronizáciu so zdrojovými dátami, vrátane automatických aktualizácií schémy pre tabuľky skratiek.

Čo sú skratky?

Skratky sú objekty v službe OneLake, ktoré smerujú na iné miesta úložiska. Umiestnenie môže byť interné alebo externé pre OneLake. Miesto, na ktoré skratka ukazuje, je cieľová cesta skratky. Miesto, kde sa skratka objavuje, je cesta skratky.

Skratky sa zobrazia ako priečinky v službe OneLake a môžete ich použiť vo všetkých vyťaženiach alebo službách, ktoré majú prístup k službe OneLake. Skratky sa správajú ako symbolické prepojenia. Sú to nezávislé objekty od cieľa. Ak skratku odstránite, cieľ zostane nezmenený. Ak presuniete, premenujete alebo odstránite cieľovú cestu, odkaz môže porušiť.

Kde môžem vytvárať skratky?

Skratky môžete vytvoriť v databázach lakehouses a Kusto Query Language (KQL).

Môžete použiť Fabric portál na interaktívne vytváranie skratiek a môžete použiť REST API na programové vytváranie skratiek.

Stredisko dátového jazera

Pri vytváraní skratiek v objekte lakehouse musíte pochopiť štruktúru priečinkov položky. Lakehouses majú dva priečinky na vrchnej úrovni: priečinok Tables a priečinok Súbory . Priečinok tabuľky je určený pre štruktúrované dátové súbory. Zložka súborov je určená pre nestruktúrované alebo polostruktúrované dáta.

V priečinku Tabuľky môžete vytvárať skratky len na najvyššej úrovni. OneLake nepodporuje skratky v podadresároch priečinka Tabuľky . Skratky v sekcii Tabuľky zvyčajne smerujú na interné zdroje v OneLake alebo odkazujú na iné dátové aktíva, ktoré zodpovedajú formátu tabuľky Delta. Ak cieľová skratka obsahuje údaje v podporovanom formáte tabuľky (napríklad Delta), lakehouse automaticky synchronizuje metadáta tabuliek a rozpozná priečinok ako tabuľku.

Schémy tabuliek sa automaticky synchronizujú pre všetky skratkové tabuľky, vrátane nových aj existujúcich tabuliek. Táto synchronizácia zabezpečuje, že zmeny schémy v zdroji sa odrážajú v skratke bez nutnosti manuálnych aktualizácií. Skratky v sekcii Tabuľky môžu odkazovať buď na jednu tabuľku, alebo na schému, ktorá je nadradenou zložkou pre viacero tabuliek.

Poznámka

Formát Delta nepodporuje tabuľky s medzerami v názve. OneLake nerozpoznáva žiadnu skratku obsahujúcu medzeru v názve ako Delta tabuľku v lakehouse.

V priečinku súbory nie sú žiadne obmedzenia, kde môžete vytvárať skratky. Skratky môžete vytvárať na akejkoľvek úrovni hierarchie priečinkov. Objavovanie tabuliek neprebieha v priečinku súborov. Skratky tu môžu viesť buď na interné OneLake alebo externé úložiská s dátami v akomkoľvek formáte.

Databáza KQL

Keď vytvoríte odkaz v databáze KQL, zobrazí sa v priečinku Shortcuts (Skratky ) databázy. Databáza KQL zaobchádza s odkazmi ako s externými tabuľkami. Ak chcete odkaz dotazovať, použite external_table funkciu jazyka dotazu Kusto.

Skratky v databáze Eventhouse

Keď vytvoríte databázovú skratku v eventhouse, môžete si vybrať, či zahrniete všetky podpoložky zo zdrojovej databázy, alebo vybrať konkrétne podpoložky na zdieľanie. Táto schopnosť zdieľania na úrovni tabuliek umožňuje bezpečné a kontrolované zdieľanie dát bez vystavenia celým databázam.

Vyberte konkrétne podpoložky

Pri vytváraní novej databázovej skratky si môžete vybrať z nasledujúcich typov podpoložiek:

• Tabuľky - Bežné tabuľky zo zdrojovej databázy
• Tabuľky skratiek - Tabuľky, ktoré sú samy o sebe skratkami
• Materializované pohľady - Predpočítané pohľady pre optimalizované dotazy
• Funkcie - Uložené funkcie pre opakovane použiteľnú logiku dotazov

Na výber konkrétnych podpoložiek:

1. V eventhouse vyberteskratku> databáza.
2. Vyberte metódu identifikácie zdrojovej databázy:
   • Katalóg OneLake – Prehliadajte a vyberte databázu z Fabric.
   • Cluster URI - manuálne zadajte URI a názov databázy Azure Data Explorer clusteru.
   • Pozvánkový token – Vložte token vydaný producentom dát. Výber podpoložiek je vopred definovaný producentom.
3. V sekcii Podpoložky na zahrnutie vyberte Zahrnúť všetky podpoložky (predvolené) alebo Vyberte konkrétne podpoložky.
4. Ak vyberiete konkrétne podpoložky, použite inline picker na filtrovanie podľa typu a vyhľadávanie podľa názvu.
5. Vyberte Create na vytvorenie skratky.

Poznámka

Môžete vidieť a vybrať len podpoložky, ktoré máte povolenie zdieľať. Podpoložky, ktoré nemáte povolenie zdieľať, sú skryté.

Automatická synchronizácia schémy

Existujú dva typy automatickej synchronizácie schémy pre skratky v databáze eventhouse:

• Automatická synchronizácia schémy pre databázovú skratku: Pridáva alebo odstraňuje tabuľky, tabuľky skratiek, materializované pohľady a funkcie. Táto synchronizácia nastáva len vtedy, keď vytvoríte databázovú skratku a vyberiete Zahrnúť všetky podpoložky. Ak vyberiete len podmnožinu podpoložiek, táto synchronizácia sa neuplatní.
• Automatická synchronizácia schémy pre tabuľku skratiek: Pridáva, maže alebo premenováva stĺpce a mení typy stĺpcov. Táto synchronizácia sa štandardne deje pre všetky tabuľky skratiek, pokiaľ ju nevypnete príkazom KQL v nasledujúcom príklade.

Spotrebitelia zdieľania na úrovni tabuľky môžu vyhľadávať a zobrazovať iba podpoložky explicitne zahrnuté v zdieľaní. Názvy nezdieľaných podpoložiek nie sú pre spotrebiteľov viditeľné.

Na deaktiváciu automatickej synchronizácie schémy pre tabuľku skratiek spustite v zdrojovej databáze nasledujúci príkaz:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Závislosti podpoložiek

Keď vyberiete podpoložky, systém automaticky spracováva závislosti:

• Keď vyberiete materializovaný pohľad alebo funkciu, odkazované tabuľky sa automaticky vyberú.
• Keď odznačíte materializovaný pohľad alebo funkciu, odkazované tabuľky zostávajú vybrané.
• Keď odznačíte tabuľku, všetky materializované pohľady alebo funkcie, ktoré od nej závisia, sa automaticky odznačujú.

Poznámka

Keď pristupujete k tabuľke skratiek, môžete sa na tabuľku dotazovať a zobraziť jej metadáta len vtedy, ak máte oprávnenia pre sledovanú databázu aj zdrojové dáta tabuľky skratiek. Rovnaké požiadavky na povolenia platia pre funkcie a materializované pohľady, ktoré odkazujú na tabuľky skratiek.

Kde môžem získať prístup k odkazom?

Každá služba Fabric alebo ne-Fabric, ktorá má prístup k dátam v OneLake, môže používať skratky. Skratky sú transparentné pre akúkoľvek službu, ktorá pristupuje k údajom prostredníctvom rozhrania API OneLake. Skratky sa zobrazia ako ďalší priečinok v úložiske Lake. Apache Spark, SQL, Real-Time Intelligence a Analysis Services môžu pri dotazovaní údajov používať skratky.

Apache Spark

Notebooky Apache Spark a Apache Spark môžu používať skratky, ktoré vytvoríte v službe OneLake. Používajte relatívne cesty k súborom na priame čítanie dát zo skratiek. Okrem toho, ak vytvoríte odkaz v časti Tabuľky na jazere a je vo formáte Delta, môžete ju prečítať ako spravovanú tabuľku pomocou syntaxe Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Môžete si prečítať odkazy v tabuľkách časti jazera cez koncový bod analýzy SQL pre lakehouse. K SQL analytics endpointu môžete pristupovať cez výber režimu v lakehouse alebo cez SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Inteligencia v reálnom čase

Skratky v databázach KQL sú rozpoznané ako externé tabuľky. Ak chcete odkaz dotazovať, použite external_table funkciu jazyka dotazu Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Môžete vytvoriť sémantické modely pre úžináreň lakehouse, ktoré obsahujú skratky v sekcii Tabuľky v úžine lakehouse. Keď je sémantický model spustený v režime Direct Lake, služba Analysis Services môže čítať údaje priamo z odkazu.

Non-Fabric služby

Aplikácie a služby mimo Fabric môžu tiež pristupovať k skratkám cez OneLake API. OneLake podporuje podmnožinu rozhraní ADLS Gen2 a rozhrania API ukladacieho priestoru objektu Blob. Ďalšie informácie o rozhraní API OneLake nájdete v téme Prístup do služby OneLake s rozhraniami API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typy skratiek

Skratky v OneLake podporujú viacero zdrojov dát súborového systému. Tieto zdroje zahŕňajú interné lokality OneLake a externé alebo ne-Microsoft zdroje.

Môžete tiež vytvárať skratky na lokálne alebo sieťovo obmedzené lokality pomocou Fabric on-premises dátovej brány (OPDG).

Interné skratky OneLake

Použite interné skratky OneLake na referenciu dát v existujúcich Fabric položkách, vrátane:

• Databázy KQL
• Domovy jazier
• Mirrored Azure Databricks Catalogs
• Zrkadlové databázy
• Sémantické modely
• Databázy SQL
• Sklady

Pre inštrukcie na vytvorenie internej skratky pozri Vytvoriť internú OneLake skratku.

Odkaz môže odkazovať na umiestnenie priečinka v rámci tej istej položky v rámci položiek v rámci toho istého pracovného priestoru alebo dokonca na položkách v rôznych pracovných priestoroch. Keď vytvoríte odkaz na položky, typy položiek sa nemusia zhodovať. Napríklad môžete vytvoriť skratku v chate pri jazere, ktorá ukazuje na dáta v sklade.

Keď používateľ pristupuje k dátam z inej lokality OneLake cez skratku, OneLake použije identitu volajúceho používateľa na autorizáciu prístupu k dátam. Tento používateľ musí mať povolenia na čítanie údajov v cieľovom umiestnení.

Dôležité

Keď používatelia pristupujú k skratkám cez Power BI sémantické modely pomocou Direct Lake over SQL alebo T-SQL enginov v režime delegovanej identity, identita volajúceho používateľa nie je odoslaná cieľovej skratke. Namiesto toho sa odovzdáva identita vlastníka volajúcej položky, ktorá deleguje prístup volajúcemu používateľovi. Na odstránenie tohto obmedzenia použite Power BI sémantické modely v režime Direct Lake over OneLake alebo T-SQL v režime identity používateľa.

Externé skratky OneLake

Pre podrobné inštrukcie na vytvorenie konkrétneho typu skratky vyberte článok z tohto zoznamu podporovaných externých zdrojov:

• Skratky pre Amazon S3
• Skratky kompatibilné s Amazon S3
• Azure Data Lake Storage (ADLS) Skratky pre druhú generáciu
• Azure Blob Storage skratky
• Dataverse skratky
• Skratky Google Cloud Storage
• Skratky k ľadovcom
• OneDrive a SharePoint skratky

Ukladanie do vyrovnávacej pamäte

Ukladanie klávesových skratiek do vyrovnávacej pamäte môže znížiť výstupné náklady spojené s prístupom ku údajom medzi cloudmi. Keď OneLake číta súbory cez externú skratku, služba ukladá súbory do cache pre pracovný priestor Fabric. OneLake reaguje na následné požiadavky na čítanie z cache namiesto poskytovateľa vzdialeného úložiska. Môžeš nastaviť dobu uchovávania cacheovaných súborov medzi 1 a 28 dňami. Pri každom prístupe k súboru sa doba uchovávania obnoví. Ak má poskytovateľ vzdialeného úložiska novšiu verziu súboru než verzia v cache, OneLake spracuje požiadavku poskytovateľa vzdialeného úložiska a aktualizuje súbor v cache. Ak nemáte prístup k súboru počas vybraného obdobia uchovávania, je vymazaný z cache. Jednotlivé súbory, ktoré sú väčšie ako 1 GB, sa do vyrovnávacej pamäte neukladať.

Poznámka

Shortcut caching momentálne podporuje Google Cloud Storage (GCS), kompatibilitu so S3, S3 a skratky pre lokálne dátové brány.

Cache je tiež podporovaný pre lokálne skratky Amazon S3, ktoré využívajú autentifikáciu Microsoft Entra service principal.

Ak chcete povoliť ukladanie skratiek do vyrovnávacej pamäte, otvorte panel Nastavenia pracovného priestoru. Vyberte kartu OneLake. Prepnite nastavenie vyrovnávacej pamäte na možnosť Zapnuté a vyberte Obdobie uchovávania údajov.

Cache môžete kedykoľvek vymazať. Na tej istej stránke nastavení vyberte tlačidlo Resetovať vyrovnávaciu pamäť. Táto akcia odstráni všetky súbory z vyrovnávacej pamäte odkazu v tomto pracovnom priestore.

Ako skratky využívajú cloudové pripojenia

ADLS a S3 skratky delegujú autorizáciu pomocou cloudových pripojení. Keď vytvoríte novú skratku ADLS alebo S3, vytvoríte nové pripojenie alebo vyberiete existujúce pripojenie pre zdroj údajov. Nastavenie pripojenia pre odkaz je operácia naviazania. Operáciu naviazať môžu iba používatelia s povolením na pripojenie. Ak nemáte povolenie na pripojenie, nemôžete vytvárať nové skratky pomocou tohto pripojenia.

Pre viac informácií o zobrazovaní a aktualizácii cloudových pripojení pozri Spravovať pripojenia pre skratky.

Zabezpečenie odkazu

Skratky vyžadujú určité povolenia na správu a používanie. Bezpečnosť skratiek OneLake vysvetľuje, aké oprávnenia potrebujete na vytváranie skratiek a prístup k dátam cez ne.

Ako skratky riešia odstránenia?

Skratky nepodporujú kaskádové mazania. Keď odkaz odstránite, odstráňte iba objekt odkazu. Údaje v cieľovej skratke zostávajú nezmenené. Ak však vymažete súbor alebo priečinok v rámci skratky a máte oprávnenia v cieľovej skratke na vykonanie operácie vymazania, vymažete aj súbor alebo priečinok v cieľovej akcii.

Pozrime sa napríklad na lakehouse s nasledujúcou cestou v ňom: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut je skratka, ktorá odkazuje na konto služby ADLS Gen2, ktoré obsahuje adresáre Foo\Bar .

Ak vymažete MyLakehouse\Files\MyShortcut, vymažete skratku MyShortcut z jazerného domu, ale súbory a adresáre v ADLS Gen2 účte Foo\Bar zostávajú neovplyvnené.

Ak vymažete MyLakehouse\Files\MyShortcut\Foo\Bar, a máte oprávnenie na zápis v ADLS Gen2 účte, vymažete adresár Bar z ADLS Gen2 účtu.

Ako ďalší príklad zvážme jazerný dom so schémou s nasledujúcou cestou: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut je schéma skratka, ktorá ukazuje na ADLS Gen2 účet, ktorý obsahuje adresár Dir1 .

Ak vymažete MyLakehouse\Tables\MySchemaShortcut, vymažete skratku schémy MySchemaShortcut z jazerného domu, ale súbory a adresáre v ADLS Gen2 účte Dir1 zostanú neovplyvnené.

Ak vymažete MyLakehouse\Tables\MySchemaShortcut\Dir1, a máte oprávnenie na zápis v ADLS Gen2 účte, vymažete adresár Dir1 z ADLS Gen2 účtu.

Zobrazenie pôvodu pracovného priestoru

Keď vytvoríte skratky medzi viacerými Fabric položkami v rámci pracovného priestoru, môžete si vzťahy skratiek vizualizovať cez pohľad rodokmeňu pracovného priestoru. Vyberte tlačidlo zobrazenia Pôvod ( ) v pravom hornom rohu prieskumníka pracovného priestoru.

Poznámka

Zobrazenie pôvodu je obmedzené na jeden pracovný priestor. Odkazy na miesta mimo vybratého pracovného priestoru sa nezobrazujú.

Obmedzenia a dôležité informácie

• Každý Fabric produkt podporuje až 100 000 skratiek. V tomto kontexte pojem položka označuje aplikácie, jazerné domy, sklady, reporty a ďalšie.
• Každá položka Fabric podporuje maximálne 100 unikátnych pripojení k zdrojom dát. Keďže externé skratky OneLake používajú spojenia na dosiahnutie zdroja, celkový počet unikátnych spojení odkazovaných všetkými externými skratkami v položke nesmie presiahnuť 100. Interné skratky (do iných pobočiek OneLake) sa do tohto limitu nezapočítavajú.
• Jedna cesta OneLake podporuje až 10 skratiek.
• Maximálny počet priamych odkazov na prepojenia odkazu je 5.
• Mená skratiek, rodičovské cesty a cieľové cesty nesmú obsahovať znaky "%" alebo "+".
• Skratky nepodporujú znaky iné ako latinka.
• Lineage pre skratky do skladov a sémantických modelov momentálne nie je dostupný.
• Skratka Fabric sa automaticky synchronizuje so zdrojom. Aktualizácie schémy a metadát sa aplikujú bez manuálneho zásahu, ale čas šírenia sa môže líšiť v závislosti od výkonu dátového zdroja, cacheovaných zobrazení alebo sieťovej konektity.
• Rozpoznanie nových skratiek môže trvať až minútu, kým rozhranie API tabuľky rozpozná.
• Schema skratky je možné vytvárať iba v jazerných domoch so schémou.

Súvisiaci obsah

• Vytvorenie odkazu OneLake
• Presun skratiek do nového regiónu
• Používanie klávesových skratiek OneLake REST API