OneLake-snarveier
Med snarveier i Microsoft OneLake kan du samle dataene dine på tvers av domener, skyer og kontoer ved å opprette én enkelt virtuell datainnsjø for hele bedriften. Alle Fabric-opplevelser og analytiske motorer kan koble direkte til eksisterende datakilder som Azure, Amazon Web Services (AWS) og OneLake gjennom et enhetlig navneområde. OneLake administrerer alle tillatelser og legitimasjoner, slik at du ikke trenger å konfigurere hver Fabric-arbeidsbelastning separat for å koble til hver datakilde. I tillegg kan du bruke snarveier til å eliminere kantkopier av data og redusere prosessens ventetid knyttet til datakopier og oppsamling.
Snarveier er objekter i OneLake som peker til andre lagringssteder. Plasseringen kan være intern eller ekstern for OneLake. Plasseringen som en snarvei peker til, kalles målbanen til snarveien. Plasseringen der snarveien vises, kalles snarveisbanen. Snarveier vises som mapper i OneLake, og alle arbeidsbelastninger eller tjenester som har tilgang til OneLake, kan bruke dem. Snarveier fungerer som symbolske koblinger. De er et uavhengig objekt fra målet. Hvis du sletter en snarvei, forblir målet upåvirket. Hvis du flytter, gir nytt navn til eller sletter en målbane, kan snarveien brytes.
Du kan opprette snarveier i lakehouses- og Kusto Query Language (KQL)-databaser. I tillegg kan hurtigtastene du oppretter i disse elementene peke til andre OneLake-plasseringer, Azure Data Lake Storage (ADLS) Gen2, Amazon S3-lagringskontoer eller Dataverse. Du kan også opprette snarveier til lokale eller nettverksbegrensede steder ved bruk av den lokale datagatewayen (OPDG).
Du kan bruke stoffgrensesnittet til å opprette snarveier interaktivt, og du kan bruke REST-API-en til å opprette snarveier programmatisk.
Når du oppretter snarveier i et lakehouse, må du forstå mappestrukturen for elementet. Lakehouses består av to mapper på øverste nivå: Tabeller-mappen og Filer-mappen . Tabeller-mappen representerer den administrerte delen av lakehouse, mens Filer-mappen er den uadministrerte delen av lakehouse. I Tabeller-mappen kan du bare opprette snarveier på øverste nivå. Snarveier støttes ikke i andre underkataloger i Tabeller-mappen . Hvis målet for snarveien inneholder data i Delta\Parquet-formatet, synkroniserer lakehouse automatisk metadataene og gjenkjenner mappen som en tabell. I Filer-mappen er det ingen begrensninger på hvor du kan opprette snarveier. Du kan opprette dem på alle nivåer i mappehierarkiet. Tabelloppdagelse skjer ikke i Filer-mappen .
Når du oppretter en snarvei i en KQL-database, vises den i Snarveier-mappen i databasen. KQL-databasen behandler snarveier som eksterne tabeller. Bruk funksjonen kustospørringsspråk for å spørre etter snarveien external_table
.
Enhver Fabric- eller non-Fabric-tjeneste som har tilgang til data i OneLake, kan bruke snarveier. Snarveier er gjennomsiktige for alle tjenester som får tilgang til data gjennom OneLake-API-en. Snarveier vises bare som en annen mappe i sjøen. Apache Spark, SQL, Sanntidsintelligens og Analysis Services kan alle bruke snarveier når du spør etter data.
Apache Spark-notatblokker og Apache Spark-jobber kan bruke snarveier som du oppretter i OneLake. Relative filbaner kan brukes til å lese data direkte fra snarveier. I tillegg, hvis du oppretter en snarvei i Tabeller-delen av lakehouse og det er i Delta-format, kan du lese den som en administrert tabell ved hjelp av Apache Spark SQL-syntaks.
df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)
df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)
Obs!
Delta-formatet støtter ikke tabeller med mellomromstegn i navnet. Alle snarveier som inneholder et mellomrom i navnet, blir ikke oppdaget som et Delta-bord i lakehouse.
Du kan også lese snarveier i Tabeller-delen av et lakehouse gjennom SQL Analytics-endepunktet for lakehouse. Du kan få tilgang til SQL Analytics-endepunktet gjennom modusvelgeren for lakehouse eller via SQL Server Management Studio (SSMS).
SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]
Snarveier i KQL-databaser gjenkjennes som eksterne tabeller. Bruk funksjonen kustospørringsspråk for å spørre etter snarveien external_table
.
external_table('MyShortcut')
| take 100
Du kan opprette semantiske modeller for lakehouses som inneholder snarveier i Tabeller-delen av lakehouse. Når den semantiske modellen kjører i Direct Lake-modus, kan Analysis Services lese data direkte fra snarveien.
Programmer og tjenester utenfor Fabric kan også få tilgang til snarveier gjennom OneLake-API-en. OneLake støtter et delsett av ADLS Gen2- og Blob-lagrings-API-ene. Hvis du vil ha mer informasjon om OneLake-API-en, kan du se OneLake-tilgang med API-er.
https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv
OneLake-snarveier støtter flere datakilder for filsystem. Disse inkluderer interne OneLake-plasseringer, Azure Data Lake Storage (ADLS) Gen2, Amazon S3, S3 Compatible, Google Cloud Storage (GCS) og Dataverse.
Interne OneLake-snarveier lar deg referere til data i eksisterende Fabric-elementer. Disse elementene inkluderer lakehouses, KQL databaser og datalagre. Snarveien kan peke til en mappeplassering i samme element, på tvers av elementer i samme arbeidsområde eller på tvers av elementer i forskjellige arbeidsområder. Når du oppretter en snarvei på tvers av elementer, trenger ikke elementtypene samsvare. Du kan for eksempel opprette en snarvei i et lakehouse som peker til data i et datalager.
Når en bruker får tilgang til data via en snarvei til en annen OneLake-plassering, brukes identiteten til anropsbrukeren til å godkjenne tilgang til dataene i målbanen til snarveien*. Denne brukeren må ha tillatelser på målplasseringen for å kunne lese dataene.
Viktig
Når du åpner snarveier gjennom Semantiske Power BI-modeller eller T-SQL, sendes ikke anropsbrukerens identitet til snarveismålet. Eieren av anropselementet sendes i stedet, og delegerer tilgang til anropsbrukeren.
Snarveier kan også opprettes til ADLS Gen2-lagringskontoer. Når du oppretter snarveier til ADLS, kan målbanen peke til en hvilken som helst mappe i det hierarkiske navneområdet. Som et minimum må målbanen inneholde et beholdernavn.
ADLS-snarveier må peke til DFS-endepunktet for lagringskontoen.
Eksempel: https://accountname.dfs.core.windows.net/
Hvis lagringskontoen er beskyttet av en lagringsbrannmur, kan du konfigurere klarert tjenestetilgang. Se tilgang til klarert arbeidsområde
ADLS-snarveier bruker en delegert autorisasjonsmodell. I denne modellen angir hurtigoppretteren en legitimasjon for ADLS-snarveien, og all tilgang til snarveien godkjennes ved hjelp av denne legitimasjonen. De støttede delegerte typene er organisasjonskonto, kontonøkkel, delt tilgangssignatur (SAS) og tjenestekontohaver.
- Organisasjonskonto – må ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner på lagringskontoen
- Sas (Shared Access Signature) – må inneholde minst følgende tillatelser: Lese, liste og kjøre
- Tjenestekontohaver – må ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner på lagringskontoen
- Arbeidsområdeidentitet – må ha lagrings-BLOB-dataleser, bidragsyter for lagringsblobdata eller lagrings-blob-dataeierrolle på lagringskontoen
Obs!
Du må ha hierarkiske navneområder aktivert på ADLS Gen 2-lagringskontoen.
Du kan også opprette snarveier til Amazon S3-kontoer. Når du oppretter snarveier til Amazon S3, må målbanen inneholde et samlingsnavn som et minimum. S3 støtter ikke hierarkiske navneområder, men du kan bruke prefikser til å etterligne en katalogstruktur. Du kan inkludere prefikser i hurtigbanen for å begrense omfanget av data som er tilgjengelig gjennom snarveien. Når du får tilgang til data via en S3-snarvei, representeres prefikser som mapper.
S3-snarveier må peke til https-endepunktet for S3-samlingen.
Eksempel: https://bucketname.s3.region.amazonaws.com/
Obs!
Du trenger ikke å deaktivere S3 Block Public Access-innstillingen for S3-kontoen for at S3-snarveien skal fungere.
Tilgang til S3-endepunktet kan ikke blokkeres av en lagringsbrannmur eller virtuell privat sky.
S3-snarveier bruker en delegert autorisasjonsmodell. I denne modellen angir hurtigoppretteren en legitimasjon for S3-snarveien, og all tilgang til denne snarveien godkjennes ved hjelp av denne legitimasjonen. Den støttede delegerte legitimasjonen er en nøkkel og hemmelighet for en IAM-bruker.
IAM-brukeren må ha følgende tillatelser på samlingen som snarveien peker til.
S3:GetObject
S3:GetBucketLocation
S3:ListBucket
Obs!
S3-snarveier er skrivebeskyttet. De støtter ikke skriveoperasjoner uavhengig av tillatelsene for IAM-brukeren.
Snarveier kan opprettes til Google Cloud Storage (GCS) ved hjelp av XML-API-en for GCS. Når du oppretter snarveier til Google Cloud Storage, må målbanen inneholde et samlingsnavn som et minimum. Du kan også begrense omfanget av snarveien ved å angi prefikset/mappen du vil peke til i lagringshierarkiet ytterligere.
Når du konfigurerer tilkoblingen for en GCS-snarvei, kan du enten angi det globale endepunktet for lagringstjenesten eller bruke et samlingsspesifikkt endepunkt.
- Eksempel på globalt endepunkt:
https://storage.googleapis.com
- Eksempel på samlingsspesifikkt endepunkt:
https://<BucketName>.storage.googleapis.com
GCS-snarveier bruker en delegert autorisasjonsmodell. I denne modellen angir hurtigoppretteren en legitimasjon for GCS-snarveien, og all tilgang til snarveien godkjennes ved hjelp av denne legitimasjonen. Den støttede delegerte legitimasjonen er en HMAC-nøkkel og hemmelighet for en tjenestekonto eller brukerkonto.
Kontoen må ha tillatelse til å få tilgang til dataene i GCS-samlingen. Hvis det samlingsspesifikke endepunktet ble brukt i tilkoblingen for snarveien, må kontoen ha følgende tillatelser:
storage.objects.get
stoage.objects.list
Hvis det globale endepunktet ble brukt i tilkoblingen for snarveien, må kontoen også ha følgende tillatelse:
storage.buckets.list
Obs!
GCS-snarveier er skrivebeskyttet. De støtter ikke skriveoperasjoner uavhengig av tillatelsene for kontoen som brukes.
Datavers direkte integrasjon med Microsoft Fabric gjør det mulig for organisasjoner å utvide sine Dynamics 365 enterprise-programmer og forretningsprosesser til Fabric. Denne integreringen utføres gjennom snarveier, som kan opprettes på to måter: gjennom PowerApps Maker-portalen eller via Fabric direkte.
Autoriserte PowerApps-brukere kan få tilgang til PowerApps Maker-portalen og bruke funksjonen Koble til Microsoft Fabric . Fra denne enkelthandlingen opprettes et Lakehouse i Fabric, og snarveier genereres automatisk for hver tabell i dataversmiljøet. Hvis du vil ha mer informasjon, kan du se Datavers direkte integrasjon med Microsoft Fabric.
Stoffbrukere kan også opprette snarveier til Dataverse. Fra UX-en for oppretting av snarveier kan brukere velge Dataverse, oppgi nettadressen for miljøet og bla gjennom de tilgjengelige tabellene. Denne opplevelsen gjør det mulig for brukere å selektivt velge hvilke tabeller som skal hentes inn i Fabric i stedet for å hente inn alle tabeller.
Obs!
Dataverse tabeller må først være tilgjengelige i Dataverse Managed Lake før de er synlige i Fabric create shortcuts UX. Hvis tabellene ikke er synlige fra Fabric, kan du bruke funksjonen Koble til Microsoft Fabric fra PowerApps Maker-portalen.
Dataverse snarveier bruker en delegert autorisasjonsmodell. I denne modellen angir hurtigoppretteren en legitimasjon for dataverssnarveien, og all tilgang til denne snarveien godkjennes ved hjelp av denne legitimasjonen. Den støttede delegerte legitimasjonstypen er Organisasjonskonto (OAuth2). Organisasjonskontoen må ha systemansvarlig tillatelse til å få tilgang til data i Dataverse Managed Lake.
Obs!
Tjenestekontohavere som er lagt til i stoffarbeidsområdet, må ha administratorrollen for å godkjenne dataverssnarveien.
Hurtigbufring kan brukes til å redusere utgående kostnader knyttet til datatilgang på tvers av skyen. Når filer leses gjennom en ekstern snarvei, lagres filene i en hurtigbuffer for Fabric-arbeidsområdet. Etterfølgende leseforespørsler leveres fra hurtigbufferen i stedet for leverandøren av ekstern lagring. Hurtigbufrede filer har en oppbevaringsperiode på 24 timer. Hver gang filen åpnes, tilbakestilles oppbevaringsperioden. Hvis filen i ekstern lagringsleverandør er nyere enn filen i hurtigbufferen, leveres forespørselen fra ekstern lagringsleverandør, og den oppdaterte filen lagres i hurtigbufferen. Hvis en fil ikke har blitt åpnet på mer enn 24 timer, fjernes den fra hurtigbufferen. Individuelle filer som er større enn 1 GB, bufres ikke.
Obs!
Hurtigbufring støttes for øyeblikket bare for GCS-, S3- og S3-kompatible snarveier.
Hvis du vil aktivere hurtigbufring for snarveier, åpner du innstillinger-panelet for arbeidsområdet. Velg OneLake-fanen. Sett hurtigbufferinnstillingen til På, og velg Lagre.
ADLS- og S3-snarveisgodkjenning delegeres ved hjelp av skytilkoblinger. Når du oppretter en ny ADLS- eller S3-snarvei, oppretter du enten en ny tilkobling eller velger en eksisterende tilkobling for datakilden. Å angi en tilkobling for en snarvei er en bindingsoperasjon. Bare brukere med tillatelse på tilkoblingen kan utføre bindingsoperasjonen. Hvis du ikke har tillatelser for tilkoblingen, kan du ikke opprette nye snarveier ved hjelp av denne tilkoblingen.
Snarveier krever bestemte tillatelser for å administrere og bruke. OneLake-snarveisikkerhet ser på tillatelsene som kreves for å opprette snarveier og få tilgang til data ved hjelp av dem.
Snarveier utfører ikke gjennomgripende slettinger. Når du utfører en sletteoperasjon på en snarvei, sletter du bare snarveisobjektet. Dataene i snarveismålet forblir uendret. Hvis du imidlertid utfører en sletteoperasjon på en fil eller mappe i en snarvei, og du har tillatelser i snarveismålet til å utføre sletteoperasjonen, slettes filene og/eller mappene i målet. Eksemplet nedenfor illustrerer dette.
Bruker A har et lakehouse med følgende bane i seg:
MyLakehouse\Files\MyShortcut\Foo\Bar
MyShortcut er en snarvei som peker til en ADLS Gen2-konto som inneholder Foo\Bar-katalogene .
Bruker A utfører en sletteoperasjon på følgende bane:
MyLakehouse\Files\MyShortcut
I dette tilfellet slettes MyShortcut fra lakehouse. Snarveier utfører ikke gjennomgripende slettinger, derfor forblir filene og katalogene i ADLS Gen2-kontoen Foo\Bar upåvirket.
Bruker A utfører en sletteoperasjon på følgende bane:
MyLakehouse\Files\MyShortcut\Foo\Bar
I dette tilfellet, hvis bruker A har skrivetillatelser i ADLS Gen2-kontoen, slettes Stolpekatalogen fra ADLS Gen2-kontoen.
Når du oppretter snarveier mellom flere stoffelementer i et arbeidsområde, kan du visualisere snarveisrelasjonene gjennom arbeidsområdets avstammingsvisning. Velg avstammingsvisningsknappen ( ) øverst til høyre i arbeidsområdeutforskeren.
Obs!
Avstammingsvisningen er begrenset til ett enkelt arbeidsområde. Snarveier til plasseringer utenfor det valgte arbeidsområdet vises ikke.
- Maksimalt antall snarveier per stoffelement er 100 000. I denne sammenhengen refererer termelementet til: apper, lakehouses, lagre, rapporter og mer.
- Maksimalt antall snarveier i én enkelt OneLake-bane er 10.
- Maksimalt antall direkte snarveier til snarveiskoblinger er 5.
- ADLS- og S3-snarveismålbaner kan ikke inneholde reserverte tegn fra RFC 3986 del 2.2. Hvis du vil ha tillatte tegn, kan du se RFC 3968 del 2.3.
- Snarveisnavn for OneLake, overordnede baner og målbaner kan ikke inneholde %- eller +-tegn.
- Snarveier støtter ikke ikke-latinske tegn.
- Kopier BLOB-API-en støttes ikke for ADLS- eller S3-snarveier.
- Kopieringsfunksjonen fungerer ikke på snarveier som peker direkte til ADLS-beholdere. Det anbefales å opprette ADLS-snarveier til en katalog som er minst ett nivå under en beholder.
- Flere snarveier kan ikke opprettes i ADLS- eller S3-snarveier.
- Avstamming for snarveier til datalagre og semantiske modeller er for øyeblikket ikke tilgjengelig.
- Det kan ta opptil ett minutt før tabell-API-en gjenkjenner nye snarveier.