Del via

OneLake-genveje

  • Artikel

Genveje i Microsoft OneLake giver dig mulighed for at samle dine data på tværs af domæner, cloudmiljøer og konti ved at oprette en enkelt virtuel data lake for hele virksomheden. Alle Fabric-oplevelser og analyseprogrammer kan oprette direkte forbindelse til dine eksisterende datakilder, f.eks. Azure, Amazon Web Services (AWS) og OneLake via et samlet navneområde. OneLake administrerer alle tilladelser og legitimationsoplysninger, så du ikke behøver at konfigurere hver Enkelt Fabric-arbejdsbelastning separat for at oprette forbindelse til hver datakilde. Derudover kan du bruge genveje til at fjerne kantkopier af data og reducere procesventetiden, der er knyttet til datakopier og midlertidig lagring.

Hvad er genveje?

Genveje er objekter i OneLake, der peger på andre lagerplaceringer. Placeringen kan være intern eller ekstern i forhold til OneLake. Den placering, som en genvej peger på, kaldes genvejens destinationssti. Den placering, hvor genvejen vises, kaldes genvejsstien. Genveje vises som mapper i OneLake, og alle arbejdsbelastninger eller tjenester, der har adgang til OneLake, kan bruge dem. Genveje fungerer som symbolske kæder. De er et uafhængigt objekt fra målet. Hvis du sletter en genvej, påvirkes destinationen ikke. Hvis du flytter, omdøber eller sletter en destinationssti, kan genvejen blive brudt.

Diagram, der viser, hvordan en genvej forbinder filer og mapper, der er gemt på andre placeringer.

Hvor kan jeg oprette genveje?

Du kan oprette genveje i lakehouses og KQL-databaser (Kusto Query Language). Desuden kan de genveje, du opretter i disse elementer, pege på andre OneLake-placeringer, Azure Data Lake Storage (ADLS) Gen2, Amazon S3-lagerkonti eller Dataverse. Du kan endda oprette genveje til placeringer , der er begrænset til det lokale miljø eller netværket, ved hjælp af OPDG (Fabric on-premises data gateway).

Du kan bruge Brugergrænsefladen i Fabric til at oprette genveje interaktivt, og du kan bruge REST-API'en til at oprette genveje programmatisk.

Lakehouse

Når du opretter genveje i et lakehouse, skal du forstå elementets mappestruktur. Lakehouses består af to mapper på øverste niveau: mappen Tabeller og mappen Filer . Mappen Tabeller repræsenterer den administrerede del af lakehouse, mens mappen Filer er den ikke-administrerede del af lakehouse'et. I mappen Tabeller kan du kun oprette genveje på øverste niveau. Genveje understøttes ikke i andre undermapper i mappen Tabeller . Hvis destinationen for genvejen indeholder data i formatet Delta\Parquet, synkroniserer lakehouse automatisk metadataene og genkender mappen som en tabel. I mappen Filer er der ingen begrænsninger for, hvor du kan oprette genveje. Du kan oprette dem på et hvilket som helst niveau i mappehierarkiet. Registrering af tabeller sker ikke i mappen Filer .

Diagram, der viser visningen Lake og tabelvisningen side om side.

KQL-database

Når du opretter en genvej i en KQL-database, vises den i mappen Genveje i databasen. KQL-databasen behandler genveje som eksterne tabeller. Hvis du vil forespørge genvejen external_table , skal du bruge funktionen for Kusto-forespørgselssproget.

Skærmbillede af genveje i en KQL-database.

Hvor kan jeg få adgang til genveje?

Alle Fabric- eller ikke-Fabric-tjenester, der kan få adgang til data i OneLake, kan bruge genveje. Genveje er gennemsigtige for alle tjenester, der tilgår data via OneLake-API'en. Genveje vises blot som en anden mappe i søen. Apache Spark, SQL, Realtidsintelligens og Analysis Services kan alle bruge genveje, når der forespørger om data.

Apache Spark

Apache Spark-notesbøger og Apache Spark-job kan bruge genveje, som du opretter i OneLake. Relative filstier kan bruges til at læse data direkte fra genveje. Hvis du desuden opretter en genvej i afsnittet Tabeller i lakehouse, og den er i Delta-formatet, kan du læse den som en administreret tabel ved hjælp af Apache Spark SQL-syntaksen.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

Bemærk

Delta-formatet understøtter ikke tabeller med mellemrumstegn i navnet. Enhver genvej, der indeholder et mellemrum i navnet, bliver ikke fundet som en Delta-tabel i lakehouse.

SQL

Du kan også læse genveje i afsnittet Tabeller i et lakehouse via SQL Analytics-slutpunktet for lakehouse'et. Du kan få adgang til SQL Analytics-slutpunktet via tilstandsvælgeren for lakehouse'et eller via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Intelligence i realtid

Genveje i KQL-databaser genkendes som eksterne tabeller. Hvis du vil forespørge genvejen external_table , skal du bruge funktionen for Kusto-forespørgselssproget.

external_table('MyShortcut')
| take 100

Analysis Services

Du kan oprette semantiske modeller til lakehouses, der indeholder genveje i afsnittet Tabeller i lakehouse. Når den semantiske model kører i Direct Lake-tilstand, kan Analysis Services læse data direkte fra genvejen.

Ikke-stof

Programmer og tjenester uden for Fabric kan også få adgang til genveje via OneLake-API'en. OneLake understøtter et undersæt af ADLS Gen2- og Blob Storage-API'er. Hvis du vil vide mere om OneLake-API'en, skal du se OneLake-adgang med API'er.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typer af genveje

OneLake-genveje understøtter flere filsystemdatakilder. Disse omfatter interne OneLake-placeringer, Azure Data Lake Storage (ADLS) Gen2, Amazon S3, S3 Compatible, Google Cloud Storage (GCS) og Dataverse.

Interne OneLake-genveje

Med interne OneLake-genveje kan du referere til data i eksisterende Fabric-elementer. Disse elementer omfatter lakehouses, KQL-databaser og data warehouses. Genvejen kan pege på en mappeplacering i det samme element, på tværs af elementer i det samme arbejdsområde eller endda på tværs af elementer i forskellige arbejdsområder. Når du opretter en genvej på tværs af elementer, behøver elementtyperne ikke at stemme overens. Du kan f.eks. oprette en genvej i et lakehouse, der peger på data i et data warehouse.

Når en bruger får adgang til data via en genvej til en anden OneLake-placering, bruges identiteten for den kaldende bruger til at godkende adgang til dataene i genvejens destinationssti*. Denne bruger skal have tilladelser på målplaceringen for at kunne læse dataene.

Vigtigt

Når du får adgang til genveje via semantiske Power BI-modeller eller T-SQL, overføres den kaldende brugers identitet ikke til genvejsmålet. Ejeren af opkaldselementet overføres i stedet for og uddelegerer adgang til den kaldende bruger.

ADLS-genveje

Der kan også oprettes genveje til ADLS Gen2-lagerkonti. Når du opretter genveje til ADLS, kan destinationsstien pege på en hvilken som helst mappe i det hierarkiske navneområde. Destinationsstien skal som minimum indeholde et objektbeholdernavn.

Access

ADLS-genveje skal pege på DFS-slutpunktet for lagerkontoen. Eksempel: https://accountname.dfs.core.windows.net/

Hvis din lagerkonto er beskyttet af en lagerfirewall, kan du konfigurere tjenesteadgang, der er tillid til. Se Adgang til arbejdsområde, der er tillid til

Autorisation

ADLS-genveje bruger en delegeret godkendelsesmodel. I denne model angiver genvejsforfatteren en legitimationsoplysninger for ADLS-genvejen, og al adgang til genvejen er godkendt ved hjælp af disse legitimationsoplysninger. De understøttede delegerede typer er Organisationskonto, Kontonøgle, SAS (Shared Access Signature) og Tjenesteprincipal.

  • Organisationskonto – skal have rollen Lagerblobdatalæser, Bidragyder til lagerblobdata eller Ejer af lagerblobdata på lagerkonto
  • SAS (Shared Access Signature) – skal som minimum indeholde følgende tilladelser: Læs, Liste og Udfør
  • Tjenesteprincipal – skal have rollen Lagerblobdatalæser, Bidragyder til lagerblobdata eller Ejer af lagerblobdata på lagerkonto
  • Arbejdsområdeidentitet – skal have rollen Lagerblobdatalæser, Bidragyder til lagerblobdata eller Ejer af lagerblobdata på lagerkonto

Bemærk

Hierarkiske navneområder skal være aktiveret på din ADLS Gen 2-lagerkonto.

S3-genveje

Du kan også oprette genveje til Amazon S3-konti. Når du opretter genveje til Amazon S3, skal destinationsstien som minimum indeholde et bucketnavn. S3 understøtter ikke hierarkiske navneområder oprindeligt, men du kan bruge præfikser til at efterligne en mappestruktur. Du kan inkludere præfikser i genvejsstien for yderligere at indsnævre omfanget af data, der er tilgængelige via genvejen. Når du får adgang til data via en S3-genvej, repræsenteres præfikser som mapper.

Access

S3-genveje skal pege på https-slutpunktet for S3-bucket'en.

Eksempel: https://bucketname.s3.region.amazonaws.com/

Bemærk

Du behøver ikke at deaktivere indstillingen S3 Bloker offentlig adgang for din S3-konto for S3-genvejen til funktionen.

Adgangen til S3-slutpunktet må ikke blokeres af en lagerfirewall eller Virtual Private Cloud.

Autorisation

S3-genveje bruger en delegeret godkendelsesmodel. I denne model angiver genvejsforfatteren en legitimationsoplysninger for S3-genvejen, og al adgang til genvejen er godkendt ved hjælp af disse legitimationsoplysninger. De understøttede delegerede legitimationsoplysninger er en nøgle og en hemmelighed for en IAM-bruger.

IAM-brugeren skal have følgende tilladelser til den bucket, som genvejen peger på.

  • S3:GetObject
  • S3:GetBucketLocation
  • S3:ListBucket

Bemærk

S3-genveje er skrivebeskyttede. De understøtter ikke skrivehandlinger, uanset tilladelserne for IAM-brugeren.

Genveje til Google Cloud Storage

Der kan oprettes genveje til Google Cloud Storage (GCS) ved hjælp af XML-API'en til GCS. Når du opretter genveje til Google Cloud Storage, skal målstien som minimum indeholde et bucketnavn. Du kan også begrænse omfanget af genvejen ved yderligere at angive det præfiks/den mappe, du vil pege på i lagerhierarkiet.

Access

Når du konfigurerer forbindelsen til en GCS-genvej, kan du enten angive det globale slutpunkt for lagertjenesten eller bruge et bucketspecifikt slutpunkt.

  • Eksempel på globalt slutpunkt: https://storage.googleapis.com
  • Eksempel på bucketspecifikt slutpunkt: https://<BucketName>.storage.googleapis.com

Autorisation

GCS-genveje bruger en delegeret godkendelsesmodel. I denne model angiver forfatteren af genvejen en legitimationsoplysninger for GCS-genvejen, og al adgang til genvejen er godkendt ved hjælp af disse legitimationsoplysninger. De understøttede delegerede legitimationsoplysninger er en HMAC-nøgle og en hemmelighed for en tjenestekonto eller brugerkonto.

Kontoen skal have tilladelse til at få adgang til dataene i GCS-bucketen. Hvis det bucketspecifikke slutpunkt blev brugt i forbindelsen til genvejen, skal kontoen have følgende tilladelser:

  • storage.objects.get
  • stoage.objects.list

Hvis det globale slutpunkt blev brugt i forbindelsen til genvejen, skal kontoen også have følgende tilladelse:

  • storage.buckets.list

Bemærk

GCS-genveje er skrivebeskyttede. De understøtter ikke skrivehandlinger, uanset tilladelserne for den konto, der bruges.

Dataversegenveje

Direkte integration med Dataverse med Microsoft Fabric gør det muligt for organisationer at udvide deres Dynamics 365-virksomhedsprogrammer og forretningsprocesser til Fabric. Denne integration opnås via genveje, som kan oprettes på to måder: via PowerApps-udviklerportalen eller via Fabric direkte.

Oprettelse af genveje via PowerApps-udviklerportalen

Autoriserede PowerApps-brugere kan få adgang til PowerApps-udviklerportalen og bruge funktionen Link til Microsoft Fabric . Fra denne enkelt handling oprettes der et Lakehouse i Fabric, og genveje genereres automatisk for hver tabel i Dataverse-miljøet. Du kan få flere oplysninger under Direkte integration af Dataverse med Microsoft Fabric.

Oprettelse af genveje via Fabric

Fabric-brugere kan også oprette genveje til Dataverse. Fra UX'en til oprettelse af genveje kan brugerne vælge Dataverse, angive deres URL-adresse til miljøet og gennemse de tilgængelige tabeller. Denne oplevelse giver brugerne mulighed for selektivt at vælge, hvilke tabeller der skal overføres til Fabric i stedet for at hente alle tabeller ind.

Bemærk

Dataverse-tabeller skal først være tilgængelige i Dataverse Managed Lake, før de kan ses i Fabric-oprettelsesgenvejene UX. Hvis dine tabeller ikke er synlige fra Fabric, kan du bruge funktionen Link til Microsoft Fabric fra PowerApps-udviklerportalen.

Autorisation

Dataverse-genveje bruger en uddelegeret godkendelsesmodel. I denne model angiver forfatteren af genvejen en legitimationsoplysninger for Dataverse-genvejen, og al adgang til genvejen er godkendt ved hjælp af disse legitimationsoplysninger. Den understøttede type delegerede legitimationsoplysninger er organisationskonto (OAuth2). Organisationskontoen skal have systemadministratorens tilladelse til at få adgang til data i Dataverse Managed Lake.

Bemærk

Tjenesteprincipaler, der føjes til stofarbejdsområdet, skal have administratorrollen for at godkende genvejen Dataverse.

Cachelagring

Cachelagring af genveje kan bruges til at reducere udgående dataomkostninger, der er knyttet til adgang til data på tværs af cloudmiljøet. Når filer læses via en ekstern genvej, gemmes filerne i en cache til Fabric-arbejdsområdet. Efterfølgende anmodninger om læsning behandles fra cachen i stedet for udbyderen af fjernlageret. Cachelagrede filer har en opbevaringsperiode på 24 timer. Hver gang filen åbnes, nulstilles opbevaringsperioden. Hvis filen i udbyderen af fjernlageret er nyere end filen i cachen, behandles anmodningen fra udbyderen af fjernlageret, og den opdaterede fil gemmes i cachen. Hvis en fil ikke er blevet åbnet i mere end 24 timer, fjernes den fra cachen. Individuelle filer, der er større end 1 GB, cachelagres ikke.

Bemærk

Cachelagring af genveje understøttes i øjeblikket kun for GCS-, S3- og S3-kompatible genveje.

Hvis du vil aktivere cachelagring for genveje, skal du åbne panelet Indstillinger for arbejdsområde. Vælg fanen OneLake. Slå cacheindstillingen til Til, og vælg Gem.

Skærmbillede af panelet indstillinger for arbejdsområde med fanen OneLake valgt.

Sådan bruger genveje cloudforbindelser

Godkendelse af ADLS- og S3-genveje uddelegeres ved hjælp af cloudforbindelser. Når du opretter en ny ADLS- eller S3-genvej, opretter du enten en ny forbindelse eller vælger en eksisterende forbindelse til datakilden. Angivelse af en forbindelse for en genvej er en bindingshandling. Det er kun brugere med tilladelse til forbindelsen, der kan udføre bindingshandlingen. Hvis du ikke har tilladelser til forbindelsen, kan du ikke oprette nye genveje ved hjælp af denne forbindelse.

Genvejssikkerhed

Genveje kræver visse tilladelser til at administrere og bruge. Sikkerhed for OneLake-genvej ser på de tilladelser, der kræves for at oprette genveje og få adgang til data ved hjælp af dem.

Hvordan håndterer genveje sletninger?

Genveje udfører ikke overlappende sletninger. Når du udfører en sletning på en genvej, sletter du kun genvejsobjektet. Dataene i genvejsmålet forbliver uændrede. Men hvis du udfører en sletningshandling på en fil eller mappe i en genvej, og du har tilladelser i genvejsmålet til at udføre sletningen, slettes filerne og/eller mapperne i destinationen. Følgende eksempel illustrerer dette.

Slet eksempel

Bruger A har et lakehouse med følgende sti i:

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut er en genvej, der peger på en ADLS Gen2-konto, der indeholder mapperne Foo\Bar .

Sletning af et genvejsobjekt

Bruger A udfører en sletningshandling på følgende sti:

MyLakehouse\Files\MyShortcut

I dette tilfælde slettes MyShortcut fra lakehouse. Genveje udfører ikke overlappende sletninger, og derfor påvirkes filerne og mapperne i ADLS Gen2-kontoen Foo\Bar ikke.

Sletter indhold, der refereres til af en genvej

Bruger A udfører en sletningshandling på følgende sti:

MyLakehouse\Files\MyShortcut\Foo\Bar

Hvis Bruger A i dette tilfælde har skriverettigheder på ADLS Gen2-kontoen, slettes mappen Bar fra ADLS Gen2-kontoen.

Afstamningsvisning for arbejdsområde

Når du opretter genveje mellem flere Fabric-elementer i et arbejdsområde, kan du visualisere genvejsrelationerne via afstamningsvisningen for arbejdsområdet. Vælg knappen Afstamningsvisning ( ) i øverste højre hjørne af Arbejdsområdeoversigt.

Skærmbillede af afstamningsvisningsskærmen.

Bemærk

Afstamningsvisningen er begrænset til et enkelt arbejdsområde. Genveje til placeringer uden for det valgte arbejdsområde vises ikke.

Begrænsninger og overvejelser

  • Det maksimale antal genveje pr. Fabric-element er 100.000. I denne kontekst henviser begrebet element til: apps, lakehouses, warehouses, rapporter og meget mere.
  • Det maksimale antal genveje i en enkelt OneLake-sti er 10.
  • Det maksimale antal direkte genveje til genvejslinks er 5.
  • ADLS- og S3-genvejsmålstier må ikke indeholde reserverede tegn fra RFC 3986 sektion 2.2. Se RFC 3968 section 2.3 for tilladte tegn.
  • OneLake-genvejsnavne, overordnede stier og destinationsstier må ikke indeholde "%" eller "+"-tegn.
  • Genveje understøtter ikke ikke-latinske tegn.
  • Kopiér Blob API understøttes ikke for ADLS- eller S3-genveje.
  • Funktionen Copy fungerer ikke på genveje, der peger direkte på ADLS-objektbeholdere. Det anbefales at oprette ADLS-genveje til en mappe, der er mindst ét niveau under en objektbeholder.
  • Der kan ikke oprettes flere genveje i ADLS- eller S3-genveje.
  • Afstamning for genveje til data warehouses og semantiske modeller er ikke tilgængelig i øjeblikket.
  • Det kan tage op til et minut, før Tabel-API'en genkender nye genveje.

Relateret indhold