OneLake-genvägar

Med genvägar i Microsoft OneLake kan du förena dina data mellan domäner, moln och konton genom att skapa en enda virtuell datasjö för hela företaget. Alla infrastrukturresurser och analysmotorer kan ansluta direkt till dina befintliga datakällor, till exempel Azure, Amazon Web Services (AWS) och OneLake via ett enhetligt namnområde. OneLake hanterar alla behörigheter och autentiseringsuppgifter, så du behöver inte konfigurera varje infrastrukturresursupplevelse separat för att ansluta till varje datakälla. Dessutom kan du använda genvägar för att eliminera kantkopior av data och minska processfördröjningen som är associerad med datakopior och mellanlagring.

Vad är genvägar?

Genvägar är objekt i OneLake som pekar på andra lagringsplatser. Platsen kan vara intern eller extern till OneLake. Platsen som en genväg pekar på kallas för genvägens målsökväg. Platsen där genvägen visas kallas för genvägssökvägen. Genvägar visas som mappar i OneLake och alla funktioner eller tjänster som har åtkomst till OneLake kan använda dem. Genvägar fungerar som symboliska länkar. De är ett oberoende objekt från målet. Om du tar bort en genväg påverkas inte målet. Om du flyttar, byter namn på eller tar bort en målsökväg kan genvägen brytas.

Diagram som visar hur en genväg ansluter filer och mappar som lagras på andra platser.

Var kan jag skapa genvägar?

Du kan skapa genvägar i lakehouses- och Kusto-frågespråk-databaser (KQL). Dessutom kan genvägarna du skapar inom dessa objekt peka på andra OneLake-platser, Azure Data Lake Storage (ADLS) Gen2, Amazon S3-lagringskonton eller Dataverse.

Du kan använda användargränssnittet för infrastrukturresurser för att skapa genvägar interaktivt, och du kan använda REST-API:et för att skapa genvägar programmatiskt.

Sjöhus

När du skapar genvägar i ett sjöhus måste du förstå objektets mappstruktur. Lakehouses består av två mappar på den översta nivån: mappen Tabeller och mappen Filer . Mappen Tabeller representerar den hanterade delen av lakehouse, medan mappen Files är den ohanterade delen av lakehouse. I mappen Tabeller kan du bara skapa genvägar på den översta nivån. Genvägar stöds inte i andra underkataloger i mappen Tabeller . Om målet för genvägen innehåller data i Delta\Parquet-formatet synkroniserar lakehouse automatiskt metadata och identifierar mappen som en tabell. I mappen Filer finns det inga begränsningar för var du kan skapa genvägar. Du kan skapa dem på valfri nivå i mapphierarkin. Tabellidentifiering sker inte i mappen Filer .

Diagram som visar sjövyn och tabellvyn sida vid sida.

KQL-databas

När du skapar en genväg i en KQL-databas visas den i mappen Genvägar i databasen. KQL-databasen behandlar genvägar som externa tabeller. Om du vill köra frågor mot genvägen använder du external_table funktionen för Kusto-frågespråk.

Skärmbild av genvägar i en KQL-databas.

Var kan jag komma åt genvägar?

Alla infrastrukturresurser eller tjänster som inte är infrastrukturresurser som kan komma åt data i OneLake kan använda genvägar. Genvägar är transparenta för alla tjänster som har åtkomst till data via OneLake-API:et. Genvägar visas bara som en annan mapp i sjön. Spark, SQL, Realtidsanalys och Analysis Services kan alla använda genvägar när du frågar efter data.

Spark

Spark-notebook-filer och Spark-jobb kan använda genvägar som du skapar i OneLake. Relativa filsökvägar kan användas för att direkt läsa data från genvägar. Om du skapar en genväg i avsnittet Tabeller i lakehouse och den är i Delta-format kan du läsa den som en hanterad tabell med hjälp av Spark SQL-syntax.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)
df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

Kommentar

Delta-formatet stöder inte tabeller med blankstegstecken i namnet. Genvägar som innehåller ett blanksteg i namnet identifieras inte som en Delta-tabell i lakehouse.

SQL

Du kan också läsa genvägar i avsnittet Tabeller i ett lakehouse via SQL Analytics-slutpunkten för lakehouse. Du kan komma åt SQL-analysslutpunkten via lägesväljaren för lakehouse eller via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Realtidsanalys

Genvägar i KQL-databaser identifieras som externa tabeller. Om du vill köra frågor mot genvägen använder du external_table funktionen för Kusto-frågespråk.

external_table('MyShortcut')
| take 100

Analysis Services

Du kan skapa semantiska modeller för sjöhus som innehåller genvägar i avsnittet Tabeller i lakehouse. När den semantiska modellen körs i Direct Lake-läge kan Analysis Services läsa data direkt från genvägen.

Icke-infrastrukturresurser

Program och tjänster utanför Fabric kan också komma åt genvägar via OneLake-API:et. OneLake stöder en delmängd av API:erna ADLS Gen2 och Blob Storage. Mer information om OneLake-API :et finns i OneLake-åtkomst med API:er.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typer av genvägar

OneLake-genvägar stöder flera filsystemdatakällor. Dessa inkluderar interna OneLake-platser, Azure Data Lake Storage (ADLS) Gen2, Amazon S3 och Dataverse.

Interna OneLake-genvägar

Med interna OneLake-genvägar kan du referera till data i befintliga infrastrukturobjekt. Dessa objekt omfattar sjöhus, KQL-databaser och informationslager. Genvägen kan peka på en mappplats i samma objekt, mellan objekt på samma arbetsyta eller till och med mellan objekt i olika arbetsytor. När du skapar en genväg mellan objekt behöver objekttyperna inte matcha. Du kan till exempel skapa en genväg i ett sjöhus som pekar på data i ett informationslager.

När en användare kommer åt data via en genväg till en annan OneLake-plats används identiteten för den anropande användaren för att auktorisera åtkomst till data i målsökvägen för genvägen*. Den här användaren måste ha behörigheter på målplatsen för att kunna läsa data.

Viktigt!

När du kommer åt genvägar via Power BI-semantikmodeller eller T-SQL skickas inte den anropande användarens identitet till genvägsmålet. Den anropande objektägarens identitet skickas i stället, vilket delegerar åtkomst till den anropande användaren.

ADLS-genvägar

Genvägar kan också skapas till ADLS Gen2-lagringskonton. När du skapar genvägar till ADLS kan målsökvägen peka på valfri mapp i det hierarkiska namnområdet. Målsökvägen måste minst innehålla ett containernamn.

Access

ADLS-genvägar måste peka på DFS-slutpunkten för lagringskontot. Exempel: https://accountname.dfs.core.windows.net/

Om ditt lagringskonto skyddas av en lagringsbrandvägg kan du konfigurera åtkomst till betrodda tjänster. Se Åtkomst till betrodd arbetsyta

Auktorisering

ADLS-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för ADLS-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. De delegerade typer som stöds är organisationskonto, kontonyckel, signatur för delad åtkomst (SAS) och tjänstens huvudnamn.

  • Organisationskonto – måste ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner för lagringskontot
  • Signatur för delad åtkomst (SAS) – måste innehålla minst följande behörigheter: Läsa, Lista och Kör
  • Tjänstens huvudnamn – måste ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner för lagringskontot

Kommentar

Du måste ha hierarkiska namnområden aktiverade på ditt ADLS Gen 2-lagringskonto.

S3-genvägar

Du kan också skapa genvägar till Amazon S3-konton. När du skapar genvägar till Amazon S3 måste målsökvägen innehålla ett bucketnamn som minst. S3 har inte inbyggt stöd för hierarkiska namnområden, men du kan använda prefix för att efterlikna en katalogstruktur. Du kan inkludera prefix i genvägssökvägen för att ytterligare begränsa omfattningen av data som är tillgängliga via genvägen. När du kommer åt data via en S3-genväg representeras prefix som mappar.

Access

S3-genvägar måste peka på https-slutpunkten för S3-bucketen.

Exempel: https://bucketname.s3.region.amazonaws.com/

Kommentar

Du behöver inte inaktivera inställningen S3 Blockera offentlig åtkomst för ditt S3-konto för att S3-genvägen ska fungera.

Åtkomst till S3-slutpunkten får inte blockeras av en lagringsbrandvägg eller ett virtuellt privat moln.

Auktorisering

S3-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för S3-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. Delegerade autentiseringsuppgifter som stöds är en nyckel och hemlighet för en IAM-användare.

IAM-användaren måste ha följande behörigheter i bucketen som genvägen pekar på.

  • S3:GetObject
  • S3:GetBucketLocation
  • S3:ListBucket

Kommentar

S3-genvägar är skrivskyddade. De stöder inte skrivåtgärder oavsett behörigheter för IAM-användaren.

Google Cloud Storage-genvägar (förhandsversion)

Genvägar kan skapas till Google Cloud Storage (GCS) med hjälp av XML-API:et för GCS. När du skapar genvägar till Google Cloud Storage måste målsökvägen innehålla ett bucketnamn som minst. Du kan också begränsa omfånget för genvägen genom att ytterligare ange prefixet/mappen som du vill peka på i lagringshierarkin.

Access

När du konfigurerar anslutningen för en GCS-genväg kan du antingen ange den globala slutpunkten för lagringstjänsten eller använda en bucketspecifik slutpunkt.

  • Exempel på global slutpunkt: https://storage.googleapis.com
  • Exempel på bucketspecifik slutpunkt: https://<BucketName>.storage.googleapis.com

Auktorisering

GCS-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för GCS-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. Delegerade autentiseringsuppgifter som stöds är en HMAC-nyckel och hemlighet för ett tjänstkonto eller användarkonto.

Kontot måste ha behörighet att komma åt data i GCS-bucketen. Om den bucketspecifika slutpunkten användes i anslutningen för genvägen måste kontot ha följande behörigheter:

  • storage.objects.get
  • stoage.objects.list

Om den globala slutpunkten användes i anslutningen för genvägen måste kontot också ha följande behörighet:

  • storage.buckets.list

Kommentar

GCS-genvägar är skrivskyddade. De stöder inte skrivåtgärder oavsett behörigheter för det konto som används.

Genvägar för dataversum

Dataverse-direktintegrering med Microsoft Fabric gör det möjligt för organisationer att utöka sina Dynamics 365-företagsprogram och affärsprocesser till Fabric. Den här integreringen sker via genvägar, som kan skapas på två sätt: via PowerApps Maker-portalen eller via Infrastrukturresurser direkt.

Skapa genvägar via PowerApps Maker-portalen

Auktoriserade PowerApps-användare kan komma åt PowerApps Maker-portalen och använda funktionen Länka till Microsoft Fabric . Från den här enskilda åtgärden skapas ett Lakehouse i Infrastrukturresurser och genvägar genereras automatiskt för varje tabell i Dataverse-miljön. Mer information finns i Direktintegrering av Dataverse med Microsoft Fabric.

Skapa genvägar via infrastrukturresurser

Infrastrukturanvändare kan också skapa genvägar till Dataverse. Från UX för att skapa genvägar kan användarna välja Dataverse, ange sin miljö-URL och bläddra i de tillgängliga tabellerna. Med den här upplevelsen kan användarna selektivt välja vilka tabeller som ska tas med i Infrastruktur i stället för att ta in alla tabeller.

Kommentar

Dataverse-tabeller måste först vara tillgängliga i Dataverse Managed Lake innan de visas i UX för att skapa genvägar för infrastrukturresurser. Om dina tabeller inte visas från Fabric använder du funktionen Länka till Microsoft Fabric från PowerApps Maker-portalen.

Auktorisering

Dataverse-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för genvägen Dataverse och all åtkomst till genvägen är auktoriserad med hjälp av autentiseringsuppgifterna. Den delegerade autentiseringstypen som stöds är Organisationskonto (OAuth2). Organisationskontot måste ha systemadministratörsbehörighet för att få åtkomst till data i Dataverse Managed Lake.

Kommentar

Tjänstens huvudnamn stöds för närvarande inte för genvägsauktorisering för Dataverse.

Cachelagring

Cachelagring av genvägar kan användas för att minska utgående kostnader som är associerade med dataåtkomst mellan moln. När filer läss via en extern genväg lagras filerna i en cache för arbetsytan Infrastruktur. Efterföljande läsbegäranden hanteras från cachen i stället för fjärrlagringsprovidern. Cachelagrade filer har en kvarhållningsperiod på 24 timmar. Varje gång filen används återställs kvarhållningsperioden. Om filen i fjärrlagringsprovidern är nyare än filen i cacheminnet hanteras begäran från fjärrlagringsprovidern och den uppdaterade filen lagras i cacheminnet. Om en fil inte har använts på mer än 24 timmar rensas den från cachen. Enskilda filer som är större än 1 GB cachelagras inte.

Kommentar

Cachelagring av genvägar stöds för närvarande endast för genvägar som är kompatibla med GCS, S3 och S3.

Om du vill aktivera cachelagring för genvägar öppnar du panelen Inställningar för arbetsyta. Välj fliken OneLake. Växla cacheinställningen till och klicka på Spara.

Skärmbild av arbetsytans inställningspanel med fliken OneLake markerad.

Så här använder genvägar molnanslutningar

ADLS- och S3-genvägsauktorisering delegeras med hjälp av molnanslutningar. När du skapar en ny ADLS- eller S3-genväg skapar du antingen en ny anslutning eller väljer en befintlig anslutning för datakällan. Att ange en anslutning för en genväg är en bindningsåtgärd. Endast användare med behörighet för anslutningen kan utföra bindningsåtgärden. Om du inte har behörighet för anslutningen kan du inte skapa nya genvägar med den anslutningen.

Behörigheter

En kombination av behörigheterna i genvägssökvägen och målsökvägen styr behörigheterna för genvägar. När en användare kommer åt en genväg tillämpas den mest restriktiva behörigheten för de två platserna. Därför kan en användare som har läs-/skrivbehörigheter i lakehouse men endast läsbehörigheter i genvägsmålet inte skriva till genvägsmålsökvägen. På samma sätt kan en användare som bara har läsbehörigheter i lakehouse men som läser/skriver i genvägsmålet inte heller skriva till kortvägsmålsökvägen.

Arbetsyteroller

I följande tabell visas genvägsrelaterade behörigheter för varje arbetsyteroll. Mer information finns i Arbetsyteroller.

Kapacitet Administratör Medlem Deltagare Tittare
Skapa en genväg Ja1 Ja1 Ja1 -
Läsa fil-/mappinnehåll i genväg Ja2 Ja2 Ja2 -
Skriv till målplats för genväg Ja3 Ja3 Ja3 -
Läsa data från genvägar i tabellavsnittet i lakehouse via TDS-slutpunkten Ja Ja Ja Ja

1 Användare måste ha en roll som ger skrivbehörighet till genvägsplatsen och minst läsbehörighet på målplatsen.

2 Användare måste ha en roll som ger läsbehörighet både på genvägsplatsen och målplatsen.

3 Användare måste ha en roll som ger skrivbehörighet både på genvägsplatsen och målplatsen.

OneLake-dataåtkomstroller (förhandsversion)

OneLake-dataåtkomstroller är en ny funktion som gör att du kan tillämpa rollbaserad åtkomstkontroll (RBAC) på dina data som lagras i OneLake. Du kan definiera säkerhetsroller som ger läsbehörighet till specifika mappar i ett infrastrukturobjekt och tilldela dem till användare eller grupper. Åtkomstbehörigheterna avgör vilka mappar användarna ser när de kommer åt sjövyn för data, antingen via Lakehouse UX, notebook-filer eller OneLake-API:er. För objekt med förhandsgranskningsfunktionen aktiverad avgör OneLake-dataåtkomstroller också en användares åtkomst till en genväg.

Användare i administratörs-, medlems- och deltagarrollerna har fullständig åtkomst till att läsa data från en genväg oavsett vilka OneLake-dataåtkomstroller som definierats. De behöver dock fortfarande åtkomst till både källan och målet för genvägen enligt beskrivningen i Arbetsyteroller.

Användare i rollen Viewer eller som hade ett lakehouse delat med sig direkt har åtkomst begränsad baserat på om användaren har åtkomst via en OneLake-dataåtkomstroll. Mer information om åtkomstkontrollmodellen med genvägar finns i Data Access Control Model i OneLake.

Hur hanterar genvägar borttagningar?

Genvägar utför inte sammanhängande borttagningar. När du utför en borttagningsåtgärd på en genväg tar du bara bort genvägsobjektet. Data i genvägsmålet förblir oförändrade. Men om du utför en borttagningsåtgärd på en fil eller mapp inom en genväg och du har behörigheter i genvägsmålet för att utföra borttagningsåtgärden tas filerna och/eller mapparna bort i målet. Följande exempel visar detta.

Ta bort exempel

Användare A har ett lakehouse med följande sökväg:

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut är en genväg som pekar på ett ADLS Gen2-konto som innehåller Foo\Bar-katalogerna .

Ta bort ett genvägsobjekt

Användare A utför en borttagningsåtgärd på följande sökväg:

MyLakehouse\Files\MyShortcut

I det här fallet tas MyShortcut bort från lakehouse. Genvägar utför inte sammanhängande borttagningar, därför påverkas inte filerna och katalogerna i ADLS Gen2-kontot Foo\Bar .

Ta bort innehåll som refereras till av en genväg

Användare A utför en borttagningsåtgärd på följande sökväg:

MyLakehouse\Files\MyShortcut\Foo\Bar

I det här fallet, om användare A har skrivbehörigheter i ADLS Gen2-kontot, tas katalogen Bar bort från ADLS Gen2-kontot.

Ursprungsvy för arbetsyta

När du skapar genvägar mellan flera infrastrukturobjekt i en arbetsyta kan du visualisera genvägsrelationerna via ursprungsvyn för arbetsytan. Välj knappen Ursprungsvy ( ) i det övre högra hörnet i Arbetsyteutforskaren.

Skärmbild av skärmen för ursprungsvyn.

Kommentar

Ursprungsvyn är begränsad till en enda arbetsyta. Genvägar till platser utanför den valda arbetsytan visas inte.

Begränsningar och överväganden

  • Det maximala antalet genvägar per fabric-objekt är 100 000. I det här sammanhanget refererar termen objekt till: appar, lakehouses, lager, rapporter med mera.
  • Det maximala antalet genvägar i en enda OneLake-sökväg är 10.
  • Det maximala antalet direkta genvägar till genvägslänkar är 5.
  • Målsökvägar för ADLS- och S3-genvägar får inte innehålla några reserverade tecken från RFC 3986 avsnitt 2.2. Tillåtna tecken finns i RFC 3968 avsnitt 2.3.
  • OneLake-genvägsnamn, överordnade sökvägar och målsökvägar får inte innehålla tecknen %eller +.
  • Genvägar stöder inte icke-latinska tecken.
  • Kopiera blob-API:et stöds inte för ADLS- eller S3-genvägar.
  • Kopieringsfunktionen fungerar inte på genvägar som pekar direkt på ADLS-containrar. Vi rekommenderar att du skapar ADLS-genvägar till en katalog som är minst en nivå under en container.
  • Det går inte att skapa ytterligare genvägar i ADLS- eller S3-genvägar.
  • Ursprung för genvägar till informationslager och semantiska modeller är inte tillgängligt för närvarande.