Tænd for OneLake-tilgængelighed for et eventhouse

Du kan oprette en logisk kopi af KQL-databasedata i et hændelseshus ved at aktivere OneLake-tilgængelighed. Når du slår OneLake tilgængelighed til, kan du forespørge dataene i din KQL-database i Delta Lake-format via andre Fabric-motorer såsom Direct Lake-tilstand i Power BI, Warehouse, Lakehouse, Notebooks og mere. Delta Lake er det samlede datalake-tabelformat, der gør problemfri dataadgang mulig på tværs af alle beregningsmotorer i Fabric.

I denne artikel får du mere at vide om, hvordan du aktiverer tilgængeligheden af KQL-databasedata i OneLake.

Når OneLake-tilgængelighed og skema-synkronisering er aktiveret, kan du også bruge Analyze data med>SQL-endpoint på databaseniveau til at forespørge Delta Lake-repræsentationen næsten i realtid via SQL-baserede motorer.

Når OneLake-tilgængelighed og skema-synkronisering er aktiveret, kan du også bruge Analyze data med>SQL-endpoint på databaseniveau til at forespørge Delta Lake-repræsentationen næsten i realtid via SQL-baserede motorer.

Hvordan OneLake-tilgængelighed fungerer for KQL-databaser

Du kan aktivere OneLake-tilgængelighed på database- eller tabelniveau. Når indstillingen er aktiveret på databaseniveau, gøres alle nye tabeller og deres data tilgængelige i OneLake. Når du aktiverer funktionen, kan du også vælge at anvende denne indstilling på eksisterende tabeller ved at vælge indstillingen Anvend på eksisterende tabeller for at inkludere historikbackfill. Når du aktiverer på tabelniveau, er det kun den pågældende tabel og dens data, der er tilgængelige i OneLake. Politikken for dataopbevaring for din KQL-database anvendes også på dataene i OneLake. Data, der er fjernet fra din KQL-database ved slutningen af opbevaringsperioden, fjernes også fra OneLake. Hvis du slår OneLake-tilgængelighed fra, slettes data blødt fra OneLake.

Backend-skemasynkronisering holder Delta Lake-repræsentationen i overensstemmelse med KQL-databasen, hvilket muliggør næsten realtidsforespørgsler via SQL-endpointet og notebooks. For forventet latenstid og batchadfærd, se Adaptiv adfærd.

Selvom OneLake-tilgængelighed er slået til, kan du ikke udføre følgende opgaver:

  • Omdøb tabeller.
  • Ændr en kolonnetype. Tilføjelse eller sletning af en kolonne understøttes.
  • Anvend række-niveau sikkerhed på tabeller.
  • Slet, afkort eller slet data.

Hvis du har brug for at udføre nogen af disse opgaver, skal du benytte følgende fremgangsmåde:

  1. Deaktiver tilgængeligheden OneLake.
  2. Udfør opgaven.
  3. Slå tilgængeligheden OneLake til.

Vigtigt

Hvis du slår tilgængeligheden OneLake fra sletter dine data fra OneLake. Når du slår tilgængeligheden til igen, er alle data tilgængelige i OneLake, inklusive historisk backfill.

Bemærk

For information om den tid, det tager for data at dukke op i OneLake, se Adaptiv adfærd. Der er ingen ekstra lageromkostninger at aktivere OneLake-tilgængelighed. Du kan få flere oplysninger under Ressourceforbrug.

Forudsætninger

Tænd for OneLake-tilgængelighed for en KQL-database eller -tabel

Du kan slå OneLake-tilgængelighed til for enten en KQL-database eller -tabel.

  1. Vælg en database eller tabel.

  2. I afsnittet OneLake i detaljeruden skal du angive tilgængelighed til aktiveret.

    Skærmbillede af afsnittet OneLake i ruden Databasedetaljer, der viser indstillingen Tilgængelighed fremhævet.

  3. I vinduet Aktiver OneLake tilgængelighed , vælg Aktiver.

    Skærmbillede af vinduet Aktiver OneLake tilgængelighed, der viser muligheden Anvend på eksisterende tabeller.

  4. Databasen eller tabeldetaljerne opdateres automatisk.

    Skærmbillede af oplysningerne i afsnittet OneLake, når tilgængeligheden er angivet til Aktiveret. Muligheden for at vise data til OneLake er slået til.

Når du slår OneLake-tilgængelighed til i din KQL-database eller tabel, kan du få adgang til alle data på den givne OneLake-sti i Delta Lake-format. Du kan også oprette en OneLake-genvej fra et lakehouse eller lager, eller forespørge dataene direkte via Power BI Direct Lake-tilstand. Når OneLake-tilgængelighed i din KQL-database eller -tabel slået til, kan du nu få adgang til alle dataene på den angivne OneLake-sti i Delta Lake-format. Du kan også oprette en OneLake-genvej fra lakehouse-, data warehouse- eller forespørge dataene direkte via Tilstanden Power BI Direct Lake.

Brug med Analyser data med muligheder

Når OneLake-tilgængelighed er aktiveret, viser Eventhouse- og KQL-databaseelementer Analyse-data med muligheder på databaseniveau:

  • SQL-endpoint: Tilgængeligt, når både OneLake-tilgængelighed og skema-synkronisering er aktiveret.
  • Notesbog: Åbner notesbogsbaseret analyse for den valgte database.

Hvis du slår OneLake-tilgængeligheden fra, fjernes SQL-endpoint-muligheden fra denne menu, indtil du aktiverer den igen.

Adaptiv adfærd til parquet-filbatching

Et eventhouse samler intelligent indkommende datastrømme i en eller flere Parquet-filer, der er struktureret til analyse. Batching af datastrømme er vigtigt, når man håndterer dryppende data, fordi det kan være ineffektivt at skrive mange små Parquet-filer i søen. Denne ineffektivitet resulterer i højere omkostninger og dårlig forespørgselsydelse.

Eventhouse-adaptivmekanismen kan forsinke skriveoperationer til OneLake, hvis der ikke er nok data til at skabe optimale Parquet-filer. Denne adfærd sikrer, at Parquet-filer er optimale i størrelse og følger Delta Lakes bedste praksis. Det balancerer behovet for hurtig datatilgængelighed med omkostnings- og ydelsesovervejelser.

Standard og konfigurerbar skrivelatens for OneLake-tilgængelighed:

Indstilling Standardværdi Tilladt rækkevidde
Forsinkelse for skriveoperationer (TargetLatencyInMinutes) Op til 3 timer, eller indtil filer af tilstrækkelig størrelse (typisk 200-256 MB) er oprettet 5 minutter til 3 timer

For eksempel kan du bruge følgende Kusto-kommando til at sætte skriveforsinkelsen til 5 minutter for en enkelt tabel:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Forsigtighed

Hvis du justerer forsinkelsen til en kortere periode, kan det resultere i en ikke-optimal deltatabel med et stort antal små filer, hvilket kan føre til ineffektiv forespørgselsydeevne. Den resulterende tabel i OneLake er skrivebeskyttet og kan ikke optimeres efter oprettelsen.

Du kan overvåge, hvor længe siden nye data blev tilføjet i søen ved at tjekke din datalatens med kommandoen.show table mirroring operations.

Resultaterne måles fra sidste gang, der blev tilføjet data. Når latenstiden returnerer 00:00:00, er alle data i KQL-databasen tilgængelige i OneLake.

Se Delta Lake-filer i OneLake

Når du slår OneLake-tilgængelighed til på en tabel, opretter processen en delta-logmappe sammen med eventuelle tilsvarende JSON- og Parquet-filer. Du kan se de filer, der er tilgængelige i OneLake og deres egenskaber, mens du opholder dig i Real-Time Intelligence.

  • Hvis du vil have vist filerne, skal du holde markøren over en tabel i ruden Stifinder og derefter vælge menuen Mere [...]>Vis filer.

    Skærmbillede af ruden Stifinder, der viser rullemenuen Flere i en tabel.

  • Hvis du vil have vist egenskaberne for deltalogmappen eller de enkelte filer, skal du holde markøren over mappen eller filen og derefter vælge menuen Flere [...]>Egenskaber.

  • Sådan får du vist filerne i deltalogmappen:

    1. Vælg mappen _delta_log .
    2. Vælg en fil for at få vist tabelmetadata og -skema. Den editor, der åbnes, er i skrivebeskyttet format.

Få adgang til OneLake-spejlingspolitikken

Som standard, når du slår OneLake-tilgængelighed til for en KQL-database eller -tabel, aktiverer systemet en spejlingspolitik. Du kan bruge spejlingspolitikken til at overvåge datalatens eller ændre den for at partitionere delta-tabeller.

Bemærk

Hvis du slår Tilgængelighed af OneLake fra

Partitionsdelta-tabeller i OneLake

Du kan partitionere dine deltatabeller for at forbedre forespørgselshastigheden. Du kan få oplysninger om, hvornår du skal partitionere Dine OneLake-filer, under Hvornår skal du partitionere tabeller. Hver partition repræsenteres som en separat kolonne ved hjælp af de liste, der PartitionName er listet i Partitions listen. Denne repræsentation betyder, at din OneLake-kopi har flere kolonner end din kildetabel.

For at partitionere dine delta-tabeller, brug kommandoen .alter-merge table policy mirroring .

Foresøg Delta-tabeller fra en Fabric-notesbog

Du kan bruge Fabric Notebook til at læse OneLake-dataene ved hjælp af følgende kodestykke.

Tip!

Du kan starte en ny eller eksisterende Fabric-notebook direkte fra Analyze data with>Notebook i en Eventhouse- eller KQL-database. Notesbogen vedhæftes automatisk til den valgte databasekontekst. Brug følgende kodeeksempel, når du ønsker manuel stibaseret adgang.

I kodestykket skal du erstatte <workspaceGuid>, <workspaceGuid>og <tableName> med dine egne værdier.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

Bemærk

Brug denne kode til en Azure Data Explorer-database:

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Relateret indhold

  • Last updated on