Les på engelsk

Del via

Arbeide med kundedata i Fabric

  • Artikkel

Microsoft Fabric OneLake er en enhetlig, logisk datainnsjø for hele organisasjonen, utformet for å være det eneste stedet for alle analysedata. Den leveres automatisk med alle Microsoft Fabric-leiere og er bygget oppå Azure Data Lake Storage (ADLS) Gen2. OneLake støtter alle typer filer, strukturerte eller ustrukturerte, og lagrer alle tabelldata i Delta Parquet-format. Det gjør det mulig å samarbeide på tvers av ulike forretningsgrupper ved å tilby en enkelt datainnsjø som styres som standard med distribuert eierskap for samarbeid innenfor en leiers grenser. Arbeidsområder i en leier gjør det mulig for ulike deler av organisasjonen å distribuere eierskaps- og tilgangspolicyer, og alle data i OneLake kan nås gjennom dataelementer som Lakehouses og Warehouses. Når det gjelder datalagre, fungerer OneLake som den vanlige lagringsplasseringen for inntak, transformasjon, sanntidsinnsikt og visualiseringer for forretningsintelligens. Det sentraliserer de ulike Fabric-tjenestene og er lagringsplassen for dataelementer som forbrukes av alle arbeidsbelastninger i Fabric.

Microsoft Fabric Eventhouse gir en skalerbar løsning for håndtering og analyse av store mengder data, spesielt i sanntidsanalysescenarioer. Eventhouses administrerer effektivt sanntidsdatastrømmer, slik at organisasjoner kan innta, behandle og analysere data i nær sanntid. De er ideelle for scenarier som krever rettidig innsikt og er den foretrukne motoren for halvstrukturert og fri tekstanalyse. Et eventhouse er et arbeidsområde med databaser som kan deles på tvers av prosjekter, optimalisere ytelse og kostnader ved å administrere flere databaser samtidig. Eventhouses støtter data fra flere kilder og formater, automatisk indeksering og partisjonering av data basert på inntakstid.

Slik leser og skriver du data i Microsoft Fabric

Microsoft Fabric er en plattform som muliggjør lagring og administrasjon av kundedata. Hvis du vil lese og skrive data i Fabric, må du bruke FABRIC REST API-er og de riktige godkjenningsmetodene.

API-tillatelser

Noen metoder for tilgang til kundedata krever bruk av andre tjenester utenfor Fabric, for eksempel Azure Storage eller Azure SQL Database. I eksemplet på Microsoft Fabric Developer Kit brukes for eksempel API-tillatelsen Azure Storage user_impersonation sammen med Power Bi-tjeneste Lakehouse.Read.All-tillatelse til å få tilgang til data fra Lakehouses.

Du kan bruke Azure SQL Database til å få tilgang til tabelldata fra lagerelementer. I dette tilfellet kan du konfigurere appen med Azure SQL Database user_impersonation til å spørre databasen på vegne av brukeren og Power Bi-tjeneste Warehouse.Read.All for å spørre fabric REST API Get Warehouse-endepunktet.

Kontroller at du konfigurerer Microsoft Entra ID-appen i henhold til utviklingsbehovene dine.

Autentisering

Før du kan begynne å bruke FABRIC REST API-er eller andre tjenester, for eksempel Azure Storage og Azure SQL Database, må du godkjenne ved hjelp av et token på vegne av brukeren. Dette tokenet kan hentes gjennom en tokenutvekslingsprosess.

Fabric Workload Development Kit SDK gir en metode for å anskaffe et tilgangstoken i arbeidsbelastningsfronten. Se eksempel på arbeidsbelastningskontroller.

Dette klienttokenet må sendes til arbeidsbelastningens serverdel og utveksles ved hjelp av flyten på vegne av flyten for et token med de nødvendige omfangene for å få tilgang til ressursene du trenger, for eksempel OneLake. Hvis du for eksempel vil ha tilgang til og lese fra en Lakehouse, må en bruker godkjenne programmet for å foreta API-anrop på deres vegne ved hjelp av Azure Storage-tillatelsen user_impersonation . I serverdel må tilgangstokenet hentes med det delegerte omfanget https://storage.azure.com/user_impersonation for å kunne bruke Azure Storage.

Hvis du bestemmer deg for å bruke SQL til å få tilgang til kundedataene, må tilgangstokenet hentes med omfanget https://database.windows.net//user_impersonation for å bruke Azure SQL Database og Microsoft.Data.SqlClient-navneområdet. Tilgangstokenet må brukes som skrevet, med to skråstreker før user_impersonation, for å kunne valideres av SQLConnection-klassen. Hvis du vil ha flere eksempler på tokengodkjenning, kan du se eksemplet på Microsoft Fabric Developer Kit.

Du finner mer informasjon om hvordan du skaffer et token i rest-API-dokumentasjonen for Microsoft Fabric Workload Development.

Les metadata

Rest-API-er for stoff gir deg tilgang til elementegenskaper. Spørring av Get Lakehouse API gir deg for eksempel metadataene for et bestemt Lakehouse, inkludert nyttige egenskaper som OneLake-baner og SQL-tilkoblingsstreng. Et annet nyttig endepunkt er Hent lager-API-en, som returnerer følgende informasjon:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Her er egenskapen ConnectionInfo det fullstendige domenenavnet (FQDN) for Warehouse SQL Server. Med denne FQDN kan du opprette en SQL-tilkobling. Hvis du vil ha mer informasjon, kan du se Tilkobling til datalager i Microsoft Fabric. Hvis du vil ha eksempler på implementering, kan du se Microsoft Fabric Workload Development Kit.

Lese data

Når du godkjenner, kan du koble til OneLake ved hjelp av AZURe Data Lake Storage REST API-er for å lese ulike typer data. Vi anbefaler at du bruker Delta Lake-protokollen for å lese tabeller.

Hvis du velger å bruke Azure SQL Database, kan du også implementere følgende fremgangsmåte for å lese data fra et lager.

  1. Opprett en godkjenningskontekst. Hvis du vil ha et eksempel på hvordan du oppretter en autorisasjonskontekst, kan du se AuthenticateDataPlaneCall-metoden.

  2. Hent et token med Warehouse.Read.All-omfanget på vegne av brukeren ved hjelp av bærertokenet som ble sendt fra fronten.

  3. Bruk stofftokenet til å kalle Hent Lager-API-en. Det kreves for å få tilgang til tilkoblingsinformasjonen og visningsnavnet for lageret, som er den første katalogen for serveren.

  4. Hent et token med SQL-omfang på vegne av brukeren. Hvis du vil opprette en SQL-tilkobling, bruker du omfanget https://database.windows.net//user_impersonation.

  5. Bruk SQL-tokenet og tilkoblingsinformasjonen til å åpne en SQL-tilkobling:

    private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

  6. Denne tilkoblingen kan nå spørres om å få tilgang til data fra lageret. Hvis du vil ha mer informasjon om hvordan du bruker navneområdet Microsoft.Data.SqlClient , kan du se Microsoft.Data.SqlClient Namespace Documentation.

Eventhouse API

Når du godkjenner, kan du utføre handlinger som å opprette Eventhouse, slette Eventhouse, få en liste over Eventhouses osv. Én måte å gjøre det på er å bruke portalen – Oversikt over Eventhouse.

Den andre måten er å bruke Eventhouse Rest API - Eventhouse Rest API-oversikt.

  1. Autorisere.
  2. Hent et token med FabricEventhouse.Read.All omfang på vegne av brukeren ved hjelp av bærertokenet som ble sendt fra fronten.
  3. Bruk Fabric-tokenet til å kalle Get Eventhouse API.
  4. Nå som du har en liste over databasene for hendelseshuset, kan du spørre den bestemte DB-en du vil bruke, som beskrevet i spørringsdatainndelingen nedenfor.

Spørringsdata

Hvis du vil spørre etter data fra en Eventhouse KQL-database, følger du disse trinnene: Først må du godkjenne ved hjelp av den aktuelle metoden. Deretter kobler du til Eventhouse for å hente listen over databaser. Deretter kan du spørre den bestemte databasen du vil ha tilgang til. Det er viktig å skille mellom spørringskommandoer, for eksempel .show tablesog dataspørringer, for eksempel <TableName> | take 10. Hvis du vil ha fullstendig dokumentasjon om KQL REST-API-en, kan du se KQL REST API-dokumentasjon.

Den andre måten er å bruke Eventhouse Rest API - Eventhouse Rest API-oversikt.

  1. Autorisere.
  2. Hent et token med KQLDatabase.ReadWrite.All omfang på vegne av brukeren ved hjelp av bærertokenet som ble sendt fra fronten.
  3. Bruk Kql-tokenet til å kalle KQL Rest API-.

Skrive data

I tillegg til å lese data ved hjelp av tokenet, kan du også bruke ADLS-API-er til å skrive data inn i tabeller som beskrevet av Delta Lake-protokollen.

Du kan også bruke API-ene til å opprette filer og kataloger.

Du kan også bruke andre fabric-arbeidsbelastninger til å skrive data til plattformen. Du kan for eksempel bruke Fabrics Arbeidsbelastning-API for Lakehouse til effektivt å laste inn vanlige filtyper til en optimalisert Delta-tabell. Dette gjøres ved å sende en POST-forespørsel til tabeller – Laste inn tabell-API-endepunktet.

SQL-tilkoblingen kan også brukes til å utføre kommandoer som setter inn data i tabeller.

Relatert innhold