Lakehouse SQL-analyse-endepunktsbrukstilfeller

SQL-analyseendepunktet er en leseoptimalisert T-SQL-overflate over Delta-data i Fabric. Denne artikkelen forklarer Fabric data warehousing-arbeidsbelastningen med SQL-analyseendepunktet til lakehouse, og scenarier for bruk av lakehouse i datavarehus.

Hva er et lakehouse SQL-analyseendepunkt?

SQL-analyseendepunktet gjør det mulig å spørre data i lakehouse ved å bruke T-SQL-språket og TDS-protokollen.

  • SQL-analyse-endepunktet eksponerer Delta-tabeller fra lakehouse som SQL-tabeller som du kan spørre med T-SQL.
  • Hver Delta-tabell fra et innsjøhus er representert som ett bord. Dataene skal være i deltaformat.
  • Hver lakehouse har ett SQL-analyse-endpoint, og hvert arbeidsområde kan ha mer enn ett lakehouse. Andre Fabric-elementer – inkludert lagre, speilede databaser, SQL-databaser og Azure Cosmos DB – provisjonerer også automatisk et SQL-analyseendepunkt, slik at et arbeidsområde kan ha flere SQL-analyseendepunkter enn lakehouse-elementer.

Du trenger ikke å lage et SQL-analyseendepunkt i Fabric. Et SQL Analytics-endepunkt opprettes automatisk for hver lakehouse, database eller speilvendt database. Et SQL-analyseendepunkt fungerer som en lettvekts datalagerkapasitet for deres overordnede enheter, og utfyller lagerets lakehouse-arkitektur. Denne arkitekturen tillater Spark- eller Fabric-speiling å kontrollere data i en mappestruktur i lakehouse som SQL-analyseendepunktet kan se.

Bemerkning

Bak kulissene bruker SQL-analyseendepunktet samme motor som Warehouse for å levere høyytelses, lav-latens SQL-spørringer.

Automatisk metadataoppdagelse

En sømløs prosess leser Delta-loggene fra /Tables mappen og sørger for at SQL-metadata for tabeller, som statistikk, alltid er oppdatert. Det kreves ingen brukerhandling, og du trenger ikke å importere, kopiere data eller konfigurere infrastruktur. Hvis du vil ha mer informasjon, kan du se Automatisk generert skjema i endepunktet for SQL-analyse.

Scenarier som lakehouse muliggjør for datalagring

I Fabric tilbyr vi ett lager.

Lakehouse, med sitt SQL-analyseendepunkt, drevet av lageret, kan forenkle det tradisjonelle beslutningstreet med batch-, streaming- eller lambda-arkitekturmønstre. Sammen med et lager muliggjør lakehouse mange additivanalysescenarioer. Denne delen utforsker hvordan man kan bruke et innsjøhus sammen med et lager for en best-of-race analysestrategi.

Analyse med gulllaget i innsjøhuset ditt

En kjent strategi for organisering av innsjødata er medaljongarkitektur. Denne strategien organiserer filer i rå (bronse), konsolidert (sølv) og raffinert (gull) lag. Du kan bruke et SQL-analyse-endepunkt for å analysere data i gulllaget i medallion-arkitekturen hvis filene er lagret i Delta Lake-format, selv om de er lagret utenfor Microsoft Fabric OneLake.

Bruk snarveier i OneLake for å referere til gold-mapper i eksterne Azure Data Lake-lagringskontoer som Synapse Spark eller Azure Databricks-motorer administrerer.

Du kan også legge til lagre som fagområde- eller domeneorienterte løsninger for spesifikke fagområder som kan ha skreddersydde analysekrav.

Hvis du velger å beholde dataene dine i Fabric, er det alltid åpent og tilgjengelig via API-er, Delta-format og selvfølgelig T-SQL.

Søk som en tjeneste over dine Delta-tabeller fra lakehouse og andre elementer fra OneLake

Analytikere, dataforskere og dataingeniører kan trenge å spørre data innenfor en datalake. I Fabric er denne ende-til-ende-opplevelsen fullstendig SaaSifisert.

OneLake er en enkel, enhetlig, logisk datainnsjø for hele organisasjonen. OneLake er OneDrive for data. OneLake kan inneholde flere arbeidsområder, for eksempel langs organisasjonsavdelingene. Hvert element i Fabric gjør data tilgjengelig via OneLake.

Data i et innsjøhus i Fabric lagres fysisk i OneLake med følgende mappestruktur:

  • Mappen /Files inneholder råfiler og ukonsoliderte (bronse) filer som dataingeniører bør behandle før analyse. Filene kan være i ulike formater som CSV, Parquet, ulike typer bilder og mer.
  • Mappen /Tables inneholder raffinerte og konsoliderte (gull) data som er klare for forretningsanalyse. De konsoliderte dataene er i Delta Lake-format.

Et SQL Analytics-endepunkt kan lese data i mappen i /tables OneLake. Analyse er så enkelt som å spørre SQL-analyse-endepunktet i lakehouse. Sammen med lageret får du også kryssdatabase-spørringer og muligheten til sømløst å bytte fra skrivebeskyttede spørringer til å bygge ekstra forretningslogikk oppå OneLake-dataene dine med Fabric datalager.

Dataingeniør med spark og servering med SQL

Datadrevne virksomheter må holde back-end- og analysesystemene sine i nær sanntidssynkronisering med kunderettede programmer. Virkningen av transaksjoner må gjenspeiles nøyaktig gjennom ende-til-ende-prosesser, relaterte programmer og OLTP-systemer (Online Transaction Processing).

I Fabric kan du bruke Spark Streaming eller Dataingeniør til å kuratere dataene. Du kan bruke lakehouse SQL-analyseendepunkt for å validere datakvalitet og for eksisterende T-SQL-prosesser. Dette kan gjøres i en medaljongarkitektur eller i flere lag av hytta ved innsjøen, hvor du serverer bronse, sølv, gull, eller iscenesatt, kuratert og raffinert data. Du kan tilpasse mappene og tabellene som er opprettet via Spark, slik at de oppfyller kravene til datateknikk og forretningsvirksomhet. Når det er klart, kan et lager levere alle dine nedstrøms forretningsintelligensapplikasjoner og andre analyseapplikasjoner, uten å kopiere data, bruke Views eller forbedre data med CREATE TABLE AS SELECT (CTAS), lagrede prosedyrer og andre DML/DDL-kommandoer.

Integrasjon med gulllaget i ditt åpne innsjøhus

Et SQL-analyseendepunkt er ikke begrenset til dataanalyse i bare innsjøhuset i Fabric. Ved å bruke et SQL-analyseendepunkt kan du analysere innsjødata i ethvert innsjøhus ved å bruke Synapse Spark, Azure Databricks eller en annen innsjø-sentrert dataingeniørmotor. Du kan lagre dataene i Azure Data Lake Storage eller Amazon S3.

Du kan alltid få tilgang til denne tette, toveis integrasjonen med lakehouse i Fabric gjennom hvilken som helst motor ved å bruke åpne API-er, Delta-formatet og selvfølgelig T-SQL.

Datavirtualisering av eksterne datasjøer med snarveier

Bruk OneLake-snarveier for å referere til gullmapper i eksterne Azure Data Lake-lagringskontoer som Synapse Spark eller Azure Databricks-motorer administrerer, samt enhver Delta-tabell lagret i Amazon S3.

Du kan analysere hvilken som helst mappe som refereres til via en snarvei fra et SQL-analyseendepunkt og lage en SQL-tabell for de refererte dataene. Bruk SQL-tabellen for å eksponere data i eksternt administrerte datalakes og aktiver analyse på dem.

Denne snarveien fungerer som et virtuelt lager som du kan utnytte fra et lager for ekstra nedstrøms analysebehov, eller spørre direkte.

For å analysere data i eksterne datalagringskontoer, bruk følgende trinn:

  1. Opprett en snarvei som refererer til en mappe i Azure Data Lake Storage eller Amazon S3-konto. Etter at du har tastet inn tilkoblingsdetaljer og legitimasjon, vises en snarvei i hytta ved innsjøen.
  2. Bytt til SQL-analyse-endepunktet i lakehouse og finn en SQL-tabell som har et navn som matcher snarveisnavnet. Denne SQL-tabellen refererer til mappen i ADLS eller S3.
  3. Søk i SQL-tabellen som refererer til data i ADLS eller S3. Bruk tabellen som en hvilken som helst annen tabell i SQL-analyse-endepunktet. Du kan koble sammen tabeller som refererer til data i ulike lagringskontoer.

Bemerkning

Hvis SQL-tabellen ikke vises umiddelbart i SQL-analyse-endepunktet, vent noen minutter. SQL-tabellen som refererer til data i ekstern lagringskonto, opprettes med en forsinkelse.

Analyser arkiverte eller historiske data i en datalake

Datapartisjonering er en velkjent teknikk for datatilgangsoptimalisering i datainnsjøer. Lagre partisjonerte datasett i hierarkiske mappestrukturer i formatet /year=<year>/month=<month>/day=<day>, hvor year, month, og day er partisjoneringskolonnene. Denne strukturen holder historiske data logisk adskilt og gjør det mulig for beregningsmotorer å lese dataene etter behov med ytelsesfiltrering, i stedet for å lese hele katalogen og alle mapper og filer inni.

Partisjonerte data gir raskere tilgang hvis spørringene filtreres på predikatene som sammenligner predikatkolonner med en verdi.

Et SQL Analytics-endepunkt kan enkelt lese denne typen data uten nødvendig konfigurasjon. Du kan for eksempel bruke et hvilket som helst program til å arkivere data i en datainnsjø, inkludert SQL Server 2022 eller Azure SQL administrert forekomst. Etter at du har partisjonert data og plassert dem i en innsjø for arkivering ved å bruke eksterne tabeller, kan et SQL-analyse-endepunkt lese partisjonerte Delta Lake-tabeller som SQL-tabeller og la organisasjonen din analysere dem. Denne tilnærmingen reduserer de totale eierkostnadene, reduserer duplisering av data og lyser opp big data-, AI- og andre analysescenarier.

Du kan også bruke tidsreise-spørringer for raskt å spørre tidligere versjoner av data. Tidsreiser er en rimelig og effektiv mulighet til å spørre tidligere datatilstander med T-SQL-spørringer. For et Lake House SQL-analyse-endepunkt er tidsreiser begrenset av innstillinger for vakuumretensjon. For å komme i gang, se Hvordan du: Søk ved hjelp av tidsreise på setningsnivå.

Datavirtualisering av stoffdata med snarveier

I Fabric lar arbeidsområder deg skille data basert på komplekse forretningsmessige, geografiske eller forskriftsmessige krav.

Et SQL-analyseendepunkt gjør det mulig å la dataene bli liggende og fortsatt analysere data i lageret eller lakehouse, selv i andre Fabric-arbeidsområder, via en sømløs virtualisering. Hvert innsjøhus i Fabric lagrer data i OneLake.

Med snarveier kan du referere til mapper på en hvilken som helst OneLake-plassering.

Hvert lager i Fabric lagrer tabelldata i OneLake. Hvis en tabell bare er tilføyet, vises tabelldataene som Delta Lake-data i OneLake. Snarveier lar deg referere til mapper i hvilken som helst OneLake hvor lagertabellene er eksponert.

Deling og spørring på tvers av arbeidsområder

Selv om arbeidsområder lar deg skille data basert på komplekse forretningsmessige, geografiske eller forskriftsmessige krav, må du noen ganger legge til rette for deling på tvers av disse linjene for spesifikke analysebehov.

Et Lake House SQL-analyseendepunkt kan gjøre det enkelt å dele data mellom avdelinger og brukere, hvor en bruker kan ta med egen kapasitet og lager. Arbeidsområder organiserer avdelinger, forretningsenheter eller analytiske domener. Ved å bruke snarveier kan brukere finne data fra hvilket som helst lager eller lakehouse. Brukere kan umiddelbart utføre sine egne tilpassede analyser fra de samme delte dataene. I tillegg til å hjelpe med avdelingstilbakeføringer og bruksfordeling, er denne tilnærmingen en nullkopiversjon av dataene.

Sql Analytics-endepunktet muliggjør spørring av alle tabeller og enkel deling. Du kan legge til kontroller ved å bruke arbeidsplassroller og sikkerhetsroller for å møte ekstra forretningskrav.

For å muliggjøre dataanalyse på tvers av arbeidsområder, bruk følgende steg:

  1. Opprett en OneLake-snarvei som refererer til en tabell eller en mappe i et arbeidsområde som du har tilgang til.
  2. Velg et lakehouse eller lager som inneholder en tabell eller Delta Lake-mappe du vil analysere. Når du velger en tabell eller mappe, dukker det opp en snarvei i innsjøhuset.
  3. Bytt til SQL-analyseendepunktet i lakehouse og finn SQL-tabellen som har et navn som matcher snarveisnavnet. Denne SQL-tabellen refererer til mappen i et annet arbeidsområde.
  4. Spør sql-tabellen som refererer til data i et annet arbeidsområde. Du kan bruke tabellen som en hvilken som helst annen tabell i SQL-analyse-endepunktet. Du kan koble sammen tabellene som refererer til data i forskjellige arbeidsområder.

For mer informasjon om sikkerhet i SQL-analyseendepunktet, se OneLake sikkerhet for SQL-analyseendepunkter.

Bemerkning

Hvis SQL-tabellen ikke umiddelbart vises i SQL-analyse-endepunktet, vent noen minutter. SQL-tabellen som refererer til data i et annet arbeidsområde, opprettes med en forsinkelse.

Analysere partisjonerte data

Datapartisjonering er en velkjent teknikk for datatilgangsoptimalisering i datainnsjøer. Du lagrer partisjonerte datasett i hierarkiske mappestrukturer i formatet /year=<year>/month=<month>/day=<day>, hvor year, month, og day er partisjoneringskolonnene. Partisjonerte datasett muliggjør raskere datatilgang hvis spørringene bruker predikater som filtrerer data ved å sammenligne predikatkolonner med en verdi.

Et SQL Analytics-endepunkt kan representere partisjonerte Delta Lake-datasett som SQL-tabeller og gjøre det mulig å analysere dem.

For mer informasjon og eksempler på å spørre eksterne data, se Søk i eksterne data lake-filer ved å bruke Fabric datalager eller SQL analytics-endepunktet. For et eksempel og et brukstilfelle for å spørre partisjonerte parquet-filer, se Spør partisjonerte data.

Analyser data i innsjøhuset, lageret eller eventhuset

Hovedsidene for Lakehouse og Warehouse inkluderer Eventhouse-endepunktet som en del av menyen Analyser data med . Eventhouse-endepunktet gir en Eventhouse-drevet spørringsopplevelse direkte oppå Lakehouse- og Warehouse-data, uten dataduplisering eller manuell synkronisering.

Skjermbilde av Analyser data med knappen utvidet for å se SQL-analyse-endepunktet og Eventhouse-endepunktalternativene.

Når du aktiverer Eventhouse-endepunktet, opprettes en Eventhouse og en KQL-database automatisk som underelementer av kilde-Lakehouse eller Warehouse, med skjema-synkronisering håndtert i bakgrunnen. Endepunktet reflekterer alltid det nåværende skjemaet for kildedataene, noe som muliggjør nesten sanntids analytisk tilgang.

Denne integrasjonen gjør Eventhouse til en naturlig utvidelse av datakilden, i stedet for et eget system du må sette opp og administrere. For mer informasjon om Eventhouse-endepunktet, se Aktiver Eventhouse-endepunkt for lakehouse og lager.

Relatert innhold

  • Last updated on