Hvad er datawarehousing i Microsoft Fabric?

Artikel
08/18/2023

Gælder for: SQL Endpoint og Warehouse i Microsoft Fabric

Microsoft Fabric giver kunderne et samlet produkt, der behandler alle aspekter af deres dataområde ved at tilbyde en komplet SaaS-ified Data, Analytics og AI-platform, som er centreret og åben. Grundlaget for Microsoft Fabric gør det muligt for nybegyndere at bruge arbejdsbelastningerne Database, Analytics, Messaging, Data Integration og Business Intelligence via en omfattende, nem at bruge, delt SaaS-oplevelse med Microsoft OneLake som omdrejningspunkt.

Vigtigt

Microsoft Fabric er i prøveversion.

En søcentreret SaaS-oplevelse, der er bygget til ethvert færdighedsniveau

Microsoft Fabric introducerer et lakecentrisk data warehouse, der er baseret på et distribueret behandlingsprogram i virksomhedsklasse, der giver branchens førende ydeevne i stor skala, samtidig med at behovet for konfiguration og administration fjernes. Ved hjælp af en brugervenlig SaaS-oplevelse, der er tæt integreret med Power BI til nem analyse og rapportering, konvergerer Warehouse i Microsoft Fabric verdenen af datasøer og lagre med et mål om i høj grad at forenkle en organisations investering i deres analyseområde. Datawarehousing-arbejdsbelastninger drager fordel af SQL-programmet med omfattende funktioner i et åbent dataformat, hvilket gør det muligt for kunderne at fokusere på dataforberedelse, analyse og rapportering over en enkelt kopi af deres data, der er gemt i deres Microsoft OneLake.

Warehouse er bygget til ethvert kvalifikationsniveau – fra borgerudvikleren til den professionelle udvikler, DBA eller datatekniker. Det omfattende sæt af oplevelser, der er indbygget i Microsoft Fabric-arbejdsområdet, giver kunderne mulighed for at reducere deres tid til indsigt ved at have et datasæt, der er nemt at forbruge, og som altid er forbundet, og som er integreret med Power BI i DirectLake-tilstand. Dette muliggør en brancheførende ydeevne, der sikrer, at en kundes rapport altid har de nyeste data til analyse og rapportering. Forespørgsler på tværs af databaser kan udnyttes til hurtigt og problemfrit at udnytte flere datakilder, der strækker sig over flere databaser, for hurtigt indsigt og nul dataduplikering.

Virtuelle lagre med forespørgsler på tværs af databaser

Microsoft Fabric giver kunderne mulighed for at opstille virtuelle lagre, der indeholder data fra stort set alle kilder, ved hjælp af genveje. Kunderne kan oprette et virtuelt lager ved at oprette genveje til deres data, uanset hvor de befinder sig. Et virtuelt lager kan bestå af data fra OneLake, Azure Data Lake Storage eller et andet cloudleverandørlager inden for en enkelt grænse og uden duplikering af data.

Lås uden problemer op for værdi fra en række forskellige datakilder via den omfattende forespørgsel på tværs af databaser i Microsoft Fabric. Forespørgsler på tværs af databaser gør det muligt for kunderne hurtigt og problemfrit at udnytte flere datakilder for at få hurtig indsigt og med nul dataduplikering. Data, der er gemt i forskellige kilder, kan nemt samles, så kunderne kan levere omfattende indsigt, der tidligere krævede en betydelig indsats fra dataintegrations- og ingeniørteams.

Forespørgsler på tværs af databaser kan oprettes via Visual Query-editoren, som giver en sti uden kode til indsigt i flere tabeller. SQL Query-editoren eller andre velkendte værktøjer, f.eks. SQL Server Management Studio (SSMS), kan også bruges til at oprette forespørgsler på tværs af databaser.

Administration af autonome arbejdsbelastninger

Lagre i Microsoft Fabric udnytter et brancheførende program til behandling af distribuerede forespørgsler, som giver kunderne arbejdsbelastninger, der har en naturlig isolationsgrænse. Der er ingen knapper til at vende med den autonome tildeling og frafald af ressourcer til at tilbyde bedst i race ydeevne med automatisk skala og samtidighed indbygget. Ægte isolation opnås ved at adskille arbejdsbelastninger med forskellige egenskaber, så ETL-job aldrig forstyrrer deres ad hoc-analyser og rapporteringsarbejdsbelastninger.

Åbn format for problemfri motorkompatibilitet

Data i lageret gemmes i parketfilformatet og publiceres som Delta Lake Logs, hvilket muliggør ACID-transaktioner og kompatibilitet på tværs af motorer, der kan udnyttes via andre Microsoft Fabric-oplevelser, f.eks. Spark, Pipelines, Power BI og Azure Data Explorer. Kunderne behøver ikke længere at oprette flere kopier af deres data for at gøre det muligt for datamedarbejdere med forskellige færdigheder. Datateknikere, der er vant til at arbejde i Python, kan nemt udnytte de samme data, der blev modelleret og betjent af en data warehouse-professionel, der er vant til at arbejde i SQL. Samtidig kan BI-fagfolk hurtigt og nemt bruge de samme data til at oprette et omfattende sæt visualiseringer i Power BI med postydeevne og ingen duplikering af data.

Adskillelse af lager og beregning

Beregning og lagring er afkoblet i et lager, hvilket gør det muligt for kunderne at skalere næsten øjeblikkeligt for at opfylde kravene i deres virksomhed. Dette gør det muligt for flere beregningsprogrammer at læse fra enhver understøttet lagerkilde med robust sikkerhed og komplette ACID-transaktionsgarantier.

Det er nemt at indtage, indlæse og transformere i stor skala

Data kan indtages i lageret via pipelines, dataflows, forespørgsler på tværs af databaser eller kommandoen COPY INTO. Når dataene er indtaget, kan de analyseres af flere forretningsgrupper via funktioner som f.eks. deling og forespørgsler på tværs af databaser. Tid til indsigt fremskyndes gennem en fuldt integreret BI-oplevelse via grafisk datamodellering, der er nem at bruge til weboplevelsen til forespørgsler i Warehouse Editor.

Data Warehousing-oplevelser i Microsoft Fabric

Dette afsnit indeholder en oversigt over to forskellige datawarehousing-oplevelser i Microsoft Fabric: SQL-slutpunktet for Lakehouse og Warehouse.

SQL-slutpunktet for Lakehouse

Et SQL-slutpunkt er et lager, der automatisk genereres fra et Lakehouse i Microsoft Fabric. En kunde kan skifte fra visningen "Lake" i Lakehouse (som understøtter datakonstruktion og Apache Spark) til "SQL"-visningen af det samme Lakehouse. SQL-slutpunktet er skrivebeskyttet, og data kan kun ændres via visningen "Lake" i Lakehouse ved hjælp af Spark.

Via SQL-slutpunktet i Lakehouse har brugeren et undersæt af SQL-kommandoer, der kan definere og forespørge om dataobjekter, men ikke manipulere dataene. Du kan udføre følgende handlinger i SQL-slutpunktet:

Forespørg om de tabeller, der refererer til data i dine Delta Lake-mapper i søen.
Opret visninger, indbyggede TVF'er og procedurer til indkapsling af din semantik og forretningslogik i T-SQL.
Administrer tilladelser til objekterne.

I et Microsoft Fabric-arbejdsområde hedder et SQL-slutpunkt "SQL-slutpunkt" under kolonnen Type . Hvert Lakehouse har et automatisk genereret SQL-slutpunkt, der kan udnyttes via velkendte SQL-værktøjer, f.eks. SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL Power Query-editor.

Hvis du vil i gang med SQL-slutpunktet, skal du se Bedre sammen: lakehouse og warehouse i Microsoft Fabric.

Synapse-datawarehouse

I et Microsoft Fabric-arbejdsområde er en Synapse-Data Warehouse eller Warehouse mærket som 'Warehouse' under kolonnen Type. Et lager understøtter transaktioner, DDL- og DML-forespørgsler.

I modsætning til et SQL-slutpunkt, der kun understøtter skrivebeskyttede forespørgsler og oprettelse af visninger og TVF'er, har et lager fuld DDL- og DML-understøttelse af transaktioner og oprettes af en kunde. Et lager udfyldes af en af de understøttede metoder til dataindtagelse, f.eks . COPY INTO, Pipelines, Dataflows eller indstillinger for dataindtagelse på tværs af databaser, f.eks . CREATE TABLE AS SELECT (CTAS), INSERT.. SELECT eller SELECT INTO.

Hvis du vil i gang med lageret, skal du se Opret et lager i Microsoft Fabric.

Sammenlign lageret og SQL-slutpunktet for Lakehouse

I dette afsnit beskrives forskellene mellem Warehouse og SQL Endpoint i Microsoft Fabric.

SQL-slutpunktet er et skrivebeskyttet lager, der genereres automatisk ved oprettelse fra et Lakehouse i Microsoft Fabric. Delta-tabeller, der oprettes via Spark i et Lakehouse, kan automatisk registreres i SQL-slutpunktet som tabeller. SQL-slutpunktet gør det muligt for datateknikere at bygge et relationslag oven på fysiske data i Lakehouse og vise dem for analyse- og rapporteringsværktøjer ved hjælp af SQL-forbindelsesstrengen. Dataanalytikere kan derefter bruge T-SQL til at få adgang til Lakehouse-data ved hjælp af lageroplevelsen. Brug SQL-slutpunktet til at designe dit lager til BI-behov og til at betjene data.

Synapse Data Warehouse eller Warehouse er et "traditionelt" data warehouse og understøtter de fulde T-SQL-transaktionsfunktioner, f.eks. et virksomhedsdata warehouse. I modsætning til SQL-slutpunktet, hvor tabeller og data oprettes automatisk, har du fuld kontrol over , hvordan du opretter tabeller, indlæser, transformerer og forespørger dine data i data warehouse ved hjælp af enten Microsoft Fabric-portalen eller T-SQL-kommandoer.

Du kan finde flere oplysninger om forespørgsler om dine data i Microsoft Fabric under Forespørg sql-slutpunktet eller lageret i Microsoft Fabric.

Sammenlign forskellige lagerfunktioner

For bedst muligt at kunne håndtere dine analyseanvendelsessager er der en række funktioner tilgængelige for dig. Generelt kan lageret opfattes som et supersæt af alle andre funktioner, hvilket giver et synergistisk forhold mellem alle andre analysetilbud, der leverer T-SQL.

Inden for stof er der brugere, der muligvis skal beslutte mellem et lager, Lakehouse og endda en Power BI-datamart.

Microsoft Fabric-tilbud

Warehouse

SQL-slutpunktet for Lakehouse

Power BI-datamart

Licensering

Stof eller Power BI Premium

kun Power BI Premium

Primære funktioner

ACID-kompatibel, fuld datawarehousing med transaktionsunderstøttelse i T-SQL.

Skrivebeskyttet, systemoprettede SQL-slutpunkt for Lakehouse til T-SQL-forespørgsler og -servering. Understøtter analyser af Lakehouse Delta-tabellerne og de Delta Lake-mapper, der refereres til via genveje.

Datawarehousing og T-SQL-forespørgsler uden kode

Udviklerprofil

SQL-udviklere eller borgerudviklere

Datateknikere eller SQL-udviklere

Kun borgerudvikler

Anbefalet use case

Data Warehousing til virksomhedsbrug
Datawarehousing, der understøtter afdelings-, forretningsenheds- eller selvbetjening
Struktureret dataanalyse i T-SQL med tabeller, visninger, procedurer og funktioner og avanceret SQL-understøttelse af BI

Udforskning og forespørgsel af deltatabeller fra lakehouse
Midlertidig data- og arkiveringszone til analyse
Medaljonsarkitektur med zoner til bronze-, sølv- og guldanalyse
Parring med warehouse for enterprise analytics use cases

Brugscases for små afdelings- eller forretningsenheder
Use cases til selvbetjening af datawarehousing
Landingszone for Power BI-dataflow og enkel SQL-understøttelse af BI

Udviklingsoplevelse

Lagereditor med fuld understøttelse af T-SQL-dataindtagelse, -modellering, -udvikling og -forespørgsels-brugergrænsefladeoplevelser til dataindtagelse, modellering og forespørgsel
Understøttelse af læse-/skriveadgang til værktøjer til 1. og 3. part

Lakehouse SQL-slutpunkt med begrænset T-SQL-understøttelse af visninger, tabelværdifunktioner og SQL-forespørgsler
Brugergrænsefladeoplevelser til udformning og forespørgsel
Begrænset T-SQL-understøttelse af værktøjer til 1. og 3. part

Understøttelse af datamarteditor med brugergrænsefladeoplevelser og forespørgsler
Brugergrænsefladeoplevelser til dataindtagelse, modellering og forespørgsel
Skrivebeskyttet understøttelse af værktøj til 1. og 3. part

T-SQL-funktioner

Fuld understøttelse af DQL, DML og DDL T-SQL, fuld transaktionssupport

Fuld DQL, ingen DML, begrænset DDL T-SQL-understøttelse, f.eks. SQL-visninger og TVF'er

Kun fuld DQL

Indlæsning af data

SQL, pipelines, dataflow

Spark, pipelines, dataflow, genveje

Kun dataflow

Understøttelse af Delta-tabel

Læser og skriver Delta-tabeller

Læser deltatabeller

Lagerlag

Åbn dataformat – Delta

Automatisk genereret skema i SQL-slutpunktet i Lakehouse

SQL-slutpunktet administrerer de automatisk genererede tabeller, så brugerne af arbejdsområdet ikke kan ændre dem. Brugerne kan forbedre databasemodellen ved at tilføje deres egne SQL-skemaer, visninger, procedurer og andre databaseobjekter.

For hver Delta-tabel i Lakehouse genererer SQL-slutpunktet automatisk én tabel.

Tabeller i SQL-slutpunktet oprettes med en forsinkelse. Når du har oprettet eller opdateret Delta Lake-mappen/-tabellen i søen, oprettes/opdateres den lagertabel, der refererer til sødataene, ikke med det samme. Ændringerne anvendes på lageret efter 5-10 sekunder.

Hvis du vil have vist automatisk genererede skemadatatyper for SQL-slutpunktet, skal du se Datatyper i Microsoft Fabric.