Co jsou datové sklady v Microsoft Fabric?

  • Článek

Platí pro: Koncový bod sql Analytics a sklad v Microsoft Fabric

Microsoft Fabric poskytuje zákazníkům jednotný produkt, který řeší všechny aspekty svých datových aktiv tím, že nabízí kompletní platformu SaaS ified Data, Analytics a AI, která je zaměřená na jezero a je otevřená. Základy Microsoft Fabric umožňují začínajícímu uživateli využívat úlohy Database, Analytics, Messaging, Integrace Dat a Business Intelligence prostřednictvím bohatého, snadno použitelného a sdíleného prostředí SaaS s Microsoft OneLake jako středobodem.

Prostředí SaaS zaměřené na jezero vytvořené pro libovolnou úroveň dovedností

Microsoft Fabric představuje datový sklad orientovaný na jezero založený na distribuovaném procesoru na podnikové úrovni, který umožňuje špičkový výkon ve velkém měřítku a eliminuje potřebu konfigurace a správy. Díky snadno použitelnému prostředí SaaS, které je úzce integrované s Power BI pro snadnou analýzu a vytváření sestav, se sklad v Microsoft Fabric konverguje svět datových jezer a skladů s cílem výrazně zjednodušit investice organizací do svých analytických aktiv. Úlohy datových skladů využívají bohaté možnosti modulu SQL v otevřeném datovém formátu, které zákazníkům umožňují soustředit se na přípravu dat, analýzu a vytváření sestav na jednu kopii dat uložených v Microsoft OneLake.

Sklad je sestavený pro libovolnou úroveň dovedností – od občanského vývojáře až po profesionálního vývojáře, DBA nebo datového inženýra. Bohatá sada prostředí integrovaných do pracovního prostoru Microsoft Fabric umožňuje zákazníkům zkrátit čas na přehledy tím, že mají snadno použitelný sémantický model, který je integrovaný s Power BI v režimu DirectLake. To umožňuje špičkový výkon druhého k žádnému odvětví, který zajišťuje, že sestava zákazníka má vždy nejnovější data pro analýzu a vytváření sestav. Dotazování mezi databázemi je možné využít k rychlému a bezproblémovému využití více zdrojů dat, které zahrnují více databází pro rychlé přehledy a nulové duplikování dat.

Virtuální sklady s dotazováním mezi databázemi

Microsoft Fabric poskytuje zákazníkům možnost vystát virtuální sklady obsahující data z prakticky jakéhokoli zdroje pomocí zástupců. Zákazníci můžou vytvořit virtuální sklad tak, že vytvoří zástupce svých dat všude, kde se nacházejí. Virtuální sklad se může skládat z dat z OneLake, Azure Data Lake Storage nebo jakéhokoli jiného úložiště dodavatele cloudu v rámci jedné hranice a bez duplicit dat.

Bezproblémově odemkněte hodnotu z různých zdrojů dat prostřednictvím bohatého dotazování napříč databázemi v Microsoft Fabric. Dotazování mezi databázemi umožňuje zákazníkům rychle a bezproblémově využívat více zdrojů dat pro rychlé přehledy a s nulovou duplikací dat. Data uložená v různých zdrojích se dají snadno spojit, což zákazníkům umožňuje poskytovat bohaté přehledy, které dříve vyžadovaly značné úsilí od týmů pro integraci dat a technické týmy.

Dotazy napříč databázemi je možné vytvářet prostřednictvím editoru vizuálních dotazů, který nabízí cestu bez kódu pro přehledy více tabulek. Editor dotazů SQL nebo jiné známé nástroje, jako je SQL Server Management Studio (SSMS), lze také použít k vytváření dotazů napříč databázemi.

Autonomní správa úloh

Sklady v Microsoft Fabric využívají špičkový distribuovaný modul pro zpracování dotazů, který zákazníkům poskytuje úlohy, které mají hranici přirozené izolace. S autonomním přidělováním a relinquishingem prostředků, které by nabízely nejlepší výkon v chovu s automatickým škálováním a souběžností předdefinované, nejsou k dispozici žádné uzly. Skutečná izolace se dosahuje oddělením úloh s různými charakteristikami, což zajišťuje, aby úlohy ETL nikdy nezasahovaly do úloh ad hoc analýz a generování sestav.

Otevřený formát pro bezproblémovou interoperabilitu motoru

Data ve skladu jsou uložená ve formátu souboru parquet a publikují se jako protokoly Delta Lake, což umožňuje interoperabilitu ACID a interoperabilitu mezi moduly, které je možné využít prostřednictvím jiných úloh Microsoft Fabric, jako jsou Spark, Pipelines, Power BI a Azure Data Explorer. Zákazníci už nemusí vytvářet více kopií dat, aby mohli odborníci na data s různými sadami dovedností. Datoví inženýři, kteří jsou zvyklí pracovat v Pythonu, můžou snadno využít stejná data, která byla modelována a obsluhována odborníkem na datový sklad, který je zvyklý na práci v SQL. Odborníci na BI můžou paralelně rychle a snadno využívat stejná data k vytvoření bohaté sady vizualizací v Power BI s výkonem záznamů a bez duplicit dat.

Oddělení úložiště a výpočetních prostředků

Výpočetní prostředky a úložiště jsou oddělené ve skladu, což zákazníkům umožňuje škálovat téměř okamžitě, aby splnili požadavky své firmy. Díky tomu může několik výpočetních modulů číst z libovolného podporovaného zdroje úložiště s robustním zabezpečením a úplnými transakčními zárukami ACID.

Snadné ingestování, načítání a transformace ve velkém měřítku

Data je možné ingestovat do skladu prostřednictvím kanálů, toků dat, dotazování mezi databázemi nebo příkazu COPY INTO. Po ingestování je možné data analyzovat několika obchodními skupinami prostřednictvím funkcí, jako je sdílení a dotazování mezi databázemi. Čas na přehledy se urychlil prostřednictvím plně integrovaného prostředí BI prostřednictvím grafického modelování dat, které se snadno používá pro dotazování v editoru skladu.

Položky datového skladu v Microsoft Fabric

Existují dvě různé položky datového skladu: koncový bod analýzy SQL Lakehouse a Warehouse.

Koncový bod analýzy SQL pro Lakehouse

Koncový bod analýzy SQL je sklad, který se automaticky vygeneruje z Lakehouse v Microsoft Fabric. Zákazník může přejít ze zobrazení Lakehouse (který podporuje přípravu dat a Apache Spark) ze zobrazení SQL stejného Lakehouse. Koncový bod analýzy SQL je jen pro čtení a data je možné upravit pouze v zobrazení Lake v Lakehouse pomocí Sparku.

Prostřednictvím koncového bodu analýzy SQL lakehouse má uživatel podmnožinu příkazů SQL, které mohou definovat a dotazovat datové objekty, ale ne manipulovat s daty. V koncovém bodu analýzy SQL můžete provést následující akce:

  • Dotazujte se na tabulky, které odkazují na data ve složkách Delta Lake v jezeře.
  • Vytvářejte zobrazení, vložené tvfy a procedury pro zapouzdření sémantiky a obchodní logiky v T-SQL.
  • Umožňuje spravovat oprávnění k objektům.

V pracovním prostoru Microsoft Fabric se koncový bod analýzy SQL označuje jako koncový bod analýzy SQL ve sloupci Typ . Každý Lakehouse má automaticky vygenerovaný koncový bod analýzy SQL, který je možné využít prostřednictvím známých nástrojů SQL, jako jsou SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL Editor Power Query.

Snímek obrazovky znázorňující typ koncového bodu SQL Analytics v pracovním prostoru

Pokud chcete začít používat koncový bod analýzy SQL, podívejte se na článek Better together: the lakehouse and warehouse in Microsoft Fabric.

Datový sklad Synapse

V pracovním prostoru Microsoft Fabric je datový sklad nebo sklad Synapse označený jako Sklad pod sloupcem Typ . A Warehouse podporuje transakce, DDL a DML dotazy.

Snímek obrazovky znázorňující typ skladu v pracovním prostoru

Na rozdíl od koncového bodu analýzy SQL, který podporuje pouze dotazy jen pro čtení a vytváření zobrazení a TVF, má warehouse plnou podporu DDL a DML transakcí a je vytvořen zákazníkem. Sklad je naplněn jednou z podporovaných metod příjmu dat, jako je COPY INTO, Pipelines, Dataflows nebo cross database ingestion options, jako je CREATE TABLE AS SELECT (CTAS) nebo INSERT. VYBERTE NEBO SELECT INTO.

Pokud chcete začít se skladem, přečtěte si téma Vytvoření skladu v Microsoft Fabric.

Porovnání koncového bodu Warehouse a SQL Analytics v Lakehouse

Tato část popisuje rozdíly mezi koncovým bodem služby Warehouse a SQL Analytics v Microsoft Fabric.

Diagram pracovního prostoru Prostředky infrastruktury pro datové sklady, včetně koncového bodu analýzy SQL a skladu

Koncový bod SQL Analytics je sklad jen pro čtení, který se automaticky vygeneruje při vytváření z Lakehouse v Microsoft Fabric. Tabulky Delta vytvořené prostřednictvím Sparku v Lakehouse jsou automaticky zjistitelné v koncovém bodu sql Analytics jako tabulky. Koncový bod analýzy SQL umožňuje datovým inženýrům vytvořit relační vrstvu nad fyzickými daty v Lakehouse a zpřístupnit ji analytickým nástrojům a nástrojům pro vytváření sestav pomocí sql připojovací řetězec. Datoví analytici pak můžou pomocí T-SQL přistupovat k datům Lakehouse pomocí Synapse Data Warehouse. Pomocí koncového bodu SQL Analytics navrhněte sklad pro potřeby BI a obsluhu dat.

Datový sklad Synapse nebo Warehouse je "tradiční" datový sklad a podporuje úplné transakční funkce T-SQL, jako je podnikový datový sklad. Na rozdíl od koncového bodu analýzy SQL, kdy se tabulky a data vytvářejí automaticky, máte plnou kontrolu nad vytvářením tabulek, načítáním, transformací a dotazováním dat v datovém skladu pomocí portálu Microsoft Fabric nebo příkazů T-SQL.

Další informace o dotazování dat v Microsoft Fabric najdete v tématu Dotazování na koncový bod analýzy SQL nebo Sklad v Microsoft Fabric.

Porovnání různých možností skladových prostorů

Aby bylo možné nejlépe využít případy použití analýz, máte k dispozici celou řadu možností. Obecně lze sklad považovat za nadmnožinu všech ostatních schopností, což poskytuje synergický vztah mezi všemi dalšími nabídkami analýz, které poskytují T-SQL.

V rámci prostředků infrastruktury se můžou uživatelé muset rozhodnout mezi skladem, lakehousem a dokonce i datovým diagramem Power BI.

Nabídka Microsoft Fabric

Sklad

Koncový bod analýzy SQL pro Lakehouse

Datový diagram Power BI

Licencování

Prostředky infrastruktury nebo Power BI Premium

Prostředky infrastruktury nebo Power BI Premium

Jenom Power BI Premium

Primární funkce

Kompatibilní s kompletními datovými sklady ACID s podporou transakcí v T-SQL.

Jen pro čtení, systém vygenerovaný koncový bod analýzy SQL pro Lakehouse pro dotazování a obsluhu T-SQL Podporuje analýzy tabulek Lakehouse Delta a složky Delta Lake odkazované prostřednictvím zástupců.

Datové sklady bez kódu a dotazování T-SQL

Profil vývojáře

Vývojáři SQL nebo vývojáři pro občany

Datoví technici nebo vývojáři SQL

Pouze vývojář pro občany

Doporučený případ použití

  • Skladování Dat pro podnikové použití
  • Skladování Dat podpůrné oddělení, organizační jednotka nebo samoobslužné použití
  • Analýza strukturovaných dat v T-SQL s tabulkami, zobrazeními, postupy a funkcemi a pokročilou podporou SQL pro BI
  • Zkoumání a dotazování tabulek delta z jezera
  • Příprava dat a archivní zóny pro analýzu
  • Architektura jezera Medallion s zónami pro bronzovou, stříbrnou a zlatou analýzu
  • Spárování se skladem pro případy použití podnikových analýz
  • Případy použití malých oddělení nebo skladových skladů obchodních jednotek
  • Případy použití samoobslužných datových skladů
  • Cílová zóna pro toky dat Power BI a jednoduchá podpora SQL pro BI

Zkušenosti s vývojem

  • Editor skladu s plnou podporou příjmu dat T-SQL, modelování, vývoje a dotazování uživatelského rozhraní pro příjem dat, modelování a dotazování
  • Podpora čtení a zápisu pro nástroje třetích stran
  • Koncový bod analýzy SQL Lakehouse s omezenou podporou T-SQL pro zobrazení, tabulkové funkce a dotazy SQL
  • Prostředí uživatelského rozhraní pro modelování a dotazování
  • Omezená podpora T-SQL pro nástroje třetích stran
  • Editor datových diagramů s podporou uživatelského rozhraní a dotazů
  • Uživatelské rozhraní pro příjem dat, modelování a dotazování
  • Podpora nástrojů třetích stran jen pro čtení

Možnosti T-SQL

Úplná podpora DQL, DML a DDL T-SQL, úplná podpora transakcí

Full DQL, No DML, limited DDL T-SQL Support, jako jsou zobrazení SQL a TVF

Pouze úplné DQL

Načítání dat

SQL, kanály, toky dat

Spark, kanály, toky dat, klávesové zkratky

Pouze toky dat

Podpora tabulek Delta

Čtení a zápis tabulek Delta

Čtení tabulek delta

NA

Vrstva úložiště

Open Data Format – Delta

Open Data Format – Delta

NA

Automaticky vygenerované schéma v koncovém bodu analýzy SQL lakehouse

Koncový bod analýzy SQL spravuje automaticky generované tabulky, aby je uživatelé pracovního prostoru nemohli upravovat. Uživatelé můžou databázový model rozšířit přidáním vlastních schémat SQL, zobrazení, procedur a dalších databázových objektů.

Pro každou tabulku Delta ve vašem Lakehouse koncový bod analýzy SQL automaticky vygeneruje jednu tabulku.

Tabulky v koncovém bodu analýzy SQL se vytvářejí se zpožděním. Jakmile vytvoříte nebo aktualizujete složku nebo tabulku Delta Lake v jezeře, tabulka skladu, která odkazuje na data lake, se okamžitě nevytvoří ani neaktualizuje. Změny se po 5 až 10 sekundách použijí ve skladu.

Datové typy automaticky generovaného schématu pro koncový bod analýzy SQL najdete v tématu Datové typy v Microsoft Fabric.

Související obsah