Zrcadlení Azure Cosmos DB

Zrcadlení v Microsoft Fabric poskytuje bezproblémovou bez-ETL zkušenost pro integraci vašich stávajících dat Azure Cosmos DB s ostatními daty v Microsoft Fabric pro skutečné hybridní transakční/analytické zpracování (HTAP) s úplnou izolací zátěže mezi transakčními a analytickými systémy. Vaše Azure Cosmos DB data se nepřetržitě replikují přímo do Fabric OneLake téměř v reálném čase, aniž by to mělo vliv na výkon vašich transakčních úloh nebo spotřebovávají jednotky žádostí (RU).

Data v OneLake jsou uložena v open-source delta formátu a automaticky jsou k dispozici všem analytickým modulům na platformě Fabric.

K přístupu k datům v režimu OneLake v režimu DirectLake můžete použít integrované funkce Power BI. Díky vylepšením v technologii Copilot Fabric můžete využít výkon generativní AI ke získání klíčových přehledů o firemních datech. Kromě Power BI můžete pomocí jazyka T-SQL spouštět složité agregační dotazy nebo používat Spark ke zkoumání dat. K datům v poznámkových blocích můžete bezproblémově přistupovat a používat datové vědy k vytváření modelů strojového učení.

Důležité

V současné době se podporují jenom Azure Cosmos DB pro účty NoSQL. Zrcadlení není dostupné v suverénních cloudech (Azure Government a Azure China).

Proč používat zrcadlení ve Fabric?

Díky zrcadlení ve Fabricu nemusíte skládat různé služby od několika dodavatelů. Místo toho si můžete vychutnat vysoce integrovaný, komplexní a snadno použitelný produkt, který je navržený tak, aby zjednodušil vaše analytické potřeby a byl postaven pro otevřenost.

Pokud hledáte sestavy BI nebo analýzy provozních dat v Azure Cosmos DB, zrcadlení poskytuje:

  • Bez ETL, nákladově efektivní přístup k datům Azure Cosmos DB v takřka reálném čase bez ovlivnění spotřeby jednotek žádostí
  • Snadné přenesení dat mezi různými zdroji do Fabric OneLake
  • Optimalizace tabulek Delta s pořadím v pro bleskově rychlé čtení
  • Integrace jedním kliknutím s Power BI s Direct Lake a Copilot
  • Bohaté obchodní přehledy spojením dat mezi různými zdroji
  • Rozsáhlejší integrace aplikací pro přístup k dotazům a zobrazením

Data OneLake jsou uložená ve opensourcovém formátu Delta Lake, takže je můžete používat s různými řešeními v rámci Microsoftu i mimo ni. Tento formát dat usnadňuje vytváření jednoho datového majetku pro vaše analytické potřeby.

Jaká analytická prostředí jsou integrovaná?

Zrcadlené databáze jsou položkou ve Fabric Data Warehousing, odlišnou od skladu a koncového bodu SQL analytiky.

Diagram zrcadlení infrastruktury pro Azure Cosmos DB.

Každá položka Azure Cosmos DB, která je zrcadlena, vytvoří tyto položky, s nimiž můžete interagovat ve vašem pracovním prostoru Fabric:

  • Zrcadlová položka databáze. Zrcadlení spravuje replikaci dat do OneLake a převod na Parquet v analyticky připraveném formátu. To umožňuje podřízené scénáře, jako jsou datové inženýrství, datové vědy a další.
  • Koncový bod analýzy SQL, který se automaticky vygeneruje

Zrcadlené databáze

Zrcadlené databáze zobrazuje stav replikace a ovládací prvky pro zastavení nebo spuštění replikace v Fabric OneLake. Zdrojovou databázi můžete zobrazit také v režimu jen pro čtení pomocí průzkumníka dat Azure Cosmos DB. Pomocí Průzkumníka dat můžete zobrazit kontejnery ve zdrojové Azure Cosmos DB databázi a dotazovat se na ně. Tyto operace spotřebovávají jednotky žádostí (RU) z vašeho účtu Azure Cosmos DB. Všechny změny zdrojové databáze se okamžitě projeví v zobrazení zdrojové databáze Fabric. Zápis do zdrojové databáze není z Fabric povolený, protože data můžete jenom zobrazit.

Koncový bod analýzy SQL

Každá zrcadlená databáze má automaticky vygenerovaný koncový bod analýzy SQL, který poskytuje bohaté analytické prostředí nad tabulkami Delta OneLake vytvořenými procesem zrcadlení. Máte přístup ke známým příkazům T-SQL, které můžou definovat a dotazovat datové objekty, ale ne manipulovat s daty z koncového bodu analýzy SQL, protože se jedná o kopii určenou jen pro čtení.

V koncovém bodu analýzy SQL můžete provést následující akce:

  • Prozkoumejte tabulky Delta Lake pomocí T-SQL. Každá tabulka se mapuje na kontejner z databáze Azure Cosmos DB.
  • Vytvářejte dotazy a zobrazení bez kódu a prozkoumejte je vizuálně, aniž byste museli psát řádek kódu.
  • Propojování a dotazování na data v jiných zrcadlených databázích, datových skladech a lakehousech ve stejném pracovním prostoru
  • Sestavy BI můžete snadno vizualizovat a vytvářet na základě dotazů nebo zobrazení SQL.

Kromě editoru dotazů SQL existuje široký ekosystém nástrojů. Mezi tyto nástroje patří rozšíření SSQL pro Visual Studio Code, SQL Server Management Studio (SSMS) a dokonce i GitHub Copilot. Pomocí nástroje dle vašeho výběru můžete zvýšit výkon analýzy a přehledů.

Sémantický model

V databázi můžete vytvořit Power BI sémantický model, který umožní vytváření, sdílení a opakované použití obchodních metrik. Další informace najdete v tématu Vytvoření sémantického modelu Power BI.

Jak funguje replikace téměř v reálném čase?

Když povolíte zrcadlení v databázi Azure Cosmos DB, operace vkládání, aktualizace a mazání v rámci zpracování online transakcí (OLTP) se nepřetržitě replikují do Fabric OneLake pro využití pro analýzy.

Funkce průběžného zálohování je předpokladem pro zrcadlení. V účtu Azure Cosmos DB můžete povolit průběžné zálohování 7 dnů nebo 30 dnů. Pokud povolujete průběžné zálohování speciálně pro zrcadlení, doporučuje se 7denní průběžné zálohování, protože je to zdarma.

Poznámka:

Zrcadlení nepoužívá analytické úložiště Azure Cosmos DB ani kanál změn jako zdroj pro zachycení změn dat. Tyto funkce můžete dál používat nezávisle, a to včetně zrcadlení.

Replikace dat Azure Cosmos DB do Fabric OneLake může trvat několik minut. V závislosti na počátečním snímku dat nebo četnosti aktualizací/odstranění může replikace v některých případech trvat i déle. Replikace nemá vliv na jednotky žádostí (RU), které jste přidělili vašim transakčním úlohám.

Co očekávat od zrcadlení

Před zrcadlením byste měli zvážit několik úvah a podporovaných scénářů.

Důležité informace o nastavení

Pokud chcete zrcadlit databázi, musí být již zřízena v Azure. Jako předpoklad musíte pro účet povolit průběžné zálohování.

  • Každou databázi je možné zrcadlit pouze jednu po druhé. Můžete zvolit, která databáze se má zrcadlit.
  • Stejnou databázi můžete zrcadlit vícekrát ve stejném pracovním prostoru. Osvědčeným postupem je opětovné použití jedné kopie databáze napříč databázemi lakehouse, datovými skladišti nebo jinými zrcadlenými databázemi. Nemusíte nastavovat více zrcadlek do stejné databáze.
  • Stejnou databázi můžete také zrcadlit v různých pracovních prostorech Fabric nebo tenantech.
  • Můžete vybrat, které kontejnery se mají zrcadlit v databázi.
  • Změny v kontejnerech Azure Cosmos DB, jako je přidání nových kontejnerů a odstranění stávajících, se bezproblémově replikují do služby Fabric. Můžete například začít zrcadlit prázdnou databázi bez kontejnerů a zrcadlení pak automaticky převezme kontejnery přidané později.

Podpora vnořených dat

Vnořená data se v tabulkách koncových bodů SQL Analytics zobrazují jako řetězec JSON. K selektivnímu rozšíření těchto dat můžete použít OPENJSON, CROSS APPLY a OUTER APPLY v dotazech nebo zobrazeních jazyka T-SQL. Pokud používáte Power Query, můžete tato data rozšířit také pomocí funkce ToJson.

Prostřednictvím automatického odvozování schématu je možné vnořená data zploštět, OPENJSON aniž byste museli explicitně definovat vnořené schéma. To je zvlášť užitečné pro úlohy s dynamickými nebo nepředvídatelnými vnořenými schématy. Další informace najdete v tématu dotazování vnořených dat.

Zpracování změn schématu

Zrcadlení automaticky replikuje vlastnosti napříč položkami Azure Cosmos DB se změnami schématu. Všechny nové vlastnosti zjištěné v položce se zobrazí jako nové sloupce a chybějící vlastnosti, pokud nějaké chybějí, jsou v Fabric reprezentovány jako null.

Pokud vlastnost v položce přejmenujete, tabulky Fabric zachovávají staré i nové sloupce. Starý sloupec zobrazí hodnotu null a nový sloupec zobrazí nejnovější hodnotu pro všechny položky, které se replikují po operaci přejmenování.

Pokud změníte datový typ vlastnosti v Azure Cosmos DB položek, změny jsou podporovány pro kompatibilní datové typy, které lze převést. Pokud datové typy nejsou kompatibilní pro převod v delta, jsou reprezentovány jako hodnoty null.

Tabulky koncových bodů SQL Analytics převádějí datové typy Delta na datové typy T-SQL.

Duplicitní názvy sloupců

Azure Cosmos DB podporuje názvy sloupců bez rozlišování malých a velkých písmen na základě standardu JSON. Zrcadlení podporuje tyto duplicitní názvy sloupců přidáním _n do názvu sloupce, kde n by byla číselná hodnota.

Pokud má například položka Azure Cosmos DB addressName a AddressName jako jedinečné vlastnosti, tabulky Fabric mají odpovídající sloupce addressName a AddressName_1. Další informace najdete v tématu Omezení replikace.

Podpora úloh AI

Azure Cosmos DB Zrcadlení podporuje účty, které používají vektorové vyhledávání a indexování, což umožňuje úlohám umělé inteligence a strojového učení plně využívat výkonné analýzy Microsoft Fabric a současně nadále využívat možnosti vektorů s vysokým výkonem Azure Cosmos DB.

Další podrobnosti najdete v dokumentaci k vektorovým vyhledáváním a indexování pro služby Cosmos DB a zážitkům z oblasti datové vědy a AI.

Zabezpečení

Ke zdrojovému účtu se můžete připojit pomocí Microsoft Entra ID a řízení přístupu na základě role nebo klíčů na úrovni účtu.

Pokud používáte klíče a klíče otočíte nebo znovu vygenerujete, je potřeba aktualizovat připojení, aby replikace fungovala. Další informace najdete v tématu připojení. Klíče účtu se po nastavení připojení přímo nezobrazují ostatním uživatelům systému Fabric. Můžete omezit, kdo má přístup k připojením vytvořeným ve Fabric. Zápisy nejsou povoleny do databáze Azure Cosmos DB, a to ani z Průzkumníka dat, ani z analytického koncového bodu ve vaší zrcadlené databázi. Zrcadlení v současné době nepodporuje ověřování pomocí klíčů účtu jen pro čtení.

Pro ověřování Microsoft Entra ID jsou vyžadována následující oprávnění RBAC: & . Další informace najdete v dokumentaci k řízení přístupu na základě role v rovině dat.

Návod

Jakmile se data replikují do Fabric OneLake, měli byste také zabezpečit přístup k datům.

Funkce ochrany dat

Granulární zabezpečení lze nakonfigurovat v zrcadlené databázi v Microsoft Fabric. Další informace najdete v tématu podrobná oprávnění v Microsoft Fabric.

Filtry sloupců a filtry řádků založené na predikátech můžete zabezpečit u tabulek rolím a uživatelům v Microsoft Fabric:

Citlivá data můžete také maskovat od uživatelů, kteří nejsou správci, pomocí dynamického maskování dat:

Zabezpečení sítě

Poznámka:

Zrcadlení v OneLake nepodporuje klíče spravované zákazníkem (CMK).

Azure Cosmos DB účty s virtuálními sítěmi nebo privátními koncovými body jsou podporovány při zrcadlení Fabric pomocí funkce obcházení seznamu ACL sítě. To umožňuje vašemu autorizovanému pracovnímu prostoru Fabric přistupovat k účtu Cosmos DB beze nutnosti datové brány a současně udržovat zvýšené zabezpečení sítě. Podrobné pokyny ke konfiguraci naleznete v tématu Konfigurace privátních sítí pro zrcadlené databáze Microsoft Fabric z Azure Cosmos DB.

Latence zotavení po havárii a replikace

V platformě Fabric můžete obsah nasadit do datových center v jiných regionech než je domovský region tenanta Fabric. Další informace viz multi-geografická podpora.

U účtu Azure Cosmos DB s primární oblastí zápisu a několika oblastmi čtení zvolí zrcadlení Azure Cosmos DB oblast čtení nejblíže oblasti, ve které je nakonfigurovaná kapacita Fabric. Tento výběr pomáhá zajistit replikaci s nízkou latencí pro zrcadlení.

Když přepnete účet Azure Cosmos DB do oblasti obnovení, zrcadlení automaticky znovu vybere nejbližší Azure Cosmos DB oblast.

Poznámka:

Zrcadlení nepodporuje účty s více oblastmi zápisu.

Data cosmos DB replikovaná do OneLake musí být nakonfigurovaná tak, aby zpracovávala výpadky v celé oblasti. Další informace najdete v tématu zotavení po havárii ve OneLake.

Prozkoumejte data pomocí zrcadlení

Ve OneLake můžete přímo zobrazit zrcadlová data a přistupovat k němu. Bez nutnosti dalšího přesunu dat můžete bez problémů přistupovat ke zrcadleným datům.

Přečtěte si další informace o přístupu k OneLake pomocí rozhraní API ADLS Gen2 nebo sady SDK, průzkumníka souborů OneLake File a průzkumníka Azure Storage.

Ke koncovému bodu analýzy SQL se můžete připojit z nástrojů, jako jsou SQL Server Management Studio (SSMS) nebo pomocí ovladačů, jako je Microsoft Open Database Connectivity (ODBC) a Java Database Connectivity (JDBC). Další informace najdete v tématu Připojení koncového bodu analýzy SQL.

K zrcadleným datům můžete přistupovat také pomocí služeb, jako jsou:

  • Azure služby, jako jsou Azure Databricks, Azure HDInsight nebo Azure Synapse Analytics
  • Fabric Lakehouse s využitím zástupců pro scénáře datového inženýrství a datové vědy
  • Další zrcadlené databáze nebo datové sklady v pracovním prostoru Fabric

Můžete také sestavit řešení medailonové architektury, vyčistit a transformovat data, která se ukládají do zrcadlené databáze jako bronzová vrstva. Další informace najdete v tématu podpora architektury Medallion v rámci Fabric.

Pricing

Výpočetní prostředky infrastruktury používané k replikaci dat Cosmos DB do Fabric OneLake jsou zdarma. Úložiště ve OneLake je bezplatné na základě velikosti kapacity. Další informace o cenách OneLake pro zrcadlení najdete v . Využití výpočetních prostředků pro dotazování dat s využitím SQL, Power BI nebo Sparku se stále účtuje na základě kapacity Fabric.

Pokud používáte Průzkumníka dat ve službě Fabric pro zrcadlení, vznikají vám typické náklady na základě využití request jednotek (RU) při prozkoumávání kontejnerů a dotazování na položky ve zdrojové Azure Cosmos DB databázi. Předpokladem pro zrcadlení je funkce průběžného zálohování v Azure Cosmos DB; platí standardní poplatky za průběžné zálohování. U zrcadlení v rámci průběžné fakturace záloh nejsou účtovány žádné dodatečné poplatky. Další informace najdete v tématu Azure Cosmos DB ceny.

Další krok

Tutorial: Konfigurace Microsoft Fabric zrcadlených databází z Azure Cosmos DB

Související obsah

  • Last updated on