Co je Azure Synapse Link pro Azure Cosmos DB?

  • Článek

PLATÍ PRO: NoSQL MongoDB Gremlin

Azure Synapse Link pro Azure Cosmos DB je nativní cloudová funkce HTAP (Hybrid Transactional Analytical Processing), která umožňuje provádět u provozních dat uložených v Azure Cosmos DB analýzy téměř v reálném čase. Azure Synapse Link vytváří úzkou bezproblémovou integraci mezi službou Azure Cosmos DB a Azure Synapse Analytics.

Analytické úložiště Azure Cosmos DB, plně izolované úložiště sloupců, je možné použít se službou Azure Synapse Link k povolení analýzy extrakce transformace a načítání (ETL) ve službě Azure Synapse Analytics proti provozním datům ve velkém měřítku. Obchodní analytici, datoví inženýři a datoví vědci teď můžou používat Synapse Spark nebo Synapse SQL zaměnitelně ke spouštění kanálů business intelligence, analýz a strojového učení téměř v reálném čase. Data v reálném čase můžete analyzovat, aniž by to ovlivnilo výkon transakčních úloh ve službě Azure Cosmos DB.

Následující obrázek ukazuje integraci Azure Synapse Linku se službou Azure Cosmos DB a Azure Synapse Analytics:

Architecture diagram for Azure Synapse Analytics integration with Azure Cosmos DB

Zákazníci služby Azure Cosmos DB tradičně exportují provozní data, aby mohli analyzovat velké provozní datové sady a minimalizovat tak dopad na výkon důležitých transakčních úloh. Tyto operace provádějí kanály ETL (Extract-Transform-Load), které vyžadují mnoho vrstev správy dat a úloh, což vede ke složitosti provozu a výkonu vašich transakčních úloh. Zvyšuje také latenci analýzy provozních dat z doby původu.

Ve srovnání s tradičními řešeními založenými na ETL nabízí Azure Synapse Link pro Azure Cosmos DB několik výhod, jako jsou:

Menší složitost bez úloh ETL pro správu

Azure Synapse Link umožňuje přímý přístup k analytickému úložišti Azure Cosmos DB pomocí služby Azure Synapse Analytics bez složitého přesunu dat. Všechny aktualizace provozních dat jsou viditelné v analytickém úložišti téměř v reálném čase bez úloh ETL nebo kanálu změn. V analytickém úložišti můžete spouštět rozsáhlé analýzy z Azure Synapse Analytics bez další transformace dat.

Přehledy o vašich provozních datech téměř v reálném čase

Díky Azure Synapse Linku teď můžete získat bohaté přehledy o provozních datech téměř v reálném čase. Systémy založené na ETL mají tendenci mít vyšší latenci pro analýzu provozních dat, protože mnoho vrstev potřebných k extrakci, transformaci a načítání provozních dat. Díky nativní integraci analytického úložiště Azure Cosmos DB se službou Azure Synapse Analytics můžete analyzovat provozní data téměř v reálném čase a umožnit tak nové obchodní scénáře.

Žádné ohrožení výkonu u provozních úloh

Pomocí Azure Synapse Linku můžete spouštět analytické dotazy v analytickém úložišti Azure Cosmos DB, což je reprezentace úložiště sloupců vašich dat. Dotazy můžete spouštět, zatímco transakční operace se zpracovávají pomocí zřízené propustnosti transakční úlohy v transakčním úložišti založeném na řádcích služby Azure Cosmos DB. Analytická úloha je nezávislá na provozu transakčních úloh, ale nevyužití propustnosti, kterou jste přidělali vašim provozním datům.

Optimalizované pro úlohy analýzy ve velkém měřítku

Analytické úložiště Azure Cosmos DB je optimalizované pro zajištění škálovatelnosti, elasticity a výkonu analytických úloh bez jakékoli závislosti na výpočetních časech. Technologie úložiště je samospravovaná pro optimalizaci analytických úloh. Díky integrované podpoře azure Synapse Analytics poskytuje přístup k této vrstvě úložiště jednoduchost a vysoký výkon.

Efektivnost z hlediska nákladů

Pomocí Azure Synapse Linku můžete získat cenově optimalizované plně spravované řešení pro provozní analýzy. Eliminuje dodatečné vrstvy úložiště a výpočetních prostředků vyžadované v tradičních kanálech ETL pro analýzu provozních dat.

Analytické úložiště Azure Cosmos DB se řídí cenovým modelem založeným na spotřebě, který je založený na operacích úložiště dat a analytických operacích čtení a zápisu a dotazech. Nevyžaduje přidělení žádné propustnosti, stejně jako dnes u transakčních úloh. Přístup k datům pomocí vysoce elastických výpočetních modulů ze služby Azure Synapse Analytics zajišťuje efektivní celkové náklady na provoz úložiště a výpočetních prostředků.

Analýzy pro místně dostupné, globálně distribuované zápisy do více oblastí

Analytické dotazy můžete efektivně spouštět na nejbližší regionální kopii dat ve službě Azure Cosmos DB. Azure Cosmos DB poskytuje nejmodernější funkce pro spouštění globálně distribuovaných analytických úloh spolu s transakčními úlohami aktivním a aktivním způsobem.

Povolení scénářů HTAP pro provozní data

Azure Synapse Link spojuje analytické úložiště Azure Cosmos DB s podporou modulu runtime Azure Synapse Analytics. Tato integrace umožňuje vytvářet řešení HTAP nativní pro cloud, která generují přehledy založené na aktualizacích provozních dat v reálném čase nad velkými datovými sadami. Otevírá nové obchodní scénáře pro vytváření výstrah na základě trendů v reálném čase, vytváření řídicích panelů téměř v reálném čase a obchodních prostředí na základě chování uživatelů.

Analytické úložiště Azure Cosmos DB

Analytické úložiště Azure Cosmos DB je sloupcově orientované znázornění provozních dat ve službě Azure Cosmos DB. Toto analytické úložiště je vhodné pro rychlé a nákladově efektivní dotazy na velké provozní datové sady. Toto úložiště se může dotazovat na data bez kopírování dat a dopadu na výkon transakčních úloh.

Analytické úložiště automaticky přebírá vkládání, aktualizace a odstraňování v transakčních úlohách téměř v reálném čase jako plně spravovanou funkci ("automatická synchronizace") služby Azure Cosmos DB. Není vyžadován žádný kanál změn ani ETL.

Pokud máte globálně distribuovaný účet Služby Azure Cosmos DB, bude po povolení analytického úložiště pro kontejner dostupný ve všech oblastech pro tento účet. Další informace o analytickém úložišti najdete v článku s přehledem analytického úložiště Azure Cosmos DB.

Díky Azure Synapse Linku se teď můžete přímo připojit ke svým kontejnerům Azure Cosmos DB z Azure Synapse Analytics a přistupovat k analytickému úložišti bez samostatných konektorů. Azure Synapse Analytics v současné době podporuje Azure Synapse Link se službou Synapse Apache Spark a bezserverovým fondem SQL.

Data z analytického úložiště Azure Cosmos DB můžete dotazovat současně s interoperabilitou mezi různými dobami spuštění analýz podporovanými službou Azure Synapse Analytics. K analýze provozních dat nejsou potřeba žádné další transformace dat. Data analytického úložiště můžete dotazovat a analyzovat pomocí:

  • Synapse Apache Spark s plnou podporou pro Scala, Python, SparkSQL a C#. Synapse Spark je centrální pro scénáře přípravy dat a datových věd.

  • Bezserverový fond SQL s jazykem T-SQL a podporou známých nástrojů BI (například Power BI Premium atd.)

Poznámka:

Z Azure Synapse Analytics můžete přistupovat k analytickým i transakčním úložištím v kontejneru Azure Cosmos DB. Pokud ale chcete spouštět rozsáhlé analýzy nebo kontroly vašich provozních dat, doporučujeme použít analytické úložiště, abyste se vyhnuli dopadu na výkon transakčních úloh.

Poznámka:

Analýzu s nízkou latencí v oblasti Azure můžete spustit připojením kontejneru Azure Cosmos DB k modulu runtime Synapse v této oblasti.

Tato integrace umožňuje pro různé uživatele následující scénáře HTAP:

  • Inženýr BI, který chce modelovat a publikovat sestavu Power BI, aby přistupoval k živým provozním datům ve službě Azure Cosmos DB přímo prostřednictvím Synapse SQL.

  • Datoví analytici, který chce odvozovat přehledy z provozních dat v kontejneru Azure Cosmos DB tím, že se na něj dotazuje pomocí Synapse SQL, čte data ve velkém měřítku a kombinuje tato zjištění s jinými zdroji dat.

  • Datoví vědci, který chce pomocí Synapse Sparku najít funkci pro vylepšení modelu a trénování modelu bez složité přípravy dat. Můžou také napsat výsledky následného odvozování modelu do služby Azure Cosmos DB pro vyhodnocování dat v reálném čase prostřednictvím Spark Synapse.

  • Datoví technici, který chce zpřístupnit data pro uživatele, vytvořením tabulek SQL nebo Spark přes kontejnery Azure Cosmos DB bez ručních procesů ETL.

Další informace o podpoře modulu runtime Azure Synapse Analytics pro službu Azure Cosmos DB najdete v tématu Podpora služby Azure Synapse Analytics pro Azure Cosmos DB.

Azure Synapse Link se doporučuje, pokud jste zákazník služby Azure Cosmos DB a chcete spouštět analýzy, BI a strojové učení nad provozními daty. Příklad:

  • Pokud na provozních datech služby Azure Cosmos DB spouštíte analýzy nebo BI přímo pomocí samostatných konektorů, nebo

  • Pokud spouštíte procesy ETL pro extrakci provozních dat do samostatného analytického systému.

V takových případech poskytuje Azure Synapse Link integrované analytické prostředí, aniž by to mělo vliv na zřízenou propustnost vašeho transakčního úložiště.

Azure Synapse Link se nedoporučuje, pokud hledáte tradiční požadavky na datový sklad. Tyto požadavky můžou zahrnovat vysokou souběžnost, správu úloh a trvalost agregací napříč několika zdroji dat. Další informace najdete v běžných scénářích, které je možné použít se službou Azure Synapse Link pro službu Azure Cosmos DB.

Omezení

  • Azure Synapse Link pro Azure Cosmos DB se podporuje pro rozhraní NoSQL a MongoDB API. Nepodporuje se pro Rozhraní API Cassandra nebo Table API a zůstává ve verzi Preview pro rozhraní Gremlin API.

  • Přístup k analytickému úložišti Azure Cosmos DB s vyhrazeným fondem SQL Azure Synapse se v současné době nepodporuje.

  • I když se data analytického úložiště nezálohují, a proto je nejde obnovit, můžete analytické úložiště znovu sestavit opětovným sestavením služby Azure Synapse Link v obnoveném kontejneru. Další informace najdete v dokumentaci k analytickému úložišti.

  • Možnost zapnout Synapse Link v databázových účtech s povoleným průběžným zálohováním je teď k dispozici. Ale opačná situace, pokud chcete zapnout průběžné zálohování v účtech databáze s podporou Synapse Linku, se zatím nepodporuje.

  • Podrobné řízení přístupu na základě role se nepodporuje při dotazování ze služby Synapse. Uživatelé, kteří mají přístup k vašemu pracovnímu prostoru Synapse a mají přístup k účtu služby Azure Cosmos DB, mají přístup ke všem kontejnerům v rámci daného účtu. V současné době nepodporujeme podrobnější přístup ke kontejnerům.

  • Pracovní prostory Azure Synapse v současné době nepodporují propojené služby používající Managed Identity. Tuto možnost vždy používejte MasterKey .

  • V současné době se účty pro zápis do více oblastí nedoporučuje pro produkční prostředí.

Zabezpečení

Azure Synapse Link umožňuje spouštět analýzy téměř v reálném čase prostřednictvím důležitých dat ve službě Azure Cosmos DB. Je důležité zajistit, aby se důležitá obchodní data bezpečně ukládala v transakčních i analytických úložištích. Služba Azure Synapse Link pro službu Azure Cosmos DB je navržená tak, aby splňovala tyto požadavky na zabezpečení prostřednictvím následujících funkcí:

  • Izolace sítě pomocí privátních koncových bodů – Můžete řídit síťový přístup k datům v transakčních a analytických úložištích nezávisle. Izolace sítě se provádí pomocí samostatných spravovaných privátních koncových bodů pro každé úložiště ve spravovaných virtuálních sítích v pracovních prostorech Azure Synapse. Další informace najdete v článku o konfiguraci privátních koncových bodů pro analytické úložiště .

  • Šifrování dat pomocí klíčů spravovaných zákazníkem – Data můžete bez problémů šifrovat napříč transakčními a analytickými úložišti pomocí stejných klíčů spravovaných zákazníkem automaticky a transparentně. Azure Synapse Link podporuje pouze konfiguraci klíčů spravovaných zákazníkem pomocí spravované identity účtu služby Azure Cosmos DB. Před povolením služby Azure Synapse Link ve vašem účtu musíte ve svých zásadách přístupu ke službě Azure Key Vault nakonfigurovat spravovanou identitu svého účtu. Další informace najdete v článku o konfiguraci klíčů spravovaných zákazníkem pomocí účtů spravované službou Azure Cosmos DB.

  • Zabezpečená správa klíčů – Přístup k datům v analytickém úložišti z bezserverových fondů SQL Synapse Spark a Synapse vyžaduje správu klíčů Azure Cosmos DB v pracovních prostorech Synapse Analytics. Místo použití klíčů účtu Služby Azure Cosmos DB v úlohách Sparku nebo skriptech SQL poskytuje Azure Synapse Link bezpečnější možnosti:

Ocenění

Fakturační model služby Azure Synapse Link zahrnuje náklady vzniklé pomocí analytického úložiště Azure Cosmos DB a modulu runtime Synapse. Další informace najdete v cenách analytického úložiště Azure Cosmos DB a cenových článcích azure Synapse Analytics .

Další kroky

Další informace najdete v následujících dokumentech: