Co je Azure Synapse Link pro Azure Cosmos DB?

PLATÍ PRO: NoSQL MongoDB Gremlin

Azure Synapse Link pro Azure Cosmos DB je funkce HTAP (Hybrid Transactional and Analytical Processing) nativní pro cloud, která umožňuje téměř v reálném čase analyzovat provozní data ve službě Azure Cosmos DB. Azure Synapse Link vytváří úzkou bezproblémovou integraci mezi službou Azure Cosmos DB a Azure Synapse Analytics.

Při použití analytického úložiště Azure Cosmos DB, plně izolovaného úložiště sloupců, Azure Synapse Link neumožňuje ve službě Azure Synapse Analytics žádné analýzy extrakce,transformace a načítání (ETL) pro vaše provozní data ve velkém měřítku. Obchodní analytici, datoví inženýři a datoví vědci teď můžou zaměnitelně používat Synapse Spark nebo Synapse SQL ke spouštění kanálů business intelligence, analýz a strojového učení téměř v reálném čase. Je toho možné dosáhnout bez dopadu na výkon transakčních úloh v Azure Cosmos DB.

Následující obrázek znázorňuje integraci Azure Synapse Link se službami Azure Cosmos DB a Azure Synapse Analytics:

Diagram architektury pro integraci Azure Synapse Analytics se službou Azure Cosmos DB

K analýze velkých provozních datových sad a minimalizaci dopadu na výkon důležitých transakčních úloh se provozní data ve službě Azure Cosmos DB tradičně extrahují a zpracovávají kanály ETL (Extract-Transform-Load). Kanály ETL vyžadují mnoho vrstev přesunu dat, což má za následek velkou provozní složitost a dopad na výkon transakčních úloh. Zvyšuje také latenci analýzy provozních dat z doby původu.

V porovnání s tradičními řešeními založenými na ETL nabízí Azure Synapse Link pro Službu Azure Cosmos DB několik výhod, například:

Menší složitost bez úloh ETL ke správě

Azure Synapse Link umožňuje přímý přístup k analytickému úložišti Azure Cosmos DB pomocí Azure Synapse Analytics bez složitého přesunu dat. Všechny aktualizace provozních dat jsou viditelné v analytickém úložišti téměř v reálném čase bez úloh ETL nebo kanálu změn. V analytickém úložišti můžete spouštět rozsáhlé analýzy z Azure Synapse Analytics bez další transformace dat.

Přehledy provozních dat téměř v reálném čase

Pomocí nástroje Azure Synapse Link teď můžete získat bohaté přehledy o provozních datech téměř v reálném čase. Systémy založené na ETL mají tendenci mít vyšší latenci při analýze provozních dat kvůli mnoha vrstvě potřebným k extrakci, transformaci a načítání provozních dat. Díky nativní integraci analytického úložiště Azure Cosmos DB s Azure Synapse Analytics můžete analyzovat provozní data téměř v reálném čase a umožnit tak nové obchodní scénáře.

Žádný vliv na provozní úlohy

S Azure Synapse Link můžete spouštět analytické dotazy na analytické úložiště Azure Cosmos DB, které představuje úložiště sloupců vašich dat, zatímco transakční operace se zpracovávají se zřízenou propustností pro transakční úlohy přes transakční úložiště založené na řádcích služby Azure Cosmos DB. Analytická úloha je nezávislá na provozu transakčních úloh a nevyužuje žádnou zřízenou propustnost vašich provozních dat.

Optimalizováno pro rozsáhlé analytické úlohy

Analytické úložiště Azure Cosmos DB je optimalizované tak, aby poskytovalo škálovatelnost, elasticitu a výkon analytickým úlohám bez jakékoli závislosti na době spuštění výpočetních prostředků. Technologie úložiště se spravuje sama, aby optimalizovala analytické úlohy. Díky integrované podpoře v Azure Synapse Analytics poskytuje přístup k této vrstvě úložiště jednoduchost a vysoký výkon.

Efektivnost z hlediska nákladů

S Azure Synapse Link můžete získat cenově optimalizované a plně spravované řešení pro provozní analýzy. Eliminuje nadbytečné vrstvy úložiště a výpočetních prostředků vyžadované v tradičních kanálech ETL pro analýzu provozních dat.

Analytické úložiště Azure Cosmos DB se řídí cenovým modelem založeným na spotřebě, který je založený na úložišti dat a analytických operacích čtení/zápisu a provedených dotazech. Nevyžaduje, abyste zřídili žádnou propustnost, jak to dnes děláte pro transakční úlohy. Přístup k datům pomocí vysoce elastických výpočetních modulů z Azure Synapse Analytics činí celkové náklady na provoz úložiště a výpočetních prostředků velmi efektivní.

Analýzy pro místně dostupné, globálně distribuované zápisy do více oblastí

Analytické dotazy můžete efektivně spouštět na nejbližší regionální kopii dat ve službě Azure Cosmos DB. Azure Cosmos DB poskytuje nejmodernější funkce pro spouštění globálně distribuovaných analytických úloh spolu s transakčními úlohami aktivním a aktivním způsobem.

Povolení scénářů HTAP pro vaše provozní data

Synapse Link spojuje analytické úložiště Azure Cosmos DB s podporou modulu runtime Azure Synapse Analytics. Tato integrace umožňuje vytvářet nativní cloudová řešení HTAP (Hybridní transakční/analytické zpracování), která generují přehledy založené na aktualizacích provozních dat v reálném čase přes velké datové sady. Odemyká nové obchodní scénáře pro vyvolání výstrah na základě živých trendů, vytváření řídicích panelů téměř v reálném čase a obchodních prostředí na základě chování uživatelů.

Analytické úložiště Azure Cosmos DB

Analytické úložiště Azure Cosmos DB je sloupcově orientované znázornění provozních dat ve službě Azure Cosmos DB. Toto analytické úložiště je vhodné pro rychlé a nákladově efektivní dotazy na velké sady provozních dat bez kopírování dat a ovlivnění výkonu transakčních úloh.

Analytické úložiště automaticky shromažďuje vysokofrekvenční vkládání, aktualizace a odstraňování v transakčních úlohách téměř v reálném čase jako plně spravovanou funkci ("automatická synchronizace") služby Azure Cosmos DB. Nevyžaduje se žádný kanál změn ani ETL.

Pokud máte globálně distribuovaný účet Služby Azure Cosmos DB, bude po povolení analytického úložiště pro kontejner dostupný ve všech oblastech pro daný účet. Další informace o analytickém úložišti najdete v článku Přehled analytického úložiště služby Azure Cosmos DB .

Díky Synapse Link se teď můžete přímo připojit ke kontejnerům Azure Cosmos DB z Azure Synapse Analytics a přistupovat k analytickému úložišti bez samostatných konektorů. Azure Synapse Analytics v současné době podporuje Synapse Link se Synapse Apache Sparkem a bezserverovým fondem SQL.

Na data z analytického úložiště Azure Cosmos DB se můžete dotazovat současně, přičemž služba Azure Synapse Analytics podporuje interoperability napříč různými dobami spuštění analýzy. K analýze provozních dat se nevyžadují žádné další transformace dat. Data analytického úložiště můžete dotazovat a analyzovat pomocí:

  • Synapse Apache Spark s plnou podporou pro Scala, Python, SparkSQL a C#. Synapse Spark je ústředním tématem pro scénáře přípravy dat a datových věd.

  • Bezserverový fond SQL s jazykem T-SQL a podporou známých nástrojů BI (například Power BI Premium atd.)

Poznámka

Z Azure Synapse Analytics máte v kontejneru Azure Cosmos DB přístup k analytickým i transakčním úložišti. Pokud ale chcete spouštět rozsáhlé analýzy nebo kontrolovat provozní data, doporučujeme použít analytické úložiště, abyste se vyhnuli dopadu transakčních úloh na výkon.

Poznámka

V oblasti Azure můžete spouštět analýzy s nízkou latencí tak, že připojíte kontejner Azure Cosmos DB k modulu runtime Synapse v dané oblasti.

Tato integrace umožňuje pro různé uživatele následující scénáře HTAP:

  • Inženýr BI, který chce modelovat a publikovat sestavu Power BI pro přístup k živým provozním datům ve službě Azure Cosmos DB přímo prostřednictvím Synapse SQL.

  • Datoví analytici, který chce získat přehledy z provozních dat v kontejneru Azure Cosmos DB dotazováním pomocí Synapse SQL, číst data ve velkém a kombinovat tato zjištění s jinými zdroji dat.

  • Datoví vědci, který chce pomocí Synapse Sparku najít funkci pro vylepšení modelu a vytrénovat ho bez složité přípravy dat. Můžou také zapisovat výsledky odvození modelu do služby Azure Cosmos DB pro vyhodnocování dat v reálném čase prostřednictvím Spark Synapse.

  • Datoví technici, který chce zpřístupnit data uživatelům vytvořením tabulek SQL nebo Spark přes kontejnery Azure Cosmos DB bez ručních procesů ETL.

Další informace o podpoře modulu runtime Azure Synapse Analytics pro Azure Cosmos DB najdete v tématu podpora Azure Synapse Analytics pro Azure Cosmos DB.

Synapse Link se doporučuje v následujících případech:

  • Pokud jste zákazníkem služby Azure Cosmos DB a chcete spouštět analýzy, BI a strojové učení přes vaše provozní data. V takových případech Synapse Link poskytuje integrovanější analytické prostředí, aniž by to mělo vliv na zřízenou propustnost vašeho transakčního úložiště. Příklad:

    • Pokud v současnosti spouštíte analýzu nebo BI na provozních datech služby Azure Cosmos DB přímo pomocí samostatných konektorů, nebo

    • Pokud spouštíte procesy ETL k extrahování provozních dat do samostatného analytického systému.

V takových případech Synapse Link poskytuje integrovanější analytické prostředí, aniž by to mělo vliv na zřízenou propustnost vašeho transakčního úložiště.

Synapse Link se nedoporučuje, pokud hledáte tradiční požadavky datového skladu, jako je vysoká souběžnost, správa úloh a trvalost agregací napříč několika zdroji dat. Další informace najdete v běžných scénářích, které se dají využít pomocí Azure Synapse Linku pro Službu Azure Cosmos DB.

Omezení

  • Azure Synapse Link pro Službu Azure Cosmos DB se nepodporuje pro rozhraní API cassandra a table. Podporuje se pro rozhraní API pro NoSQL a MongoDB. A je ve verzi Preview pro rozhraní Gremlin API.

  • Přístup k analytickému úložišti Azure Cosmos DB s využitím Azure Synapse vyhrazeného fondu SQL se v současné době nepodporuje.

  • Povolení Synapse Link ve stávajících kontejnerech Azure Cosmos DB se podporuje jenom pro účty ROZHRANÍ API pro NoSQL. Synapse Link je možné povolit v nových kontejnerech pro účty ROZHRANÍ API pro NoSQL i MongoDB.

  • Přestože data analytického úložiště nejsou zálohována, a proto je nelze obnovit, můžete analytické úložiště znovu vytvořit tak, že Synapse Link v obnoveném kontejneru znovu zabudujete. Další informace najdete v dokumentaci k analytickému úložišti .

  • V současné době Synapse Link není plně kompatibilní s režimem průběžného zálohování. Další informace najdete v dokumentaci k analytickému úložišti .

  • Podrobný přístup na základě role (RBAC) se při dotazování ze Synapse nepodporuje. Uživatelé, kteří mají přístup k vašemu pracovnímu prostoru Synapse a mají přístup k účtu Služby Azure Cosmos DB, můžou přistupovat ke všem kontejnerům v rámci daného účtu. V současné době nepodporujeme podrobnější přístup ke kontejnerům.

  • V současné době Azure Synapse pracovní prostory nepodporují propojené služby pomocí Managed Identity. Vždy používejte MasterKey možnost .

Zabezpečení

Synapse Link umožňuje provádět analýzy téměř v reálném čase nad důležitými daty ve službě Azure Cosmos DB. Je důležité zajistit, aby se důležitá obchodní data bezpečně ukládala napříč transakčními i analytickými úložišti. Azure Synapse Link pro Službu Azure Cosmos DB je navržený tak, aby pomohl splnit tyto požadavky na zabezpečení prostřednictvím následujících funkcí:

  • Izolace sítě pomocí privátních koncových bodů – síťový přístup k datům v transakčním a analytickém úložišti můžete řídit nezávisle. Izolace sítě se provádí pomocí samostatných spravovaných privátních koncových bodů pro každé úložiště v rámci spravovaných virtuálních sítí v Azure Synapse pracovních prostorech. Další informace najdete v článku Konfigurace privátních koncových bodů pro analytické úložiště .

  • Šifrování dat pomocí klíčů spravovaných zákazníkem – Automaticky a transparentně můžete šifrovat data napříč transakčními a analytickými úložišti pomocí stejných klíčů spravovaných zákazníkem. Azure Synapse Link podporuje jenom konfiguraci klíčů spravovaných zákazníkem pomocí spravované identity účtu služby Azure Cosmos DB. Před povolením Azure Synapse Link pro váš účet musíte nakonfigurovat spravovanou identitu svého účtu v zásadách přístupu azure Key Vault. Další informace najdete v článku Konfigurace klíčů spravovaných zákazníkem pomocí spravovaných identit účtů Služby Azure Cosmos DB .

  • Zabezpečená správa klíčů – Přístup k datům v analytickém úložišti z bezserverových fondů SQL Synapse Sparku a Synapse vyžaduje správu klíčů Azure Cosmos DB v pracovních prostorech Synapse Analytics. Místo použití klíčů účtu služby Azure Cosmos DB v úlohách Sparku nebo skriptech SQL poskytuje Azure Synapse Link bezpečnější funkce:

Ceny

Model fakturace služby Azure Synapse Link zahrnuje náklady vzniklé používáním analytického úložiště Azure Cosmos DB a modulu runtime Synapse. Další informace najdete v článcích s cenami analytického úložiště služby Azure Cosmos DB a Azure Synapse Analytics.

Další kroky

Další informace najdete v následujících dokumentech: