Vysvětlení hybridního transakčního analytického zpracování pomocí Azure Synapse Linku
Hybridní transakční a analytické zpracování umožňuje firmám provádět analýzy v databázovém systému, který umožňuje poskytovat transakční funkce, aniž by to mělo vliv na výkon systému. To organizacím umožňuje používat databázi k plnění transakčních i analytických potřeb, aby podporovaly analýzu provozních dat téměř v reálném čase, aby se mohli rozhodovat o analyzovaných informacích.
Například společnost Tailwind Traders používá Službu Azure Cosmos DB k ukládání dat profilů uživatelů z webu elektronického obchodování. Úložiště dokumentů NoSQL, které poskytuje rozhraní SQL API služby Azure Cosmos DB, poskytuje znalost správy dat pomocí syntaxe SQL a zároveň umožňuje číst a zapisovat soubory v masivním globálním měřítku.
I když je společnost Tailwind Traders spokojená s možnostmi a výkonem služby Azure Cosmos DB, zajímá se o náklady na provádění velkého objemu analytických dotazů v několika oddílech (dotazy napříč oddíly) ze svého datového skladu. Chtějí efektivně přistupovat ke všem datům, aniž by museli zvýšit počet jednotek žádostí služby Azure Cosmos DB. Podívali se na možnosti extrakce dat ze svých kontejnerů do datového jezera při jejich změnách prostřednictvím mechanismu kanálu změn služby Azure Cosmos DB. Problém s tímto přístupem je další služba a závislosti kódu a dlouhodobá údržba řešení. Můžou provádět hromadné exporty z kanálu Synapse, ale v daném okamžiku nebudou mít nejaktuálnější informace.
Rozhodnete se povolit Azure Synapse Link pro Cosmos DB a povolit analytické úložiště v jejich kontejnerech Azure Cosmos DB. Při této konfiguraci se všechna transakční data automaticky ukládají v plně izolovaném úložišti sloupců. Toto úložiště umožňuje rozsáhlé analýzy s provozními daty ve službě Azure Cosmos DB, aniž by to mělo vliv na transakční úlohy nebo náklady na jednotku prostředků (RU). Azure Synapse Link pro Cosmos DB vytváří úzkou integraci mezi Azure Cosmos DB a Azure Synapse Analytics, která umožňuje společnosti Tailwind Traders spouštět analýzy téměř v reálném čase přes provozní data bez ETL a úplnou izolaci výkonu od transakčních úloh.
Díky kombinaci distribuovaného škálování transakčního zpracování Cosmos DB s integrovaným analytickým úložištěm a výpočetním výkonem Služby Azure Synapse Analytics umožňuje Azure Synapse Link architekturu hybridního transakčního/analytického zpracování (HTAP) pro optimalizaci obchodních procesů společnosti Tailwind Trader. Tato integrace eliminuje procesy ETL, což umožňuje obchodním analytikům, datovým inženýrům a datovým vědcům samoobslužné služby a spouštění kanálů BI, analýzy a strojového Učení nad provozními daty.
Než budeme moct vytvořit kontejner Azure Cosmos DB s analytickým úložištěm, musíme nejprve povolit Azure Synapse Link.
Povolení Azure Synapse Linku
Přejděte na web Azure Portal (https://portal.azure.com) a vyberte účet služby Azure Cosmos DB.
V nabídce vlevo (1) vyberte Funkce a pak vyberte Azure Synapse Link (2).
Vyberte Povolit.
Vytvoření nového kontejneru Azure Cosmos DB
Tailwind Traders má kontejner Azure Cosmos DB s názvem OnlineUserProfile01. Vzhledem k tomu, že jsme po vytvoření kontejneru povolili funkci Azure Synapse Link, nemůžeme v kontejneru povolit analytické úložiště. Vytvoříme nový kontejner se stejným klíčem oddílu a povolíme analytické úložiště.
Po vytvoření kontejneru vytvoříme nový kanál Synapse pro kopírování dat z kontejneru OnlineUserProfile01 do nového kanálu.
V nabídce vlevo vyberte Průzkumník dat.
Vyberte Nový kontejner.
Jako ID databáze vyberte Použít existující a pak vyberte CustomerProfile (1). Jako ID kontejneru (2) zadejte UserProfileHTAP a pak jako klíč oddílu (3) zadejte /userId. V části Propustnost vyberte automatické škálování (4) a pak jako maximální hodnotu RU/s (5) zadejte 4000. Nakonec nastavte analytické úložiště na Zapnuto (6) a pak vyberte OK.
Tady nastavíme hodnotu klíče oddílu na userId, protože se jedná o pole, které nejčastěji používáme v dotazech a obsahuje relativně vysokou kardinalitu (počet jedinečných hodnot) pro dobrý výkon dělení. Propustnost nastavíme na automatické škálování s maximální hodnotou 4 000 jednotek žádostí (RU). To znamená, že kontejner bude mít přiděleno minimálně 400 RU (10 % maximálního počtu) a škáluje se až na 4 000, když modul škálování zjistí vysokou poptávku, aby se zvýšila propustnost. Nakonec povolíme analytické úložiště v kontejneru, což nám umožní plně využít architekturu HTAP (Hybrid Transactional/Analytical Processing) z synapse Analytics.
Pojďme se rychle podívat na data, která zkopírujeme do nového kontejneru.
Rozbalte kontejner OnlineUserProfile01 pod databází CustomerProfile a pak vyberte Položky (1). Vyberte jeden z dokumentů (2) a zobrazte jeho obsah (3). Dokumenty jsou uložené ve formátu JSON.
S povoleným Azure Synapse Linkem a zřízením analytického úložiště pak můžete dotazovat analytické úložiště přímo z Azure Synapse Analytics nebo vytvořit kanál pro kopírování obsahu analytického úložiště.