Upravit

Zpracování dávkových transakcí s velkým objemem

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

Architektura používá AKS k implementaci výpočetních clusterů aplikací, které zpracovávají velké dávky transakcí. Aplikace přijímají transakce ve zprávách z témat nebo front Service Bus. Témata a fronty můžou být v datacentrech Azure v různých geografických oblastech a několik clusterů AKS z nich může číst vstup.

Poznámka

Tato architektura odpovídá typu dávkového zpracování transakcí, které se v sálových počítačích IBM často implementují pomocí řady IBM MQ middlewaru orientovaného na zprávy.

Architektura

Diagram of an architecture implemented by using AKS and Service Bus.

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

Číslované kruhy v diagramu odpovídají očíslovaným krokům v následujícím seznamu.

  1. Architektura používá témata a fronty služby Service Bus k uspořádání vstupu dávkového zpracování a předání podřízeného zpracování ke zpracování.
  2. Azure Load Balancer, nástroj pro vyrovnávání zatížení vrstvy 4 (TCP, UDP), distribuuje příchozí provoz mezi instance služby definované v sadě s vyrovnáváním zatížení. Vyrovnávání zatížení a správa připojení optimalizují zpracování.
  3. Pracovní uzly clusteru AKS naslouchají koncovým bodům fronty služby Service Bus pro vstup.
  4. Uzly Java používají službu Java Message Service pro připojení ke službě Service Bus a rozhraní Java, jako je Java Database Připojení ivity pro připojení k jiným zdrojům dat. Podle potřeby používají jiná rozhraní JAVA API.
  5. Obnovitelné transakce běží společně s obchodním kódem pro každý dávkový krok.
  6. Dávková infrastruktura využívá akcelerované síťové služby Azure k urychlení.
  7. Azure Cache for Redis, Azure Cosmos DB a Azure Stream Analytics v případě potřeby poskytují funkční úložiště.
  8. Trvalá datová vrstva využívá Azure Data Factory k integraci dat a azure SQL Managed Instance, úroveň výkonu pro důležité obchodní informace pro zajištění vysoké dostupnosti. Trvalé úložiště je volně svázáno pro snadné přepnutí na jiné databázové technologie a pro optimalizaci organizace úložiště (například pomocí horizontálních oddílů nebo oddílů).
  9. Datová řešení (přechodná a trvalá) používají možnost geograficky redundantního úložiště Azure Storage (GRS) k ochraně před katastrofickými selháními.

Součásti

Architektura používá tyto komponenty:

  • Azure Virtual Network poskytuje zabezpečenou privátní síť v cloudu. Může vzájemně propojit virtuální počítače, internet a místní sítě.
  • Azure ExpressRoute poskytuje privátní připojení mezi datacentry Azure a místní infrastrukturou.
  • Azure Bastion poskytuje privátní a plně spravovaný přístup RDP a SSH k virtuálním počítačům.
  • Azure Virtual Machines poskytuje flexibilitu virtualizace, aniž by bylo nutné poskytovat a udržovat hardware, který ho hostuje. Mezi volby operačního systému patří Windows a Linux.
  • Virtuální počítač vytvořený s akcelerovanými síťovými službami využívá virtualizaci rozhraní SR-IOV (Single Root I/O Virtualization), což výrazně zlepšuje výkon sítě. Další informace najdete v tématu Vytvoření virtuálního počítače s Windows s akcelerovanými síťovými službami pomocí Azure PowerShellu a přehled virtualizace rozhraní SR-IOV (Single Root I/O Virtualization).
  • Síťové rozhraní Azure připojí virtuální počítač k internetu a k prostředkům Azure a místním prostředkům. Jak je znázorněno v této architektuře, můžete každému podřízeného virtuálnímu počítači poskytnout vlastní síťové rozhraní a IP adresu. Další informace o síťových rozhraních najdete v tématu Vytvoření, změna nebo odstranění síťového rozhraní.
  • Azure Spravované disky jsou vysoce výkonné a vysoce odolné blokové úložiště pro virtuální počítače. Cloud nabízí čtyři možnosti úložiště disků: Diskové úložiště úrovně Ultra, SSD úrovně Premium, SSD úrovně Standard a HDD úrovně Standard.
  • Azure Kubernetes Service (AKS) je plně spravovaná služba Kubernetes pro nasazování a správu kontejnerizovaných aplikací.
  • Service Bus poskytuje spolehlivé cloudové zasílání zpráv jako službu (MaaS) a jednoduchou hybridní integraci.
  • Služby vyrovnávání zatížení Azure poskytují škálování pro zajištění vysoké dostupnosti a vysokého výkonu. Tato architektura používá Load Balancer. Poskytuje možnosti vyrovnávání zatížení vrstvy 4 (TCP, UDP) s nízkou latencí pro vyrovnávání provozu mezi virtuálními počítači a napříč vícevrstvými hybridními aplikacemi.
  • Azure Cache for Redis je bleskově rychlá a plně spravovaná služba ukládání do mezipaměti v paměti pro sdílení dat a stavu mezi výpočetními prostředky.
  • Azure Cosmos DB je rychlá databáze NoSQL s otevřenými rozhraními API pro jakékoli škálování.
  • Azure Stream Analytics poskytuje analýzu dat z aplikací a zařízení v reálném čase.
  • Azure Databricks je rychlá, jednoduchá služba pro analýzu velkých objemů dat založená na TM Apache Sparku.
  • Azure SQL je řada cloudových databází SQL, která poskytuje jednotné prostředí pro celé portfolio SQL a širokou škálu možností nasazení z hraničních zařízení do cloudu.
  • Spravovaná instance Azure SQL, která je součástí portfolia služeb Azure SQL, je spravovaná, zabezpečená a vždy aktuální instance SQL v cloudu.
  • Data Factory je plně spravované a bezserverové řešení integrace dat pro přípravu a transformaci všech vašich dat ve velkém měřítku.
  • Data Factory podporuje formát dat souborů Parquet. Další informace najdete v tématu Formát Parquet ve službě Azure Data Factory.
  • Log Analytics je nástroj na webu Azure Portal, který slouží k úpravám a spouštění dotazů na protokoly služby Azure Monitor . Další informace najdete v tématu Přehled služby Log Analytics ve službě Azure Monitor.
  • Možnost geograficky redundantního úložiště (GRS) služby Azure Storage kopíruje data synchronně třikrát v rámci jednoho fyzického umístění v primární oblasti a pak je asynchronně zkopíruje do jednoho fyzického umístění v sekundární oblasti. Další informace najdete v tématu Redundance služby Azure Storage.
  • Azure Blob Storage je široce škálovatelné a zabezpečené úložiště objektů založené na REST pro úlohy nativní pro cloud, archivy, datová jezera, vysokovýkonné výpočetní prostředí a strojové učení.
  • Azure Files poskytuje jednoduché, zabezpečené a bezserverové sdílené složky na podnikové úrovni v cloudu. Pro přístup ke sdíleným složkám používáte standardní protokoly SMB (Server Message Block) a NFS (Network File System).

Podrobnosti scénáře

V Azure můžete implementovat dávkové zpracování transakcí, jako je účtování plateb na účty, pomocí architektury založené na službách Microsoft Azure Kubernetes Service (AKS) a Azure Service Bus. Tento typ architektury poskytuje rychlost zpracování transakcí, škálování a spolehlivost vyžadovanou pro dávkové zpracování s velkým objemem.

Zpráva se obvykle zařadí do fronty, dokud se transakce nedokončí, což umožňuje obnovení, pokud dojde k selhání. Můžete také replikovat témata a fronty do jiných oblastí, sdílet úlohy a pokračovat ve zpracování i v případě, že oblast selže.

Potenciální případy použití

Řešení je ideální pro finanční, vzdělávací a vědecké odvětví. Tato architektura je určená pro zpracování dávek transakcí s velkým objemem, zejména nezávislých transakcí, které lze zpracovávat paralelně. Je tedy pravděpodobném kandidátem na použití při migraci dávkového zpracování sálového počítače. Možné aplikace:

  • Zpracování finančníchtransakcích
  • Zpracování experimentálních dat shromážděných vědeckými nástroji.
  • Jiné dávkové zpracování sálového počítače.

Požadavky

Na toto řešení se vztahují následující aspekty založené na architektuře Azure:

Dostupnost

  • Služba zotavení po havárii Azure Site Recovery chrání před velkými výpadky. Je to spolehlivé, nákladově efektivní a snadné nasazení.
  • Skupiny dostupnosti pro virtuální počítače zajišťují, aby bylo k dispozici dostatek virtuálních počítačů pro splnění potřeb kritického dávkového procesu.
  • Service Bus, AKS a Azure SQL Managed Instance poskytují vysokou dostupnost a obnovitelnost napříč geografickými oblastmi.

Provoz

  • Šablony Azure Resource Manageru (šablony ARM) poskytují konfigurační jazyk, který popisuje vaše prostředky v šablonách, které můžete použít pro skriptované nasazení. Šablony také poskytují možnosti monitorování a upozorňování.

Efektivita výkonu

  • Architektura je navržená tak, aby vyhovovala paralelnímu zpracování nezávislých transakcí.
  • Služby Service Bus, AKS a další funkce Azure PaaS poskytují vysoký výkon pro zpracování transakcí, výpočetní prostředí a ukládání dat.

Škálovatelnost

  • Service Bus, AKS a další funkce Azure PaaS se dynamicky škálují podle potřeby.

Zabezpečení

  • Všechny komponenty v dávkové architektuře služby Service Bus pracují se součástmi zabezpečení Azure, jako jsou ID Microsoft Entra, virtuální síť a šifrování.

Optimalizace nákladů

Pokud chcete odhadnout náklady na implementaci tohoto řešení, použijte cenovou kalkulačku.

Funkce automatického škálování clusterů AKS a dalších funkcí PaaS (Platforma jako služba) Azure, které poskytují škálování na vyžádání, udržují náklady minimálně.

Tady jsou důležité informace o cenách pro konkrétní komponenty:

  • Většina podniků už má implementaci Služby Microsoft Active Directory. Pokud ne, Microsoft Entra ID P1 nebo P2 je nízké náklady.
  • Ceny virtuálních počítačů s Windows a ceny virtuálních počítačů s Linuxem závisí na vaší výpočetní kapacitě.
  • Ceny disků spravovaného úložiště SSD úrovně Premium nebo Ultra najdete v Spravované disky cenách.
  • Azure SQL Database nemá žádné počáteční náklady. Platíte za prostředky, jak se používají.
  • Pro ExpressRoute platíte měsíční poplatek za port a poplatky za odchozí přenos dat.
  • Náklady na Azure Storage závisí na možnostech redundance dat a svazku.
  • Ceny služby Azure Files závisí na mnoha faktorech: objem dat, redundance dat, objem transakcí a počet serverů synchronizace souborů, které používáte.
  • Informace o cenách spravovaných disků SSD najdete v Spravované disky cenách.
  • Pro Site Recovery platíte za každou chráněnou instanci.
  • Tyto služby jsou bezplatné s předplatným Azure, ale platíte za využití a provoz:

Další kroky