Sdílet prostřednictvím

Zpracování dávkových transakcí s velkým objemem

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

Architektura používá AKS k implementaci výpočetních clusterů aplikací, které zpracovávají velké dávky transakcí. Aplikace přijímají transakce ve zprávách z témat nebo front Service Bus. Témata a fronty můžou být v datacentrech Azure v různých geografických oblastech a několik clusterů AKS z nich může číst vstup.

Poznámka

Tato architektura odpovídá typu dávkového zpracování transakcí, které se v sálových počítačích IBM často implementují pomocí řady IBM MQ middlewaru orientovaného na zprávy.

Architektura

diagram architektury implementované pomocí AKS a Service Bus.

stáhnout soubor Visia této architektury.

Workflow

Číslované kruhy v diagramu odpovídají očíslovaným krokům v následujícím seznamu.

  1. Architektura používá témata a fronty služby Service Bus k uspořádání vstupu dávkového zpracování a předání podřízeného zpracování ke zpracování.
  2. Azure Load Balancer, nástroj pro vyrovnávání zatížení vrstvy 4 (TCP, UDP), distribuuje příchozí provoz mezi instance služby definované v sadě s vyrovnáváním zatížení. Vyrovnávání zatížení a správa připojení optimalizují zpracování.
  3. Pracovní uzly clusteru AKS naslouchají koncovým bodům fronty služby Service Bus pro vstup.
  4. Uzly Java používají službu Java Message Service pro připojení ke službě Service Bus a rozhraní Javy, jako je Připojení k databázi Java, pro připojení k jiným zdrojům dat. Podle potřeby používají jiná rozhraní JAVA API.
  5. Obnovitelné transakce běží společně s obchodním kódem pro každý dávkový krok.
  6. Dávková infrastruktura využívá akcelerované síťové služby Azure k urychlení.
  7. Azure Cache for Redis, Azure Cosmos DB a Azure Stream Analytics v případě potřeby poskytují funkční úložiště.
  8. Trvalá datová vrstva využívá Azure Data Factory k integraci dat a azure SQL Managed Instance, úroveň výkonu pro důležité obchodní informace pro zajištění vysoké dostupnosti. Trvalé úložiště je volně svázáno pro snadné přepnutí na jiné databázové technologie a pro optimalizaci organizace úložiště (například pomocí horizontálních oddílů nebo oddílů).
  9. Datová řešení (přechodná a trvalá) používají možnost geograficky redundantního úložiště Azure Storage (GRS) k ochraně před katastrofickými selháními.

Součásti

  • Azure Bastion je platforma jako služba (PaaS), která poskytuje privátní a plně spravovaný přístup RDP (Remote Desktop Protocol) a SSH (Secure Shell) k virtuálním počítačům. V této architektuře azure Bastion umožňuje zabezpečený přístup pro správu k virtuálním počítačům, aniž by je zpřístupňuje veřejnému internetu.

  • Azure Blob Storage je služba cloudového úložiště objektů, která poskytuje škálovatelné a zabezpečené úložiště objektů založené na REST pro úlohy nativní pro cloud, archivy, datová jezera, vysokovýkonné výpočetní prostředí a strojové učení. V této architektuře poskytuje Blob Storage škálovatelné úložiště pro dávkové zpracování vstupních, výstupních a mezilehlých datových souborů.

  • Azure Cache for Redis je plně spravovaná služba ukládání do mezipaměti v paměti pro sdílení dat a stavu mezi výpočetními prostředky. V této architektuře poskytuje Azure Cache for Redis vysokorychlostní dočasné úložiště pro stav dávkového zpracování a průběžné výsledky.

  • Azure Cosmos DB je globálně distribuovaná databáze NoSQL s více modely, která má otevřená rozhraní API pro jakékoli škálování. V této architektuře poskytuje Azure Cosmos DB škálovatelné úložiště NoSQL pro metadata dávkového zpracování a pracovní data.

  • Azure Databricks je analytická platforma založená na Apache Sparku, která poskytuje služby analýzy velkých objemů dat. V této architektuře se Azure Databricks dá použít k pokročilým analýzám a strojovému učení ve výsledcích dávkového zpracování.

  • Azure ExpressRoute je služba připojení, která poskytuje privátní připojení mezi datacentry Azure a místní infrastrukturou. V této architektuře ExpressRoute umožňuje připojení s velkou šířkou pásma a nízkou latencí pro aplikace dávkového zpracování, které potřebují přístup k místním zdrojům dat.

  • Azure Files je cloudová služba úložiště souborů, která poskytuje jednoduché, zabezpečené a bezserverové sdílené složky na podnikové úrovni v cloudu. Pro přístup ke sdíleným složkám používáte standardní protokoly SMB (Server Message Block) a NFS (Network File System). V této architektuře poskytuje Azure Files sdílené úložiště souborů pro dávkové zpracování aplikací, které vyžadují přístup k datům založeným na souborech.

  • Azure Kubernetes Service (AKS) je spravovaná služba Kubernetes pro nasazování a správu kontejnerizovaných aplikací. V této architektuře poskytuje AKS platformu pro orchestraci kontejnerů pro spouštění aplikací dávkového zpracování ve velkém měřítku.

  • Load Balancer je služba vyrovnávání zatížení, která poskytuje možnosti vyrovnávání zatížení vrstvy 4 (TCP, UDP) s nízkou latencí, které umožňují vyrovnávat provoz mezi virtuálními počítači a napříč vícevrstvými hybridními aplikacemi. V této architektuře Load Balancer distribuuje příchozí provoz mezi instance dávkového zpracování, které jsou v pořádku, aby optimalizoval výkon.

  • Spravované disky Azure jsou vysoce výkonné a vysoce odolné svazky blokového úložiště pro virtuální počítače. Pro cloud existují čtyři možnosti úložiště disků: Azure Ultra Disk Storage, Azure Premium SSD, Azure Standard SSD a Azure Standard HDD. V této architektuře poskytují spravované disky Azure trvalé úložiště pro aplikace dávkového zpracování a dočasná data.

  • Síťové rozhraní Azure je komponenta, která připojuje virtuální počítač k internetu a k prostředkům Azure a místním prostředkům. Každému podřízeného virtuálnímu počítači můžete dát vlastní síťové rozhraní a IP adresu. V této architektuře síťová rozhraní umožňují připojení mezi virtuálními počítači dávkového zpracování a systémem zasílání zpráv Service Bus. Další informace o síťových rozhraních najdete v tématu Vytvoření, změna nebo odstranění síťového rozhraní.

  • Azure SQL je řada cloudových databází SQL, která poskytuje jednotné prostředí pro celé portfolio SQL a širokou škálu možností nasazení od hraničních zařízení do cloudu. V této architektuře azure SQL poskytuje relační databázové služby pro dávkové zpracování aplikací.

  • Azure Storage je cloudová služba úložiště, která poskytuje několik řešení úložiště, včetně objektů blob, souborů, front a úložiště tabulek. Možnost GRS služby Azure Storage kopíruje data synchronně třikrát v rámci jednoho fyzického umístění v primární oblasti a pak je asynchronně zkopíruje do jednoho fyzického umístění v sekundární oblasti. Další informace najdete v tématu redundance služby Azure Storage. V této architektuře poskytuje Azure Storage s GRS vysoce odolné úložiště pro dávkové zpracování dat a chrání před katastrofickými selháními.

  • Azure Virtual Machines je služba cloud computingu, která poskytuje flexibilitu virtualizace bez nutnosti poskytovat a udržovat hardware, který ho hostuje. Mezi volby operačního systému patří Windows a Linux. V této architektuře poskytuje služba Virtual Machines výpočetní infrastrukturu pro aplikace dávkového zpracování a podpůrné služby.

    Virtuální počítač vytvořený s akcelerovanými síťovými službami používá virtualizaci jednoho kořenového vstupu a výstupu (SR-IOV), což zlepšuje výkon sítě. Další informace najdete v tématu Vytvoření virtuálního počítače s Windows s akcelerovanými síťovými službami pomocí Azure PowerShellu a přehledu rozhraní SR-IOV. V této architektuře akcelerované síťové služby vylepšují síťový výkon virtuálních počítačů, které zpracovávají velkoobjemové dávkové transakce.

  • Azure Virtual Network je cloudová síťová služba, která poskytuje zabezpečenou privátní síť v cloudu. Dokáže vzájemně propojit virtuální počítače, internet a místní sítě. V této architektuře poskytuje služba Virtual Network zabezpečenou izolaci sítě pro infrastrukturu dávkového zpracování a umožňuje komunikaci mezi clustery AKS a dalšími službami Azure.

  • Data Factory je cloudová služba pro integraci dat, která je plně spravovaná a bezserverová pro přípravu a transformaci všech vašich dat ve velkém měřítku. Data Factory podporuje formát Parquet. Tato podpora umožňuje efektivní zpracování sloupcových dat pro dávkové operace. V této architektuře data Factory orchestruje pracovní postupy integrace dat pro dávkové zpracování vstupu a výstupu.

  • Log Analytics je nástroj na webu Azure Portal, který můžete použít k úpravám a spouštění dotazů na protokoly služby Azure Monitor . V této architektuře poskytuje Log Analytics centralizované možnosti protokolování a monitorování pro operace dávkového zpracování.

  • Service Bus je cloudová služba zasílání zpráv, která poskytuje spolehlivé cloudové zasílání zpráv jako službu (MaaS) a jednoduchou hybridní integraci. V této architektuře service Bus doručuje transakční zprávy do clusterů AKS a zajišťuje spolehlivé zpracování zpráv pro dávkové úlohy.

  • SQL Managed Instance je spravovaná databázová služba, která poskytuje zabezpečenou a vždy up-toinstanci SQL v cloudu. V této architektuře služba SQL Managed Instance poskytuje databázové služby s vysokou dostupností s úrovní výkonu pro důležité obchodní informace pro trvalé úložiště dat.

  • Stream Analytics je služba, která poskytuje analýzy v reálném čase pro rychlé přesouvání datových proudů z aplikací a zařízení. V této architektuře Stream Analytics zpracovává streamovaná data z dávkových operací pro monitorování a analýzu v reálném čase.

Podrobnosti scénáře

V Azure můžete implementovat dávkové zpracování transakcí, jako je účtování plateb na účty, pomocí architektury založené na službách Microsoft Azure Kubernetes Service (AKS) a Azure Service Bus. Tento typ architektury poskytuje rychlost zpracování transakcí, škálování a spolehlivost vyžadovanou pro dávkové zpracování s velkým objemem.

Zpráva se obvykle zařadí do fronty, dokud se transakce nedokončí, což umožňuje obnovení, pokud dojde k selhání. Můžete také replikovat témata a fronty do jiných oblastí, sdílet úlohy a pokračovat ve zpracování i v případě, že oblast selže.

Potenciální případy použití

Řešení je ideální pro finanční, vzdělávací a vědecké odvětví. Tato architektura je určená pro zpracování dávek transakcí s velkým objemem, zejména nezávislých transakcí, které lze zpracovávat paralelně. Je tedy pravděpodobném kandidátem na použití při migraci dávkového zpracování sálového počítače. Možné aplikace:

  • Zpracování finančníchtransakcích
  • Zpracování experimentálních dat shromážděných vědeckými nástroji.
  • Jiné dávkové zpracování sálového počítače.

Úvahy

Tyto aspekty implementují pilíře architektury Azure Well-Architected Framework, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace najdete v tématu rozhraní Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace naleznete v tématu Kontrolní seznam pro kontrolu spolehlivosti.

  • služba Azure Site Recovery zotavení po havárii chrání před velkými výpadky. Je to spolehlivé, nákladově efektivní a snadné nasazení.
  • Skupiny dostupnosti pro virtuální počítače zajišťují, aby bylo k dispozici dostatek virtuálních počítačů pro splnění potřeb kritického dávkového procesu.
  • Service Bus, AKS a Azure SQL Managed Instance poskytují vysokou dostupnost a obnovitelnost napříč geografickými oblastmi.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení .

  • Všechny komponenty v dávkové architektuře služby Service Bus pracují se součástmi zabezpečení Azure, jako jsou ID Microsoft Entra, virtuální síť a šifrování.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

Pokud chcete odhadnout náklady na implementaci tohoto řešení, použijtecenovou kalkulačku .

Funkce automatického škálování clusterů AKS a dalších funkcí PaaS (Platforma jako služba) Azure, které poskytují škálování na vyžádání, udržují náklady minimálně.

Tady jsou důležité informace o cenách pro konkrétní komponenty:

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace naleznete v tématu kontrolní seznam pro kontrolu efektivity provozu.

  • šablony Azure Resource Manageru (šablony ARM) poskytují konfigurační jazyk, který popisuje prostředky v šablonách, které můžete použít pro skriptované nasazení. Šablony také poskytují možnosti monitorování a upozorňování.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

  • Architektura je navržená tak, aby vyhovovala paralelnímu zpracování nezávislých transakcí.
  • Služby Service Bus, AKS a další funkce Azure PaaS poskytují vysoký výkon pro zpracování transakcí, výpočetní prostředí a ukládání dat.
  • Service Bus, AKS a další funkce Azure PaaS se dynamicky škálují podle potřeby.

Další kroky