Co je Azure Batch?
Azure Batch umožňuje efektivně spouštět v Azure rozsáhlé paralelní dávkové úlohy a úlohy vysokovýkonného výpočetního prostředí (HPC). Azure Batch vytvoří a spravuje fond výpočetních uzlů (virtuálních počítačů), nainstaluje aplikace, které chcete spouštět, a naplánuje spouštění úloh v uzlech. Neexistuje žádný software plánovače clusteru nebo úloh pro instalaci, správu nebo škálování. Místo toho ke konfiguraci, správě a monitorování úloh použijete rozhraní API a nástroje služby Batch, skripty příkazového řádku nebo web Azure Portal.
Vývojáři můžou službu Batch používat jako službu platformy k sestavování aplikací SaaS nebo klientských aplikací, které vyžadují provádění ve velkém měřítku. Můžete například vytvořit službu se službou Batch, která spustí simulaci rizika Monte Carlo pro společnost finančních služeb, nebo službu pro zpracování mnoha obrázků.
Za používání služby Batch se neúčtují žádné další poplatky. Platíte jenom za spotřebované základní prostředky, jako jsou virtuální počítače, úložiště a sítě.
Porovnání mezi službou Batch a dalšími možnostmi řešení HPC v Azure najdete v tématu Vysokovýkonné výpočetní prostředí (HPC) v Azure.
Spouštění paralelních úloh
Služba Batch pracuje s vnitřně paralelními aplikacemi úlohami (také známé jako „jednoduše paralelně zpracovatelné“). Tyto úlohy mají aplikace, které se můžou spouštět nezávisle, přičemž každá instance dokončí část práce. Při spouštění aplikací můžou přistupovat k některým běžným datům, ale nekomunikují s jinými instancemi aplikace. Vnitřně paralelní úlohy proto můžou běžet ve velkém měřítku, které závisí na množství výpočetních prostředků dostupných pro souběžné spouštění aplikací.
Některé příklady vnitřně paralelních úloh, které můžete použít ve službě Batch:
- Modelování finančních rizik pomocí simulací Monte Carlo
- Vykreslování vizuálních efektů a 3D obrázků
- Analýza a zpracování obrázků
- Překódování médií
- Genetická sekvenční analýza
- Optické rozpoznávání znaků (OCR)
- Příjem dat, zpracování a operace extrakce, transformace a načítání (ETL)
- Provádění testů softwaru
Službu Batch můžete použít také ke spouštění úzce propojených úloh, kdy aplikace, které spouštíte, potřebují vzájemně komunikovat, a ne nezávisle na sobě. Vysoce provázané aplikace běžně používají rozhraní API MPI (Message Passing Interface). Ve službě Batch můžete spouštět vysoce provázané úlohy s využitím rozhraní Microsoft MPI nebo Intel MPI. Velikosti virtuálních počítačů specializované pro vysokovýkonné výpočetní prostředí (HPC) a GPU umožňují zvýšit výkon aplikací.
Některé příklady vysoce propojených úloh:
- Analýza konečných prvků
- Dynamika tekutin
- Trénování AI ve více uzlech
Řada vysoce propojených úloh může při použití služby Batch běžet paralelně. Můžete například provádět více simulací kapaliny procházející potrubím s různými šířkami potrubí.
Další možnosti služby Batch
Batch podporuje úlohy vykreslování ve větším měřítku v nástrojích, jako jsou Autodesk Maya, 3ds Max, Arnold a V-Ray.
Úlohy služby Batch můžete také spouštět v rámci rozsáhlejšího pracovního postupu transformace dat v Azure spravovaného nástroji, jako je Azure Data Factory.
Jak to funguje
Běžný scénář využití služby Batch zahrnuje horizontální navýšení kapacity vnitřně paralelních úloh, jako je vykreslování obrázků ve 3D scénách, ve fondu výpočetních uzlů. Tento fond může být vaše "vykreslovací farma", která poskytuje desítky, stovky nebo dokonce tisíce jader pro vaši úlohu vykreslování.
Následující diagram znázorňuje kroky v běžném pracovním postupu služby Batch s klientskou aplikací nebo hostovanou službou, která službu Batch používá ke spouštění paralelních úloh.
| Krok | Popis |
|---|---|
| 1. Nahrajte vstupní soubory a aplikace pro zpracování těchto souborů do účtu azure Storage. | Vstupní soubory mohou být jakákoli data, která vaše aplikace zpracuje, třeba data finančního modelování nebo videosoubory k převodu. Soubory aplikací můžou zahrnovat skripty nebo aplikace zpracovávající data, třeba převaděč médií. |
| 2. Vytvořte ve svém účtu Batch fond výpočetních uzlů Batch, úlohu pro spuštění úlohy ve fondu a úkoly v úloze. | Výpočetní uzly jsou virtuální počítače, které provádějí vaše úlohy. Zadejte vlastnosti fondu, například počet a velikost uzlů, image virtuálního počítače s Windows nebo Linuxem a aplikaci, která se má nainstalovat, když se uzly připojí k fondu. Spravujte náklady a velikost fondu pomocí spotových virtuálních počítačů Azure nebo automaticky škálujte počet uzlů při změnách úloh. Když do úlohy přidáte úkoly, služba Batch automaticky naplánuje úkoly k provedení ve výpočetních uzlech ve fondu. Každý úkol používá aplikaci, kterou jste nahráli, ke zpracování vstupních souborů. |
| 3. Stažení vstupních souborů a aplikací do služby Batch | Před spuštěním jednotlivých úloh si může stáhnout vstupní data, která bude zpracovávat do přiřazeného uzlu. Pokud ještě není aplikace v daných uzlech fondu nainstalovaná, může se stáhnout v této fázi. Po dokončení stahování ze služby Azure Storage se v přiřazeném uzlu spustí příslušný úkol. |
| 4. Monitorování provádění úkolů | Když se úkoly spouštějí, můžete ve službě Batch zadat dotaz na monitorování postupu úloh a jejich úkolů. Vaše klientská aplikace nebo služba komunikuje se službou Batch přes HTTPS. Vzhledem k tomu, že můžete monitorovat tisíce úloh spuštěných v tisících výpočetních uzlů, ujistěte se, že se služby Batch dotazujete efektivně. |
| 5. Nahrání výstupu úkolu | Úkoly mohou po dokončení nahrát data svých výsledků do služby Azure Storage. Soubory můžete také načíst přímo ze systému souborů na výpočetním uzlu. |
| 6. Stažení výstupních souborů | Když funkce monitorování zjistí, že jsou úkoly ve vaší úloze dokončené, klientská aplikace nebo služba může stáhnout výstupní data k dalšímu zpracování. |
Mějte na paměti, že výše popsaný pracovní postup je jen jedním ze způsobů použití služby Batch a existuje mnoho dalších funkcí a možností. Například můžete v každém výpočetním uzlu paralelně provádět několik úkolů. Nebo můžete použít úkoly přípravy a dokončení úlohy k přípravě uzlů pro úlohy a následné vyčištění.
Přehled funkcí, jako jsou fondy, uzly, úlohy a úkoly, najdete v tématu Pracovní postup služby Batch a zdroje informací. Prohlédněte si také nejnovější aktualizace služby Batch.
Rezidenci dat v oblasti
Azure Batch nepřesouvá ani neukládá zákaznická data z oblasti, ve které je nasazená.
Další kroky
Začněte pracovat se službou Azure Batch pomocí jedné z těchto šablon Rychlý start: