Mi az Azure Batch?

Az Azure Batch használatával hatékonyan futtathat nagy méretű párhuzamos és nagy teljesítményű feldolgozási (high-performance computing, HPC) Batch-feladatokat az Azure-ban. Az Azure Batch egy számítási csomópontokból (virtuális gépekből) álló készletet hoz létre és felügyel, telepíti a futtatni kívánt alkalmazásokat, és ütemezi a feladatok csomópontokon való futtatását. Nincs szükség klaszter- vagy feladatütemező szoftver telepítésére, kezelésére vagy méretezésére. Ehelyett Batch API-k és -eszközök, parancssori szkriptek vagy az Azure Portal használatával konfigurálhatók, kezelhetők és monitorozhatók a feladatok.

A fejlesztők a Batch platformszolgáltatásként való használatával olyan SaaS-alkalmazásokat vagy ügyfélalkalmazásokat készíthetnek, amelyek esetében nagy mennyiségű végrehajtás szükséges. Létrehozhat például egy szolgáltatást a Batchtel egy Monte Carlo-kockázatszimuláció futtatásához egy pénzügyi szolgáltatási vállalathoz, vagy egy szolgáltatáshoz, amely számos rendszerképet dolgoz fel.

A Batch használata díjmentes. Csak a felhasznált mögöttes erőforrásokért kell fizetnie, például a virtuális gépekért, a tárolásért és a hálózatkezelésért.

A Batch és az Azure egyéb HPC-megoldási lehetőségeinek összehasonlítása: Nagy teljesítményű számítástechnika (HPC) az Azure-ban.

Válassz egy Azure szolgáltatást batch és HPC munkaterhelésekhez

Válassz szolgáltatást az ütemezési tapasztalat és a munkaterhelés által szükséges infrastruktúra-ellenőrzés szintje alapján:

Service Optimális illesztés Minősítési modell
Azure Batch Párhuzamos és nagy áteresztőképességű munkaterhelések, amelyek független vagy szorosan összekapcsolt feladatokként működhetnek Az Azure szolgáltatásként kínálja az ütemezést. Batch API-kkal és eszközökkel építesz, klaszter vagy ütemező szoftver futtatása nélkül.
Azure CycleCloud Olyan HPC-környezetek, amelyek speciális ütemezőt, egyedi klasztertopológiát igényelnek, vagy szorosan illeszkednek a meglévő helyszíni munkafolyamatokhoz. Telepíted és kezeled az ütemeztetőt és a klaszterkonfigurációt. A CycleCloud biztosítja és automatikusan skálázza az Azure infrastruktúráját.
Azure CycleCloud Workspace for Slurm Csapatok, akik kész telepítésre alkalmas Slurm környezetet szeretnének HPC vagy AI munkaterhelésekhez Egy Marketplace megoldás telepíti a CycleCloud, Slurm, hálózati, tárolási és hozzáférési komponenseket az Azure előfizetésedben.

A jelenlegi munkaterhelésedet használd döntő tényezőként:

Kiindulópont Előnyben részesít Miért
Egy olyan alkalmazást építesz, amely független feladatokat vagy MPI állásokat tud beküldeni egy API-n keresztül. Azure Batch A Batch biztosítja az ütemezési szolgáltatást, így a csapatod birtokolja a munkaterhelés alkalmazását, nem pedig az ütemező infrastruktúrát.
Már rendelkezik ütemezőspecifikus feladatszkriptekkel, várólistákkal, szabályokkal vagy integrációkkal, amelyeknek továbbra is érvényben kell maradniuk. Azure CycleCloud E munkafolyamatok Batchbe való áthelyezéséhez azokat Batch-készletekké, -feladatokká és -tevékenységekké kellene átalakítani. A CycleCloud megőrzi az ütemező működési modellt.
Szükséged van Slurmra, de nem szeretnéd az egyes komponensekből tervezni a támogató Azure infrastruktúrát. Azure CycleCloud Slurm-munkakörnyezet A Marketplace megoldás előre meghatározott Slurm környezetet biztosít, amelyet telepítés után konfigurálhatsz.

Ne csak azért válassz Batch-et, hogy elkerüld a virtuális gépek kezelését. Ha az ütemező kompatibilitása szükséges, a meglévő ütemező munkafolyamatok átültetése Batch programozási modellbe alkalmazástervezési megoldássá válhat. Válaszd inkább a CycleCloud-ot vagy a Workspace-et a Slurmhoz.

A gyártás bevezetése előtt jegyezd fel, miért illeszkedik a Batch, mely alternatívákat utasítottad el, a csúcsfeladat és kapacitás becslését, a megszakított munka helyreállítási viselkedését, valamint az idő- és költségértékelést reprezentatív munkánként. A kapacitás- és tartalékmegoldások tervezésével kapcsolatban lásd: A Batch-kapacitás megtervezése. A CycleCloud esetében lásd: HPC klaszterek tervezése és méretezése (Tervezés és méretezés).

Párhuzamos számítási feladatok futtatása

A Batch nagyszerűen működik a belsőleg párhuzamos (más néven „zavaróan párhuzamos”) számítási feladatokkal. Ezek a számítási feladatok olyan alkalmazásokkal rendelkeznek, amelyek egymástól függetlenül futtathatók, és mindegyik példány a munka egy részét tölti ki. Az alkalmazások végrehajtásakor előfordulhat, hogy hozzáférnek néhány gyakori adathoz, de nem kommunikálnak az alkalmazás más példányaival. A belsőleg párhuzamos számítási feladatok ezért nagy méretben futtathatók, amit csupán az alkalmazások egyidejű futtatásához rendelkezésre álló számítási erőforrások mennyisége határoz meg.

Néhány példa a Batchbe bevonható belsőleg párhuzamos számítási feladatokra:

  • Pénzügyi kockázatmodellezés Monte Carlo-szimuláció használatával
  • VFX és 3D képek renderelése
  • Képelemzés és -feldolgozás
  • Médiumátkódolás
  • génszekvenciák elemzése,
  • Optikai karakterfelismerés (OCR)
  • Adatbetöltés, -feldolgozás és ETL-műveletek
  • Szoftvertesztek végrehajtása

A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak nem egymástól függetlenül, hanem egymással kell kommunikálniuk. A szorosan összekapcsolt alkalmazások általában a Message Passing Interface (MPI) API-t használják. A szorosan összekapcsolt számítási feladatokat a Batchben a Microsoft MPI vagy az Intel MPI használatával futtathatja. Az alkalmazások teljesítményét specializált HPC és GPU-optimalizált virtuálisgép-méretek használatával javíthatja.

Néhány példa szorosan összekapcsolt számítási feladatokra:

  • Végeselem-elemzés
  • Folyadékdinamika
  • Több csomópontos MI-betanítás

Számos szorosan összekapcsolt feladat futtatható párhuzamosan a Batch használatával. Például több szimulációt is végrehajthat egy különböző csőszélességű csőben áthaladó folyadékról.

A Batch további képességei

A Batch támogatja a nagy méretű renderelési számítási feladatokat az Autodesk Maya, a 3ds Max, az Arnold, a V-Ray és az egyéb renderelő eszközök használatával.

A Batch feladatokat nagyobb, adatok átalakítását végző Azure-munkafolyamatok részeként is futtathatja az Azure Data Factory vagy hasonló eszközök felügyelete alatt.

Hogyan működik?

Egy általános Batch-forgatókönyv a belsőleg párhuzamos munkák (például egy 3D jelenet képeinek renderelése) horizontális felskálázása a számítási csomópontok készletén. Ez a készlet lehet a "renderfarm", amely több tíz, több száz vagy akár több ezer magot biztosít a renderelési feladathoz.

Az alábbi diagram egy általános Batch-munkafolyamat lépéseit mutatja be, ahol az ügyfélalkalmazás vagy az üzemeltetett szolgáltatás Batch szolgáltatással futtat egy párhuzamos számítási feladatot.

A Batch-megoldás lépéseinek diagramja.

Lépés Leírás
1. Töltse fel a bemeneti fájlokat és az alkalmazásokat , hogy feldolgozzák ezeket a fájlokat az Azure Storage-fiókjába. A bemeneti fájlok az alkalmazás által feldolgozható bármilyen adatok lehetnek, például pénzügyi modellezési adatok vagy átkódolni kívánt videofájlok. Az alkalmazásfájlok az adatokat feldolgozó szkriptek vagy alkalmazások lehetnek, például adathordozó-átkódolók.
2. Hozzon létre egy Batch-készletet a Batch-fiókban számítási csomópontokkal, egy munkát a terhelés futtatására ezen a készleten, és feladatokat a munkában. A számítási csomópontok a feladatokat végrehajtó virtuális gépek. Adja meg a készlet tulajdonságait, például a csomópontok számát és méretét, a Windows vagy Linux rendszerű virtuálisgép-rendszerképet, valamint a csomópontok készlethez való csatlakozásakor telepíteni kívánt alkalmazást. A készlet költségének és méretének kezelése Az Azure Spot virtuális gépek használatával vagy a csomópontok számának automatikus skálázásával a számítási feladat változásakor.

Amikor feladatokat ad hozzá egy feladatkészlethez, a Batch szolgáltatás automatikusan ütemezi a feladatokat a készlet számítási csomópontjain. Mindegyik tevékenység a bemeneti fájlok feldolgozásához feltöltött alkalmazást használja.
3. Bemeneti fájlok és alkalmazások letöltése a Batchbe. Minden feladat végrehajtása előtt letöltheti az általa feldolgozott bemeneti adatokat a hozzárendelt csomópontra. Ha az alkalmazás még nincs telepítve a készlet csomópontjain, helyette ide tölthető le. Amikor az Azure Storage-ból való letöltés befejeződött, a tevékenység lefut a hozzá rendelt csomóponton.
4. Tevékenység végrehajtásának figyelése Amint a feladatok futnak, lekérdezheti a Batch szolgáltatást a feladat és annak feladatai előrehaladásának nyomon követéséhez. Az Ön által készített ügyfélalkalmazások vagy szolgáltatások HTTPS használatával kommunikálhatnak a Batch szolgáltatással. Mivel több ezer számítási csomóponton futó feladatokat figyelhet, győződjön meg arról, hogy hatékonyan kérdezi le a Batch szolgáltatást.
5. Feladat kimenetének feltöltése Amint a tevékenységek befejeződnek, feltölthetik az eredményadataikat az Azure Storage-ba. Közvetlenül a számítási csomóponton lévő fájlrendszerből is lekérhet fájlokat.
6. Kimeneti fájlok letöltése Amikor a megfigyelés észleli, hogy a feladat tevékenységei befejeződtek, az ügyfélalkalmazás vagy szolgáltatás letöltheti a kimeneti adatokat további feldolgozás céljából.

Ne feledje, hogy az előző munkafolyamat csak egy módja a Batch használatának, és számos más funkció és lehetőség is rendelkezésre áll. Például futtathat több feladatot párhuzamosan mindegyik számítási csomóponton. Vagy használhatja a feladatok előkészítő és befejezési tevékenységeit, hogy előkészítse a csomópontokat a feladataihoz, majd utána kitakaríthasson.

Az Batch szolgáltatás munkafolyamatában és erőforrásaiban áttekintheti a funkciókat, mint például a készletek, csomópontok, munkák és feladatok. Lásd továbbá a Batch szolgáltatás legújabb frissítéseit.

Régión belüli adatmegőrzési hely

Azure Batch nem helyezi át és nem tárolja az ügyféladatokat azon a régión kívül, ahol az üzembe lett helyezve.

Következő lépések

Ismerkedjen az Azure Batch használatának első lépéseivel az alábbi rövid útmutatókkal:

A folytatáshoz tekintsd meg ezeket a teljes körű forgatókönyveket bemutató oktatóanyagokat:

  • Last updated on