Mi az Azure Batch?

Az Azure Batch használatával hatékonyan futtathat nagy méretű párhuzamos és nagy teljesítményű feldolgozási (high-performance computing, HPC) Batch-feladatokat az Azure-ban. Az Azure Batch egy számítási csomópontokból (virtuális gépekből) álló készletet hoz létre és felügyel, telepíti a futtatni kívánt alkalmazásokat, és ütemezi a feladatok csomópontokon való futtatását. Nincs telepíthető, felügyelhető vagy méretezhető fürt- vagy feladatütemező szoftver. Ehelyett Batch API-k és -eszközök, parancssori szkriptek vagy az Azure Portal használatával konfigurálhatók, kezelhetők és monitorozhatók a feladatok.

A fejlesztők a Batch platformszolgáltatásként való használatával olyan SaaS-alkalmazásokat vagy ügyfélalkalmazásokat készíthetnek, amelyek esetében nagy mennyiségű végrehajtás szükséges. Létrehozhat például egy szolgáltatást a Batch használatával, amely Monte Carlo-kockázatszimulációt futtat egy pénzügyi szolgáltatási vállalat számára, vagy egy szolgáltatást, amely számos rendszerképet dolgoz fel.

A Batch felár nélkül használható. Csak a mögöttes erőforrások, például a virtuális gépek, a tárolók és a hálózatkezelés használatáért kell fizetnie.

A Batch és az Azure egyéb HPC-megoldási lehetőségeinek összehasonlításáért lásd: Nagy teljesítményű számítástechnika (HPC) az Azure-ban.

Párhuzamos számítási feladatok futtatása

A Batch nagyszerűen működik a belsőleg párhuzamos (más néven „zavaróan párhuzamos”) számítási feladatokkal. Ezek a számítási feladatok olyan alkalmazásokkal rendelkeznek, amelyek egymástól függetlenül futtathatók, és mindegyik példány a munka egy részét tölti ki. Az alkalmazások végrehajtásakor hozzáférhetnek néhány gyakori adathoz, de nem kommunikálnak az alkalmazás más példányaival. A belsőleg párhuzamos számítási feladatok ezért nagy méretben futtathatók, amit csupán az alkalmazások egyidejű futtatásához rendelkezésre álló számítási erőforrások mennyisége határoz meg.

Néhány példa a Batchbe bevonható belsőleg párhuzamos számítási feladatokra:

  • Pénzügyi kockázatmodellezés Monte Carlo-szimuláció használatával
  • VFX és 3D képek renderelése
  • Képelemzés és -feldolgozás
  • Médiakonvertálás
  • génszekvenciák elemzése,
  • Optikai karakterfelismerés (OCR)
  • Adatbetöltés, -feldolgozás és ETL-műveletek
  • Szoftvertesztek végrehajtása

A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak kommunikálniuk kell egymással ahelyett, hogy egymástól függetlenül kellene futniuk. A szorosan összekapcsolt alkalmazások általában a Message Passing Interface (MPI) API-t használják. A szorosan összekapcsolt számítási feladatokat a Batchben a Microsoft MPI vagy az Intel MPI használatával futtathatja. Az alkalmazások teljesítményét specializált HPC és GPU-optimalizált virtuálisgép-méretek használatával javíthatja.

Néhány példa szorosan összekapcsolt számítási feladatokra:

  • Végeselem-elemzés
  • Folyadékdinamika
  • Több csomópontos MI-betanítás

Számos szorosan összekapcsolt feladat futtatható párhuzamosan a Batch használatával. Például több szimulációt is végrehajthat egy különböző csőszélességű csőben áthaladó folyadékról.

A Batch további képességei

A Batch támogatja a nagy méretű renderelési számítási feladatokat az Autodesk Maya, a 3ds Max, az Arnold, a V-Ray és az egyéb renderelő eszközök használatával.

A Batch feladatokat nagyobb, adatok átalakítását végző Azure-munkafolyamatok részeként is futtathatja az Azure Data Factory vagy hasonló eszközök felügyelete alatt.

Működés

Egy általános Batch-forgatókönyv a belsőleg párhuzamos munkák (például egy 3D jelenet képeinek renderelése) horizontális felskálázása a számítási csomópontok készletén. Ez a készlet lehet a "renderelési farm", amely több tíz, több száz vagy akár több ezer magot biztosít a renderelési feladathoz.

Az alábbi diagram egy általános Batch-munkafolyamat lépéseit mutatja be, ahol az ügyfélalkalmazás vagy az üzemeltetett szolgáltatás Batch szolgáltatással futtat egy párhuzamos számítási feladatot.

Diagram of the steps in a Batch solution.

Lépés Description
1. Töltse fel a bemeneti fájlokat és az alkalmazásokat, hogy feldolgozzák ezeket a fájlokat az Azure Storage-fiókjába. A bemeneti fájlok az alkalmazás által feldolgozható bármilyen adatok lehetnek, például pénzügyi modellezési adatok vagy átkódolni kívánt videofájlok. Az alkalmazásfájlok az adatokat feldolgozó szkriptek vagy alkalmazások lehetnek, például adathordozó-átkódolók.
2. Hozzon létre egy Számítási csomópontokat tartalmazó Batch-készletet a Batch-fiókban, egy feladatot a számítási feladat futtatásához a készleten, valamint a feladat tevékenységeit . A számítási csomópontok azok a virtuális gépek, amelyek végrehajtják a feladatokat. Adja meg a készlet tulajdonságait, például a csomópontok számát és méretét, egy Windows vagy Linux rendszerű virtuálisgép-rendszerképet, valamint egy alkalmazást, amely akkor telepíthető, amikor a csomópontok csatlakoznak a készlethez. A készlet költségének és méretének kezelése Azure-beli kihasználatlan virtuális gépek használatával vagy a csomópontok számának automatikus skálázásával a számítási feladat változásakor.

Amikor tevékenységeket ad hozzá egy munkához, a Batch szolgáltatás automatikusan ütemezi a tevékenységeket a készletben lévő számítási csomópontokon. Mindegyik tevékenység a bemeneti fájlok feldolgozásához feltöltött alkalmazást használja.
3. Bemeneti fájlokés alkalmazások letöltése a Batch-be Az egyes feladatok végrehajtása előtt letöltheti a feldolgozott bemeneti adatokat a hozzárendelt csomópontra. Ha az alkalmazás még nincs telepítve a készlet csomópontjain, helyette ide tölthető le. Amikor az Azure Storage-ból való letöltés befejeződött, a tevékenység lefut a hozzá rendelt csomóponton.
4. Tevékenység végrehajtásának monitorozása A tevékenységek futtatásakor lekérdezheti a Batch szolgáltatást a feladat és a tevékenységei állapotának figyeléséhez. Az Ön által készített ügyfélalkalmazások vagy szolgáltatások HTTPS használatával kommunikálhatnak a Batch szolgáltatással. Mivel előfordulhat, hogy számítási csomópontok ezrein futó több ezer tevékenységet kell figyelnie, gondoskodjon arról, hogy hatékonyan kérdezi le a Batch szolgáltatást.
5. Feladat kimenetének feltöltése A tevékenységek befejeződésekor a tevékenységek feltöltik eredményadataikat az Azure Storage-ba. Közvetlenül a számítási csomóponton lévő fájlrendszerből is lekérhet fájlokat.
6. Kimeneti fájlok letöltése Amikor a megfigyelés észleli, hogy a feladat tevékenységei befejeződtek, az ügyfélalkalmazás vagy szolgáltatás letöltheti a kimeneti adatokat további feldolgozás céljából.

Ne feledje, hogy a fent leírt munkafolyamat csak egy módszer a Batch használatára, és számos más funkció és lehetőség is rendelkezésre áll. Futtathat például párhuzamosan több tevékenységet mindegyik számítási csomóponton, A feladat-előkészítési és -befejezési feladatokkal előkészítheti a csomópontokat a feladatokhoz, majd később törölheti őket.

A Batch szolgáltatás munkafolyamatai és erőforrásai áttekintést kaphatnak az olyan funkciókról, mint a készletek, csomópontok, feladatok és tevékenységek. Lásd továbbá a Batch szolgáltatás legújabb frissítéseit.

Régión belüli adattárolás

Azure Batch nem helyezi át vagy nem tárolja az ügyféladatokat az üzembe helyezési régióból.

Következő lépések

Ismerkedjen az Azure Batch használatának első lépéseivel az alábbi rövid útmutatókkal: