Mi az Azure Batch?
Az Azure Batch használatával hatékonyan futtathat nagy méretű párhuzamos és nagy teljesítményű feldolgozási (high-performance computing, HPC) Batch-feladatokat az Azure-ban. Az Azure Batch egy számítási csomópontokból (virtuális gépekből) álló készletet hoz létre és felügyel, telepíti a futtatni kívánt alkalmazásokat, és ütemezi a feladatok csomópontokon való futtatását. Nincs fürt- vagy feladatütemező szoftver a telepítéshez, kezeléshez vagy méretezéshez. Ehelyett Batch API-k és -eszközök, parancssori szkriptek vagy az Azure Portal használatával konfigurálhatók, kezelhetők és monitorozhatók a feladatok.
A fejlesztők a Batch platformszolgáltatásként való használatával olyan SaaS-alkalmazásokat vagy ügyfélalkalmazásokat készíthetnek, amelyek esetében nagy mennyiségű végrehajtás szükséges. Létrehozhat például egy szolgáltatást a Batchtel egy Monte Carlo-kockázatszimuláció futtatásához egy pénzügyi szolgáltatási vállalathoz, vagy egy szolgáltatáshoz, amely számos rendszerképet dolgoz fel.
A Batch felár nélkül használható. Csak a mögöttes erőforrások, például a virtuális gépek, a tárolók és a hálózatkezelés használatáért kell fizetnie.
A Batch és az Azure egyéb HPC-megoldási lehetőségeinek összehasonlítása: Nagy teljesítményű számítástechnika (HPC) az Azure-ban.
Párhuzamos számítási feladatok futtatása
A Batch nagyszerűen működik a belsőleg párhuzamos (más néven „zavaróan párhuzamos”) számítási feladatokkal. Ezek a számítási feladatok olyan alkalmazásokkal rendelkeznek, amelyek egymástól függetlenül futtathatók, és mindegyik példány a munka egy részét tölti ki. Az alkalmazások végrehajtásakor előfordulhat, hogy hozzáférnek néhány gyakori adathoz, de nem kommunikálnak az alkalmazás más példányaival. A belsőleg párhuzamos számítási feladatok ezért nagy méretben futtathatók, amit csupán az alkalmazások egyidejű futtatásához rendelkezésre álló számítási erőforrások mennyisége határoz meg.
Néhány példa a Batchbe bevonható belsőleg párhuzamos számítási feladatokra:
- Pénzügyi kockázatmodellezés Monte Carlo-szimuláció használatával
- VFX és 3D képek renderelése
- Képelemzés és -feldolgozás
- Médiakonvertálás
- génszekvenciák elemzése,
- Optikai karakterfelismerés (OCR)
- Adatbetöltés, -feldolgozás és ETL-műveletek
- Szoftvertesztek végrehajtása
A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak nem egymástól függetlenül, hanem egymással kell kommunikálniuk. A szorosan összekapcsolt alkalmazások általában a Message Passing Interface (MPI) API-t használják. A szorosan összekapcsolt számítási feladatokat a Batchben a Microsoft MPI vagy az Intel MPI használatával futtathatja. Az alkalmazások teljesítményét specializált HPC és GPU-optimalizált virtuálisgép-méretek használatával javíthatja.
Néhány példa szorosan összekapcsolt számítási feladatokra:
- Végeselem-elemzés
- Folyadékdinamika
- Több csomópontos MI-betanítás
Számos szorosan összekapcsolt feladat futtatható párhuzamosan a Batch használatával. Például több szimulációt is végrehajthat egy különböző csőszélességű csőben áthaladó folyadékról.
A Batch további képességei
A Batch támogatja a nagy méretű renderelési számítási feladatokat az Autodesk Maya, a 3ds Max, az Arnold, a V-Ray és az egyéb renderelő eszközök használatával.
A Batch feladatokat nagyobb, adatok átalakítását végző Azure-munkafolyamatok részeként is futtathatja az Azure Data Factory vagy hasonló eszközök felügyelete alatt.
Hogyan működik?
Egy általános Batch-forgatókönyv a belsőleg párhuzamos munkák (például egy 3D jelenet képeinek renderelése) horizontális felskálázása a számítási csomópontok készletén. Ez a készlet lehet a "renderfarm", amely több tíz, több száz vagy akár több ezer magot biztosít a renderelési feladathoz.
Az alábbi diagram egy általános Batch-munkafolyamat lépéseit mutatja be, ahol az ügyfélalkalmazás vagy az üzemeltetett szolgáltatás Batch szolgáltatással futtat egy párhuzamos számítási feladatot.
| Lépés | Leírás |
|---|---|
| 1. Töltse fel a bemeneti fájlokat és az alkalmazásokat , hogy feldolgozzák ezeket a fájlokat az Azure Storage-fiókjába. | A bemeneti fájlok az alkalmazás által feldolgozható bármilyen adatok lehetnek, például pénzügyi modellezési adatok vagy átkódolni kívánt videofájlok. Az alkalmazásfájlok az adatokat feldolgozó szkriptek vagy alkalmazások lehetnek, például adathordozó-átkódolók. |
| 2. Hozzon létre egy Batch számítási csomópontokat tartalmazó Batch-készletet a Batch-fiókban, egy feladatot a számítási feladat futtatásához a készleten, és a feladat tevékenységeit. | A számítási csomópontok a feladatokat végrehajtó virtuális gépek. Adja meg a készlet tulajdonságait, például a csomópontok számát és méretét, a Windows vagy Linux rendszerű virtuálisgép-rendszerképet, valamint a csomópontok készlethez való csatlakozásakor telepíteni kívánt alkalmazást. A készlet költségének és méretének kezelése Az Azure Spot virtuális gépek használatával vagy a csomópontok számának automatikus skálázásával a számítási feladat változásakor. Amikor tevékenységeket ad hozzá egy munkához, a Batch szolgáltatás automatikusan ütemezi a tevékenységeket a készletben lévő számítási csomópontokon. Mindegyik tevékenység a bemeneti fájlok feldolgozásához feltöltött alkalmazást használja. |
| 3. Bemeneti fájlok és alkalmazások letöltése a Batchbe | Az egyes tevékenységek végrehajtása előtt letöltheti a feldolgozott bemeneti adatokat a hozzárendelt csomópontra. Ha az alkalmazás még nincs telepítve a készlet csomópontjain, helyette ide tölthető le. Amikor az Azure Storage-ból való letöltés befejeződött, a tevékenység lefut a hozzá rendelt csomóponton. |
| 4. Tevékenység végrehajtásának figyelése | A tevékenységek futtatásakor lekérdezheti a Batch szolgáltatást a feladat és a tevékenységei állapotának figyeléséhez. Az Ön által készített ügyfélalkalmazások vagy szolgáltatások HTTPS használatával kommunikálhatnak a Batch szolgáltatással. Mivel előfordulhat, hogy számítási csomópontok ezrein futó több ezer tevékenységet kell figyelnie, gondoskodjon arról, hogy hatékonyan kérdezi le a Batch szolgáltatást. |
| 5. Feladat kimenetének feltöltése | A tevékenységek befejeződésekor a tevékenységek feltöltik eredményadataikat az Azure Storage-ba. Közvetlenül a számítási csomóponton lévő fájlrendszerből is lekérhet fájlokat. |
| 6. Kimeneti fájlok letöltése | Amikor a megfigyelés észleli, hogy a feladat tevékenységei befejeződtek, az ügyfélalkalmazás vagy szolgáltatás letöltheti a kimeneti adatokat további feldolgozás céljából. |
Ne feledje, hogy a fent leírt munkafolyamat csak egy módja a Batch használatának, és számos más funkció és lehetőség is rendelkezésre áll. Futtathat például párhuzamosan több tevékenységet mindegyik számítási csomóponton, Vagy a feladatok előkészítésével és a befejezési feladatokkal előkészítheti a csomópontokat a feladatokhoz, majd utána törölheti őket.
A Batch szolgáltatás munkafolyamatában és erőforrásaiban áttekintheti az olyan funkciókat, mint a készletek, csomópontok, feladatok és feladatok. Lásd továbbá a Batch szolgáltatás legújabb frissítéseit.
Régión belüli adattárolás
Az Azure Batch nem helyezi át vagy tárolja az ügyféladatokat az üzembe helyezési régióból.
Következő lépések
Ismerkedjen az Azure Batch használatának első lépéseivel az alábbi rövid útmutatókkal: