Mi az Azure Batch?

Az Azure Batch használatával hatékonyan futtathat nagy méretű párhuzamos és nagy teljesítményű feldolgozási (high-performance computing, HPC) Batch-feladatokat az Azure-ban. Az Azure Batch egy számítási csomópontokból (virtuális gépekből) álló készletet hoz létre és felügyel, telepíti a futtatni kívánt alkalmazásokat, és ütemezi a feladatok csomópontokon való futtatását. Nincs szükség klaszter- vagy feladatütemező szoftver telepítésére, kezelésére vagy méretezésére. Ehelyett Batch API-k és -eszközök, parancssori szkriptek vagy az Azure Portal használatával konfigurálhatók, kezelhetők és monitorozhatók a feladatok.

A fejlesztők a Batch platformszolgáltatásként való használatával olyan SaaS-alkalmazásokat vagy ügyfélalkalmazásokat készíthetnek, amelyek esetében nagy mennyiségű végrehajtás szükséges. Létrehozhat például egy szolgáltatást a Batchtel egy Monte Carlo-kockázatszimuláció futtatásához egy pénzügyi szolgáltatási vállalathoz, vagy egy szolgáltatáshoz, amely számos rendszerképet dolgoz fel.

A Batch használata díjmentes. Csak a felhasznált mögöttes erőforrásokért kell fizetnie, például a virtuális gépekért, a tárolásért és a hálózatkezelésért.

A Batch és az Azure egyéb HPC-megoldási lehetőségeinek összehasonlítása: Nagy teljesítményű számítástechnika (HPC) az Azure-ban.

Párhuzamos számítási feladatok futtatása

A Batch nagyszerűen működik a belsőleg párhuzamos (más néven „zavaróan párhuzamos”) számítási feladatokkal. Ezek a számítási feladatok olyan alkalmazásokkal rendelkeznek, amelyek egymástól függetlenül futtathatók, és mindegyik példány a munka egy részét tölti ki. Az alkalmazások végrehajtásakor előfordulhat, hogy hozzáférnek néhány gyakori adathoz, de nem kommunikálnak az alkalmazás más példányaival. A belsőleg párhuzamos számítási feladatok ezért nagy méretben futtathatók, amit csupán az alkalmazások egyidejű futtatásához rendelkezésre álló számítási erőforrások mennyisége határoz meg.

Néhány példa a Batchbe bevonható belsőleg párhuzamos számítási feladatokra:

  • Pénzügyi kockázatmodellezés Monte Carlo-szimuláció használatával
  • VFX és 3D képek renderelése
  • Képelemzés és -feldolgozás
  • Médiumátkódolás
  • génszekvenciák elemzése,
  • Optikai karakterfelismerés (OCR)
  • Adatbetöltés, -feldolgozás és ETL-műveletek
  • Szoftvertesztek végrehajtása

A Batch használatával szorosan összekapcsolt számítási feladatokat is futtathat, ahol a futtatott alkalmazásoknak nem egymástól függetlenül, hanem egymással kell kommunikálniuk. A szorosan összekapcsolt alkalmazások általában a Message Passing Interface (MPI) API-t használják. A szorosan összekapcsolt számítási feladatokat a Batchben a Microsoft MPI vagy az Intel MPI használatával futtathatja. Az alkalmazások teljesítményét specializált HPC és GPU-optimalizált virtuálisgép-méretek használatával javíthatja.

Néhány példa szorosan összekapcsolt számítási feladatokra:

  • Végeselem-elemzés
  • Folyadékdinamika
  • Több csomópontos MI-betanítás

Számos szorosan összekapcsolt feladat futtatható párhuzamosan a Batch használatával. Például több szimulációt is végrehajthat egy különböző csőszélességű csőben áthaladó folyadékról.

A Batch további képességei

A Batch támogatja a nagy méretű renderelési számítási feladatokat az Autodesk Maya, a 3ds Max, az Arnold, a V-Ray és az egyéb renderelő eszközök használatával.

A Batch feladatokat nagyobb, adatok átalakítását végző Azure-munkafolyamatok részeként is futtathatja az Azure Data Factory vagy hasonló eszközök felügyelete alatt.

Hogyan működik?

Egy általános Batch-forgatókönyv a belsőleg párhuzamos munkák (például egy 3D jelenet képeinek renderelése) horizontális felskálázása a számítási csomópontok készletén. Ez a készlet lehet a "renderfarm", amely több tíz, több száz vagy akár több ezer magot biztosít a renderelési feladathoz.

Az alábbi diagram egy általános Batch-munkafolyamat lépéseit mutatja be, ahol az ügyfélalkalmazás vagy az üzemeltetett szolgáltatás Batch szolgáltatással futtat egy párhuzamos számítási feladatot.

A Batch-megoldás lépéseinek diagramja.

Lépés Leírás
1. Töltse fel a bemeneti fájlokat és az alkalmazásokat , hogy feldolgozzák ezeket a fájlokat az Azure Storage-fiókjába. A bemeneti fájlok az alkalmazás által feldolgozható bármilyen adatok lehetnek, például pénzügyi modellezési adatok vagy átkódolni kívánt videofájlok. Az alkalmazásfájlok az adatokat feldolgozó szkriptek vagy alkalmazások lehetnek, például adathordozó-átkódolók.
2. Hozzon létre egy Batch-készletet a Batch-fiókban számítási csomópontokkal, egy munkát a terhelés futtatására ezen a készleten, és feladatokat a munkában. A számítási csomópontok a feladatokat végrehajtó virtuális gépek. Adja meg a készlet tulajdonságait, például a csomópontok számát és méretét, a Windows vagy Linux rendszerű virtuálisgép-rendszerképet, valamint a csomópontok készlethez való csatlakozásakor telepíteni kívánt alkalmazást. A készlet költségének és méretének kezelése Az Azure Spot virtuális gépek használatával vagy a csomópontok számának automatikus skálázásával a számítási feladat változásakor.

Amikor feladatokat ad hozzá egy feladatkészlethez, a Batch szolgáltatás automatikusan ütemezi a feladatokat a készlet számítási csomópontjain. Mindegyik tevékenység a bemeneti fájlok feldolgozásához feltöltött alkalmazást használja.
3. Bemeneti fájlok és alkalmazások letöltése a Batchbe. Minden feladat végrehajtása előtt letöltheti az általa feldolgozott bemeneti adatokat a hozzárendelt csomópontra. Ha az alkalmazás még nincs telepítve a készlet csomópontjain, helyette ide tölthető le. Amikor az Azure Storage-ból való letöltés befejeződött, a tevékenység lefut a hozzá rendelt csomóponton.
4. Tevékenység végrehajtásának figyelése Amint a feladatok futnak, lekérdezheti a Batch szolgáltatást a feladat és annak feladatai előrehaladásának nyomon követéséhez. Az Ön által készített ügyfélalkalmazások vagy szolgáltatások HTTPS használatával kommunikálhatnak a Batch szolgáltatással. Mivel több ezer számítási csomóponton futó feladatokat figyelhet, győződjön meg arról, hogy hatékonyan kérdezi le a Batch szolgáltatást.
5. Feladat kimenetének feltöltése Amint a tevékenységek befejeződnek, feltölthetik az eredményadataikat az Azure Storage-ba. Közvetlenül a számítási csomóponton lévő fájlrendszerből is lekérhet fájlokat.
6. Kimeneti fájlok letöltése Amikor a megfigyelés észleli, hogy a feladat tevékenységei befejeződtek, az ügyfélalkalmazás vagy szolgáltatás letöltheti a kimeneti adatokat további feldolgozás céljából.

Ne feledje, hogy az előző munkafolyamat csak egy módja a Batch használatának, és számos más funkció és lehetőség is rendelkezésre áll. Például futtathat több feladatot párhuzamosan mindegyik számítási csomóponton. Vagy használhatja a feladatok előkészítő és befejezési tevékenységeit, hogy előkészítse a csomópontokat a feladataihoz, majd utána kitakaríthasson.

Az Batch szolgáltatás munkafolyamatában és erőforrásaiban áttekintheti a funkciókat, mint például a készletek, csomópontok, munkák és feladatok. Lásd továbbá a Batch szolgáltatás legújabb frissítéseit.

Régión belüli adatmegőrzési hely

Azure Batch nem helyezi át és nem tárolja az ügyféladatokat azon a régión kívül, ahol az üzembe lett helyezve.

Következő lépések

Ismerkedjen az Azure Batch használatának első lépéseivel az alábbi rövid útmutatókkal:

A folytatáshoz tekintsd meg ezeket a teljes körű forgatókönyveket bemutató oktatóanyagokat:

  • Last updated on