Batch-végpontok
Az Azure Machine Tanulás lehetővé teszi kötegelt végpontok és üzembe helyezések implementálását, hogy hosszú ideig futó, aszinkron következtetést hajtson végre gépi tanulási modellekkel és folyamatokkal. Gépi tanulási modell vagy folyamat betanításakor üzembe kell helyeznie, hogy mások új bemeneti adatokkal használhassák az előrejelzések létrehozásához. Ezt az előrejelzési folyamatot a modellel vagy folyamattal való előrejelzésnek nevezzük következtetésnek.
A Batch-végpontok adatokra vonatkozó mutatókat fogadnak és aszinkron módon futtatják a feladatokat az adatok számítási fürtökön való párhuzamos feldolgozásához. A Batch-végpontok a kimeneteket egy adattárban tárolják további elemzés céljából. Batch-végpontok használata a következő esetekben:
- Drága modellekkel vagy folyamatokkal rendelkezik, amelyek futtatásához hosszabb idő szükséges.
- Szeretné üzembe helyezni a gépi tanulási folyamatokat és újra felhasználni az összetevőket.
- Nagy mennyiségű, több fájlban elosztott adatra kell következtetnie.
- Nem rendelkezik alacsony késési követelményekkel.
- A modell bemeneteit egy tárfiókban vagy egy Azure Machine Learning-adategységben tárolja a rendszer.
- Kihasználhatja a párhuzamosítás előnyeit.
Batch-üzemelő példányok
Az üzembe helyezés a végpont által biztosított funkciók megvalósításához szükséges erőforrások és számítások készlete. Minden végpont több különböző konfigurációval rendelkező üzembe helyezést is üzemeltethet, és ez a funkció segít leválasztani a végpont felületét az üzembe helyezés által meghatározott implementáció részleteiről. A batch-végpont meghívásakor automatikusan átirányítja az ügyfelet az alapértelmezett üzembe helyezéshez. Ez az alapértelmezett üzembe helyezés bármikor konfigurálható és módosítható.
Az Azure Machine-Tanulás kötegvégpontokban kétféle üzembe helyezés lehetséges:
Modell üzembe helyezése
A modell üzembe helyezése lehetővé teszi a modellek nagy léptékű következtetésének üzembe helyezését, így nagy mennyiségű adatot dolgozhat fel alacsony késéssel és aszinkron módon. Az Azure Machine Tanulás automatikusan elvégzi a méretezhetőséget azáltal, hogy párhuzamossá teszi a következtetési folyamatokat egy számítási fürt több csomópontja között.
A modell üzembe helyezésének használata a következő esetekben:
- Drága modelljei hosszabb időt igényelnek a következtetés futtatásához.
- Nagy mennyiségű, több fájlban elosztott adatra kell következtetnie.
- Nem rendelkezik alacsony késési követelményekkel.
- Kihasználhatja a párhuzamosítás előnyeit.
A modelltelepítések fő előnye, hogy ugyanazokat az eszközöket használhatja, amelyek valós idejű következtetéshez vannak üzembe helyezve az online végpontokra, de most már nagy léptékben futtathatja őket kötegben. Ha a modell egyszerű előfeldolgozást vagy utófeldolgozást igényel, létrehozhat egy pontozószkriptet , amely végrehajtja a szükséges adatátalakításokat.
Ha modelltelepítést szeretne létrehozni egy batch-végponton, a következő elemeket kell megadnia:
- Modell
- Számítási fürt
- Pontozási szkript (MLflow-modellek esetén nem kötelező)
- Környezet (MLflow-modellek esetén nem kötelező)
Folyamatösszetevő üzembe helyezése
A folyamatösszetevő üzembe helyezése lehetővé teszi a teljes feldolgozási gráfok (vagy folyamatok) üzembe helyezését a kötegelt következtetés kis késéssel és aszinkron módon történő végrehajtásához.
A folyamatösszetevő üzembe helyezésének használata a következő esetekben:
- Olyan teljes számítási gráfokat kell üzembe helyeznie, amelyek több lépésre bonthatók.
- Újra fel kell használnia az összetevőket a betanítási folyamatokból a következtetési folyamatban.
- Nem rendelkezik alacsony késési követelményekkel.
A folyamatösszetevők üzembe helyezésének fő előnye a platformon már meglévő összetevők újrafelhasználhatósága és az összetett következtetési rutinok üzembe helyezésének képessége.
Ha folyamatösszetevő-üzembe helyezést szeretne létrehozni egy kötegvégponton, a következő elemeket kell megadnia:
- Folyamatösszetevő
- Számítási fürt konfigurálása
A Batch-végpontok lehetővé teszik a folyamatösszetevők üzembe helyezésének létrehozását is egy meglévő folyamatfeladatból. Ebben az esetben az Azure Machine Tanulás automatikusan létrehoz egy folyamatösszetevőt a feladatból. Ez leegyszerűsíti az ilyen típusú üzemelő példányok használatát. Ajánlott azonban mindig folyamatösszetevőket létrehozni az MLOps-gyakorlat egyszerűsítése érdekében.
Költségkezelés
A kötegvégpont meghívása aszinkron kötegelt következtetési feladatot indít el. Az Azure Machine Tanulás automatikusan kiosztja a számítási erőforrásokat a feladat indításakor, és automatikusan felszabadítja őket a feladat befejezésekor. Így csak akkor kell fizetnie a számításért, ha használja.
Tipp.
Modellek telepítésekor felülbírálhatja a számítási erőforrás beállításait (például a példányok számát) és a speciális beállításokat (például a minimális kötegméretet, a hibaküszöböt stb.) minden egyes kötegelt következtetési feladathoz. Ha kihasználja ezeket a konfigurációkat, felgyorsíthatja a végrehajtást, és csökkentheti a költségeket.
A Batch-végpontok alacsony prioritású virtuális gépeken is futtathatók. A Batch-végpontok automatikusan helyreállhatnak a felszabadított virtuális gépekről, és folytathatják a munkát onnan, ahonnan a modelleket következtetés céljából üzembe helyezték. Az alacsony prioritású virtuális gépeknek a kötegelt következtetési számítási feladatok költségeinek csökkentésére való használatával kapcsolatos további információkért lásd : Alacsony prioritású virtuális gépek használata kötegelt végpontokban.
Végül az Azure Machine Tanulás nem számol fel kötegvégpontokért vagy kötegelt üzemelő példányokért, így a végpontokat és az üzemelő példányokat a forgatókönyvnek leginkább megfelelő módon rendszerezheti. A végpontok és az üzemelő példányok független vagy megosztott fürtöket használhatnak, így részletesen szabályozhatja, hogy a feladatok milyen számítási feladatokat használnak fel. A fürtökben a skálázás nullára skálázva biztosíthatja, hogy a rendszer ne használjon fel erőforrásokat tétlen állapotban.
Az MLOps-gyakorlat egyszerűsítése
A Batch-végpontok több üzembe helyezést is képesek kezelni ugyanabban a végpontban, így a felhasználók által használt URL-cím módosítása nélkül módosíthatja a végpont implementációját.
Az üzemelő példányokat anélkül adhat hozzá, távolíthat el és frissíthet, hogy az hatással van magára a végpontra.
Rugalmas adatforrások és tárolás
A Batch-végpontok közvetlenül a tárolóból olvasnak és írnak adatokat. Bemenetként megadhatja az Azure Machine Tanulás adattárakat, az Azure Machine Tanulás adategységeket vagy a Tárfiókokat. A támogatott beviteli lehetőségekről és azok megadásáról további információt a Feladatok és bemeneti adatok létrehozása kötegelt végpontokhoz című témakörben talál.
Biztonság
A Batch-végpontok biztosítják az éles szintű számítási feladatok vállalati környezetben való működtetéséhez szükséges összes képességet. Támogatják a privát hálózatkezelést a biztonságos munkaterületeken és a Microsoft Entra-hitelesítésben, akár egy egyszerű felhasználó (például egy felhasználói fiók) vagy egy szolgáltatásnév (például felügyelt vagy nem felügyelt identitás) használatával. A kötegvégpont által létrehozott feladatok a meghívó identitása alatt futnak, így rugalmasan implementálhat bármilyen forgatókönyvet. A kötegelt végpontok használata során történő engedélyezésről további információt a című témakörben talál : Hogyan hitelesíthetők a kötegelt végpontokon.