Az Azure Machine Learningben elérhető Kubernetes-számítási cél ismertetése

  • Cikk

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Az Azure Machine Tanulás CLI/Python SDK 2-vel az Azure Machine Tanulás bevezetett egy új számítási célt – Kubernetes számítási célt. Egy meglévő Azure Kubernetes Service-fürt (AKS) vagy az Azure Arc-kompatibilis Kubernetes-fürt (Arc Kubernetes) egyszerűen engedélyezhető kubernetes számítási célként az Azure Machine Tanulás-ban, és használatával modelleket taníthat be vagy helyezhet üzembe.

Az Azure Machine Tanulás Kuberneteshez való kapcsolódását szemléltető ábra.

Ebben a cikkben a következő tudnivalókat ismerheti meg:

  • Működés
  • Használati forgatókönyvek
  • Ajánlott eljárások
  • KubernetesCompute és örökölt AksCompute

Működés

Az Azure Machine Tanulás Kubernetes Compute kétféle Kubernetes-fürtöt támogat:

  • AKS-fürt az Azure-ban. Az Ön által felügyelt AKS-fürttel az Azure-ban biztonsági és vezérlési funkciókhoz juthat, hogy megfeleljen a megfelelőségi követelményeknek, és rugalmasan felügyelhesse a csapatok ML-számítási feladatait.
  • Arc Kubernetes-fürt az Azure-on kívül. Az Arc Kubernetes-fürttel modelleket taníthat be vagy helyezhet üzembe bármilyen helyszíni infrastruktúrában, többfelhős vagy peremhálózati infrastruktúrában.

Az AKS- vagy Arc Kubernetes-fürtön egyszerű fürtbővítmény üzembe helyezésével a Kubernetes-fürt zökkenőmentesen támogatott az Azure Machine Tanulás a betanítási vagy következtetési számítási feladatok futtatásához. Az alábbi egyszerű lépésekkel egyszerűen engedélyezheti és használhat egy meglévő Kubernetes-fürtöt az Azure Machine-hez Tanulás számítási feladathoz:

  1. Azure Kubernetes Service-fürt vagy Arc Kubernetes-fürt előkészítése.
  2. Az Azure Machine Tanulás bővítmény üzembe helyezése.
  3. Csatolja a Kubernetes-fürtöt az Azure Machine Tanulás-munkaterülethez.
  4. Használja a Kubernetes számítási célértéket a CLI v2, az SDK v2 és a Studio felhasználói felülete alapján.

It-operation csapat. Az informatikai üzemeltetési csapat feladata az első három lépés: egy AKS- vagy Arc Kubernetes-fürt előkészítése, az Azure Machine Tanulás fürtbővítmény üzembe helyezése, valamint a Kubernetes-fürt csatlakoztatása az Azure Machine Tanulás-munkaterülethez. Ezen alapvető számítási lépések mellett az informatikai üzemeltetési csapat olyan ismerős eszközöket is használ, mint az Azure CLI vagy a kubectl, hogy a következő feladatokat végezze el az adatelemzési csapat számára:

  • Hálózati és biztonsági konfigurációk, például kimenő proxykiszolgáló-kapcsolat vagy Azure tűzfalkonfiguráció, következtetési útválasztó (azureml-fe) beállítása, SSL/TLS-megszakítás és virtuális hálózati konfiguráció.
  • Példánytípusokat hozhat létre és kezelhet különböző ML számítási feladatokhoz, és hatékony számítási erőforrás-kihasználtságot érhet el.
  • A Kubernetes-fürthöz kapcsolódó számítási feladatok lelövésével kapcsolatos problémák.

Adatelemzési csapat. Miután az informatikai üzemeltetési csapat befejezte a számítási beállítások és a számítási cél(ok) létrehozását, az adatelemzési csapat felfedezheti az Azure Machine Tanulás-munkaterületen elérhető számítási célok és példánytípusok listáját. Ezek a számítási erőforrások felhasználhatók betanítási vagy következtetési számítási feladatokhoz. Az adatelemzés a számítási cél nevét és a példánytípus nevét határozza meg az előnyben részesített eszközök vagy API-k használatával. Ezek a nevek lehetnek például az Azure Machine Tanulás CLI 2-es verziójának, a Python SDK v2-nek vagy a Studio felhasználói felületének.

A Kubernetes használati forgatókönyvei

Az Arc Kubernetes-fürttel modelleket hozhat létre, taníthat be és helyezhet üzembe bármilyen helyszíni és többfelhős infrastruktúrában a Kubernetes használatával. Ezzel megnyit néhány olyan új használati mintát, amely korábban nem volt lehetséges a felhőbeállítási környezetben. Az alábbi táblázat az Azure Machine Tanulás Kubernetes Compute által engedélyezett új használati minták összegzését tartalmazza:

Használati minta Az adatok helye Motiváció Az Infra telepítője és az Azure Machine Tanulás implementálása
Modell betanítása a felhőben, modell helyszíni üzembe helyezése Felhőbeli Használja ki a felhőalapú számítást. Rugalmas számítási igények vagy speciális hardverek, például GPU miatt.
A modellt a helyszínen kell üzembe helyezni a biztonsági, megfelelőségi vagy késési követelmények miatt		 1. Felügyelt Azure-számítás a felhőben.
2. Ügyfél által felügyelt Kubernetes a helyszínen.
3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva.
4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után.
Modell betanítása a helyszínen és a felhőben, üzembe helyezés a felhőben és a helyszínen Felhőbeli A helyszíni beruházásokat a felhő méretezhetőségével kombinálni kívánó szervezetek. Felhőbeli és helyszíni számításokat hozhat egyetlen üvegpanel alatt. Az adatok egyetlen igazságforrása a felhőben található, a helyszínire replikálható (azaz lazilyan a használaton vagy proaktív módon). A felhőalapú számítási elsődleges használat az, ha a helyszíni erőforrások nem érhetők el (használatban, karbantartás alatt), vagy nem rendelkeznek meghatározott hardverkövetelményekkel (GPU). 1. Felügyelt Azure-számítás a felhőben.
2. Ügyfél által felügyelt Kubernetes a helyszínen.
3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva.
4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után.
Modell betanítása a helyszínen, modell üzembe helyezése a felhőben Helyszíni Az adatoknak a helyszínen kell maradniuk az adattárolási követelmények miatt.
Modell üzembe helyezése a felhőben globális szolgáltatáshozzáférés vagy számítási rugalmasság érdekében a skálázás és az átviteli sebesség tekintetében.		 1. Felügyelt Azure-számítás a felhőben.
2. Ügyfél által felügyelt Kubernetes a helyszínen.
3. Teljesen automatizált MLOps hibrid módban, beleértve a betanítási és modelltelepítési lépéseket is, amely zökkenőmentesen vált át a felhőről a helyszínire, és fordítva.
4. Megismételhető, minden eszköz megfelelően nyomon követve. Szükség esetén újratanított modell, és a modell üzembe helyezése automatikusan frissült az újratanítás után.
Saját AKS használata az Azure-ban Felhőbeli További biztonság és vezérlők.
Minden magánhálózati IP-gépi tanulás az adatkiszivárgás megakadályozása érdekében.		 1. AKS-fürt egy Azure-beli virtuális hálózat mögött.
2. Hozzon létre privát végpontokat ugyanabban a virtuális hálózaton az Azure Machine Tanulás munkaterülethez és a hozzá tartozó erőforrásokhoz.
3. Teljesen automatizált MLOps.
Teljes ml-életciklus a helyszínen Helyszíni Bizalmas adatok vagy védett IP-cím védelme, például ml-modellek és kód/szkriptek. 1. Kimenő proxykiszolgáló-kapcsolat a helyszínen.
2. Az Azure ExpressRoute és az Azure Arc privát kapcsolata az Azure-erőforrásokhoz.
3. Ügyfél által felügyelt Kubernetes a helyszínen.
4. Teljesen automatizált MLOps.

Korlátozások

KubernetesComputeAz Azure Machine Tanulás számítási feladatainak (betanítási és modellkövetkező) célja a következő korlátozásokkal rendelkezik:

  • Az Előzetes verziójú funkciók rendelkezésre állása az Azure Machine Tanulás nem garantált.
    • Azonosított korlátozás: A modellkatalógusból és a beállításjegyzékből származó modellek (beleértve az alapmodellt) nem támogatottak a Kubernetes online végpontjaiban.

A felelősségek elkülönítése az informatikai üzemeltetési csapat és az adatelemzési csapat között. Ahogy az előző szakaszban említettük, a saját számítási és infrastruktúra kezelése az ml-számítási feladatokhoz összetett feladat. A legjobb, ha informatikai üzemeltetési csapat végzi, hogy az adatelemzési csapat az ML-modellekre összpontosíthasson a szervezeti hatékonyság érdekében.

Példánytípusok létrehozása és kezelése különböző ML számítási feladatokhoz. Minden gépi tanulási számítási feladat különböző mennyiségű számítási erőforrást használ, például CPU-t/GPU-t és memóriát. Az Azure Machine Tanulás a példánytípust Kubernetes egyéni erőforrásdefinícióként (CRD) implementálja a nodeSelector és az erőforrás-kérelem/korlát tulajdonságaival. A példánytípusok gondosan válogatott listájával az informatikai műveletek megcélzhatják az ml-számítási feladatokat adott csomópont(ok)on, és hatékonyan kezelhetik a számítási erőforrások kihasználtságát.

Több Azure Machine-Tanulás munkaterület ugyanazt a Kubernetes-fürtöt használja. A Kubernetes-fürtöt többször is csatolhatja ugyanahhoz az Azure Machine-Tanulás-munkaterülethez vagy különböző Azure Machine-Tanulás-munkaterületekhez, így több számítási célt is létrehozhat egy munkaterületen vagy több munkaterületen. Mivel sok ügyfél adatelemzési projekteket szervez az Azure Machine Tanulás-munkaterület köré, több adatelemzési projekt is megoszthatja ugyanazt a Kubernetes-fürtöt. Ez jelentősen csökkenti az ml-infrastruktúra kezelési költségeit és az informatikai költségek megtakarítását.

Csapat/projekt számítási feladat elkülönítése a Kubernetes-névtér használatával. Amikor Kubernetes-fürtöt csatol az Azure Machine Tanulás-munkaterülethez, megadhat egy Kubernetes-névteret a számítási célhoz. A számítási cél által futtatott összes számítási feladat a megadott névtér alá kerül.

KubernetesCompute és örökölt AksCompute

Az Azure Machine Tanulás CLI/Python SDK v1 használatával modelleket helyezhet üzembe az AKS-en az AksCompute-cél használatával. A KubernetesCompute-cél és az AksCompute-cél egyaránt támogatja az AKS-integrációt, de másképpen támogatják. Az alábbi táblázat a főbb különbségeket mutatja be:

Képességek AKS-integráció az AksCompute használatával (örökölt) AKS-integráció a KubernetesCompute használatával
CLI/SDK v1 Igen Nem
CLI/SDK v2 Nem Igen
Képzés Nem Igen
Valós idejű következtetés Igen Igen
Batch-következtetés Nem Igen
A valós idejű következtetés új funkciói Nincs új funkciófejlesztés Aktív ütemterv

Ezekkel a fő különbségekkel és az Azure Machine Tanulás SDK/CLI v2 használatának általános fejlődésével az Azure Machine Tanulás azt javasolja, hogy kubernetes számítási célt használjon a modellek üzembe helyezéséhez, ha úgy dönt, hogy az AKS-t használja a modellek üzembe helyezéséhez.

Egyéb erőforrások

Példák

Az Összes Azure Machine-Tanulás példa a következő helyen https://github.com/Azure/azureml-examples.gittalálható: .

Bármely Azure Machine-Tanulás példa esetében csak a számítási cél nevét kell frissítenie a Kubernetes számítási célként, akkor minden készen áll.

Következő lépések