Online végpontok és üzembe helyezések valós idejű következtetéshez

Cikk
10/24/2023

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Az Azure Machine Tanulás lehetővé teszi az adatok valós idejű következtetését az online végpontokon üzembe helyezett modellek használatával. A következtetés az új bemeneti adatok gépi tanulási modellre történő alkalmazásának folyamata kimenetek létrehozásához. Bár ezeket a kimeneteket általában "előrejelzéseknek" is nevezik, a következtetés más gépi tanulási feladatok, például besorolás és fürtözés kimeneteinek létrehozására használható.

Online végpontok

Az online végpontok olyan modelleket helyeznek üzembe egy webkiszolgálón, amely a HTTP protokoll alapján képes előrejelzéseket visszaadni. Online végpontok használatával valós idejű következtetési modelleket lehet üzembe helyezni szinkron kis késésű kérelmekben. Javasoljuk, hogy a következő esetekben használja őket:

Alacsony késési követelményekkel rendelkezik
A modell viszonylag rövid idő alatt válaszolhat a kérésre
A modell bemenetei illeszkednek a kérelem HTTP-hasznos adataihoz
Fel kell skálázni a kérelmek számát

Végpont definiálásához meg kell adnia a következőket:

Végpont neve: Ennek a névnek egyedinek kell lennie az Azure-régióban. Az elnevezési szabályokkal kapcsolatos további információkért tekintse meg a végpontkorlátokat.
Hitelesítési mód: Választhat a kulcsalapú hitelesítési mód és az Azure Machine Tanulás tokenalapú hitelesítési mód között a végponthoz. A kulcsok nem járnak le, de a jogkivonatok lejárnak. A hitelesítéssel kapcsolatos további információkért lásd : Hitelesítés online végponton.

Az Azure Machine Tanulás lehetővé teszi a felügyelt online végpontok használatát az ML-modellek kulcsrakész üzembe helyezéséhez. Ez az online végpontok használatának ajánlott módja az Azure Machine Tanulás. Managed online endpoints work with powerful CPU and GPU machines in Azure in a scalable, fully managed way. Ezek a végpontok gondoskodnak a modellek kiszolgálásáról, skálázásáról, biztonságáról és monitorozásáról is, hogy megszabadítson a mögöttes infrastruktúra beállításának és kezelésének többletterhelésétől. A felügyelt online végponton való üzembe helyezésről további információt az ML-modell üzembe helyezése online végponttal című témakörben talál.

Miért érdemes felügyelt online végpontokat választani az ACI vagy az AKS(v1) használatával?

A felügyelt online végpontok használata ajánlott módszer az online végpontok Azure Machine-Tanulás való használatára. Az alábbi táblázat a felügyelt online végpontok fő attribútumait emeli ki az Azure Machine Tanulás SDK/CLI v1-megoldásokhoz (ACI és AKS(v1)) képest.

Attribútumok	Felügyelt online végpontok (v2)	ACI vagy AKS(v1)
Hálózati biztonság/elkülönítés	Egyszerű bejövő/kimenő vezérlő gyors váltógombbal	A virtuális hálózat nem támogatott, vagy összetett manuális konfigurációt igényel
Felügyelt szolgáltatás	– Teljes körűen felügyelt számítási kiépítés/skálázás - Hálózati konfiguráció az adatkiszivárgás megelőzéséhez - Gazdagép operációs rendszerének frissítése, a helyszíni frissítések szabályozott bevezetése	– A skálázás az 1. verzióban korlátozott – A hálózati konfigurációt vagy frissítést a felhasználónak kell felügyelnie
Végpont/üzembe helyezés fogalma	A végpont és az üzembe helyezés megkülönböztetése olyan összetett forgatókönyveket tesz lehetővé, mint a modellek biztonságos bevezetése	A végpont fogalma nem
Diagnosztika és figyelés	– Helyi végpont hibakeresése lehetséges a Docker és a Visual Studio Code használatával – Speciális metrikák és naplóelemzés diagramokkal/lekérdezésekkel az üzembe helyezések összehasonlítása érdekében – Költséglebontás üzembe helyezési szintig	Nincs egyszerű helyi hibakeresés
Méretezhetőség	Korlátlan, rugalmas és automatikus skálázás	- Az ACI nem méretezhető - Az AKS (v1) csak a fürtön belüli skálázást támogatja, és méretezhetőségi konfigurációt igényel
Alkalmasság vállalati használatra	Privát kapcsolat, ügyfél által kezelt kulcsok, Microsoft Entra-azonosító, kvótakezelés, számlázási integráció, SLA	Not supported
Speciális gépi tanulási funkciók	– Modelladatok gyűjtése - Modellfigyelés - Champion-challenger modell, biztonságos bevezetés, forgalomtükrözés - Felelős AI-bővíthetőség	Not supported

Ha inkább a Kubernetes-t szeretné használni a modellek üzembe helyezéséhez és végpontok kiszolgálásához, és jól kezeli az infrastruktúra követelményeit, használhatja a Kubernetes online végpontjait. Ezek a végpontok lehetővé teszik modellek üzembe helyezését és online végpontok kiszolgálását a teljes mértékben konfigurált és felügyelt Kubernetes-fürtön bárhol, PROCESSZORokkal vagy GPU-kkal.

Miért érdemes felügyelt online végpontokat választani az AKS(v2)-en keresztül?

A felügyelt online végpontok megkönnyítik az üzembe helyezési folyamatot, és az alábbi előnyöket biztosítják a Kubernetes online végpontjaival szemben:

Felügyelt infrastruktúra
- Automatikusan kiépíti a számítást, és üzemelteti a modellt (csak meg kell adnia a virtuális gép típusát és méretezési beállításait)
- A mögöttes gazdagép operációs rendszer lemezképének automatikus frissítése és javítása
- Automatikusan végrehajtja a csomópont helyreállítását rendszerhiba esetén
Figyelés és naplók
- A modell rendelkezésre állásának, teljesítményének és SLA-jának monitorozása az Azure Monitor natív integrációjával.
- Az üzembe helyezéseket a naplókkal és az Azure Log Analytics natív integrációjával hibakereséssel végezheti el.
Költségek megtekintése
- A felügyelt online végpontok lehetővé teszik a költségek monitorozását a végpont és az üzembe helyezés szintjén
Megjegyzés:

A felügyelt online végpontok az Azure Machine Tanulás számításán alapulnak. Felügyelt online végpont használata esetén a számítási és hálózatkezelési díjakat kell fizetnie. Nincs további felár. A díjszabással kapcsolatos további információkért tekintse meg az Azure díjkalkulátorát.

Ha Azure Machine Tanulás virtuális hálózatot használ a felügyelt online végpont kimenő forgalmának védelméhez, a felügyelt virtuális hálózat által használt Azure-beli privát kapcsolat és teljes tartománynév kimenő szabályaiért kell fizetnie. További információ: Felügyelt virtuális hálózat díjszabása.

Felügyelt online végpontok és kubernetes online végpontok

Az alábbi táblázat a felügyelt online végpontok és a Kubernetes online végpontok közötti főbb különbségeket emeli ki.

	Managed online endpoints	Kubernetes online végpontok (AKS(v2))
Javasolt felhasználók	Felügyelt modell üzembe helyezését és továbbfejlesztett MLOps-funkciókat igénylő felhasználók	A Kubernetest előnyben részesítő és az infrastruktúra-követelmények önálló kezelésére képes felhasználók
Csomópontok kiépítése	Felügyelt számítási kiépítés, frissítés, eltávolítás	Felhasználói felelősség
Csomópont karbantartása	Felügyelt gazdagép operációsrendszer-rendszerképének frissítései és biztonsági megkeményedése	Felhasználói felelősség
Fürtméretezés (méretezés)	Felügyelt manuális és automatikus skálázás, további csomópontok kiépítésének támogatása	Manuális és automatikus skálázás, amely támogatja a replikák számának skálázását a rögzített fürthatárokon belül
Számítási típus	A szolgáltatás kezeli	Ügyfél által felügyelt Kubernetes-fürt (Kubernetes)
Managed identity	Támogatott	Támogatott
Virtuális hálózat (VNet)	Támogatott kezelt hálózati elkülönítés	Felhasználói felelősség
Házon kívül figyelés > naplózás	Az Azure Monitor és a Log Analytics alapú (a végpontokhoz és üzembe helyezésekhez szükséges főbb metrikákat és naplótáblákat tartalmazza)	Felhasználói felelősség
Naplózás alkalmazás Elemzések (örökölt)	Támogatott	Támogatott
Költségek megtekintése	Részletes végpont/üzembe helyezési szint	Fürtszint
A költség az adott költségre vonatkozik	Az üzemelő példányokhoz rendelt virtuális gépek	A fürthöz rendelt virtuális gépek
Tükrözött forgalom	Támogatott	Támogatott
Kód nélküli üzembe helyezés	Támogatott (MLflow - és Triton-modellek )	Támogatott (MLflow - és Triton-modellek )

Online üzemelő példányok

Az üzembe helyezés a tényleges következtetést okozó modell üzemeltetéséhez szükséges erőforrások és számítások készlete. Egyetlen végpont több különböző konfigurációval rendelkező üzembe helyezést is tartalmazhat. Ez a beállítás segít leválasztani a végpont által bemutatott felületet az üzembe helyezésben található megvalósítási részletekről. Az online végpont olyan útválasztási mechanizmussal rendelkezik, amely a végpont adott üzemelő példányaihoz irányíthatja a kéréseket.

Az alábbi ábra egy online végpontot mutat be, amely két üzembe helyezéssel rendelkezik, kék és zöld. A kék üzembe helyezés cpu-termékváltozattal rendelkező virtuális gépeket használ, és egy modell 1. verzióját futtatja. A zöld üzembe helyezés GPU-termékváltozattal rendelkező virtuális gépeket használ, és a modell 2. verzióját futtatja. A végpont úgy van konfigurálva, hogy a bejövő forgalom 90%-át a kék üzembe helyezésre irányozza, míg a zöld üzembe helyezés megkapja a fennmaradó 10%-ot.

Az alábbi táblázat az üzembe helyezés fő attribútumait ismerteti:

Attribútum	Ismertetés
Név	Az üzembe helyezés neve.
Végpont neve	Az üzembe helyezés létrehozásához szükséges végpont neve.
Modell	Az üzembe helyezéshez használni kívánt modell. Ez az érték lehet a munkaterület egy meglévő verziójú modelljére való hivatkozás, vagy egy beágyazott modell specifikációja.
Kód elérési útja	A helyi fejlesztési környezet könyvtárának elérési útja, amely tartalmazza a modell pontozásához szükséges Összes Python-forráskódot. Beágyazott könyvtárakat és csomagokat is használhat.
Pontozási szkript	A forráskód könyvtárában található pontozófájl relatív elérési útja. Ennek a Python-kódnak egy függvénysel `init()` és egy függvénnyel kell rendelkeznie `run()` . A `init()` függvény a modell létrehozása vagy frissítése után lesz meghívva (használhatja például a modell gyorsítótárazására a memóriában). A `run()` függvényt a rendszer a végpont minden meghívásánál meghívja, hogy elvégezhesse a tényleges pontozást és előrejelzést.
Environment	A modellt és a kódot üzemeltető környezet. Ez az érték hivatkozhat a munkaterület meglévő verziójú környezetére, vagy egy beágyazott környezeti specifikációra. Megjegyzés: A Microsoft rendszeresen frissíti az alaprendszerképeket az ismert biztonsági rések miatt. A javított rendszerkép használatához újra üzembe kell helyeznie a végpontot. Ha saját rendszerképet ad meg, ön a felelős a frissítéséért. További információ: Képjavítás.
Példány típusa	Az üzembe helyezéshez használandó virtuálisgép-méret. A támogatott méretek listáját a Felügyelt online végpontok termékváltozata című témakörben találja.
Példányok száma	Az üzembe helyezéshez használandó példányok száma. Alapozza az értéket a várt számítási feladatra. A magas rendelkezésre állás érdekében javasoljuk, hogy állítsa be az értéket legalább `3`. A frissítések végrehajtásához további 20%-ot foglalunk le. További információkért tekintse meg a virtuális gépek központi telepítésre vonatkozó kvótafoglalását.

Az online végpontok parancssori felülettel, SDK-val, studióval és ARM-sablonnal történő üzembe helyezéséről további információt az ML-modell üzembe helyezése online végponttal című témakörben talál.

Üzembe helyezés kódolókhoz és nem kódolókhoz

Az Azure Machine Tanulás támogatja a modell online végpontokra történő üzembe helyezését a kódolók és a nem kódolók számára egyaránt, ha lehetőséget biztosít a kód nélküli üzembe helyezésre, az alacsony kódszámú üzembe helyezésre és a Saját tároló (BYOC) üzembe helyezésére.

A kód nélküli üzembe helyezés beépített következtetést biztosít a közös keretrendszerekhez (például scikit-learn, TensorFlow, PyTorch és ONNX) az MLflow és a Triton használatával.
Az alacsony kódszámú üzembe helyezés lehetővé teszi, hogy minimális kódot adjon meg az ML-modellel együtt az üzembe helyezéshez.
A BYOC üzembe helyezése lehetővé teszi, hogy gyakorlatilag bármilyen tárolót hozzon létre az online végpont futtatásához. Az MLOps-folyamatok kezeléséhez használhatja az Azure Machine Tanulás összes platformfunkcióját, például az automatikus skálázást, a GitOpst, a hibakeresést és a biztonságos bevezetést.

Az alábbi táblázat az online üzembe helyezési lehetőségek főbb szempontjait emeli ki:

	Kód nélküli	Alacsony kód	BYOC
Összefoglalás	Beépített következtetést használ olyan népszerű keretrendszerekhez, mint a scikit-learn, a TensorFlow, a PyTorch és az ONNX, az MLflow és a Triton használatával. További információ: MLflow-modellek üzembe helyezése online végpontokon.	Biztonságos, nyilvánosan közzétett válogatott képeket használ a népszerű keretrendszerekhez, és kéthetente frissítéseket használ a biztonsági rések kezelésére. Pontozószkriptet és/vagy Python-függőségeket biztosít. További információ: Azure Machine Tanulás Válogatott környezetek.	A teljes vermet az Azure Machine Tanulás egyéni rendszerképekhez nyújtott támogatásával adhatja meg. További információ: Modell üzembe helyezése egy online végponton egyéni tároló használatával.
Egyéni alaprendszerkép	Nem, a válogatott környezet biztosítja ezt az egyszerű üzembe helyezéshez.	Igen és Nem, használhat válogatott vagy testre szabott képet.	Igen, hozzon létre egy akadálymentes tárolórendszerkép-helyet (például docker.io, Azure Container Registry (ACR) vagy Microsoft Container Registry (MCR)) vagy egy Dockerfile-t, amelyet az ACR-vel hozhat létre vagy küldhet le a tárolóhoz.
Egyéni függőségek	Nem, a válogatott környezet biztosítja ezt az egyszerű üzembe helyezéshez.	Igen, hozza létre az Azure Machine Tanulás környezetet, amelyben a modell fut; vagy egy Docker-rendszerképet Conda-függőségekkel, vagy egy dockerfile-t.	Igen, ez szerepelni fog a tároló lemezképében.
Egyéni kód	Nem, a pontozási szkript automatikusan létre lesz hozva az egyszerű üzembe helyezés érdekében.	Igen, hozza el a pontozó szkriptet.	Igen, ez szerepelni fog a tároló lemezképében.

Megjegyzés:

Az AutoML-futtatások automatikusan létrehoznak egy pontozószkriptet és függőségeket a felhasználók számára, így bármilyen AutoML-modellt üzembe helyezhet anélkül, hogy további kódot kellene létrehoznia (kód nélküli üzembe helyezéshez), vagy módosíthatja az automatikusan létrehozott szkripteket az üzleti igényeinek megfelelően (alacsony kódszámú üzembe helyezés esetén). Az AutoML-modellekkel való üzembe helyezésről további információt az AutoML-modell üzembe helyezése online végponttal című témakörben talál.

Online végpont hibakeresése

Az Azure Machine Tanulás különböző módszereket kínál az online végpontok helyi és tárolónaplók használatával történő hibakeresésére.

Helyi hibakeresés az Azure Machine Tanulás következtetési HTTP-kiszolgálóval

A pontozószkript helyi hibakereséséhez használja az Azure Machine Tanulás következtetési HTTP-kiszolgálót. A HTTP-kiszolgáló egy Python-csomag, amely HTTP-végpontként teszi elérhetővé a pontozási függvényt, és a Flask-kiszolgáló kódját és függőségeit egy egyedi csomagba csomagolja. Ez szerepel az előre összeállított Docker-rendszerképekben a modell Azure Machine-Tanulás való üzembe helyezésekor használt következtetés érdekében. Ha egyedül használja a csomagot, helyileg üzembe helyezheti a modellt éles környezetben, és a pontozási (belépési) szkriptet is egyszerűen érvényesítheti egy helyi fejlesztési környezetben. Ha probléma van a pontozási szkripttel, a kiszolgáló hibát ad vissza, és azt a helyet, ahol a hiba történt. A Visual Studio Code használatával hibakeresést is végezhet az Azure Machine Tanulás következtetési HTTP-kiszolgálóval.

A HTTP-kiszolgálóval végzett hibakeresésről további információt az Azure Machine Tanulás következtetési HTTP-kiszolgálóval végzett hibakeresési pontozási szkriptben talál.

Helyi hibakeresés

A helyi hibakereséshez helyi üzembe helyezésre van szükség, vagyis egy helyi Docker-környezetben üzembe helyezett modellre. Ezt a helyi üzembe helyezést használhatja tesztelésre és hibakeresésre a felhőben való üzembe helyezés előtt. A helyi üzembe helyezéshez telepítenie és futtatnia kell a Docker-motort . Az Azure Machine Tanulás ezután létrehoz egy helyi Docker-rendszerképet, amely az Azure Machine Tanulás rendszerképet utánozza. Az Azure Machine Tanulás helyi telepítéseket hoz létre és futtat, és gyorsítótárazza a rendszerképet a gyors iterációkhoz.

A helyi hibakeresés lépései általában a következők:

Annak ellenőrzése, hogy a helyi üzembe helyezés sikeres volt-e
A helyi végpont meghívása a következtetéshez
A meghívási művelet kimenetének naplóinak áttekintése

A helyi hibakereséssel kapcsolatos további információkért lásd a helyi végpontok használatával történő helyi üzembe helyezést és hibakeresést.

Helyi hibakeresés a Visual Studio Code-tal (előzetes verzió)

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

For more information, see Supplemental Terms of Use for Microsoft Azure Previews.

A helyi hibakereséshez hasonlóan először telepítenie és futtatnia kell a Docker-motort , majd telepítenie kell egy modellt a helyi Docker-környezetben. Helyi üzembe helyezés után az Azure Machine Tanulás helyi végpontok Docker- és Visual Studio Code-fejlesztői tárolókat (fejlesztői tárolókat) használnak helyi hibakeresési környezetek létrehozásához és konfigurálásához. A fejlesztői tárolókkal kihasználhatja a Visual Studio Code funkcióit, például az interaktív hibakeresést egy Docker-tárolóból.

Az online végpontok VS Code-ban történő interaktív hibakereséséről a Visual Studio Code helyi online végpontjainak hibakeresése című témakörben olvashat bővebben.

Hibakeresés tárolónaplókkal

Üzembe helyezés esetén nem kaphat közvetlen hozzáférést ahhoz a virtuális géphez, amelyben a modell üzembe van helyezve. Lekérhet azonban naplókat a virtuális gépen futó egyes tárolókból. Kétféle tárolóból szerezheti be a naplókat:

Következtetési kiszolgáló: A naplók tartalmazzák a konzolnaplót (a következtetési kiszolgálóról), amely a pontozószkriptből (score.pykódból) származó nyomtatási/naplózási függvények kimenetét tartalmazza.
Tároló inicializáló: A naplók információkat tartalmaznak arról, hogy a kód- és modelladatok sikeresen le lettek-e töltve a tárolóba. A tároló a következtetési kiszolgáló tárolójának futtatása előtt fut.

A tárolónaplók hibakereséséről további információt a Tárolónaplók lekérése című témakörben talál.

Forgalomirányítás és tükrözés online üzembe helyezések számára

Ne feledje, hogy egyetlen online végpont több üzembe helyezéssel is rendelkezhet. Mivel a végpont bejövő forgalmat (vagy kéréseket) fogad, a forgalom százalékos arányát irányíthatja az egyes üzemelő példányokra, a natív kék/zöld üzembe helyezési stratégiában használt módon. Tükrözheti (vagy másolhatja) az egyik üzembe helyezésből a másikba érkező forgalmat, más néven forgalomtükrözést vagy árnyékolást.

Forgalomirányítás kék/zöld üzembe helyezéshez

A kék/zöld üzembe helyezés egy olyan üzembehelyezési stratégia, amely lehetővé teszi, hogy a teljes üzembe helyezés előtt egy új üzembe helyezést (a zöld üzembe helyezést) helyezzen üzembe a felhasználók vagy kérések egy kis részhalmazában. A végpont terheléselosztást valósíthat meg az egyes üzemelő példányok forgalmának bizonyos százalékainak lefoglalásához, és az összes üzembe helyezés teljes lefoglalása akár 100%-ot is elérheti.

Tipp.

A kérések megkerülhetik a konfigurált forgalom terheléselosztását a HTTP fejlécének azureml-model-deploymentbeírásával. Állítsa a fejléc értékét annak az üzemelő példánynak a nevére, amelyhez a kérést irányítani szeretné.

Az alábbi képen az Azure Machine Tanulás Studio beállításai láthatók a kék és a zöld környezet közötti forgalom elosztásához.

Ez a forgalomfoglalás az alábbi képen látható módon irányítja át a forgalmat, a forgalom 10%-a a zöld üzembe helyezésre, a forgalom 90%-a pedig a kék üzembe helyezésre megy.

Forgalomtükrözés online üzemelő példányokra

A végpont tükrözheti (vagy másolhatja) az egyik üzemelő példányból egy másik üzembe helyezésbe érkező forgalmat. A forgalomtükrözés (más néven árnyéktesztelés) akkor hasznos, ha éles forgalommal szeretne tesztelni egy új üzembe helyezést anélkül, hogy hatással lenne az ügyfelek által a meglévő üzemelő példányokból kapott eredményekre. Ha például egy kék/zöld üzembe helyezést hajt végre, ahol a forgalom 100%-a kékre van irányítva, és 10%-a a zöld üzembe helyezéshez lesz tükrözve , a zöld üzembe helyezés felé irányuló tükrözött forgalom eredményei nem lesznek visszaadva az ügyfeleknek, de a metrikák és a naplók rögzítve lesznek.

A forgalomtükrözés használatáról az online végpontok Széf bevezetéséről olvashat.

Az online végpontok további képességei az Azure Machine Tanulás

Hitelesítés és titkosítás

Hitelesítés: Kulcs- és Azure Machine-Tanulás-jogkivonatok
Felügyelt identitás: Felhasználó és hozzárendelt rendszer
SSL alapértelmezés szerint a végpontok meghívásához

Automatikus skálázás

Az automatikus skálázás automatikusan a megfelelő mennyiségű erőforrást futtatja az alkalmazásra háruló terhelés kezeléséhez. A felügyelt végpontok támogatják az automatikus skálázást az Azure Monitor automatikus skálázási funkciójával való integrációval. Konfigurálhat metrikákon alapuló skálázást (például 70%-os processzorkihasználtságot >), ütemezésalapú skálázást (például a csúcsidőre vonatkozó skálázási szabályokat) vagy egy kombinációt.

Screenshot showing that autoscale flexibly provides between min and max instances, depending on rules.

Az automatikus skálázás konfigurálásának megismeréséhez tekintse meg az online végpontok automatikus méretezését ismertető cikket.

Felügyelt hálózatelkülönítés

Egy ml-modell felügyelt online végponton való üzembe helyezésekor privát végpontok használatával biztonságossá teheti az online végponttal való kommunikációt.

A bejövő pontozási kérelmek és a munkaterülettel és más szolgáltatásokkal folytatott kimenő kommunikáció biztonságát külön konfigurálhatja. A bejövő kommunikáció az Azure Machine Tanulás-munkaterület privát végpontját használja. A kimenő kommunikáció a munkaterület felügyelt virtuális hálózatához létrehozott privát végpontokat használja.

További információ: Hálózatelkülönítés felügyelt online végpontokkal.

Online végpontok és üzemelő példányok monitorozása

Az Azure Machine Tanulás végpontok monitorozása az Azure Monitorral való integrációval lehetséges. Ez az integráció lehetővé teszi a diagramok metrikáinak megtekintését, a riasztások konfigurálását, a naplótáblákból való lekérdezést, az Alkalmazás Elemzések használatával a felhasználói tárolók eseményeinek elemzését stb.

Metrikák: Az Azure Monitor használatával nyomon követheti a különböző végpontmetrikákat, például a kérelmek késését, és lehatolást az üzembe helyezésre vagy az állapotszintre. Nyomon követheti az üzembe helyezési szintű metrikákat is, például a PROCESSZOR-/GPU-kihasználtságot, és lehatolást a példány szintjére. Az Azure Monitor segítségével nyomon követheti ezeket a metrikákat a diagramokban, és irányítópultokat és riasztásokat állíthat be a további elemzéshez.
Naplók: Metrikák küldése a Log Analytics-munkaterületre, ahol naplókat kérdezhet le a Kusto lekérdezési szintaxisával. A további feldolgozáshoz metrikákat is küldhet a tárfiókba és/vagy az Event Hubsba. Emellett dedikált naplótáblákat is használhat az online végponttal kapcsolatos eseményekhez, forgalomhoz és tárolónaplókhoz. A Kusto-lekérdezés lehetővé teszi több tábla összekapcsolása összetett elemzést.
Alkalmazáselemzések: A válogatott környezetek közé tartozik az alkalmazás Elemzések integrációja, és online üzembe helyezés létrehozásakor engedélyezheti vagy letilthatja. A beépített metrikákat és naplókat a rendszer elküldi az Application Insightsnak, és további elemzésekhez használhatja a beépített funkciókat, például az élő metrikákat, a tranzakciókeresést, a hibákat és a teljesítményt.

A monitorozásról további információt az online végpontok monitorozása című témakörben talál.

Titkos injektálás online üzemelő példányokban (előzetes verzió)

Az online üzembe helyezés kontextusában a titkos kulcsok injektálásának folyamata titkos kulcsok (például API-kulcsok) titkos tárolókból való lekérése, és az online üzembe helyezésen belül futó felhasználói tárolóba való injektálása. A titkos kódok végül elérhetőek lesznek a környezeti változókon keresztül, így biztonságos módot biztosítanak számukra a pontozási szkriptet futtató következtetési kiszolgáló vagy a BYOC (saját tároló) üzembe helyezési megközelítésével létrehozott következtetési verem használatával.

Kétféleképpen lehet titkos kulcsokat beszúrni. Titkos kulcsokat saját maga is beszúrhat felügyelt identitások használatával, vagy használhatja a titkos kódok injektálási funkcióját. A titkos kódok injektálásának módjairól további információt az online végpontokban (előzetes verzióban) található Titkos kódok injektálása című témakörben talál.