CLI (v2) Azure Arc-kompatibilis Kubernetes online üzembehelyezési YAML-séma
A KÖVETKEZŐRE VONATKOZIK:
Azure CLI ml-bővítmény v2 (aktuális)
A forrás JSON-séma a következő helyen https://azuremlschemas.azureedge.net/latest/kubernetesOnlineDeployment.schema.jsontalálható: .
Feljegyzés
A dokumentumban részletezett YAML-szintaxis az ML CLI v2 bővítmény legújabb verziójának JSON-sémáján alapul. Ez a szintaxis garantáltan csak az ML CLI v2 bővítmény legújabb verziójával működik. A régebbi bővítményverziók sémáit a következő helyen https://azuremlschemasprod.azureedge.net/találja: .
YAML-szintaxis
| Kulcs | Típus | Leírás | Megengedett értékek | Alapértelmezett érték |
|---|---|---|---|---|
$schema |
húr | A YAML-séma. Ha az Azure Machine Learning VS Code-bővítményt használja a YAML-fájl létrehozásához, a fájl tetején is $schema lehetővé teszi a séma és az erőforrás-kiegészítések meghívását. |
||
name |
húr | Szükséges. Az üzembe helyezés neve. Itt definiáljuk az elnevezési szabályokat. |
||
description |
húr | Az üzembe helyezés leírása. | ||
tags |
object | Az üzembe helyezés címkéinek szótára. | ||
endpoint_name |
húr | Szükséges. Az üzembe helyezés létrehozásához szükséges végpont neve. | ||
model |
sztring vagy objektum | Az üzembe helyezéshez használni kívánt modell. Ez az érték lehet a munkaterület egy meglévő verziójú modelljére való hivatkozás, vagy egy beágyazott modell specifikációja. Meglévő modellre való hivatkozáshoz használja a szintaxist azureml:<model-name>:<model-version> . Modell beágyazott definiálásához kövesse a Modell sémát. Az éles forgatókönyvekhez ajánlott eljárásként külön kell létrehoznia a modellt, és itt kell hivatkoznia rá. Ez a mező nem kötelező egyéni tárolótelepítési forgatókönyvekhez. |
||
model_mount_path |
húr | A modell egyéni tárolóba való csatlakoztatásának elérési útja. Csak egyéni tárolótelepítési forgatókönyvekre alkalmazható. Ha a model mező meg van adva, az erre az útvonalra van csatlakoztatva a tárolóban. |
||
code_configuration |
object | A pontozási kód logikájának konfigurálása. Ez a mező nem kötelező egyéni tárolótelepítési forgatókönyvekhez. |
||
code_configuration.code |
húr | A modell pontozásához a forráskód könyvtárának helyi elérési útja. | ||
code_configuration.scoring_script |
húr | A forráskód könyvtárában található pontozófájl relatív elérési útja. | ||
environment_variables |
object | A környezeti változó kulcs-érték párjainak szótára, amely az üzembehelyezési tárolóban állítható be. Ezeket a környezeti változókat a pontozási szkriptekből érheti el. | ||
environment |
sztring vagy objektum | Szükséges. Az üzembe helyezéshez használni kívánt környezet. Ez az érték hivatkozhat a munkaterület meglévő verziójú környezetére, vagy egy beágyazott környezeti specifikációra. Meglévő környezetre való hivatkozáshoz használja a szintaxist azureml:<environment-name>:<environment-version> . A környezet beágyazott definiálásához kövesse a Környezeti sémát. Az éles forgatókönyvekhez ajánlott eljárásként külön kell létrehoznia a környezetet, és itt kell hivatkoznia rá. |
||
instance_type |
húr | A következtetési számítási feladat elhelyezésére használt példánytípus. Ha nincs megadva, a következtetési számítási feladat a végpont mezőjében megadott Kubernetes-fürt alapértelmezett példánytípusára compute kerül. Ha meg van adva, a következtetési számítási feladat az adott kiválasztott példánytípusra lesz helyezve. A Kubernetes-fürtök példánytípusainak halmaza a Kubernetes-fürt egyéni erőforrásdefinícióján (CRD) keresztül van konfigurálva, ezért nem részei a Kubernetes-számítás csatolására szolgáló Azure Machine Learning YAML-sémának. További információ: Kubernetes-példánytípusok létrehozása és kiválasztása. |
||
instance_count |
egész szám | Az üzembe helyezéshez használandó példányok száma. Adja meg az értéket a várt számítási feladat alapján. Ez a mező csak akkor szükséges, ha a méretezési típust default (scale_settings.type: default) használja. instance_count a parancs használatával az ml online-deployment update végzett üzembe helyezés után frissíthető. |
||
app_insights_enabled |
Logikai | A munkaterülethez társított Azure-alkalmazás Insights-példány integrációjának engedélyezése. | false |
|
scale_settings |
object | Az üzembe helyezés méretezési beállításai. A skálázási beállítások két típusa támogatott: a default méretezési típus és a target_utilization méretezési típus. A default méretezési típus (scale_settings.type: default) használatával manuálisan skálázhatja a példányok számát az üzembe helyezés létrehozása után a instance_count tulajdonság frissítésével. A méretezési típus ( scale_settings.type: target_utilization) konfigurálásához tekintse meg a target_utilization TargetUtilizationScaleSettingst a konfigurálható tulajdonságok készletében. |
||
scale_settings.type |
húr | A méretezés típusa. | default, target_utilization |
target_utilization |
data_collector |
object | Az üzembe helyezés adatgyűjtési beállításai. A konfigurálható tulajdonságokat lásd a DataCollectorban . | ||
request_settings |
object | Pontozási kérés beállításai az üzembe helyezéshez. A konfigurálható tulajdonságokat lásd: RequestSettings . | ||
liveness_probe |
object | A tároló állapotának rendszeres monitorozására szolgáló liveness-mintavételi beállítások. A konfigurálható tulajdonságokat lásd: ProbeSettings . | ||
readiness_probe |
object | A készenlét mintavételi beállításai annak ellenőrzéséhez, hogy a tároló készen áll-e a forgalom kiszolgálására. A konfigurálható tulajdonságokat lásd: ProbeSettings . | ||
resources |
object | Tárolóerőforrás-követelmények. | ||
resources.requests |
object | Erőforrás-kérelmek a tárolóhoz. A konfigurálható tulajdonságokat lásd a ContainerResourceRequests című témakörben. | ||
resources.limits |
object | A tároló erőforráskorlátai. A konfigurálható tulajdonságokat lásd a ContainerResourceLimitsben . |
RequestSettings
| Kulcs | Típus | Leírás | Alapértelmezett érték |
|---|---|---|---|
request_timeout_ms |
egész szám | A pontozási időtúllépés ezredmásodpercben. | 5000 |
max_concurrent_requests_per_instance |
egész szám | Az egyidejű kérések példányonkénti maximális száma, amely engedélyezve van az üzembe helyezéshez. Ne módosítsa ezt a beállítást az alapértelmezett értékről, kivéve, ha a Microsoft technikai támogatási szolgálata vagy az Azure Machine Learning-csapat tagja utasította. |
1 |
max_queue_wait_ms |
egész szám | A kérelmek maximális időtartama ezredmásodpercben az üzenetsorban marad. | 500 |
ProbeSettings
| Kulcs | Típus | Leírás | Alapértelmezett érték |
|---|---|---|---|
period |
egész szám | Milyen gyakran (másodpercben) hajtja végre a mintavételt. | 10 |
initial_delay |
egész szám | A tároló elindítása utáni másodpercek száma a mintavétel indítása előtt. A minimális érték a .1 |
10 |
timeout |
egész szám | Az a másodperc, amely után a mintavétel túllépi az időkorlátot. A minimális érték a .1 |
2 |
success_threshold |
egész szám | A mintavétel sikertelenségét követően sikeresnek ítélt minimális egymást követő sikerek. A minimális érték a .1 |
1 |
failure_threshold |
egész szám | Ha a mintavétel sikertelen, a rendszer megpróbál időt, failure_threshold mielőtt feladná. Az élőség mintavétele esetén történő átadás azt jelenti, hogy a tároló újraindul. Készültségi mintavétel esetén a tároló olvasatlanként lesz megjelölve. A minimális érték a .1 |
30 |
TargetUtilizationScaleSettings
| Kulcs | Típus | Leírás | Alapértelmezett érték |
|---|---|---|---|
type |
Const | A méretezés típusa | target_utilization |
min_instances |
egész szám | A használandó példányok minimális száma. | 1 |
max_instances |
egész szám | A skálázható példányok maximális száma. | 1 |
target_utilization_percentage |
egész szám | Az automatikus skálázó cél CPU-kihasználtsága. | 70 |
polling_interval |
egész szám | Milyen gyakran próbálja meg az automatikus skálázó másodpercek alatt skálázni az üzembe helyezést. | 1 |
ContainerResourceRequests
| Kulcs | Típus | Leírás |
|---|---|---|
cpu |
húr | A tárolóhoz kért processzormagok száma. |
memory |
húr | A tárolóhoz kért memóriaméret |
nvidia.com/gpu |
húr | A tárolóhoz kért Nvidia GPU-kártyák száma |
ContainerResourceLimits
| Kulcs | Típus | Leírás |
|---|---|---|
cpu |
húr | A tároló processzormagjainak számának korlátja. |
memory |
húr | A tároló memóriaméretének korlátja. |
nvidia.com/gpu |
húr | A tárolóhoz tartozó Nvidia GPU-kártyák számának korlátja |
DataCollector
| Kulcs | Típus | Leírás | Alapértelmezett érték |
|---|---|---|---|
sampling_rate |
float | Az összegyűjtendő adatok százalékos aránya tizedes törtként. Az 1,0 érték például az adatok 100%-ának gyűjtését jelenti. | 1.0 |
rolling_rate |
húr | A tárolóban lévő adatok particionálásának sebessége. Az érték lehet: Perc, Óra, Nap, Hónap, Év. | Hour |
collections |
object | Az egyes collection_namepéldányok és az üzembe helyezéshez szükséges beállítások készlete. |
|
collections.<collection_name> |
object | Az éles következtetési adatok logikai csoportosítása gyűjtendő (például: model_inputs). Két fenntartott név létezik: request a responseHTTP-kérések és válaszok hasznos adatgyűjteményének megfelelő név. Minden más név tetszőleges és meghatározható a felhasználó által. Megjegyzés: Mindegyiknek collection_name meg kell felelnie az Collector üzemelő példányban score.py az éles következtetési adatok gyűjtéséhez használt objektum nevének. A hasznos adatok gyűjtésével és a megadott Python SDK-val történő adatgyűjtéssel kapcsolatos további információkért lásd : Adatok gyűjtése éles modellekből. |
|
collections.<collection_name>.enabled |
Logikai | Engedélyezi-e az adatgyűjtést a megadott collection_name. |
'False'' |
collections.<collection_name>.data.name |
húr | Az összegyűjtött adatokkal regisztrálandó adategység neve. | <endpoint>-<deployment>-<collection_name> |
collections.<collection_name>.data.path |
húr | A teljes Azure Machine Learning-adattár elérési útja, ahol az összegyűjtött adatokat adategységként kell regisztrálni. | azureml://datastores/workspaceblobstore/paths/modelDataCollector/<endpoint_name>/<deployment_name>/<collection_name> |
collections.<collection_name>.data.version |
egész szám | A Blob Storage-ban gyűjtött adatokkal regisztrálandó adategység verziója. | 1 |
Megjegyzések
A az ml online-deployment parancsok az Azure Machine Learning Kubernetes online üzembe helyezésének kezelésére használhatók.
Példák
A példák a GitHub-adattárban érhetők el.