Sdílet prostřednictvím

Pracovní prostory Microsoft.MachineLearningServices/onlineEndpoints/deployments 2023-06-01-preview

  • Článek

Definice prostředku Bicep

Typ prostředku workspaces/onlineEndpoints/deployments je možné nasadit s operacemi, které cílí na:

Seznam změněných vlastností v jednotlivých verzích rozhraní API najdete v protokolu změn.

Formát prostředku

Pokud chcete vytvořit prostředek Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, přidejte do šablony následující bicep.

resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-06-01-preview' = {
  name: 'string'
  location: 'string'
  tags: {
    tagName1: 'tagValue1'
    tagName2: 'tagValue2'
  }
  sku: {
    capacity: int
    family: 'string'
    name: 'string'
    size: 'string'
    tier: 'string'
  }
  kind: 'string'
  parent: resourceSymbolicName
  identity: {
    type: 'string'
    userAssignedIdentities: {
      {customized property}: {}
    }
  }
  properties: {
    appInsightsEnabled: bool
    codeConfiguration: {
      codeId: 'string'
      scoringScript: 'string'
    }
    dataCollector: {
      collections: {
        {customized property}: {
          clientId: 'string'
          dataCollectionMode: 'string'
          dataId: 'string'
          samplingRate: int
        }
      }
      requestLogging: {
        captureHeaders: [
          'string'
        ]
      }
      rollingRate: 'string'
    }
    description: 'string'
    egressPublicNetworkAccess: 'string'
    environmentId: 'string'
    environmentVariables: {
      {customized property}: 'string'
      {customized property}: 'string'
    }
    instanceType: 'string'
    livenessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    model: 'string'
    modelMountPath: 'string'
    properties: {
      {customized property}: 'string'
      {customized property}: 'string'
    }
    readinessProbe: {
      failureThreshold: int
      initialDelay: 'string'
      period: 'string'
      successThreshold: int
      timeout: 'string'
    }
    requestSettings: {
      maxConcurrentRequestsPerInstance: int
      maxQueueWait: 'string'
      requestTimeout: 'string'
    }
    scaleSettings: {
      scaleType: 'string'
      // For remaining properties, see OnlineScaleSettings objects
    }
    endpointComputeType: 'string'
    // For remaining properties, see OnlineDeploymentProperties objects
  }
}

Objekty OnlineDeploymentProperties

Nastavte vlastnost endpointComputeType pro určení typu objektu.

Pro Kubernetes použijte:

  endpointComputeType: 'Kubernetes'
  containerResourceRequirements: {
    containerResourceLimits: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
    containerResourceRequests: {
      cpu: 'string'
      gpu: 'string'
      memory: 'string'
    }
  }

V případě spravovaného použijte:

  endpointComputeType: 'Managed'

Objekty OnlineScaleSettings

Nastavte vlastnost scaleType a určete typ objektu.

Jako Výchozí použijte:

  scaleType: 'Default'

V části TargetUtilization (Využití cíle) použijte:

  scaleType: 'TargetUtilization'
  maxInstances: int
  minInstances: int
  pollingInterval: 'string'
  targetUtilizationPercentage: int

Hodnoty vlastností

pracovní prostory/online koncové body/nasazení

Název Description Hodnota
name Název prostředku

Přečtěte si, jak nastavit názvy a typy pro podřízené prostředky v Bicepu.		 string (povinné)
location Geografické umístění, ve kterém se nachází prostředek string (povinné)
tags Značky prostředků. Slovník názvů značek a hodnot. Viz Značky v šablonách
Sku Podrobnosti skladové položky vyžadované pro kontrakt ARM pro automatické škálování Sku
Druhu Metadata používaná portálem, nástroji atd. k vykreslení různých uživatelských prostředí pro prostředky stejného typu. řetězec
Nadřazené V nástroji Bicep můžete zadat nadřazený prostředek pro podřízený prostředek. Tuto vlastnost stačí přidat pouze v případě, že je podřízený prostředek deklarován mimo nadřazený prostředek.

Další informace najdete v tématu Podřízený prostředek mimo nadřazený prostředek.		 Symbolický název prostředku typu: onlineEndpoints
identity Identita spravované služby (identity přiřazené systémem nebo uživatelem) ManagedServiceIdentity
properties [Povinné] Další atributy entity. OnlineDeploymentProperties (povinné)

ManagedServiceIdentity

Název Description Hodnota
typ Typ identity spravované služby (kde jsou povolené typy SystemAssigned i UserAssigned). 'Žádný'
'SystemAssigned'
'SystemAssigned,UserAssigned'
UserAssigned (povinné)
userAssignedIdentity Sada identit přiřazených uživatelem přidružených k prostředku. Klíče slovníku userAssignedIdentities budou ID prostředků ARM ve formátu /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Hodnoty slovníku můžou být prázdné objekty ({}) v požadavcích. UserAssignedIdentities

UserAssignedIdentities

Název Description Hodnota
{přizpůsobená vlastnost} UserAssignedIdentity

UserAssignedIdentity

Tento objekt neobsahuje žádné vlastnosti, které by se nastavily během nasazování. Všechny vlastnosti jsou Jen pro čtení.

OnlineDeploymentProperties

Název Description Hodnota
appInsightsEnabled Pokud ano, povolí protokolování Application Insights. bool
codeConfiguration Konfigurace kódu pro nasazení koncového bodu Konfigurace kódu
dataCollector V konfiguraci mdc zakážeme mdc, když má hodnotu null. DataCollector
description Popis nasazení koncového bodu řetězec
výchozí přenos datPublicNetworkAccess Pokud je povoleno, povolte výchozí přenos dat z veřejné sítě. Pokud je zakázáno, vytvoří se zabezpečený výchozí přenos dat. Výchozí: Povoleno. Zakázáno
Povoleno
id prostředí ID prostředku ARM specifikace prostředí pro nasazení koncového bodu řetězec
environmentVariables Konfigurace proměnných prostředí pro nasazení EndpointDeploymentPropertiesBaseEnvironmentVariables
typ instance Typ výpočetní instance. řetězec
livenessProbe Sonda aktivity pravidelně monitoruje stav kontejneru. ProbeSettings
model Cesta URI k modelu. řetězec
modelMountPath Cesta k připojení modelu ve vlastním kontejneru. řetězec
properties Slovník vlastností. Vlastnosti se dají přidat, ale ne odebrat ani změnit. EndpointDeploymentPropertiesBaseProperties
readinessProbe Sonda připravenosti ověřuje, jestli je kontejner připravený obsluhovat provoz. Vlastnosti a výchozí hodnoty jsou stejné jako u sondy aktivity. ProbeSettings
requestSettings Nastavení požadavku pro nasazení. OnlineRequestSettings
škálovací nastavení Nastavení škálování pro nasazení.
Pokud je hodnota null nebo není zadána,
Výchozí hodnota TargetUtilizationScaleSettings pro KubernetesOnlineDeployment
a na DefaultScaleSettings pro ManagedOnlineDeployment.
 OnlineScaleSettings
typcompute_koncového bodu Nastavení typu objektu Kubernetes
Spravované (povinné)

CodeConfiguration

Název Description Hodnota
id kódu ID prostředku ARM prostředku kódu. řetězec
scoringScript [Povinné] Skript, který se má spustit při spuštění. např. "score.py" string (povinné)

Omezení:
Minimální délka = 1
Vzor = [a-zA-Z0-9_]

DataCollector

Název Description Hodnota
Sbírky [Povinné] Konfigurace kolekce. Každá kolekce má vlastní konfiguraci pro shromažďování dat modelu a název kolekce může být libovolný řetězec.
Kolektor dat modelu se dá použít pro protokolování datové části, vlastní protokolování nebo obojí. Požadavky a odpovědi na kolekci jsou vyhrazené pro protokolování datové části, jiné pro vlastní protokolování.		 DataCollectorCollections (povinné)
requestLogging Konfigurace protokolování požadavků pro mdc zahrnuje upřesňující nastavení protokolování pro všechny kolekce. Zpráva není povinná. Protokolování požadavků
rollingRate Když se data modelu shromažďují do úložiště objektů blob, musíme je převést na jinou cestu, abychom se vyhnuli jejich protokolování do jednoho souboru objektu blob.
Pokud je sazba hodinová, všechna data se shromáždí v cestě k objektu blob /yyyy/MM/dd/HH/.
Pokud je tento den, budou se všechna data shromažďovat v cestě k objektu blob /yyyy/MM/dd/.
Další výhodou posuvné cesty je, že uživatelské rozhraní pro monitorování modelů dokáže velmi rychle vybrat časový rozsah dat.
 'Den'
Hodina
'Minuta'
'Month'
'Year'

DataCollectorCollections

Název Description Hodnota
{přizpůsobená vlastnost} Kolekce

Kolekce

Název Description Hodnota
clientId ID klienta MSI použité ke shromažďování protokolování do úložiště objektů blob. Pokud má hodnotu null, back-end vybere pro ověření identitu registrovaného koncového bodu. řetězec
dataCollectionMode Povolte nebo zakažte shromažďování dat. Zakázáno
'Povoleno'
id data ID prostředku ARM datového assetu. Na straně klienta se zajistí, že datový prostředek ukazuje na úložiště objektů blob a back-end bude shromažďovat data do úložiště objektů blob. řetězec
vzorkovací rychlost Vzorkovací frekvence pro kolekci. Vzorkovací frekvence 1.0 znamená, že ve výchozím nastavení shromažďujeme 100 % dat. int

Protokolování požadavků

Název Description Hodnota
captureHeaders Pro protokolování datové části shromažďujeme ve výchozím nastavení jenom datovou část. Pokud zákazníci chtějí také shromažďovat zadané hlavičky, mohou je nastavit v captureHeaders tak, aby back-end shromažďoval tyto hlavičky spolu s datovou částí. string[]

EndpointDeploymentPropertiesBaseEnvironmentVariables

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

ProbeSettings

Název Description Hodnota
failureThreshold Počet selhání, která se mají povolit před vrácením stavu, který není v pořádku. int
Initialdelay Zpoždění před první sondou ve formátu ISO 8601. řetězec
period Délka doby mezi sondami ve formátu ISO 8601. řetězec
successThreshold Počet úspěšných sond před vrácením stavu v pořádku. int
timeout Časový limit sondy ve formátu ISO 8601 řetězec

EndpointDeploymentPropertiesBaseVlastnosti

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

OnlineRequestSettings

Název Description Hodnota
maxConcurrentRequestsPerInstance Maximální povolený počet souběžných požadavků na jeden uzel na nasazení. Výchozí hodnota je 1. int
maxQueueWait Maximální doba, po kterou požadavek zůstane ve frontě ve formátu ISO 8601.
Výchozí hodnota je 500ms.		 řetězec
requestTimeout Časový limit bodování ve formátu ISO 8601
Výchozí hodnota je 5000ms.
 řetězec

OnlineScaleSettings

Název Description Hodnota
scaleType Nastavení typu objektu Default
TargetUtilization (povinné)

DefaultScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení Výchozí (povinné)

TargetUtilizationScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení TargetUtilization (povinné)
maxInstances Maximální počet instancí, na které může nasazení škálovat. Kvóta bude vyhrazena pro max_instances. int
minInstances Minimální počet instancí, které se mají vždy vyskytovat. int
pollingInterval Interval dotazování ve formátu ISO 8691. Podporuje pouze dobu trvání s přesností na sekundy. řetězec
targetUtilizationPercentage Cílové využití procesoru pro automatické škálování int

Nasazení KubernetesOnlineDeployment

Název Description Hodnota
typcompute_koncového bodu [Povinné] Typ výpočetních prostředků koncového bodu. Kubernetes (povinné)
containerResourceRequirements Požadavky na prostředky pro kontejner (procesor a paměť). ContainerResourceRequirements

ContainerResourceRequirements

Název Description Hodnota
kontejnerResourceLimits Informace o limitu prostředků kontejneru: ContainerResourceSettings
containerResourceRequests Informace o žádosti o prostředek kontejneru: ContainerResourceSettings

ContainerResourceSettings

Název Description Hodnota
Cpu Počet požadavků nebo omezení počtu virtuálních procesorů pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
Gpu Počet požadavků nebo omezení počtu karet Nvidia GPU pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
paměť Požadavek/limit velikosti paměti pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
 řetězec

Nasazení ManagedOnlineDeployment

Název Description Hodnota
typcompute_koncového bodu [Povinné] Typ výpočetních prostředků koncového bodu. Spravované (povinné)

Skladová jednotka (SKU)

Název Description Hodnota
capacity Pokud skladová položka podporuje horizontální navýšení/snížení kapacity, mělo by být zahrnuto celé číslo kapacity. Pokud pro prostředek není možné škálovat na více nebo více instancí, může se to vynechat. int
family Pokud má služba různé generace hardwaru pro stejnou skladovou položku, můžete to tady zaznamenat. řetězec
name Název skladové položky. Příklad – P3. Obvykle se jedná o písmeno+číselný kód. string (povinné)
size Velikost skladové položky. Pokud je pole pro název kombinací vrstvy a nějaké jiné hodnoty, jedná se o samostatný kód. řetězec
tier Toto pole musí poskytovatel prostředků implementovat, pokud má služba více než jednu úroveň, ale nevyžaduje se u PUT. 'Základní'
'Zdarma'
Premium
'Standardní'

Definice prostředku šablony ARM

Typ prostředku pracovní prostory/ online koncové body/nasazení je možné nasadit s operacemi, které cílí na:

Seznam změněných vlastností v jednotlivých verzích rozhraní API najdete v protokolu změn.

Formát prostředku

Pokud chcete vytvořit prostředek Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, přidejte do šablony následující kód JSON.

{
  "type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
  "apiVersion": "2023-06-01-preview",
  "name": "string",
  "location": "string",
  "tags": {
    "tagName1": "tagValue1",
    "tagName2": "tagValue2"
  },
  "sku": {
    "capacity": "int",
    "family": "string",
    "name": "string",
    "size": "string",
    "tier": "string"
  },
  "kind": "string",
  "identity": {
    "type": "string",
    "userAssignedIdentities": {
      "{customized property}": {}
    }
  },
  "properties": {
    "appInsightsEnabled": "bool",
    "codeConfiguration": {
      "codeId": "string",
      "scoringScript": "string"
    },
    "dataCollector": {
      "collections": {
        "{customized property}": {
          "clientId": "string",
          "dataCollectionMode": "string",
          "dataId": "string",
          "samplingRate": "int"
        }
      },
      "requestLogging": {
        "captureHeaders": [ "string" ]
      },
      "rollingRate": "string"
    },
    "description": "string",
    "egressPublicNetworkAccess": "string",
    "environmentId": "string",
    "environmentVariables": {
      "{customized property}": "string",
      "{customized property}": "string"
    },
    "instanceType": "string",
    "livenessProbe": {
      "failureThreshold": "int",
      "initialDelay": "string",
      "period": "string",
      "successThreshold": "int",
      "timeout": "string"
    },
    "model": "string",
    "modelMountPath": "string",
    "properties": {
      "{customized property}": "string",
      "{customized property}": "string"
    },
    "readinessProbe": {
      "failureThreshold": "int",
      "initialDelay": "string",
      "period": "string",
      "successThreshold": "int",
      "timeout": "string"
    },
    "requestSettings": {
      "maxConcurrentRequestsPerInstance": "int",
      "maxQueueWait": "string",
      "requestTimeout": "string"
    },
    "scaleSettings": {
      "scaleType": "string"
      // For remaining properties, see OnlineScaleSettings objects
    },
    "endpointComputeType": "string"
    // For remaining properties, see OnlineDeploymentProperties objects
  }
}

Objekty OnlineDeploymentProperties

Nastavením vlastnosti endpointComputeType zadejte typ objektu.

Pro Kubernetes použijte:

  "endpointComputeType": "Kubernetes",
  "containerResourceRequirements": {
    "containerResourceLimits": {
      "cpu": "string",
      "gpu": "string",
      "memory": "string"
    },
    "containerResourceRequests": {
      "cpu": "string",
      "gpu": "string",
      "memory": "string"
    }
  }

V případě spravovaného použijte:

  "endpointComputeType": "Managed"

Objekty OnlineScaleSettings

Nastavte vlastnost scaleType a určete typ objektu.

Jako Výchozí použijte:

  "scaleType": "Default"

V části TargetUtilization (Využití cíle) použijte:

  "scaleType": "TargetUtilization",
  "maxInstances": "int",
  "minInstances": "int",
  "pollingInterval": "string",
  "targetUtilizationPercentage": "int"

Hodnoty vlastností

pracovní prostory/online koncové body/nasazení

Název Description Hodnota
typ Typ prostředku Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments
apiVersion Verze rozhraní API prostředku 2023-06-01-preview
name Název prostředku

Podívejte se, jak nastavit názvy a typy pro podřízené prostředky v šablonách JSON ARM.		 string (povinné)
location Geografické umístění, kde se prostředek nachází string (povinné)
tags Značky prostředků. Slovník názvů a hodnot značek. Zobrazit značky v šablonách
Sku Podrobnosti o SKU vyžadované pro kontrakt ARM pro automatické škálování Sku
Druhu Metadata používaná portálem, nástroji atd. k vykreslení různých prostředí uživatelského prostředí pro prostředky stejného typu. řetězec
identity Identita spravované služby (identity přiřazené systémem nebo uživatelem) Identita spravované služby
properties [Povinné] Další atributy entity OnlineDeploymentProperties (povinné)

Identita spravované služby

Název Description Hodnota
typ Typ identity spravované služby (kde jsou povolené typy SystemAssigned i UserAssigned) 'Žádný'
'SystemAssigned'
'SystemAssigned,UserAssigned'
UserAssigned (povinné)
userAssignedIdentity Sada identit přiřazených uživatelem přidružených k prostředku. Klíče slovníku userAssignedIdentities budou ID prostředků ARM ve formátu /subscriptions/{subscriptionId}/resourceGroups/{název_skupiny_prostředků}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Hodnoty slovníku můžou být prázdné objekty ({}) v požadavcích. UserAssignedIdentity

UserAssignedIdentity

Název Description Hodnota
{přizpůsobená vlastnost} UserAssignedIdentity

UserAssignedIdentity

Tento objekt neobsahuje žádné vlastnosti, které by se nastavily během nasazování. Všechny vlastnosti jsou jen pro čtení.

OnlineDeploymentProperties

Název Description Hodnota
appInsightsEnabled Pokud je true, povolí protokolování Application Insights. bool
codeConfiguration Konfigurace kódu pro nasazení koncového bodu CodeConfiguration
dataCollector V konfiguraci mdc zakážeme mdc, když má hodnotu null. DataCollector
description Popis nasazení koncového bodu řetězec
výchozí přenos datPublicNetworkAccess Pokud je povoleno, povolte výchozí přenos dat z veřejné sítě. Pokud je zakázáno, vytvoří se zabezpečený výchozí přenos dat. Výchozí: Povoleno. Zakázáno
Povoleno
id prostředí ID prostředku ARM specifikace prostředí pro nasazení koncového bodu řetězec
environmentVariables Konfigurace proměnných prostředí pro nasazení EndpointDeploymentPropertiesBaseEnvironmentVariables
typ instance Typ výpočetní instance. řetězec
livenessProbe Sonda aktivity pravidelně monitoruje stav kontejneru. ProbeSettings
model Cesta URI k modelu. řetězec
modelMountPath Cesta k připojení modelu ve vlastním kontejneru. řetězec
properties Slovník vlastností. Vlastnosti se dají přidat, ale ne odebrat ani změnit. EndpointDeploymentPropertiesBaseProperties
readinessProbe Sonda připravenosti ověřuje, jestli je kontejner připravený obsluhovat provoz. Vlastnosti a výchozí hodnoty jsou stejné jako u sondy aktivity. ProbeSettings
requestSettings Nastavení požadavku pro nasazení. OnlineRequestSettings
scaleSettings Nastavení škálování pro nasazení
Pokud je hodnota null nebo není zadá,
Výchozí hodnota je TargetUtilizationScaleSettings pro KubernetesOnlineDeployment.
a na DefaultScaleSettings pro ManagedOnlineDeployment.
 OnlineScaleSettings
endpointComputeType Nastavení typu objektu Kubernetes
Spravované (povinné)

Konfigurace kódu

Název Description Hodnota
id kódu ID prostředku ARM pro prostředek kódu. řetězec
scoringScript [Povinné] Skript, který se má spustit při spuštění. např. "score.py" string (povinné)

Omezení:
Minimální délka = 1
Pattern = [a-zA-Z0-9_]

DataCollector

Název Description Hodnota
Sbírky [Povinné] Konfigurace kolekce. Každá kolekce má vlastní konfiguraci pro shromažďování dat modelu a název kolekce může být libovolný řetězec.
Kolektor dat modelu se dá použít buď pro protokolování datové části, nebo pro vlastní protokolování, nebo pro obojí. Požadavky a odpovědi na kolekci jsou vyhrazené pro protokolování datové části, jiné pro vlastní protokolování.		 DataCollectorCollections (povinné)
requestLogging Konfigurace protokolování požadavků pro mdc zahrnuje upřesňující nastavení protokolování pro všechny kolekce. Zpráva není povinná. Protokolování požadavků
rollingRate Když se data modelu shromažďují do úložiště objektů blob, musíme je vrátit do jiné cesty, abychom se vyhnuli protokolování všech dat v jednom souboru objektu blob.
Pokud je sazba hodina, budou všechna data shromažďována v cestě k objektu blob /yyyy/MM/dd/HH/.
Pokud je den, budou všechna data shromažďována v cestě k objektu blob /yyyy/MM/dd/.
Další výhodou postupného sledování je, že uživatelské rozhraní monitorování modelů dokáže velmi rychle vybrat časový rozsah dat.
 "Den"
Hodina
'Minuta'
'Month'
'Year'

DataCollectorCollections

Název Description Hodnota
{přizpůsobená vlastnost} Kolekce

Kolekce

Název Description Hodnota
clientId ID klienta MSI použité ke shromažďování protokolování do úložiště objektů blob. Pokud má hodnotu null, back-end vybere pro ověření identitu registrovaného koncového bodu. řetězec
dataCollectionMode Povolte nebo zakažte shromažďování dat. Zakázáno
'Povoleno'
id data ID prostředku ARM datového assetu. Na straně klienta se zajistí, že datový prostředek ukazuje na úložiště objektů blob a back-end bude shromažďovat data do úložiště objektů blob. řetězec
vzorkovací rychlost Vzorkovací frekvence pro kolekci. Vzorkovací frekvence 1.0 znamená, že ve výchozím nastavení shromažďujeme 100 % dat. int

Protokolování požadavků

Název Description Hodnota
captureHeaders Pro protokolování datové části shromažďujeme ve výchozím nastavení jenom datovou část. Pokud zákazníci chtějí také shromažďovat zadané hlavičky, mohou je nastavit v captureHeaders tak, aby back-end shromažďoval tyto hlavičky spolu s datovou částí. string[]

EndpointDeploymentPropertiesBaseEnvironmentVariables

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

ProbeSettings

Název Description Hodnota
failureThreshold Počet selhání, která se mají povolit před vrácením stavu, který není v pořádku. int
Initialdelay Zpoždění před první sondou ve formátu ISO 8601. řetězec
period Délka doby mezi sondami ve formátu ISO 8601. řetězec
successThreshold Počet úspěšných sond před vrácením stavu v pořádku. int
timeout Časový limit sondy ve formátu ISO 8601 řetězec

EndpointDeploymentPropertiesBaseVlastnosti

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

OnlineRequestSettings

Název Description Hodnota
maxConcurrentRequestsPerInstance Maximální povolený počet souběžných požadavků na jeden uzel na nasazení. Výchozí hodnota je 1. int
maxQueueWait Maximální doba, po kterou požadavek zůstane ve frontě ve formátu ISO 8601.
Výchozí hodnota je 500ms.		 řetězec
requestTimeout Časový limit bodování ve formátu ISO 8601
Výchozí hodnota je 5000ms.
 řetězec

OnlineScaleSettings

Název Description Hodnota
scaleType Nastavení typu objektu Default
TargetUtilization (povinné)

DefaultScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení Výchozí (povinné)

TargetUtilizationScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení TargetUtilization (povinné)
maxInstances Maximální počet instancí, na které může nasazení škálovat. Kvóta bude vyhrazena pro max_instances. int
minInstances Minimální počet instancí, které se mají vždy vyskytovat. int
pollingInterval Interval dotazování ve formátu ISO 8691. Podporuje pouze dobu trvání s přesností na sekundy. řetězec
targetUtilizationPercentage Cílové využití procesoru pro automatické škálování int

KubernetesOnlineDeployment

Název Description Hodnota
endpointComputeType [Povinné] Typ výpočetních prostředků koncového bodu. Kubernetes (povinné)
containerResourceRequirements Požadavky na prostředky pro kontejner (procesor a paměť). ContainerResourceRequirements

ContainerResourceRequirements

Název Description Hodnota
containerResourceLimits Informace o limitu prostředků kontejneru: ContainerResourceSettings
containerResourceRequests Informace o žádostech o prostředek kontejneru: ContainerResourceSettings

ContainerResourceSettings

Název Description Hodnota
Cpu Počet požadavků nebo omezení počtu virtuálních procesorů pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
Gpu Počet žádostí/omezení počtu karet Nvidia GPU pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
paměť Požadavek/limit velikosti paměti pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
 řetězec

Nasazení ManagedOnlineDeployment

Název Description Hodnota
typcompute_koncového bodu [Povinné] Typ výpočetních prostředků koncového bodu. Spravované (povinné)

Skladová jednotka (SKU)

Název Description Hodnota
capacity Pokud skladová položka podporuje horizontální navýšení/snížení kapacity, mělo by být zahrnuto celé číslo kapacity. Pokud pro prostředek není možné škálovat na více nebo více instancí, může se to vynechat. int
family Pokud má služba různé generace hardwaru pro stejnou skladovou položku, můžete to tady zaznamenat. řetězec
name Název skladové položky. Příklad – P3. Obvykle se jedná o písmeno+číselný kód. string (povinné)
size Velikost skladové položky. Pokud je pole pro název kombinací vrstvy a nějaké jiné hodnoty, jedná se o samostatný kód. řetězec
tier Toto pole musí poskytovatel prostředků implementovat, pokud má služba více než jednu úroveň, ale nevyžaduje se u PUT. 'Základní'
'Zdarma'
Premium
'Standardní'

Definice prostředku Terraform (poskytovatel AzAPI)

Typ prostředku pracovní prostory/ online koncové body/nasazení je možné nasadit s operacemi, které cílí na:

  • Skupiny prostředků

Seznam změněných vlastností v jednotlivých verzích rozhraní API najdete v protokolu změn.

Formát prostředku

Pokud chcete vytvořit prostředek Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, přidejte do šablony následující Terraform.

resource "azapi_resource" "symbolicname" {
  type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-06-01-preview"
  name = "string"
  location = "string"
  parent_id = "string"
  tags = {
    tagName1 = "tagValue1"
    tagName2 = "tagValue2"
  }
  identity {
    type = "string"
    identity_ids = []
  }
  body = jsonencode({
    properties = {
      appInsightsEnabled = bool
      codeConfiguration = {
        codeId = "string"
        scoringScript = "string"
      }
      dataCollector = {
        collections = {
          {customized property} = {
            clientId = "string"
            dataCollectionMode = "string"
            dataId = "string"
            samplingRate = int
          }
        }
        requestLogging = {
          captureHeaders = [
            "string"
          ]
        }
        rollingRate = "string"
      }
      description = "string"
      egressPublicNetworkAccess = "string"
      environmentId = "string"
      environmentVariables = {
        {customized property} = "string"
        {customized property} = "string"
      }
      instanceType = "string"
      livenessProbe = {
        failureThreshold = int
        initialDelay = "string"
        period = "string"
        successThreshold = int
        timeout = "string"
      }
      model = "string"
      modelMountPath = "string"
      properties = {
        {customized property} = "string"
        {customized property} = "string"
      }
      readinessProbe = {
        failureThreshold = int
        initialDelay = "string"
        period = "string"
        successThreshold = int
        timeout = "string"
      }
      requestSettings = {
        maxConcurrentRequestsPerInstance = int
        maxQueueWait = "string"
        requestTimeout = "string"
      }
      scaleSettings = {
        scaleType = "string"
        // For remaining properties, see OnlineScaleSettings objects
      }
      endpointComputeType = "string"
      // For remaining properties, see OnlineDeploymentProperties objects
    }
    sku = {
      capacity = int
      family = "string"
      name = "string"
      size = "string"
      tier = "string"
    }
    kind = "string"
  })
}

Objekty OnlineDeploymentProperties

Nastavením vlastnosti endpointComputeType zadejte typ objektu.

Pro Kubernetes použijte:

  endpointComputeType = "Kubernetes"
  containerResourceRequirements = {
    containerResourceLimits = {
      cpu = "string"
      gpu = "string"
      memory = "string"
    }
    containerResourceRequests = {
      cpu = "string"
      gpu = "string"
      memory = "string"
    }
  }

V případě spravovaného použijte:

  endpointComputeType = "Managed"

Objekty OnlineScaleSettings

Nastavte vlastnost scaleType a určete typ objektu.

Jako Výchozí použijte:

  scaleType = "Default"

V části TargetUtilization (Využití cíle) použijte:

  scaleType = "TargetUtilization"
  maxInstances = int
  minInstances = int
  pollingInterval = "string"
  targetUtilizationPercentage = int

Hodnoty vlastností

pracovní prostory/online koncové body/nasazení

Název Description Hodnota
typ Typ prostředku Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-06-01-preview
name Název prostředku string (povinné)
location Geografické umístění, kde se prostředek nachází string (povinné)
parent_id ID prostředku, který je nadřazený pro tento prostředek. ID prostředku typu: onlineEndpoints
tags Značky prostředků. Slovník názvů a hodnot značek.
Sku Podrobnosti o SKU vyžadované pro kontrakt ARM pro automatické škálování Sku
Druhu Metadata používaná portálem, nástroji atd. k vykreslení různých prostředí uživatelského prostředí pro prostředky stejného typu. řetězec
identity Identita spravované služby (identity přiřazené systémem nebo uživatelem) Identita spravované služby
properties [Povinné] Další atributy entity OnlineDeploymentProperties (povinné)

Identita spravované služby

Název Description Hodnota
typ Typ identity spravované služby (kde jsou povolené typy SystemAssigned i UserAssigned) "SystemAssigned"
"SystemAssigned,UserAssigned"
"UserAssigned" (povinné)
identity_ids Sada identit přiřazených uživatelem přidružených k prostředku. Klíče slovníku userAssignedIdentities budou ID prostředků ARM ve formátu /subscriptions/{subscriptionId}/resourceGroups/{název_skupiny_prostředků}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Hodnoty slovníku můžou být prázdné objekty ({}) v požadavcích. Pole ID identit uživatelů

UserAssignedIdentity

Název Description Hodnota
{přizpůsobená vlastnost} UserAssignedIdentity

UserAssignedIdentity

Tento objekt neobsahuje žádné vlastnosti, které by se nastavily během nasazování. Všechny vlastnosti jsou Jen pro čtení.

OnlineDeploymentProperties

Název Description Hodnota
appInsightsEnabled Pokud ano, povolí protokolování Application Insights. bool
codeConfiguration Konfigurace kódu pro nasazení koncového bodu Konfigurace kódu
dataCollector V konfiguraci mdc zakážeme mdc, když má hodnotu null. DataCollector
description Popis nasazení koncového bodu řetězec
egressPublicNetworkAccess Pokud je povoleno, povolte přístup k veřejné síti výchozího přenosu dat. Pokud je zakázáno, vytvoří se zabezpečený výchozí přenos dat. Výchozí: Povoleno. "Zakázáno"
"Povoleno"
environmentId ID prostředku ARM specifikace prostředí pro nasazení koncového bodu řetězec
environmentVariables Konfigurace proměnných prostředí pro nasazení EndpointDeploymentPropertiesBaseEnvironmentVariables
instanceType Typ výpočetní instance. řetězec
živostProbe Sonda živosti pravidelně monitoruje stav kontejneru. ProbeSettings
model Cesta identifikátoru URI k modelu. řetězec
modelMountPath Cesta k připojení modelu do vlastního kontejneru řetězec
properties Slovník vlastností. Vlastnosti je možné přidat, ale ne odebrat ani změnit. EndpointDeploymentPropertiesBaseVlastnosti
připravenostProbe Sonda připravenosti ověří, jestli je kontejner připravený pro obsluhu provozu. Vlastnosti a výchozí hodnoty jsou stejné jako u sondy živosti. ProbeSettings
requestSettings Nastavení požadavku pro nasazení OnlineRequestSettings
scaleSettings Nastavení škálování pro nasazení
Pokud je hodnota null nebo není zadá,
Výchozí hodnota je TargetUtilizationScaleSettings pro KubernetesOnlineDeployment.
a na DefaultScaleSettings pro ManagedOnlineDeployment.
 OnlineScaleSettings
endpointComputeType Nastavení typu objektu Kubernetes
Spravované (povinné)

Konfigurace kódu

Název Description Hodnota
id kódu ID prostředku ARM pro prostředek kódu. řetězec
scoringScript [Povinné] Skript, který se má spustit při spuštění. např. "score.py" string (povinné)

Omezení:
Minimální délka = 1
Pattern = [a-zA-Z0-9_]

DataCollector

Název Description Hodnota
Sbírky [Povinné] Konfigurace kolekce. Každá kolekce má vlastní konfiguraci pro shromažďování dat modelu a název kolekce může být libovolný řetězec.
Kolektor dat modelu se dá použít buď pro protokolování datové části, nebo pro vlastní protokolování, nebo pro obojí. Požadavky a odpovědi na kolekci jsou vyhrazené pro protokolování datové části, jiné pro vlastní protokolování.		 DataCollectorCollections (povinné)
requestLogging Konfigurace protokolování požadavků pro mdc zahrnuje upřesňující nastavení protokolování pro všechny kolekce. Zpráva není povinná. Protokolování požadavků
rollingRate Když se data modelu shromažďují do úložiště objektů blob, musíme je vrátit do jiné cesty, abychom se vyhnuli protokolování všech dat v jednom souboru objektu blob.
Pokud je sazba hodina, budou všechna data shromažďována v cestě k objektu blob /yyyy/MM/dd/HH/.
Pokud je den, budou všechna data shromažďována v cestě k objektu blob /yyyy/MM/dd/.
Další výhodou postupného sledování je, že uživatelské rozhraní monitorování modelů dokáže velmi rychle vybrat časový rozsah dat.
 "Den"
"Hodina"
"Minuta"
"Month"
"Year"

DataCollectorCollections

Název Description Hodnota
{přizpůsobená vlastnost} Kolekce

Kolekce

Název Description Hodnota
clientId ID klienta MSI použité ke shromažďování protokolování do úložiště objektů blob. Pokud má hodnotu null, back-end vybere pro ověření identitu registrovaného koncového bodu. řetězec
dataCollectionMode Povolte nebo zakažte shromažďování dat. "Zakázáno"
"Povoleno"
id data ID prostředku ARM datového assetu. Na straně klienta se zajistí, že datový prostředek ukazuje na úložiště objektů blob a back-end bude shromažďovat data do úložiště objektů blob. řetězec
vzorkovací rychlost Vzorkovací frekvence pro kolekci. Vzorkovací frekvence 1.0 znamená, že ve výchozím nastavení shromažďujeme 100 % dat. int

Protokolování požadavků

Název Description Hodnota
captureHeaders Pro protokolování datové části shromažďujeme ve výchozím nastavení jenom datovou část. Pokud zákazníci chtějí také shromažďovat zadané hlavičky, mohou je nastavit v captureHeaders tak, aby back-end shromažďoval tyto hlavičky spolu s datovou částí. string[]

EndpointDeploymentPropertiesBaseEnvironmentVariables

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

ProbeSettings

Název Description Hodnota
failureThreshold Počet selhání, která se mají povolit před vrácením stavu, který není v pořádku. int
Initialdelay Zpoždění před první sondou ve formátu ISO 8601. řetězec
period Délka doby mezi sondami ve formátu ISO 8601. řetězec
successThreshold Počet úspěšných sond před vrácením stavu v pořádku. int
timeout Časový limit sondy ve formátu ISO 8601 řetězec

EndpointDeploymentPropertiesBaseVlastnosti

Název Description Hodnota
{přizpůsobená vlastnost} řetězec
{přizpůsobená vlastnost} řetězec

OnlineRequestSettings

Název Description Hodnota
maxConcurrentRequestsPerInstance Maximální povolený počet souběžných požadavků na jeden uzel na nasazení. Výchozí hodnota je 1. int
maxQueueWait Maximální doba, po kterou požadavek zůstane ve frontě ve formátu ISO 8601.
Výchozí hodnota je 500ms.		 řetězec
requestTimeout Časový limit bodování ve formátu ISO 8601
Výchozí hodnota je 5000ms.
 řetězec

OnlineScaleSettings

Název Description Hodnota
scaleType Nastavení typu objektu Default
TargetUtilization (povinné)

DefaultScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení "Výchozí" (povinné)

TargetUtilizationScaleSettings

Název Description Hodnota
scaleType [Povinné] Typ algoritmu škálování nasazení "TargetUtilization" (povinné)
maxInstances Maximální počet instancí, na které může nasazení škálovat. Kvóta bude vyhrazena pro max_instances. int
minInstances Minimální počet instancí, které se mají vždy vyskytovat. int
pollingInterval Interval dotazování ve formátu ISO 8691. Podporuje pouze dobu trvání s přesností na sekundy. řetězec
targetUtilizationPercentage Cílové využití procesoru pro automatické škálování int

KubernetesOnlineDeployment

Název Description Hodnota
endpointComputeType [Povinné] Typ výpočetních prostředků koncového bodu. Kubernetes (povinné)
containerResourceRequirements Požadavky na prostředky pro kontejner (procesor a paměť). ContainerResourceRequirements

ContainerResourceRequirements

Název Description Hodnota
containerResourceLimits Informace o limitu prostředků kontejneru: ContainerResourceSettings
containerResourceRequests Informace o žádostech o prostředek kontejneru: ContainerResourceSettings

ContainerResourceSettings

Název Description Hodnota
Cpu Počet požadavků nebo omezení počtu virtuálních procesorů pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
Gpu Počet žádostí/omezení počtu karet Nvidia GPU pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/		 řetězec
paměť Požadavek/limit velikosti paměti pro kontejner Další informace:
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
 řetězec

ManagedOnlineDeployment

Název Description Hodnota
endpointComputeType [Povinné] Typ výpočetních prostředků koncového bodu. "Spravované" (povinné)

Skladová jednotka (SKU)

Název Description Hodnota
capacity Pokud skladová položka podporuje horizontální navýšení/snížení kapacity, mělo by být zahrnuto celé číslo kapacity. Pokud u prostředku není možné provést horizontální navýšení nebo snížení kapacity, může být vynecháno. int
family Pokud má služba různé generace hardwaru, pro stejnou skladovou položku, můžete to tady zaznamenat. řetězec
name Název skladové položky. Příklad – P3. Obvykle se jedná o písmeno+číselný kód. string (povinné)
size Velikost skladové položky Pokud je pole název kombinací vrstvy a nějaké jiné hodnoty, bude to samostatný kód. řetězec
tier Toto pole musí poskytovatel prostředků implementovat, pokud má služba více než jednu úroveň, ale není vyžadováno u PUT. "Základní"
"Zdarma"
"Premium"
"Standardní"