Freigeben über


Online Deployments - List

Auflisten von Inferenzendpunktbereitstellungen.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.MachineLearningServices/workspaces/{workspaceName}/onlineEndpoints/{endpointName}/deployments?api-version=2024-04-01
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.MachineLearningServices/workspaces/{workspaceName}/onlineEndpoints/{endpointName}/deployments?api-version=2024-04-01&$orderBy={$orderBy}&$top={$top}&$skip={$skip}

URI-Parameter

Name In Erforderlich Typ Beschreibung
endpointName
path True

string

Name des Rückschlussendpunkts.

resourceGroupName
path True

string

Der Name der Ressourcengruppe. Für den Namen wird die Groß-/Kleinschreibung nicht beachtet.

subscriptionId
path True

string

Hierbei handelt es sich um die ID des Zielabonnements.

workspaceName
path True

string

Name des Azure Machine Learning-Arbeitsbereichs.

RegEx-Muster: ^[a-zA-Z0-9][a-zA-Z0-9_-]{2,32}$

api-version
query True

string

Hierbei handelt es sich um die für diesen Vorgang zu verwendende API-Version.

$orderBy
query

string

Reihenfolge der Liste.

$skip
query

string

Fortsetzungstoken für Paginierung.

$top
query

integer

int32

Oben in der Liste.

Antworten

Name Typ Beschreibung
200 OK

OnlineDeploymentTrackedResourceArmPaginatedResult

Erfolg

Other Status Codes

ErrorResponse

Fehler

Beispiele

List Online Deployments.

Beispielanforderung

GET https://management.azure.com/subscriptions/00000000-1111-2222-3333-444444444444/resourceGroups/test-rg/providers/Microsoft.MachineLearningServices/workspaces/my-aml-workspace/onlineEndpoints/testEndpointName/deployments?api-version=2024-04-01&$orderBy=string&$top=1

Beispiel für eine Antwort

{
  "value": [
    {
      "id": "string",
      "name": "string",
      "type": "string",
      "properties": {
        "description": "string",
        "properties": {
          "string": "string"
        },
        "codeConfiguration": {
          "codeId": "string",
          "scoringScript": "string"
        },
        "environmentId": "string",
        "environmentVariables": {
          "string": "string"
        },
        "scaleSettings": {
          "scaleType": "Default"
        },
        "requestSettings": {
          "maxQueueWait": "PT5M",
          "requestTimeout": "PT5M",
          "maxConcurrentRequestsPerInstance": 1
        },
        "modelMountPath": "string",
        "appInsightsEnabled": false,
        "livenessProbe": {
          "failureThreshold": 1,
          "successThreshold": 1,
          "timeout": "PT5M",
          "period": "PT5M",
          "initialDelay": "PT5M"
        },
        "provisioningState": "Creating",
        "instanceType": "string",
        "model": "string",
        "endpointComputeType": "Kubernetes",
        "containerResourceRequirements": {
          "containerResourceRequests": {
            "cpu": "\"1\"",
            "memory": "\"2Gi\"",
            "gpu": "\"1\""
          },
          "containerResourceLimits": {
            "cpu": "\"1\"",
            "memory": "\"2Gi\"",
            "gpu": "\"1\""
          }
        }
      },
      "systemData": {
        "createdAt": "2020-01-01T12:34:56.999Z",
        "createdBy": "string",
        "createdByType": "User",
        "lastModifiedAt": "2020-01-01T12:34:56.999Z",
        "lastModifiedBy": "string",
        "lastModifiedByType": "User"
      },
      "tags": {},
      "location": "string",
      "kind": "string",
      "identity": {
        "type": "SystemAssigned",
        "principalId": "00000000-1111-2222-3333-444444444444",
        "tenantId": "00000000-1111-2222-3333-444444444444",
        "userAssignedIdentities": {
          "string": {
            "principalId": "00000000-1111-2222-3333-444444444444",
            "clientId": "00000000-1111-2222-3333-444444444444"
          }
        }
      },
      "sku": {
        "name": "string",
        "tier": "Free",
        "size": "string",
        "family": "string",
        "capacity": 1
      }
    }
  ],
  "nextLink": "string"
}

Definitionen

Name Beschreibung
CodeConfiguration

Konfiguration für ein Bewertungscodeobjekt.

Collection
ContainerResourceRequirements

Ressourcenanforderungen für jeden Container instance innerhalb einer Onlinebereitstellung.

ContainerResourceSettings
createdByType

Der Identitätstyp, der die Ressource erstellt hat.

DataCollectionMode
DataCollector
DefaultScaleSettings
DeploymentProvisioningState

Mögliche Werte für DeploymentProvisioningState.

EgressPublicNetworkAccessType

Enumeration, um zu bestimmen, ob PublicNetworkAccess für den Ausgehenden Ausgang einer Bereitstellung aktiviert oder deaktiviert ist.

EndpointComputeType

Enumeration zum Bestimmen des Endpunktcomputetyps.

ErrorAdditionalInfo

Zusätzliche Informationen zum Ressourcenverwaltungsfehler.

ErrorDetail

Die Fehlerdetails.

ErrorResponse

Fehlerantwort

KubernetesOnlineDeployment

Spezifische Eigenschaften für ein KubernetesOnlineDeployment.

ManagedOnlineDeployment

Spezifische Eigenschaften für eine ManagedOnlineDeployment-Instanz.

ManagedServiceIdentity

Verwaltete Dienstidentität (systemseitig zugewiesene und/oder benutzerseitig zugewiesene Identitäten)

ManagedServiceIdentityType

Typ der verwalteten Dienstidentität (wobei sowohl systemAssigned- als auch UserAssigned-Typen zulässig sind).

OnlineDeploymentTrackedResource
OnlineDeploymentTrackedResourceArmPaginatedResult

Eine paginierte Liste von OnlineDeployment-Entitäten.

OnlineRequestSettings

Konfiguration von Onlinebereitstellungsbewertungsanforderungen.

ProbeSettings

Konfiguration des Testtests für Bereitstellungscontainer

RequestLogging
RollingRateType
ScaleType
Sku

Die Ressourcenmodelldefinition, die die SKU darstellt

SkuTier

Dieses Feld muss vom Ressourcenanbieter implementiert werden, wenn der Dienst über mehrere Ebenen verfügt, aber für einen PUT nicht erforderlich ist.

systemData

Metadaten, die sich auf die Erstellung und letzte Änderung der Ressource beziehen.

TargetUtilizationScaleSettings
UserAssignedIdentity

Benutzerseitig zugewiesene Identitätseigenschaften

CodeConfiguration

Konfiguration für ein Bewertungscodeobjekt.

Name Typ Beschreibung
codeId

string

ARM-Ressourcen-ID des Codeobjekts.

scoringScript

string

[Erforderlich] Das Skript, das beim Start ausgeführt werden soll. Beispiel: "score.py"

Collection

Name Typ Standardwert Beschreibung
clientId

string

Die MSI-Client-ID, die zum Sammeln der Protokollierung im Blobspeicher verwendet wird. Wenn der Wert NULL ist, wählt das Back-End eine registrierte Endpunktidentität für die Authentifizierung aus.

dataCollectionMode

DataCollectionMode

Disabled

Aktivieren oder Deaktivieren der Datensammlung.

dataId

string

Die Ressourcen-ID des Datenressourcenobjekts. Auf der Clientseite wird sichergestellt, dass das Datenobjekt auf den Blobspeicher verweist, und das Back-End sammelt Daten im Blobspeicher.

samplingRate

number

1

Die Samplingrate für die Sammlung. Abtastrate 1,0 bedeutet, dass wir standardmäßig 100 % der Daten sammeln.

ContainerResourceRequirements

Ressourcenanforderungen für jeden Container instance innerhalb einer Onlinebereitstellung.

Name Typ Beschreibung
containerResourceLimits

ContainerResourceSettings

Informationen zum Grenzwert für Containerressourcen:

containerResourceRequests

ContainerResourceSettings

Informationen zur Containerressourcenanforderung:

ContainerResourceSettings

Name Typ Beschreibung
cpu

string

Anzahl von vCPUs-Anforderungen/-Grenzwert für Container. Weitere Informationen: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

gpu

string

Anzahl der Nvidia-GPU-Kartenanforderungen/-limit für Container. Weitere Informationen: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

memory

string

Anforderung/Grenzwert der Arbeitsspeichergröße für Container. Weitere Informationen: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

createdByType

Der Identitätstyp, der die Ressource erstellt hat.

Name Typ Beschreibung
Application

string

Key

string

ManagedIdentity

string

User

string

DataCollectionMode

Name Typ Beschreibung
Disabled

string

Enabled

string

DataCollector

Name Typ Standardwert Beschreibung
collections

<string,  Collection>

[Erforderlich] Die Sammlungskonfiguration. Jede Sammlung verfügt über eine eigene Konfiguration zum Sammeln von Modelldaten, und der Name der Sammlung kann eine beliebige Zeichenfolge sein. Der Modelldatensammler kann entweder für die Nutzlastprotokollierung oder für die benutzerdefinierte Protokollierung oder beides verwendet werden. Sammlungsanforderung und -antwort sind für die Nutzlastprotokollierung reserviert, andere für die benutzerdefinierte Protokollierung.

requestLogging

RequestLogging

Die Konfiguration der Anforderungsprotokollierung für mdc enthält erweiterte Protokollierungseinstellungen für alle Sammlungen. Dies ist optional.

rollingRate

RollingRateType

Hour

Wenn Modelldaten im Blobspeicher erfasst werden, müssen wir die Daten in einen anderen Pfad rollieren, um zu vermeiden, dass sie alle in einer einzelnen Blobdatei protokolliert werden. Wenn die rollierende Rate Stunde ist, werden alle Daten im Blobpfad /yyyy/MM/tt/HH/ erfasst. Wenn es Tag ist, werden alle Daten im Blobpfad /yyyy/MM/tt/ gesammelt. Der andere Vorteil des rollierenden Pfads besteht darin, dass die Benutzeroberfläche für die Modellüberwachung in der Lage ist, einen Zeitbereich von Daten sehr schnell auszuwählen.

DefaultScaleSettings

Name Typ Beschreibung
scaleType string:

Default

[Erforderlich] Art des Bereitstellungsskalierungsalgorithmus

DeploymentProvisioningState

Mögliche Werte für DeploymentProvisioningState.

Name Typ Beschreibung
Canceled

string

Creating

string

Deleting

string

Failed

string

Scaling

string

Succeeded

string

Updating

string

EgressPublicNetworkAccessType

Enumeration, um zu bestimmen, ob PublicNetworkAccess für den Ausgehenden Ausgang einer Bereitstellung aktiviert oder deaktiviert ist.

Name Typ Beschreibung
Disabled

string

Enabled

string

EndpointComputeType

Enumeration zum Bestimmen des Endpunktcomputetyps.

Name Typ Beschreibung
AzureMLCompute

string

Kubernetes

string

Managed

string

ErrorAdditionalInfo

Zusätzliche Informationen zum Ressourcenverwaltungsfehler.

Name Typ Beschreibung
info

object

Zusätzliche Informationen.

type

string

Typ der zusätzlichen Informationen.

ErrorDetail

Die Fehlerdetails.

Name Typ Beschreibung
additionalInfo

ErrorAdditionalInfo[]

Die zusätzlichen Fehlerinformationen.

code

string

Der Fehlercode.

details

ErrorDetail[]

Die Fehlerdetails.

message

string

Die Fehlermeldung.

target

string

Das Fehlerziel.

ErrorResponse

Fehlerantwort

Name Typ Beschreibung
error

ErrorDetail

Das Fehlerobjekt.

KubernetesOnlineDeployment

Spezifische Eigenschaften für ein KubernetesOnlineDeployment.

Name Typ Standardwert Beschreibung
appInsightsEnabled

boolean

False

Wenn true, aktiviert Die Application Insights-Protokollierung.

codeConfiguration

CodeConfiguration

Codekonfiguration für die Endpunktbereitstellung.

containerResourceRequirements

ContainerResourceRequirements

Die Ressourcenanforderungen für den Container (CPU und Arbeitsspeicher).

dataCollector

DataCollector

Die mdc-Konfiguration wird deaktiviert, wenn es NULL ist.

description

string

Beschreibung der Endpunktbereitstellung.

egressPublicNetworkAccess

EgressPublicNetworkAccessType

Enabled

Wenn aktiviert, erlauben Sie den Zugriff auf ausgehende öffentliche Netzwerke. Wenn deaktiviert, wird ein sicherer Ausgehender Wert erstellt. Standard: Aktiviert.

endpointComputeType string:

Kubernetes

[Erforderlich] Der Computetyp des Endpunkts.

environmentId

string

ARM-Ressourcen-ID oder AssetId der Umgebungsspezifikation für die Endpunktbereitstellung.

environmentVariables

object

Umgebungsvariablenkonfiguration für die Bereitstellung.

instanceType

string

Computetyp instance.

livenessProbe

ProbeSettings

Der Livetest überwacht regelmäßig die Integrität des Containers.

model

string

Der URI-Pfad zum Modell.

modelMountPath

string

Der Pfad zum Einbinden des Modells in einen benutzerdefinierten Container.

properties

object

Eigenschaftenwörterbuch. Eigenschaften können hinzugefügt, aber nicht entfernt oder geändert werden.

provisioningState

DeploymentProvisioningState

Bereitstellungsstatus für die Endpunktbereitstellung.

readinessProbe

ProbeSettings

Der Bereitschaftstest überprüft, ob der Container bereit ist, Datenverkehr auszuliefern. Die Eigenschaften und Standardwerte sind identisch mit dem Livetest.

requestSettings

OnlineRequestSettings

Anforderungseinstellungen für die Bereitstellung.

scaleSettings OnlineScaleSettings:

Skalierungseinstellungen für die Bereitstellung. Wenn null oder nicht angegeben ist, wird standardmäßig TargetUtilizationScaleSettings für KubernetesOnlineDeployment und DefaultScaleSettings für ManagedOnlineDeployment verwendet.

ManagedOnlineDeployment

Spezifische Eigenschaften für eine ManagedOnlineDeployment-Instanz.

Name Typ Standardwert Beschreibung
appInsightsEnabled

boolean

False

Wenn true, aktiviert Die Application Insights-Protokollierung.

codeConfiguration

CodeConfiguration

Codekonfiguration für die Endpunktbereitstellung.

dataCollector

DataCollector

Die mdc-Konfiguration wird deaktiviert, wenn es NULL ist.

description

string

Beschreibung der Endpunktbereitstellung.

egressPublicNetworkAccess

EgressPublicNetworkAccessType

Enabled

Wenn aktiviert, erlauben Sie den Zugriff auf ausgehende öffentliche Netzwerke. Wenn deaktiviert, wird ein sicherer Ausgehender Wert erstellt. Standard: Aktiviert.

endpointComputeType string:

Managed

[Erforderlich] Der Computetyp des Endpunkts.

environmentId

string

ARM-Ressourcen-ID oder AssetId der Umgebungsspezifikation für die Endpunktbereitstellung.

environmentVariables

object

Konfiguration von Umgebungsvariablen für die Bereitstellung.

instanceType

string

Computetyp instance.

livenessProbe

ProbeSettings

Der Livetest überwacht regelmäßig die Integrität des Containers.

model

string

Der URI-Pfad zum Modell.

modelMountPath

string

Der Pfad zum Einbinden des Modells in einen benutzerdefinierten Container.

properties

object

Eigenschaftenwörterbuch. Eigenschaften können hinzugefügt, aber nicht entfernt oder geändert werden.

provisioningState

DeploymentProvisioningState

Bereitstellungsstatus für die Endpunktbereitstellung.

readinessProbe

ProbeSettings

Der Bereitschaftstest überprüft, ob der Container bereit ist, Datenverkehr auszuliefern. Die Eigenschaften und Standardwerte sind identisch mit dem Livetest.

requestSettings

OnlineRequestSettings

Anforderungseinstellungen für die Bereitstellung.

scaleSettings OnlineScaleSettings:

Skalierungseinstellungen für die Bereitstellung. Wenn null oder nicht angegeben ist, wird standardmäßig TargetUtilizationScaleSettings für KubernetesOnlineDeployment und DefaultScaleSettings für ManagedOnlineDeployment verwendet.

ManagedServiceIdentity

Verwaltete Dienstidentität (systemseitig zugewiesene und/oder benutzerseitig zugewiesene Identitäten)

Name Typ Beschreibung
principalId

string

Die Dienstprinzipal-ID der systemseitig zugewiesenen Identität. Diese Eigenschaft wird nur für eine systemseitig zugewiesene Identität bereitgestellt.

tenantId

string

Die Mandanten-ID der systemseitig zugewiesenen Identität. Diese Eigenschaft wird nur für eine systemseitig zugewiesene Identität bereitgestellt.

type

ManagedServiceIdentityType

Typ der verwalteten Dienstidentität (wobei sowohl systemAssigned- als auch UserAssigned-Typen zulässig sind).

userAssignedIdentities

<string,  UserAssignedIdentity>

User-Assigned Identitäten
Die Gruppe der benutzerseitig zugewiesenen Identitäten, die der Ressource zugeordnet sind. Bei den UserAssignedIdentities-Wörterbuchschlüsseln handelt es sich um ARM-Ressourcen-IDs in der Form : '/subscriptions/{subscriptionId}/resourceGroupGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Die Wörterbuchwerte können leere Objekte ({}) in Anforderungen sein.

ManagedServiceIdentityType

Typ der verwalteten Dienstidentität (wobei sowohl systemAssigned- als auch UserAssigned-Typen zulässig sind).

Name Typ Beschreibung
None

string

SystemAssigned

string

SystemAssigned,UserAssigned

string

UserAssigned

string

OnlineDeploymentTrackedResource

Name Typ Beschreibung
id

string

Vollqualifizierte Ressourcen-ID für die Ressource. Beispiel: /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/{resourceProviderNamespace}/{resourceType}/{resourceName}

identity

ManagedServiceIdentity

Verwaltete Dienstidentität (systemseitig zugewiesene und/oder benutzerseitig zugewiesene Identitäten)

kind

string

Metadaten, die vom Portal/Tooling/etc verwendet werden, um unterschiedliche UX-Erfahrungen für Ressourcen desselben Typs zu rendern.

location

string

Der geografische Standort, an dem sich die Ressource befindet

name

string

Der Name der Ressource

properties OnlineDeployment:

[Erforderlich] Zusätzliche Attribute der Entität.

sku

Sku

SKU-Details, die für den ARM-Vertrag für die automatische Skalierung erforderlich sind.

systemData

systemData

Azure Resource Manager-Metadaten mit createdBy- und modifiedBy-Informationen.

tags

object

Ressourcentags.

type

string

Der Typ der Ressource. Z. B. "Microsoft.Compute/virtualMachines" oder "Microsoft.Storage/storageAccounts"

OnlineDeploymentTrackedResourceArmPaginatedResult

Eine paginierte Liste von OnlineDeployment-Entitäten.

Name Typ Beschreibung
nextLink

string

Der Link zur nächsten Seite von OnlineDeployment-Objekten. Wenn null, gibt es keine zusätzlichen Seiten.

value

OnlineDeploymentTrackedResource[]

Ein Array von Objekten vom Typ OnlineDeployment.

OnlineRequestSettings

Konfiguration von Onlinebereitstellungsbewertungsanforderungen.

Name Typ Standardwert Beschreibung
maxConcurrentRequestsPerInstance

integer

1

Die Anzahl der maximal zulässigen gleichzeitigen Anforderungen pro Knoten pro Bereitstellung Der Standardwert lautet 1.

maxQueueWait

string

PT0.5S

(Veraltet für verwaltete Onlineendpunkte) Die maximale Zeitspanne, die eine Anforderung im ISO 8601-Format in der Warteschlange verbleibt. Der Standardwert ist 500 ms. (Jetzt erhöhen request_timeout_ms , um netzwerk-/warteschlangenverzögerte Verzögerungen zu berücksichtigen)

requestTimeout

string

PT5S

Das Bewertungstimeout im ISO 8601-Format. Der Standardwert ist 5000 ms.

ProbeSettings

Konfiguration des Testtests für Bereitstellungscontainer

Name Typ Standardwert Beschreibung
failureThreshold

integer

30

Die Anzahl der Fehler, die vor der Rückgabe eines fehlerhaften status zugelassen werden sollen.

initialDelay

string

Die Verzögerung vor dem ersten Test im ISO 8601-Format.

period

string

PT10S

Die Zeitdauer zwischen Tests im ISO 8601-Format.

successThreshold

integer

1

Die Anzahl der erfolgreichen Tests, bevor eine fehlerfreie status zurückgegeben wird.

timeout

string

PT2S

Das Testtimeout im ISO 8601-Format.

RequestLogging

Name Typ Beschreibung
captureHeaders

string[]

Für die Nutzlastprotokollierung erfassen wir standardmäßig nur Nutzlast. Wenn Kunden auch die angegebenen Header erfassen möchten, können sie sie in captureHeaders festlegen, sodass das Back-End diese Header zusammen mit der Nutzlast sammelt.

RollingRateType

Name Typ Beschreibung
Day

string

Hour

string

Minute

string

Month

string

Year

string

ScaleType

Name Typ Beschreibung
Default

string

TargetUtilization

string

Sku

Die Ressourcenmodelldefinition, die die SKU darstellt

Name Typ Beschreibung
capacity

integer

Wenn die SKU das Horizontal-/Einskalieren unterstützt, sollte die ganze Kapazität enthalten sein. Wenn das Horizontal-/Einskalieren für die Ressource nicht möglich ist, wird dies möglicherweise weggelassen.

family

string

Wenn der Dienst über unterschiedliche Hardwaregenerationen für dieselbe SKU verfügt, kann dies hier erfasst werden.

name

string

Der Name der SKU. Beispiel: P3. Es handelt sich in der Regel um einen Buchstaben+Zahlencode.

size

string

Die SKU-Größe. Wenn das Feld name die Kombination aus Ebene und einem anderen Wert ist, ist dies der eigenständige Code.

tier

SkuTier

Dieses Feld muss vom Ressourcenanbieter implementiert werden, wenn der Dienst über mehrere Ebenen verfügt, aber für einen PUT nicht erforderlich ist.

SkuTier

Dieses Feld muss vom Ressourcenanbieter implementiert werden, wenn der Dienst über mehrere Ebenen verfügt, aber für einen PUT nicht erforderlich ist.

Name Typ Beschreibung
Basic

string

Free

string

Premium

string

Standard

string

systemData

Metadaten, die sich auf die Erstellung und letzte Änderung der Ressource beziehen.

Name Typ Beschreibung
createdAt

string

Der Zeitstempel der Ressourcenerstellung (UTC).

createdBy

string

Die Identität, die die Ressource erstellt hat.

createdByType

createdByType

Der Identitätstyp, der die Ressource erstellt hat.

lastModifiedAt

string

Der Zeitstempel der letzten Änderung der Ressource (UTC)

lastModifiedBy

string

Die Identität, die die Ressource zuletzt geändert hat.

lastModifiedByType

createdByType

Der Identitätstyp, der die Ressource zuletzt geändert hat.

TargetUtilizationScaleSettings

Name Typ Standardwert Beschreibung
maxInstances

integer

1

Die maximale Anzahl der Instanzen, auf die die Bereitstellung skaliert werden kann Das Kontingent wird für max_instances reserviert.

minInstances

integer

1

Die Mindestanzahl von Instanzen, die immer vorhanden sein sollen

pollingInterval

string

PT1S

Das Abrufintervall im ISO 8691-Format. Unterstützt nur die Dauer mit einer Genauigkeit von nur Sekunden.

scaleType string:

TargetUtilization

[Erforderlich] Art des Bereitstellungsskalierungsalgorithmus

targetUtilizationPercentage

integer

70

Ziel-CPU-Auslastung für die automatische Skalierung.

UserAssignedIdentity

Benutzerseitig zugewiesene Identitätseigenschaften

Name Typ Beschreibung
clientId

string

Die Client-ID der zugewiesenen Identität.

principalId

string

Die Prinzipal-ID der zugewiesenen Identität.