Bagikan melalui


Online Deployments - List

Mencantumkan Penyebaran Titik Akhir Inferensi.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.MachineLearningServices/workspaces/{workspaceName}/onlineEndpoints/{endpointName}/deployments?api-version=2024-04-01
GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.MachineLearningServices/workspaces/{workspaceName}/onlineEndpoints/{endpointName}/deployments?api-version=2024-04-01&$orderBy={$orderBy}&$top={$top}&$skip={$skip}

Parameter URI

Nama Dalam Diperlukan Jenis Deskripsi
endpointName
path True

string

Nama titik akhir inferensi.

resourceGroupName
path True

string

Nama grup sumber daya. Nama tidak peka huruf besar/kecil.

subscriptionId
path True

string

ID langganan target.

workspaceName
path True

string

Nama ruang kerja Azure Machine Learning.

Pola regex: ^[a-zA-Z0-9][a-zA-Z0-9_-]{2,32}$

api-version
query True

string

Versi API yang digunakan untuk operasi ini.

$orderBy
query

string

Urutan daftar.

$skip
query

string

Token kelanjutan untuk pagination.

$top
query

integer

int32

Daftar teratas.

Respons

Nama Jenis Deskripsi
200 OK

OnlineDeploymentTrackedResourceArmPaginatedResult

Berhasil

Other Status Codes

ErrorResponse

Kesalahan

Contoh

List Online Deployments.

Permintaan sampel

GET https://management.azure.com/subscriptions/00000000-1111-2222-3333-444444444444/resourceGroups/test-rg/providers/Microsoft.MachineLearningServices/workspaces/my-aml-workspace/onlineEndpoints/testEndpointName/deployments?api-version=2024-04-01&$orderBy=string&$top=1

Respon sampel

{
  "value": [
    {
      "id": "string",
      "name": "string",
      "type": "string",
      "properties": {
        "description": "string",
        "properties": {
          "string": "string"
        },
        "codeConfiguration": {
          "codeId": "string",
          "scoringScript": "string"
        },
        "environmentId": "string",
        "environmentVariables": {
          "string": "string"
        },
        "scaleSettings": {
          "scaleType": "Default"
        },
        "requestSettings": {
          "maxQueueWait": "PT5M",
          "requestTimeout": "PT5M",
          "maxConcurrentRequestsPerInstance": 1
        },
        "modelMountPath": "string",
        "appInsightsEnabled": false,
        "livenessProbe": {
          "failureThreshold": 1,
          "successThreshold": 1,
          "timeout": "PT5M",
          "period": "PT5M",
          "initialDelay": "PT5M"
        },
        "provisioningState": "Creating",
        "instanceType": "string",
        "model": "string",
        "endpointComputeType": "Kubernetes",
        "containerResourceRequirements": {
          "containerResourceRequests": {
            "cpu": "\"1\"",
            "memory": "\"2Gi\"",
            "gpu": "\"1\""
          },
          "containerResourceLimits": {
            "cpu": "\"1\"",
            "memory": "\"2Gi\"",
            "gpu": "\"1\""
          }
        }
      },
      "systemData": {
        "createdAt": "2020-01-01T12:34:56.999Z",
        "createdBy": "string",
        "createdByType": "User",
        "lastModifiedAt": "2020-01-01T12:34:56.999Z",
        "lastModifiedBy": "string",
        "lastModifiedByType": "User"
      },
      "tags": {},
      "location": "string",
      "kind": "string",
      "identity": {
        "type": "SystemAssigned",
        "principalId": "00000000-1111-2222-3333-444444444444",
        "tenantId": "00000000-1111-2222-3333-444444444444",
        "userAssignedIdentities": {
          "string": {
            "principalId": "00000000-1111-2222-3333-444444444444",
            "clientId": "00000000-1111-2222-3333-444444444444"
          }
        }
      },
      "sku": {
        "name": "string",
        "tier": "Free",
        "size": "string",
        "family": "string",
        "capacity": 1
      }
    }
  ],
  "nextLink": "string"
}

Definisi

Nama Deskripsi
CodeConfiguration

Konfigurasi untuk aset kode penilaian.

Collection
ContainerResourceRequirements

Persyaratan sumber daya untuk setiap instans kontainer dalam penyebaran online.

ContainerResourceSettings
createdByType

Jenis identitas yang membuat sumber daya.

DataCollectionMode
DataCollector
DefaultScaleSettings
DeploymentProvisioningState

Nilai yang mungkin untuk DeploymentProvisioningState.

EgressPublicNetworkAccessType

Enum untuk menentukan apakah PublicNetworkAccess Diaktifkan atau Dinonaktifkan untuk keluarnya penyebaran.

EndpointComputeType

Enum untuk menentukan jenis komputasi titik akhir.

ErrorAdditionalInfo

Info tambahan kesalahan manajemen sumber daya.

ErrorDetail

Detail kesalahan.

ErrorResponse

Respons kesalahan

KubernetesOnlineDeployment

Properti khusus untuk KubernetesOnlineDeployment.

ManagedOnlineDeployment

Properti khusus untuk ManagedOnlineDeployment.

ManagedServiceIdentity

Identitas layanan terkelola (identitas yang ditetapkan sistem dan/atau pengguna)

ManagedServiceIdentityType

Jenis identitas layanan terkelola (di mana jenis SystemAssigned dan UserAssigned diizinkan).

OnlineDeploymentTrackedResource
OnlineDeploymentTrackedResourceArmPaginatedResult

Daftar entitas OnlineDeployment yang dipaginasi.

OnlineRequestSettings

Konfigurasi permintaan penilaian penyebaran online.

ProbeSettings

Konfigurasi pemeriksaan keaktifan/kesiapan kontainer penyebaran.

RequestLogging
RollingRateType
ScaleType
Sku

Definisi model sumber daya yang mewakili SKU

SkuTier

Bidang ini diperlukan untuk diimplementasikan oleh Penyedia Sumber Jika layanan memiliki lebih dari satu tingkat, tetapi tidak diperlukan pada PUT.

systemData

Metadata yang berkaitan dengan pembuatan dan modifikasi terakhir sumber daya.

TargetUtilizationScaleSettings
UserAssignedIdentity

Properti identitas yang ditetapkan pengguna

CodeConfiguration

Konfigurasi untuk aset kode penilaian.

Nama Jenis Deskripsi
codeId

string

ID sumber daya ARM dari aset kode.

scoringScript

string

[Diperlukan] Skrip yang akan dijalankan saat startup. misalnya. "score.py"

Collection

Nama Jenis Nilai default Deskripsi
clientId

string

Id klien msi digunakan untuk mengumpulkan pengelogan ke penyimpanan blob. Jika null, backend akan memilih identitas titik akhir terdaftar untuk autentikasi.

dataCollectionMode

DataCollectionMode

Disabled

Mengaktifkan atau menonaktifkan pengumpulan data.

dataId

string

Id sumber daya arm aset data. Sisi klien akan memastikan aset data menunjuk ke penyimpanan blob, dan backend akan mengumpulkan data ke penyimpanan blob.

samplingRate

number

1

Laju pengambilan sampel untuk pengumpulan. Laju pengambilan sampel 1,0 berarti kami mengumpulkan 100% data secara default.

ContainerResourceRequirements

Persyaratan sumber daya untuk setiap instans kontainer dalam penyebaran online.

Nama Jenis Deskripsi
containerResourceLimits

ContainerResourceSettings

Info batas sumber daya kontainer:

containerResourceRequests

ContainerResourceSettings

Info permintaan sumber daya kontainer:

ContainerResourceSettings

Nama Jenis Deskripsi
cpu

string

Jumlah permintaan/batas vCPU untuk kontainer. Info lebih lanjut: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

gpu

string

Jumlah permintaan/batas kartu GPU Nvidia untuk kontainer. Info lebih lanjut: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

memory

string

Permintaan/batas ukuran memori untuk kontainer. Info lebih lanjut: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/

createdByType

Jenis identitas yang membuat sumber daya.

Nama Jenis Deskripsi
Application

string

Key

string

ManagedIdentity

string

User

string

DataCollectionMode

Nama Jenis Deskripsi
Disabled

string

Enabled

string

DataCollector

Nama Jenis Nilai default Deskripsi
collections

<string,  Collection>

[Diperlukan] Konfigurasi koleksi. Setiap koleksi memiliki konfigurasinya sendiri untuk mengumpulkan data model dan nama koleksi dapat berupa string arbitrer. Pengumpul data model dapat digunakan untuk pengelogan payload atau pengelogan kustom atau keduanya. Permintaan dan respons pengumpulan dicadangkan untuk pengelogan payload, yang lain adalah untuk pengelogan kustom.

requestLogging

RequestLogging

Konfigurasi pengelogan permintaan untuk mdc, ini mencakup pengaturan pengelogan tingkat lanjut untuk semua koleksi. Ini opsional.

rollingRate

RollingRateType

Hour

Ketika data model dikumpulkan ke penyimpanan blob, kita perlu menggulung data ke jalur yang berbeda untuk menghindari pengelogan semuanya dalam satu file blob. Jika laju bergulir adalah jam, semua data akan dikumpulkan di jalur blob /yyyy/MM/dd/HH/. Jika hari ini, semua data akan dikumpulkan dalam jalur blob /yyyy/MM/dd/. Manfaat lain dari jalur bergulir adalah bahwa ui pemantauan model mampu memilih rentang waktu data dengan sangat cepat.

DefaultScaleSettings

Nama Jenis Deskripsi
scaleType string:

Default

[Diperlukan] Jenis algoritma penskalaan penyebaran

DeploymentProvisioningState

Nilai yang mungkin untuk DeploymentProvisioningState.

Nama Jenis Deskripsi
Canceled

string

Creating

string

Deleting

string

Failed

string

Scaling

string

Succeeded

string

Updating

string

EgressPublicNetworkAccessType

Enum untuk menentukan apakah PublicNetworkAccess Diaktifkan atau Dinonaktifkan untuk keluarnya penyebaran.

Nama Jenis Deskripsi
Disabled

string

Enabled

string

EndpointComputeType

Enum untuk menentukan jenis komputasi titik akhir.

Nama Jenis Deskripsi
AzureMLCompute

string

Kubernetes

string

Managed

string

ErrorAdditionalInfo

Info tambahan kesalahan manajemen sumber daya.

Nama Jenis Deskripsi
info

object

Info tambahan.

type

string

Jenis info tambahan.

ErrorDetail

Detail kesalahan.

Nama Jenis Deskripsi
additionalInfo

ErrorAdditionalInfo[]

Info tambahan kesalahan.

code

string

Kode kesalahan.

details

ErrorDetail[]

Detail kesalahan.

message

string

Pesan kesalahan.

target

string

Target kesalahan.

ErrorResponse

Respons kesalahan

Nama Jenis Deskripsi
error

ErrorDetail

Objek kesalahan.

KubernetesOnlineDeployment

Properti khusus untuk KubernetesOnlineDeployment.

Nama Jenis Nilai default Deskripsi
appInsightsEnabled

boolean

False

Jika true, mengaktifkan pengelogan Application Insights.

codeConfiguration

CodeConfiguration

Konfigurasi kode untuk penyebaran titik akhir.

containerResourceRequirements

ContainerResourceRequirements

Persyaratan sumber daya untuk kontainer (cpu dan memori).

dataCollector

DataCollector

Konfigurasi mdc, kami menonaktifkan mdc saat null.

description

string

Deskripsi penyebaran titik akhir.

egressPublicNetworkAccess

EgressPublicNetworkAccessType

Enabled

Jika Diaktifkan, izinkan akses jaringan publik keluar. Jika Dinonaktifkan, ini akan membuat jalan keluar yang aman. Default: Diaktifkan.

endpointComputeType string:

Kubernetes

[Diperlukan] Jenis komputasi titik akhir.

environmentId

string

ID sumber daya ARM atau AssetId spesifikasi lingkungan untuk penyebaran titik akhir.

environmentVariables

object

Konfigurasi variabel lingkungan untuk penyebaran.

instanceType

string

Jenis instans komputasi.

livenessProbe

ProbeSettings

Pemeriksaan keaktifan memantau kesehatan kontainer secara teratur.

model

string

Jalur URI ke model.

modelMountPath

string

Jalur untuk memasang model dalam kontainer kustom.

properties

object

Kamus properti. Properti dapat ditambahkan, tetapi tidak dihapus atau diubah.

provisioningState

DeploymentProvisioningState

Status penyediaan untuk penyebaran titik akhir.

readinessProbe

ProbeSettings

Pemeriksaan kesiapan memvalidasi jika kontainer siap melayani lalu lintas. Properti dan defaultnya sama dengan pemeriksaan keaktifan.

requestSettings

OnlineRequestSettings

Minta pengaturan untuk penyebaran.

scaleSettings OnlineScaleSettings:

Pengaturan skala untuk penyebaran. Jika null atau tidak disediakan, defaultnya adalah TargetUtilizationScaleSettings untuk KubernetesOnlineDeployment dan ke DefaultScaleSettings untuk ManagedOnlineDeployment.

ManagedOnlineDeployment

Properti khusus untuk ManagedOnlineDeployment.

Nama Jenis Nilai default Deskripsi
appInsightsEnabled

boolean

False

Jika true, mengaktifkan pengelogan Application Insights.

codeConfiguration

CodeConfiguration

Konfigurasi kode untuk penyebaran titik akhir.

dataCollector

DataCollector

Konfigurasi mdc, kami menonaktifkan mdc saat null.

description

string

Deskripsi penyebaran titik akhir.

egressPublicNetworkAccess

EgressPublicNetworkAccessType

Enabled

Jika Diaktifkan, izinkan akses jaringan publik keluar. Jika Dinonaktifkan, ini akan membuat jalan keluar yang aman. Default: Diaktifkan.

endpointComputeType string:

Managed

[Diperlukan] Jenis komputasi titik akhir.

environmentId

string

ID sumber daya ARM atau AssetId spesifikasi lingkungan untuk penyebaran titik akhir.

environmentVariables

object

Konfigurasi variabel lingkungan untuk penyebaran.

instanceType

string

Jenis instans komputasi.

livenessProbe

ProbeSettings

Pemeriksaan keaktifan memantau kesehatan kontainer secara teratur.

model

string

Jalur URI ke model.

modelMountPath

string

Jalur untuk memasang model dalam kontainer kustom.

properties

object

Kamus properti. Properti dapat ditambahkan, tetapi tidak dihapus atau diubah.

provisioningState

DeploymentProvisioningState

Status penyediaan untuk penyebaran titik akhir.

readinessProbe

ProbeSettings

Pemeriksaan kesiapan memvalidasi jika kontainer siap melayani lalu lintas. Properti dan defaultnya sama dengan pemeriksaan keaktifan.

requestSettings

OnlineRequestSettings

Minta pengaturan untuk penyebaran.

scaleSettings OnlineScaleSettings:

Pengaturan skala untuk penyebaran. Jika null atau tidak disediakan, defaultnya adalah TargetUtilizationScaleSettings untuk KubernetesOnlineDeployment dan ke DefaultScaleSettings untuk ManagedOnlineDeployment.

ManagedServiceIdentity

Identitas layanan terkelola (identitas yang ditetapkan sistem dan/atau pengguna)

Nama Jenis Deskripsi
principalId

string

ID perwakilan layanan dari identitas yang ditetapkan sistem. Properti ini hanya akan disediakan untuk identitas yang ditetapkan sistem.

tenantId

string

ID penyewa dari identitas yang ditetapkan sistem. Properti ini hanya akan disediakan untuk identitas yang ditetapkan sistem.

type

ManagedServiceIdentityType

Jenis identitas layanan terkelola (di mana jenis SystemAssigned dan UserAssigned diizinkan).

userAssignedIdentities

<string,  UserAssignedIdentity>

Identitas User-Assigned
Kumpulan identitas yang ditetapkan pengguna yang terkait dengan sumber daya. Kunci kamus userAssignedIdentities akan menjadi id sumber daya ARM dalam formulir: '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. Nilai kamus dapat berupa objek kosong ({}) dalam permintaan.

ManagedServiceIdentityType

Jenis identitas layanan terkelola (di mana jenis SystemAssigned dan UserAssigned diizinkan).

Nama Jenis Deskripsi
None

string

SystemAssigned

string

SystemAssigned,UserAssigned

string

UserAssigned

string

OnlineDeploymentTrackedResource

Nama Jenis Deskripsi
id

string

ID sumber daya yang sepenuhnya memenuhi syarat untuk sumber daya. Ex - /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/{resourceProviderNamespace}/{resourceType}/{resourceName}

identity

ManagedServiceIdentity

Identitas layanan terkelola (identitas yang ditetapkan sistem dan/atau pengguna)

kind

string

Metadata yang digunakan oleh portal/peralatan/dll untuk merender pengalaman UX yang berbeda untuk sumber daya dengan jenis yang sama.

location

string

Lokasi geografis tempat sumber daya berada

name

string

Nama sumber daya.

properties OnlineDeployment:

[Diperlukan] Atribut tambahan entitas.

sku

Sku

Detail Sku diperlukan untuk kontrak ARM untuk Autoscaling.

systemData

systemData

Metadata Azure Resource Manager yang berisi informasi createdBy dan modifiedBy.

tags

object

Tag sumber daya.

type

string

Jenis sumber daya. Misalnya, "Microsoft.Compute/virtualMachines" atau "Microsoft.Storage/storageAccounts"

OnlineDeploymentTrackedResourceArmPaginatedResult

Daftar entitas OnlineDeployment yang dipaginasi.

Nama Jenis Deskripsi
nextLink

string

Tautan ke halaman berikutnya dari objek OnlineDeployment. Jika null, tidak ada halaman tambahan.

value

OnlineDeploymentTrackedResource[]

Array objek jenis OnlineDeployment.

OnlineRequestSettings

Konfigurasi permintaan penilaian penyebaran online.

Nama Jenis Nilai default Deskripsi
maxConcurrentRequestsPerInstance

integer

1

Jumlah permintaan bersamaan maksimum per simpul yang diizinkan per penyebaran. Default ke 1.

maxQueueWait

string

PT0.5S

(Tidak digunakan lagi untuk Titik Akhir Online Terkelola) Jumlah maksimum waktu permintaan akan tetap dalam antrean dalam format ISO 8601. Default ke 500ms. (Sekarang tingkatkan request_timeout_ms untuk mempertanyakan penundaan jaringan/antrean)

requestTimeout

string

PT5S

Batas waktu penilaian dalam format ISO 8601. Default ke 5000ms.

ProbeSettings

Konfigurasi pemeriksaan keaktifan/kesiapan kontainer penyebaran.

Nama Jenis Nilai default Deskripsi
failureThreshold

integer

30

Jumlah kegagalan yang diizinkan sebelum mengembalikan status tidak sehat.

initialDelay

string

Penundaan sebelum pemeriksaan pertama dalam format ISO 8601.

period

string

PT10S

Lamanya waktu antara pemeriksaan dalam format ISO 8601.

successThreshold

integer

1

Jumlah pemeriksaan yang berhasil sebelum mengembalikan status sehat.

timeout

string

PT2S

Batas waktu pemeriksaan dalam format ISO 8601.

RequestLogging

Nama Jenis Deskripsi
captureHeaders

string[]

Untuk pengelogan payload, kami hanya mengumpulkan payload secara default. Jika pelanggan juga ingin mengumpulkan header yang ditentukan, mereka dapat mengaturnya di captureHeaders sehingga backend akan mengumpulkan header tersebut bersama dengan payload.

RollingRateType

Nama Jenis Deskripsi
Day

string

Hour

string

Minute

string

Month

string

Year

string

ScaleType

Nama Jenis Deskripsi
Default

string

TargetUtilization

string

Sku

Definisi model sumber daya yang mewakili SKU

Nama Jenis Deskripsi
capacity

integer

Jika SKU mendukung peluasan skala/masuk, bilangan bulat kapasitas harus disertakan. Jika peluasan/masuk skala tidak dimungkinkan untuk sumber daya, ini dapat dihilangkan.

family

string

Jika layanan memiliki generasi perangkat keras yang berbeda, untuk SKU yang sama, maka itu dapat ditangkap di sini.

name

string

Nama SKUnya. Ex - P3. Biasanya kode huruf+angka

size

string

Ukuran SKU. Ketika bidang nama adalah kombinasi tingkat dan beberapa nilai lainnya, ini akan menjadi kode mandiri.

tier

SkuTier

Bidang ini diperlukan untuk diimplementasikan oleh Penyedia Sumber Jika layanan memiliki lebih dari satu tingkat, tetapi tidak diperlukan pada PUT.

SkuTier

Bidang ini diperlukan untuk diimplementasikan oleh Penyedia Sumber Jika layanan memiliki lebih dari satu tingkat, tetapi tidak diperlukan pada PUT.

Nama Jenis Deskripsi
Basic

string

Free

string

Premium

string

Standard

string

systemData

Metadata yang berkaitan dengan pembuatan dan modifikasi terakhir sumber daya.

Nama Jenis Deskripsi
createdAt

string

Tanda waktu pembuatan sumber daya (UTC).

createdBy

string

Identitas yang membuat sumber daya.

createdByType

createdByType

Jenis identitas yang membuat sumber daya.

lastModifiedAt

string

Tanda waktu modifikasi terakhir sumber daya (UTC)

lastModifiedBy

string

Identitas yang terakhir memodifikasi sumber daya.

lastModifiedByType

createdByType

Jenis identitas yang terakhir mengubah sumber daya.

TargetUtilizationScaleSettings

Nama Jenis Nilai default Deskripsi
maxInstances

integer

1

Jumlah instans maksimum yang dapat diperluas skalanya oleh penyebaran. Kuota akan dicadangkan untuk max_instances.

minInstances

integer

1

Jumlah instans minimum untuk selalu ada.

pollingInterval

string

PT1S

Interval polling dalam format ISO 8691. Hanya mendukung durasi dengan presisi serendah Detik.

scaleType string:

TargetUtilization

[Diperlukan] Jenis algoritma penskalaan penyebaran

targetUtilizationPercentage

integer

70

Penggunaan CPU target untuk autoscaler.

UserAssignedIdentity

Properti identitas yang ditetapkan pengguna

Nama Jenis Deskripsi
clientId

string

ID klien dari identitas yang ditetapkan.

principalId

string

ID utama identitas yang ditetapkan.