Aree di lavoro Microsoft.MachineLearningServices/onlineEndpoints/deployments 2023-04-01-preview
Definizione di risorsa Bicep
Il tipo di risorsa workspaces/onlineEndpoints/deployments può essere distribuito con operazioni destinate a:
Per un elenco delle proprietà modificate in ogni versione dell'API, vedere log delle modifiche.
Formato risorsa
Per creare una risorsa Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, aggiungere il bicep seguente al modello.
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-04-01-preview' = {
name: 'string'
location: 'string'
tags: {
tagName1: 'tagValue1'
tagName2: 'tagValue2'
}
sku: {
capacity: int
family: 'string'
name: 'string'
size: 'string'
tier: 'string'
}
kind: 'string'
parent: resourceSymbolicName
identity: {
type: 'string'
userAssignedIdentities: {
{customized property}: {}
}
}
properties: {
appInsightsEnabled: bool
codeConfiguration: {
codeId: 'string'
scoringScript: 'string'
}
dataCollector: {
collections: {
{customized property}: {
clientId: 'string'
dataCollectionMode: 'string'
dataId: 'string'
samplingRate: int
}
}
requestLogging: {
captureHeaders: [
'string'
]
}
rollingRate: 'string'
}
description: 'string'
egressPublicNetworkAccess: 'string'
environmentId: 'string'
environmentVariables: {
{customized property}: 'string'
}
instanceType: 'string'
livenessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
model: 'string'
modelMountPath: 'string'
properties: {
{customized property}: 'string'
}
readinessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
requestSettings: {
maxConcurrentRequestsPerInstance: int
maxQueueWait: 'string'
requestTimeout: 'string'
}
scaleSettings: {
scaleType: 'string'
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType: 'string'
// For remaining properties, see OnlineDeploymentProperties objects
}
}
Oggetti OnlineDeploymentProperties
Impostare la proprietà endpointComputeType per specificare il tipo di oggetto.
Per Kubernetes, usare:
endpointComputeType: 'Kubernetes'
containerResourceRequirements: {
containerResourceLimits: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
containerResourceRequests: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
}
Per gestito, usare:
endpointComputeType: 'Managed'
Oggetti OnlineScaleSettings
Impostare la proprietà scaleType
Per predefinito, usare:
scaleType: 'Default'
Per TargetUtilization, usare:
scaleType: 'TargetUtilization'
maxInstances: int
minInstances: int
pollingInterval: 'string'
targetUtilizationPercentage: int
Valori delle proprietà
workspaces/onlineEndpoints/deployments
Nome | Descrizione | Valore |
---|---|---|
nome | Nome della risorsa Vedere come impostare nomi e tipi per le risorse figlio in Bicep. |
stringa (obbligatorio) |
ubicazione | Posizione geografica in cui risiede la risorsa | stringa (obbligatorio) |
Tag | Tag di risorsa. | Dizionario di nomi e valori di tag. Vedere tag nei modelli |
Sku | Dettagli sku necessari per il contratto ARM per la scalabilità automatica. | sku |
gentile | Metadati usati dal portale, dagli strumenti e così via per eseguire il rendering di esperienze utente diverse per le risorse dello stesso tipo. | corda |
genitore | In Bicep è possibile specificare la risorsa padre per una risorsa figlio. È necessario aggiungere questa proprietà solo quando la risorsa figlio viene dichiarata all'esterno della risorsa padre. Per altre informazioni, vedere risorsa figlio all'esterno della risorsa padre. |
Nome simbolico per la risorsa di tipo: onlineEndpoints |
identità | Identità del servizio gestita (identità assegnate dal sistema e/o assegnate dall'utente) | ManagedServiceIdentity |
proprietà | [Obbligatorio] Attributi aggiuntivi dell'entità. | OnlineDeploymentProperties (obbligatorio) |
ManagedServiceIdentity
Nome | Descrizione | Valore |
---|---|---|
digitare | Tipo di identità del servizio gestito (in cui sono consentiti sia i tipi SystemAssigned che UserAssigned). | 'Nessuno' 'SystemAssigned' 'SystemAssigned,UserAssigned' 'UserAssigned' (obbligatorio) |
userAssignedIdentities | Set di identità assegnate dall'utente associate alla risorsa. Le chiavi del dizionario userAssignedIdentities saranno ID risorsa ARM nel formato : '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. I valori del dizionario possono essere oggetti vuoti ({}) nelle richieste. | UserAssignedIdentities |
UserAssignedIdentities
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | userAssignedIdentity |
UserAssignedIdentity
Questo oggetto non contiene proprietà da impostare durante la distribuzione. Tutte le proprietà sono ReadOnly.
OnlineDeploymentProperties
Nome | Descrizione | Valore |
---|---|---|
appInsightsEnabled | Se true, abilita la registrazione di Application Insights. | Bool |
codeConfiguration | Configurazione del codice per la distribuzione dell'endpoint. | CodeConfiguration |
dataCollector | La configurazione mdc viene disabilitata quando è Null. | DataCollector |
descrizione | Descrizione della distribuzione dell'endpoint. | corda |
egressPublicNetworkAccess | Se abilitato, consentire l'accesso alla rete pubblica in uscita. Se Disabilitato, verrà creato un traffico in uscita sicuro. Impostazione predefinita: abilitata. | 'Disabilitato' 'Enabled' |
environmentId | ID risorsa ARM della specifica dell'ambiente per la distribuzione dell'endpoint. | corda |
environmentVariables | Configurazione delle variabili di ambiente per la distribuzione. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | Tipo di istanza di calcolo. | corda |
livenessProbe | Il probe di attività monitora regolarmente l'integrità del contenitore. | ProbeSettings |
modello | Percorso URI del modello. | corda |
modelMountPath | Percorso di montaggio del modello in un contenitore personalizzato. | corda |
proprietà | Dizionario delle proprietà. Le proprietà possono essere aggiunte, ma non rimosse o modificate. | EndpointDeploymentPropertiesBaseProperties |
readinessProbe | Il probe di idoneità convalida se il contenitore è pronto per gestire il traffico. Le proprietà e le impostazioni predefinite sono uguali a quella del probe di attività. | ProbeSettings |
requestSettings | Richiedere le impostazioni per la distribuzione. | OnlineRequestSettings |
scaleSettings | Ridimensionare le impostazioni per la distribuzione. Se è null o non è specificato, per impostazione predefinita è TargetUtilizationScaleSettings per KubernetesOnlineDeployment e in DefaultScaleSettings per ManagedOnlineDeployment. |
OnlineScaleSettings |
endpointComputeType | Impostare il tipo di oggetto |
kubernetes gestito (obbligatorio) |
CodeConfiguration
Nome | Descrizione | Valore |
---|---|---|
codeId | ID risorsa ARM dell'asset di codice. | corda |
punteggioScript | [Obbligatorio] Script da eseguire all'avvio. ad esempio. "score.py" | stringa (obbligatorio) Vincoli: Lunghezza minima = 1 Pattern = [a-zA-Z0-9_] |
DataCollector
Nome | Descrizione | Valore |
---|---|---|
collezioni | [Obbligatorio] Configurazione della raccolta. Ogni raccolta ha una configurazione specifica per raccogliere i dati del modello e il nome della raccolta può essere una stringa arbitraria. L'agente di raccolta dati del modello può essere usato per la registrazione del payload o per la registrazione personalizzata o per entrambi. La richiesta e la risposta di raccolta sono riservate per la registrazione del payload, mentre altre sono destinate alla registrazione personalizzata. |
DataCollectorCollections (obbligatorio) |
requestLogging | La configurazione di registrazione delle richieste per mdc include impostazioni di registrazione avanzate per tutte le raccolte. È facoltativo. | RequestLogging |
RollingRate | Quando i dati del modello vengono raccolti nell'archivio BLOB, è necessario eseguire il rollback dei dati in un percorso diverso per evitare di registrarli tutti in un singolo file BLOB. Se la frequenza di rotazione è oraria, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/HH/. Se è il giorno, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/. L'altro vantaggio del percorso in sequenza è che l'interfaccia utente di monitoraggio del modello è in grado di selezionare un intervallo di tempo di dati molto rapidamente. |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | raccolta |
Collezione
Nome | Descrizione | Valore |
---|---|---|
clientId | ID client msi usato per raccogliere la registrazione nell'archiviazione BLOB. Se è null, il back-end selezionerà un'identità dell'endpoint registrata per l'autenticazione. | corda |
dataCollectionMode | Abilitare o disabilitare la raccolta dati. | 'Disabilitato' 'Enabled' |
dataId | ID risorsa arm dell'asset di dati. Il lato client garantirà che l'asset di dati punti all'archiviazione BLOB e il back-end raccoglierà i dati nell'archivio BLOB. | corda |
campionamentoRate | Frequenza di campionamento per la raccolta. La frequenza di campionamento 1,0 indica che vengono raccolti 100% di dati per impostazione predefinita. | Int |
RequestLogging
Nome | Descrizione | Valore |
---|---|---|
captureHeaders | Per la registrazione del payload, il payload viene raccolto solo per impostazione predefinita. Se i clienti vogliono raccogliere anche le intestazioni specificate, possono impostarle in captureHeaders in modo che il back-end raccolga tali intestazioni insieme al payload. | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
ProbeSettings
Nome | Descrizione | Valore |
---|---|---|
failureThreshold | Numero di errori da consentire prima di restituire uno stato non integro. | Int |
initialDelay | Ritardo prima del primo probe in formato ISO 8601. | corda |
periodo | Intervallo di tempo tra probe in formato ISO 8601. | corda |
successThreshold | Numero di probe riusciti prima di restituire uno stato integro. | Int |
Timeout | Timeout del probe in formato ISO 8601. | corda |
EndpointDeploymentPropertiesBaseProperties
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
OnlineRequestSettings
Nome | Descrizione | Valore |
---|---|---|
maxConcurrentRequestsPerInstance | Numero massimo di richieste simultanee consentite per nodo per distribuzione. Il valore predefinito è 1. | Int |
maxQueueWait | La quantità massima di tempo per cui una richiesta rimarrà nella coda in formato ISO 8601. Il valore predefinito è 500 ms. |
corda |
requestTimeout | Timeout di assegnazione dei punteggi in formato ISO 8601. Il valore predefinito è 5000 ms. |
corda |
OnlineScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | Impostare il tipo di oggetto |
predefinita TargetUtilization (obbligatorio) |
DefaultScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | 'Default' (obbligatorio) |
TargetUtilizationScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | 'TargetUtilization' (obbligatorio) |
maxInstances | Numero massimo di istanze a cui la distribuzione può essere ridimensionata. La quota verrà riservata per max_instances. | Int |
minInstances | Numero minimo di istanze da presentare sempre. | Int |
pollingInterval | Intervallo di polling in formato ISO 8691. Supporta solo la durata con precisione inferiore a secondi. | corda |
targetUtilizationPercentage | Usare la CPU di destinazione per il ridimensionamento automatico. | Int |
KubernetesOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | 'Kubernetes' (obbligatorio) |
containerResourceRequirements | Requisiti delle risorse per il contenitore (CPU e memoria). | ContainerResourceRequirements |
ContainerResourceRequirements
Nome | Descrizione | Valore |
---|---|---|
containerResourceLimits | Informazioni sul limite di risorse del contenitore: | ContainerResourceSettings |
containerResourceRequests | Informazioni sulla richiesta di risorse contenitore: | ContainerResourceSettings |
ContainerResourceSettings
Nome | Descrizione | Valore |
---|---|---|
CPU | Numero di richieste/limiti di vCPU per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
Gpu | Numero di richieste/limiti di schede GPU Nvidia per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
memoria | Richiesta/limite di dimensioni della memoria per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
ManagedOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | 'Managed' (obbligatorio) |
Sku
Nome | Descrizione | Valore |
---|---|---|
capacità | Se lo SKU supporta l'aumento o l'aumento del numero di istanze, è necessario includere l'intero della capacità. Se non è possibile aumentare o ridurre il numero di istanze per la risorsa, potrebbe essere omesso. | Int |
famiglia | Se il servizio ha generazioni diverse di hardware, per lo stesso SKU, è possibile acquisire qui. | corda |
nome | Nome dello SKU. Ad esempio - P3. Si tratta in genere di un codice lettera+numero | stringa (obbligatorio) |
grandezza | Dimensioni dello SKU. Quando il campo nome è la combinazione di livello e un altro valore, si tratta del codice autonomo. | corda |
livello | Questo campo deve essere implementato dal provider di risorse se il servizio ha più di un livello, ma non è necessario in un PUT. | 'Basic' 'Free' 'Premium' 'Standard' |
Definizione di risorsa del modello di Resource Manager
Il tipo di risorsa workspaces/onlineEndpoints/deployments può essere distribuito con operazioni destinate a:
Per un elenco delle proprietà modificate in ogni versione dell'API, vedere log delle modifiche.
Formato risorsa
Per creare una risorsa Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, aggiungere il codice JSON seguente al modello.
{
"type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
"apiVersion": "2023-04-01-preview",
"name": "string",
"location": "string",
"tags": {
"tagName1": "tagValue1",
"tagName2": "tagValue2"
},
"sku": {
"capacity": "int",
"family": "string",
"name": "string",
"size": "string",
"tier": "string"
},
"kind": "string",
"identity": {
"type": "string",
"userAssignedIdentities": {
"{customized property}": {}
}
},
"properties": {
"appInsightsEnabled": "bool",
"codeConfiguration": {
"codeId": "string",
"scoringScript": "string"
},
"dataCollector": {
"collections": {
"{customized property}": {
"clientId": "string",
"dataCollectionMode": "string",
"dataId": "string",
"samplingRate": "int"
}
},
"requestLogging": {
"captureHeaders": [ "string" ]
},
"rollingRate": "string"
},
"description": "string",
"egressPublicNetworkAccess": "string",
"environmentId": "string",
"environmentVariables": {
"{customized property}": "string"
},
"instanceType": "string",
"livenessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"model": "string",
"modelMountPath": "string",
"properties": {
"{customized property}": "string"
},
"readinessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"requestSettings": {
"maxConcurrentRequestsPerInstance": "int",
"maxQueueWait": "string",
"requestTimeout": "string"
},
"scaleSettings": {
"scaleType": "string"
// For remaining properties, see OnlineScaleSettings objects
},
"endpointComputeType": "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
}
Oggetti OnlineDeploymentProperties
Impostare la proprietà endpointComputeType per specificare il tipo di oggetto.
Per Kubernetes, usare:
"endpointComputeType": "Kubernetes",
"containerResourceRequirements": {
"containerResourceLimits": {
"cpu": "string",
"gpu": "string",
"memory": "string"
},
"containerResourceRequests": {
"cpu": "string",
"gpu": "string",
"memory": "string"
}
}
Per gestito, usare:
"endpointComputeType": "Managed"
Oggetti OnlineScaleSettings
Impostare la proprietà scaleType
Per predefinito, usare:
"scaleType": "Default"
Per TargetUtilization, usare:
"scaleType": "TargetUtilization",
"maxInstances": "int",
"minInstances": "int",
"pollingInterval": "string",
"targetUtilizationPercentage": "int"
Valori delle proprietà
workspaces/onlineEndpoints/deployments
Nome | Descrizione | Valore |
---|---|---|
digitare | Tipo di risorsa | 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments' |
apiVersion | Versione dell'API della risorsa | '2023-04-01-preview' |
nome | Nome della risorsa Vedere come impostare nomi e tipi per le risorse figlio in modelli DI Resource Manager JSON. |
stringa (obbligatorio) |
ubicazione | Posizione geografica in cui risiede la risorsa | stringa (obbligatorio) |
Tag | Tag di risorsa. | Dizionario di nomi e valori di tag. Vedere tag nei modelli |
Sku | Dettagli sku necessari per il contratto ARM per la scalabilità automatica. | sku |
gentile | Metadati usati dal portale, dagli strumenti e così via per eseguire il rendering di esperienze utente diverse per le risorse dello stesso tipo. | corda |
identità | Identità del servizio gestita (identità assegnate dal sistema e/o assegnate dall'utente) | ManagedServiceIdentity |
proprietà | [Obbligatorio] Attributi aggiuntivi dell'entità. | OnlineDeploymentProperties (obbligatorio) |
ManagedServiceIdentity
Nome | Descrizione | Valore |
---|---|---|
digitare | Tipo di identità del servizio gestito (in cui sono consentiti sia i tipi SystemAssigned che UserAssigned). | 'Nessuno' 'SystemAssigned' 'SystemAssigned,UserAssigned' 'UserAssigned' (obbligatorio) |
userAssignedIdentities | Set di identità assegnate dall'utente associate alla risorsa. Le chiavi del dizionario userAssignedIdentities saranno ID risorsa ARM nel formato : '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. I valori del dizionario possono essere oggetti vuoti ({}) nelle richieste. | UserAssignedIdentities |
UserAssignedIdentities
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | userAssignedIdentity |
UserAssignedIdentity
Questo oggetto non contiene proprietà da impostare durante la distribuzione. Tutte le proprietà sono ReadOnly.
OnlineDeploymentProperties
Nome | Descrizione | Valore |
---|---|---|
appInsightsEnabled | Se true, abilita la registrazione di Application Insights. | Bool |
codeConfiguration | Configurazione del codice per la distribuzione dell'endpoint. | CodeConfiguration |
dataCollector | La configurazione mdc viene disabilitata quando è Null. | DataCollector |
descrizione | Descrizione della distribuzione dell'endpoint. | corda |
egressPublicNetworkAccess | Se abilitato, consentire l'accesso alla rete pubblica in uscita. Se Disabilitato, verrà creato un traffico in uscita sicuro. Impostazione predefinita: abilitata. | 'Disabilitato' 'Enabled' |
environmentId | ID risorsa ARM della specifica dell'ambiente per la distribuzione dell'endpoint. | corda |
environmentVariables | Configurazione delle variabili di ambiente per la distribuzione. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | Tipo di istanza di calcolo. | corda |
livenessProbe | Il probe di attività monitora regolarmente l'integrità del contenitore. | ProbeSettings |
modello | Percorso URI del modello. | corda |
modelMountPath | Percorso di montaggio del modello in un contenitore personalizzato. | corda |
proprietà | Dizionario delle proprietà. Le proprietà possono essere aggiunte, ma non rimosse o modificate. | EndpointDeploymentPropertiesBaseProperties |
readinessProbe | Il probe di idoneità convalida se il contenitore è pronto per gestire il traffico. Le proprietà e le impostazioni predefinite sono uguali a quella del probe di attività. | ProbeSettings |
requestSettings | Richiedere le impostazioni per la distribuzione. | OnlineRequestSettings |
scaleSettings | Ridimensionare le impostazioni per la distribuzione. Se è null o non è specificato, per impostazione predefinita è TargetUtilizationScaleSettings per KubernetesOnlineDeployment e in DefaultScaleSettings per ManagedOnlineDeployment. |
OnlineScaleSettings |
endpointComputeType | Impostare il tipo di oggetto |
kubernetes gestito (obbligatorio) |
CodeConfiguration
Nome | Descrizione | Valore |
---|---|---|
codeId | ID risorsa ARM dell'asset di codice. | corda |
punteggioScript | [Obbligatorio] Script da eseguire all'avvio. ad esempio. "score.py" | stringa (obbligatorio) Vincoli: Lunghezza minima = 1 Pattern = [a-zA-Z0-9_] |
DataCollector
Nome | Descrizione | Valore |
---|---|---|
collezioni | [Obbligatorio] Configurazione della raccolta. Ogni raccolta ha una configurazione specifica per raccogliere i dati del modello e il nome della raccolta può essere una stringa arbitraria. L'agente di raccolta dati del modello può essere usato per la registrazione del payload o per la registrazione personalizzata o per entrambi. La richiesta e la risposta di raccolta sono riservate per la registrazione del payload, mentre altre sono destinate alla registrazione personalizzata. |
DataCollectorCollections (obbligatorio) |
requestLogging | La configurazione di registrazione delle richieste per mdc include impostazioni di registrazione avanzate per tutte le raccolte. È facoltativo. | RequestLogging |
RollingRate | Quando i dati del modello vengono raccolti nell'archivio BLOB, è necessario eseguire il rollback dei dati in un percorso diverso per evitare di registrarli tutti in un singolo file BLOB. Se la frequenza di rotazione è oraria, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/HH/. Se è il giorno, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/. L'altro vantaggio del percorso in sequenza è che l'interfaccia utente di monitoraggio del modello è in grado di selezionare un intervallo di tempo di dati molto rapidamente. |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | raccolta |
Collezione
Nome | Descrizione | Valore |
---|---|---|
clientId | ID client msi usato per raccogliere la registrazione nell'archiviazione BLOB. Se è null, il back-end selezionerà un'identità dell'endpoint registrata per l'autenticazione. | corda |
dataCollectionMode | Abilitare o disabilitare la raccolta dati. | 'Disabilitato' 'Enabled' |
dataId | ID risorsa arm dell'asset di dati. Il lato client garantirà che l'asset di dati punti all'archiviazione BLOB e il back-end raccoglierà i dati nell'archivio BLOB. | corda |
campionamentoRate | Frequenza di campionamento per la raccolta. La frequenza di campionamento 1,0 indica che vengono raccolti 100% di dati per impostazione predefinita. | Int |
RequestLogging
Nome | Descrizione | Valore |
---|---|---|
captureHeaders | Per la registrazione del payload, il payload viene raccolto solo per impostazione predefinita. Se i clienti vogliono raccogliere anche le intestazioni specificate, possono impostarle in captureHeaders in modo che il back-end raccolga tali intestazioni insieme al payload. | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
ProbeSettings
Nome | Descrizione | Valore |
---|---|---|
failureThreshold | Numero di errori da consentire prima di restituire uno stato non integro. | Int |
initialDelay | Ritardo prima del primo probe in formato ISO 8601. | corda |
periodo | Intervallo di tempo tra probe in formato ISO 8601. | corda |
successThreshold | Numero di probe riusciti prima di restituire uno stato integro. | Int |
Timeout | Timeout del probe in formato ISO 8601. | corda |
EndpointDeploymentPropertiesBaseProperties
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
OnlineRequestSettings
Nome | Descrizione | Valore |
---|---|---|
maxConcurrentRequestsPerInstance | Numero massimo di richieste simultanee consentite per nodo per distribuzione. Il valore predefinito è 1. | Int |
maxQueueWait | La quantità massima di tempo per cui una richiesta rimarrà nella coda in formato ISO 8601. Il valore predefinito è 500 ms. |
corda |
requestTimeout | Timeout di assegnazione dei punteggi in formato ISO 8601. Il valore predefinito è 5000 ms. |
corda |
OnlineScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | Impostare il tipo di oggetto |
predefinita TargetUtilization (obbligatorio) |
DefaultScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | 'Default' (obbligatorio) |
TargetUtilizationScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | 'TargetUtilization' (obbligatorio) |
maxInstances | Numero massimo di istanze a cui la distribuzione può essere ridimensionata. La quota verrà riservata per max_instances. | Int |
minInstances | Numero minimo di istanze da presentare sempre. | Int |
pollingInterval | Intervallo di polling in formato ISO 8691. Supporta solo la durata con precisione inferiore a secondi. | corda |
targetUtilizationPercentage | Usare la CPU di destinazione per il ridimensionamento automatico. | Int |
KubernetesOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | 'Kubernetes' (obbligatorio) |
containerResourceRequirements | Requisiti delle risorse per il contenitore (CPU e memoria). | ContainerResourceRequirements |
ContainerResourceRequirements
Nome | Descrizione | Valore |
---|---|---|
containerResourceLimits | Informazioni sul limite di risorse del contenitore: | ContainerResourceSettings |
containerResourceRequests | Informazioni sulla richiesta di risorse contenitore: | ContainerResourceSettings |
ContainerResourceSettings
Nome | Descrizione | Valore |
---|---|---|
CPU | Numero di richieste/limiti di vCPU per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
Gpu | Numero di richieste/limiti di schede GPU Nvidia per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
memoria | Richiesta/limite di dimensioni della memoria per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
ManagedOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | 'Managed' (obbligatorio) |
Sku
Nome | Descrizione | Valore |
---|---|---|
capacità | Se lo SKU supporta l'aumento o l'aumento del numero di istanze, è necessario includere l'intero della capacità. Se non è possibile aumentare o ridurre il numero di istanze per la risorsa, potrebbe essere omesso. | Int |
famiglia | Se il servizio ha generazioni diverse di hardware, per lo stesso SKU, è possibile acquisire qui. | corda |
nome | Nome dello SKU. Ad esempio - P3. Si tratta in genere di un codice lettera+numero | stringa (obbligatorio) |
grandezza | Dimensioni dello SKU. Quando il campo nome è la combinazione di livello e un altro valore, si tratta del codice autonomo. | corda |
livello | Questo campo deve essere implementato dal provider di risorse se il servizio ha più di un livello, ma non è necessario in un PUT. | 'Basic' 'Free' 'Premium' 'Standard' |
Definizione di risorsa Terraform (provider AzAPI)
Il tipo di risorsa workspaces/onlineEndpoints/deployments può essere distribuito con operazioni destinate a:
- gruppi di risorse
Per un elenco delle proprietà modificate in ogni versione dell'API, vedere log delle modifiche.
Formato risorsa
Per creare una risorsa Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments, aggiungere il codice Terraform seguente al modello.
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-04-01-preview"
name = "string"
location = "string"
parent_id = "string"
tags = {
tagName1 = "tagValue1"
tagName2 = "tagValue2"
}
identity {
type = "string"
identity_ids = []
}
body = jsonencode({
properties = {
appInsightsEnabled = bool
codeConfiguration = {
codeId = "string"
scoringScript = "string"
}
dataCollector = {
collections = {
{customized property} = {
clientId = "string"
dataCollectionMode = "string"
dataId = "string"
samplingRate = int
}
}
requestLogging = {
captureHeaders = [
"string"
]
}
rollingRate = "string"
}
description = "string"
egressPublicNetworkAccess = "string"
environmentId = "string"
environmentVariables = {
{customized property} = "string"
}
instanceType = "string"
livenessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
model = "string"
modelMountPath = "string"
properties = {
{customized property} = "string"
}
readinessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
requestSettings = {
maxConcurrentRequestsPerInstance = int
maxQueueWait = "string"
requestTimeout = "string"
}
scaleSettings = {
scaleType = "string"
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType = "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
sku = {
capacity = int
family = "string"
name = "string"
size = "string"
tier = "string"
}
kind = "string"
})
}
Oggetti OnlineDeploymentProperties
Impostare la proprietà endpointComputeType per specificare il tipo di oggetto.
Per Kubernetes, usare:
endpointComputeType = "Kubernetes"
containerResourceRequirements = {
containerResourceLimits = {
cpu = "string"
gpu = "string"
memory = "string"
}
containerResourceRequests = {
cpu = "string"
gpu = "string"
memory = "string"
}
}
Per gestito, usare:
endpointComputeType = "Managed"
Oggetti OnlineScaleSettings
Impostare la proprietà scaleType
Per predefinito, usare:
scaleType = "Default"
Per TargetUtilization, usare:
scaleType = "TargetUtilization"
maxInstances = int
minInstances = int
pollingInterval = "string"
targetUtilizationPercentage = int
Valori delle proprietà
workspaces/onlineEndpoints/deployments
Nome | Descrizione | Valore |
---|---|---|
digitare | Tipo di risorsa | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-04-01-preview" |
nome | Nome della risorsa | stringa (obbligatorio) |
ubicazione | Posizione geografica in cui risiede la risorsa | stringa (obbligatorio) |
parent_id | ID della risorsa padre per questa risorsa. | ID per la risorsa di tipo: onlineEndpoints |
Tag | Tag di risorsa. | Dizionario di nomi e valori di tag. |
Sku | Dettagli sku necessari per il contratto ARM per la scalabilità automatica. | sku |
gentile | Metadati usati dal portale, dagli strumenti e così via per eseguire il rendering di esperienze utente diverse per le risorse dello stesso tipo. | corda |
identità | Identità del servizio gestita (identità assegnate dal sistema e/o assegnate dall'utente) | ManagedServiceIdentity |
proprietà | [Obbligatorio] Attributi aggiuntivi dell'entità. | OnlineDeploymentProperties (obbligatorio) |
ManagedServiceIdentity
Nome | Descrizione | Valore |
---|---|---|
digitare | Tipo di identità del servizio gestito (in cui sono consentiti sia i tipi SystemAssigned che UserAssigned). | "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (obbligatorio) |
identity_ids | Set di identità assegnate dall'utente associate alla risorsa. Le chiavi del dizionario userAssignedIdentities saranno ID risorsa ARM nel formato : '/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName}. I valori del dizionario possono essere oggetti vuoti ({}) nelle richieste. | Matrice di ID identità utente. |
UserAssignedIdentities
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | userAssignedIdentity |
UserAssignedIdentity
Questo oggetto non contiene proprietà da impostare durante la distribuzione. Tutte le proprietà sono ReadOnly.
OnlineDeploymentProperties
Nome | Descrizione | Valore |
---|---|---|
appInsightsEnabled | Se true, abilita la registrazione di Application Insights. | Bool |
codeConfiguration | Configurazione del codice per la distribuzione dell'endpoint. | CodeConfiguration |
dataCollector | La configurazione mdc viene disabilitata quando è Null. | DataCollector |
descrizione | Descrizione della distribuzione dell'endpoint. | corda |
egressPublicNetworkAccess | Se abilitato, consentire l'accesso alla rete pubblica in uscita. Se Disabilitato, verrà creato un traffico in uscita sicuro. Impostazione predefinita: abilitata. | "Disabilitato" "Abilitato" |
environmentId | ID risorsa ARM della specifica dell'ambiente per la distribuzione dell'endpoint. | corda |
environmentVariables | Configurazione delle variabili di ambiente per la distribuzione. | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | Tipo di istanza di calcolo. | corda |
livenessProbe | Il probe di attività monitora regolarmente l'integrità del contenitore. | ProbeSettings |
modello | Percorso URI del modello. | corda |
modelMountPath | Percorso di montaggio del modello in un contenitore personalizzato. | corda |
proprietà | Dizionario delle proprietà. Le proprietà possono essere aggiunte, ma non rimosse o modificate. | EndpointDeploymentPropertiesBaseProperties |
readinessProbe | Il probe di idoneità convalida se il contenitore è pronto per gestire il traffico. Le proprietà e le impostazioni predefinite sono uguali a quella del probe di attività. | ProbeSettings |
requestSettings | Richiedere le impostazioni per la distribuzione. | OnlineRequestSettings |
scaleSettings | Ridimensionare le impostazioni per la distribuzione. Se è null o non è specificato, per impostazione predefinita è TargetUtilizationScaleSettings per KubernetesOnlineDeployment e in DefaultScaleSettings per ManagedOnlineDeployment. |
OnlineScaleSettings |
endpointComputeType | Impostare il tipo di oggetto |
kubernetes gestito (obbligatorio) |
CodeConfiguration
Nome | Descrizione | Valore |
---|---|---|
codeId | ID risorsa ARM dell'asset di codice. | corda |
punteggioScript | [Obbligatorio] Script da eseguire all'avvio. ad esempio. "score.py" | stringa (obbligatorio) Vincoli: Lunghezza minima = 1 Pattern = [a-zA-Z0-9_] |
DataCollector
Nome | Descrizione | Valore |
---|---|---|
collezioni | [Obbligatorio] Configurazione della raccolta. Ogni raccolta ha una configurazione specifica per raccogliere i dati del modello e il nome della raccolta può essere una stringa arbitraria. L'agente di raccolta dati del modello può essere usato per la registrazione del payload o per la registrazione personalizzata o per entrambi. La richiesta e la risposta di raccolta sono riservate per la registrazione del payload, mentre altre sono destinate alla registrazione personalizzata. |
DataCollectorCollections (obbligatorio) |
requestLogging | La configurazione di registrazione delle richieste per mdc include impostazioni di registrazione avanzate per tutte le raccolte. È facoltativo. | RequestLogging |
RollingRate | Quando i dati del modello vengono raccolti nell'archivio BLOB, è necessario eseguire il rollback dei dati in un percorso diverso per evitare di registrarli tutti in un singolo file BLOB. Se la frequenza di rotazione è oraria, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/HH/. Se è il giorno, tutti i dati verranno raccolti nel percorso BLOB /aaaa/MM/gg/. L'altro vantaggio del percorso in sequenza è che l'interfaccia utente di monitoraggio del modello è in grado di selezionare un intervallo di tempo di dati molto rapidamente. |
"Giorno" "Hour" "Minute" "Mese" "Year" |
DataCollectorCollections
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | raccolta |
Collezione
Nome | Descrizione | Valore |
---|---|---|
clientId | ID client msi usato per raccogliere la registrazione nell'archiviazione BLOB. Se è null, il back-end selezionerà un'identità dell'endpoint registrata per l'autenticazione. | corda |
dataCollectionMode | Abilitare o disabilitare la raccolta dati. | "Disabilitato" "Abilitato" |
dataId | ID risorsa arm dell'asset di dati. Il lato client garantirà che l'asset di dati punti all'archiviazione BLOB e il back-end raccoglierà i dati nell'archivio BLOB. | corda |
campionamentoRate | Frequenza di campionamento per la raccolta. La frequenza di campionamento 1,0 indica che vengono raccolti 100% di dati per impostazione predefinita. | Int |
RequestLogging
Nome | Descrizione | Valore |
---|---|---|
captureHeaders | Per la registrazione del payload, il payload viene raccolto solo per impostazione predefinita. Se i clienti vogliono raccogliere anche le intestazioni specificate, possono impostarle in captureHeaders in modo che il back-end raccolga tali intestazioni insieme al payload. | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
ProbeSettings
Nome | Descrizione | Valore |
---|---|---|
failureThreshold | Numero di errori da consentire prima di restituire uno stato non integro. | Int |
initialDelay | Ritardo prima del primo probe in formato ISO 8601. | corda |
periodo | Intervallo di tempo tra probe in formato ISO 8601. | corda |
successThreshold | Numero di probe riusciti prima di restituire uno stato integro. | Int |
Timeout | Timeout del probe in formato ISO 8601. | corda |
EndpointDeploymentPropertiesBaseProperties
Nome | Descrizione | Valore |
---|---|---|
{proprietà personalizzata} | corda |
OnlineRequestSettings
Nome | Descrizione | Valore |
---|---|---|
maxConcurrentRequestsPerInstance | Numero massimo di richieste simultanee consentite per nodo per distribuzione. Il valore predefinito è 1. | Int |
maxQueueWait | La quantità massima di tempo per cui una richiesta rimarrà nella coda in formato ISO 8601. Il valore predefinito è 500 ms. |
corda |
requestTimeout | Timeout di assegnazione dei punteggi in formato ISO 8601. Il valore predefinito è 5000 ms. |
corda |
OnlineScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | Impostare il tipo di oggetto |
predefinita TargetUtilization (obbligatorio) |
DefaultScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | "Default" (obbligatorio) |
TargetUtilizationScaleSettings
Nome | Descrizione | Valore |
---|---|---|
scaleType | [Obbligatorio] Tipo di algoritmo di ridimensionamento della distribuzione | "TargetUtilization" (obbligatorio) |
maxInstances | Numero massimo di istanze a cui la distribuzione può essere ridimensionata. La quota verrà riservata per max_instances. | Int |
minInstances | Numero minimo di istanze da presentare sempre. | Int |
pollingInterval | Intervallo di polling in formato ISO 8691. Supporta solo la durata con precisione inferiore a secondi. | corda |
targetUtilizationPercentage | Usare la CPU di destinazione per il ridimensionamento automatico. | Int |
KubernetesOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | "Kubernetes" (obbligatorio) |
containerResourceRequirements | Requisiti delle risorse per il contenitore (CPU e memoria). | ContainerResourceRequirements |
ContainerResourceRequirements
Nome | Descrizione | Valore |
---|---|---|
containerResourceLimits | Informazioni sul limite di risorse del contenitore: | ContainerResourceSettings |
containerResourceRequests | Informazioni sulla richiesta di risorse contenitore: | ContainerResourceSettings |
ContainerResourceSettings
Nome | Descrizione | Valore |
---|---|---|
CPU | Numero di richieste/limiti di vCPU per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
Gpu | Numero di richieste/limiti di schede GPU Nvidia per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
memoria | Richiesta/limite di dimensioni della memoria per il contenitore. Altre informazioni: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
corda |
ManagedOnlineDeployment
Nome | Descrizione | Valore |
---|---|---|
endpointComputeType | [Obbligatorio] Tipo di calcolo dell'endpoint. | "Gestito" (obbligatorio) |
Sku
Nome | Descrizione | Valore |
---|---|---|
capacità | Se lo SKU supporta l'aumento o l'aumento del numero di istanze, è necessario includere l'intero della capacità. Se non è possibile aumentare o ridurre il numero di istanze per la risorsa, potrebbe essere omesso. | Int |
famiglia | Se il servizio ha generazioni diverse di hardware, per lo stesso SKU, è possibile acquisire qui. | corda |
nome | Nome dello SKU. Ad esempio - P3. Si tratta in genere di un codice lettera+numero | stringa (obbligatorio) |
grandezza | Dimensioni dello SKU. Quando il campo nome è la combinazione di livello e un altro valore, si tratta del codice autonomo. | corda |
livello | Questo campo deve essere implementato dal provider di risorse se il servizio ha più di un livello, ma non è necessario in un PUT. | "Basic" "Gratuito" "Premium" "Standard" |