CLI (v2) yönetilen çevrimiçi dağıtım YAML şeması

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)

Kaynak JSON şeması adresinde https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.jsonbulunabilir.

Not

Bu belgede ayrıntılı olarak yer alan YAML söz dizimi, ML CLI v2 uzantısının en son sürümü için JSON şemasını temel alır. Bu söz diziminin yalnızca ML CLI v2 uzantısının en son sürümüyle çalışması garanti edilir. Eski uzantı sürümleri için şemaları adresinde https://azuremlschemasprod.azureedge.net/bulabilirsiniz.

YAML söz dizimi

Anahtar	Type	Açıklama	İzin verilen değerler	Default value
$schema	Dize	YAML şeması. YAML dosyasını yazmak için Azure Machine Learning VS Code uzantısını kullanırsanız, dosyanızın üst kısmındakiler de dahil olmak üzere $schema şema ve kaynak tamamlama işlemlerini çağırmanıza olanak tanır.
name	Dize	Gerekli. Dağıtımın adı. Adlandırma kuralları burada tanımlanmıştır.
description	Dize	Dağıtımın açıklaması.
tags	nesne	Dağıtım için etiket sözlüğü.
endpoint_name	Dize	Gerekli. Dağıtımın oluşturulacağı uç noktanın adı.
model	dize veya nesne	Dağıtım için kullanılacak model. Bu değer, çalışma alanında var olan bir sürüme sahip modelin başvurusu veya satır içi model belirtimi olabilir. Var olan bir modele başvurmak için söz dizimini azureml:<model-name>:<model-version> kullanın. Satır içi bir model tanımlamak için Model şemasını izleyin. Üretim senaryoları için en iyi uygulama olarak modeli ayrı ayrı oluşturup burada başvurmanız gerekir. Bu alan, özel kapsayıcı dağıtım senaryoları için isteğe bağlıdır.
model_mount_path	Dize	Modeli özel bir kapsayıcıya bağlama yolu. Yalnızca özel kapsayıcı dağıtım senaryoları için geçerlidir. model Alan belirtilirse, kapsayıcıdaki bu yola bağlanır.
code_configuration	nesne	Puanlama kodu mantığı için yapılandırma. Bu alan, özel kapsayıcı dağıtım senaryoları için isteğe bağlıdır.
code_configuration.code	Dize	Modeli puanlama için kaynak kod dizinine giden yerel yol.
code_configuration.scoring_script	Dize	Kaynak kod dizinindeki puanlama dosyasının göreli yolu.
environment_variables	nesne	Dağıtım kapsayıcısında ayarlanacağı ortam değişkeni anahtar-değer çiftlerinin sözlüğü. Bu ortam değişkenlerine puanlama betiklerinizden erişebilirsiniz.
environment	dize veya nesne	Gerekli. Dağıtım için kullanılacak ortam. Bu değer, çalışma alanında var olan bir sürüme sahip ortama başvuru veya satır içi ortam belirtimi olabilir. Var olan bir ortama başvurmak için söz dizimini azureml:<environment-name>:<environment-version> kullanın. Bir ortamı satır içinde tanımlamak için Ortam şemasını izleyin. Üretim senaryoları için en iyi uygulama olarak, ortamı ayrı ayrı oluşturup buraya başvurmanız gerekir.
instance_type	Dize	Gerekli. Dağıtım için kullanılacak VM boyutu. Desteklenen boyutların listesi için bkz . Yönetilen çevrimiçi uç noktalar SKU listesi.
instance_count	integer	Gerekli. Dağıtım için kullanılacak örnek sayısı. Beklediğiniz iş yüküne göre değeri belirtin. Yüksek kullanılabilirlik için, Microsoft bunu en az 3olarak ayarlamanızı önerir. instance_count komutu kullanılarak az ml online-deployment update dağıtım oluşturulduktan sonra güncelleştirilebilir. Yükseltmeleri gerçekleştirmek için fazladan %20 ayırıyoruz. Daha fazla bilgi için bkz . Dağıtım için sanal makine kota ayırma.
app_insights_enabled	boolean	Çalışma alanınızla ilişkilendirilmiş Azure Uygulaması Lication Insights örneğiyle tümleştirmenin etkinleştirilip etkinleştirilmeyileceği.		false
scale_settings	nesne	Dağıtımın ölçek ayarları. Şu anda yalnızca default ölçek türü desteklenmektedir, bu nedenle bu özelliği belirtmeniz gerekmez. Bu default ölçek türüyle, özelliği güncelleştirerek instance_count dağıtım oluşturulduktan sonra örnek sayısını el ile artırıp azaltabilir veya bir otomatik ölçeklendirme ilkesi oluşturabilirsiniz.
scale_settings.type	Dize	Ölçek türü.	default	default
data_collector	nesne	Dağıtım için veri toplama ayarları. Yapılandırılabilir özellikler kümesi için bkz . DataCollector .
request_settings	nesne	Dağıtım için puanlama isteği ayarları. Yapılandırılabilir özellikler kümesi için bkz . RequestSettings .
liveness_probe	nesne	Kapsayıcının durumunu düzenli olarak izlemek için canlılık yoklaması ayarları. Yapılandırılabilir özellikler kümesi için bkz . ProbeSettings .
readiness_probe	nesne	Kapsayıcının trafiğe hizmet etmeye hazır olup olmadığını doğrulamak için hazır olma yoklaması ayarları. Yapılandırılabilir özellikler kümesi için bkz . ProbeSettings .
egress_public_network_access	Dize	Not: Bu anahtar, dağıtım için giden iletişimin güvenliğini sağlamak için eski ağ yalıtım yöntemini kullandığınızda geçerlidir. Bunun yerine çalışma alanı tarafından yönetilen bir sanal ağ kullanarak dağıtımlar için giden iletişimin güvenliğini sağlamanızı kesinlikle öneririz. Bu bayrak, dağıtım ile tarafından kullanılan Azure kaynakları arasındaki iletişimi kısıtlayarak dağıtımın güvenliğini sağlar. disabled Dağıtımınız için gereken modelin, kodun ve görüntülerin indirilmesinin özel bir uç noktayla güvenli hale getirildiğinden emin olmak için olarak ayarlayın. Bu bayrak yalnızca yönetilen çevrimiçi uç noktalar için geçerlidir.	enabled, disabled	enabled

RequestSettings

Anahtar	Type	Açıklama	Default value
request_timeout_ms	integer	Milisaniye cinsinden puanlama zaman aşımı. İzin verilen en yüksek değerin milisaniye olduğunu 180000 unutmayın. Daha fazla bilgi için bkz . çevrimiçi uç noktaların sınırları.	5000
max_concurrent_requests_per_instance	integer	Dağıtım için izin verilen örnek başına en fazla eşzamanlı istek sayısı. Not: Azure Machine Learning Çıkarım Sunucusu veya Azure Machine Learning Çıkarım Görüntüleri kullanıyorsanız modelinizin eşzamanlı istekleri işleyecek şekilde yapılandırılması gerekir. Bunu yapmak için ortam değişkeni olarak geçirin WORKER_COUNT: <int> . hakkında WORKER_COUNTdaha fazla bilgi için bkz. Azure Machine Learning Çıkarım Sunucusu Parametreleri Not: Modelinizin tek bir düğümde eşzamanlı olarak işleyebileceği istek sayısına ayarlayın. Bunun modelinizdeki gerçek eşzamanlılıktan yüksek bir değere ayarlanması daha uzun gecikmelere yol açabilir. Bu değerin çok düşük ayarlanması, az kullanılan düğümlere neden olabilir. Sistemin çok düşük olması, isteklerin 429 HTTP durum koduyla reddedilmesine de neden olabilir. Sistem hızlı başarısız olmayı tercih eder. Daha fazla bilgi için bkz . Çevrimiçi uç nokta sorunlarını giderme: HTTP durum kodları.	1
max_queue_wait_ms	integer	(Kullanım dışı) bir isteğin kuyrukta kalacağı milisaniye cinsinden en uzun süre. (Şimdi ağ/kuyruk gecikmelerini hesaba eklemek için artırın request_timeout_ms )	500

ProbeSettings

Anahtar	Type	Açıklama	Default value
initial_delay	integer	Yoklama başlatılmadan önce kapsayıcı başlatıldıktan sonraki saniye sayısı. En düşük değer: 1.	10
period	integer	Yoklamanın ne sıklıkta (saniye olarak) gerçekleştirilecek?	10
timeout	integer	Yoklamanın zaman aşımına uğradıktan sonraki saniye sayısı. En düşük değer: 1.	2
success_threshold	integer	Başarısız olduktan sonra yoklamanın başarılı olarak kabul edilmesi için ardışık en düşük başarı. En düşük değer hazır 1 olma yoklaması içindir. Canlılık yoklaması değeri olarak 1sabittir.	1
failure_threshold	integer	Bir yoklama başarısız olduğunda, sistem vazgeçmeden önce zamanları dener failure_threshold . Canlılık araştırması söz konusu olduğunda vazgeçmek, kapsayıcının yeniden başlatılacağı anlamına gelir. Hazırlık araştırması söz konusu olduğunda kapsayıcı Okunmadı olarak işaretlenir. En düşük değer: 1.	30

DataCollector

Anahtar	Type	Açıklama	Default value
sampling_rate	kayan noktalı sayı	Toplayacak verilerin ondalık oranı olarak gösterilen yüzdesi. Örneğin, 1,0 değeri verilerin %100'ünün topladığını temsil eder.	1.0
rolling_rate	Dize	Depolamadaki verileri bölümleme oranı. Değer şu olabilir: Dakika, Saat, Gün, Ay, Yıl.	Hour
collections	nesne	Bu dağıtım için tek tek collection_namesn ve bunların ilgili ayarları.
collections.<collection_name>	nesne	Toplayacak üretim çıkarımı verilerinin mantıksal gruplandırılması (örnek: model_inputs). İki ayrılmış ad vardır: request ve responsesırasıyla HTTP isteğine ve yanıt yükü veri toplamaya karşılık gelir. Diğer tüm adlar rastgeledir ve kullanıcı tarafından tanımlanabilir. Not: Her collection_name biri, üretim çıkarım verilerini toplamak için dağıtımda score.py kullanılan nesnenin adına Collector karşılık gelir. Sağlanan Python SDK'sı ile yük veri toplama ve veri toplama hakkında daha fazla bilgi için bkz . Üretimdeki modellerden veri toplama.
collections.<collection_name>.enabled	boolean	Belirtilen collection_nameiçin veri toplamanın etkinleştirilip etkinleştirilmeyileceği.	'False''
collections.<collection_name>.data.name	Dize	Toplanan verilere kaydedilecek veri varlığının adı.	<endpoint>-<deployment>-<collection_name>
collections.<collection_name>.data.path	Dize	Toplanan verilerin veri varlığı olarak kaydedilmesi gereken tam Azure Machine Learning veri deposu yolu.	azureml://datastores/workspaceblobstore/paths/modelDataCollector/<endpoint_name>/<deployment_name>/<collection_name>
collections.<collection_name>.data.version	integer	Blob depolamada toplanan verilerle kaydedilecek veri varlığının sürümü.	1

Açıklamalar

Komutlar az ml online-deployment , Azure Machine Learning tarafından yönetilen çevrimiçi dağıtımları yönetmek için kullanılabilir.

Örnekler

Örnekler GitHub deposunda bulunabilir. Aşağıda birkaçı gösterilmiştir.

YAML: temel

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: green
endpoint_name: my-endpoint
model:
  path: ../../model-2/model/
code_configuration:
  code: ../../model-2/onlinescoring/
  scoring_script: score.py
environment:
  conda_file: ../../model-2/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

YAML: sistem tarafından atanan kimlik

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score_managedidentity.py
environment:
  conda_file: ../../model-1/environment/conda-managedidentity.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1
environment_variables:
  STORAGE_ACCOUNT_NAME: "storage_place_holder"
  STORAGE_CONTAINER_NAME: "container_place_holder"
  FILE_NAME: "file_place_holder"

YAML: kullanıcı tarafından atanan kimlik

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score_managedidentity.py
environment: 
  conda_file: ../../model-1/environment/conda-managedidentity.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1
environment_variables:
  STORAGE_ACCOUNT_NAME: "storage_place_holder"
  STORAGE_CONTAINER_NAME: "container_place_holder"
  FILE_NAME: "file_place_holder"
  UAI_CLIENT_ID: "uai_client_id_place_holder"

YAML: data_collector

$schema: http://azureml/sdk-2-0/OnlineDeployment.json

endpoint_name: my_endpoint 
name: blue 
model: azureml:my-model-m1:1 
environment: azureml:env-m1:1 
data_collector:
   collections:
       model_inputs:
           enabled: 'True' 
       model_outputs:
           enabled: 'True'

$schema: http://azureml/sdk-2-0/OnlineDeployment.json

endpoint_name: my_endpoint
name: blue 
model: azureml:my-model-m1:1 
environment: azureml:env-m1:1 
data_collector:
   collections:
     request: 
         enabled: 'True'
         data: 
           name: my_request_data_asset 
           path: azureml://datastores/workspaceblobstore/paths/modelDataCollector/my_endpoint/blue/request 
           version: 1 
     response:
         enabled: 'True' 
         data: 
           name: my_response_data_asset
           path: azureml://datastores/workspaceblobstore/paths/modelDataCollector/my_endpoint/blue/response
           version: 1 
     model_inputs:
         enabled: 'True'
         data: 
           name: my_model_inputs_data_asset
           path: azureml://datastores/workspaceblobstore/paths/modelDataCollector/my_endpoint/blue/model_inputs
           version: 1 
     model_outputs:
         enabled: 'True'
         data: 
           name: my_model_outputs_data_asset
           path: azureml://datastores/workspaceblobstore/paths/modelDataCollector/my_endpoint/blue/model_outputs
           version: 1

Sonraki adımlar

• CLI'yi yükleme ve kullanma (v2)