Gerçek zamanlı çıkarsama için yeni dağıtımları güvenli bir şekilde devreye almak.

ŞUNLAR IÇIN GEÇERLIDIR: Azure CLI ml uzantısı v2 (geçerli)Python SDK azure-ai-ml v2 (geçerli)

Bu makalede, herhangi bir kesintiye neden olmadan üretimde makine öğrenmesi modelinin yeni bir sürümünü dağıtmayı öğreneceksiniz. Web hizmetinin yeni bir sürümünü üretime tanıtmak için güvenli dağıtım stratejisi olarak da bilinen mavi-yeşil dağıtım stratejisini kullanın. Bu stratejiyi kullandığınızda, web hizmetinin yeni sürümünü tamamen kullanıma sunmadan önce kullanıcıların veya isteklerin küçük bir alt kümesine dağıtmış olursunuz.

Bu makalede çevrimiçi uç noktaları veya çevrimiçi (gerçek zamanlı) çıkarım için kullanılan uç noktaları kullandığınız varsayılır. İki tür çevrimiçi uç nokta vardır: yönetilen çevrimiçi uç noktalar ve Kubernetes çevrimiçi uç noktaları. Uç noktalar ve uç nokta türleri arasındaki farklar hakkında daha fazla bilgi için bkz . Yönetilen çevrimiçi uç noktalar ve Kubernetes çevrimiçi uç noktaları.

Bu makalede dağıtım için yönetilen çevrimiçi uç noktalar kullanılır. Ancak, yönetilen çevrimiçi uç noktalar yerine Kubernetes uç noktalarının nasıl kullanılacağını açıklayan notlar da içerir.

Bu makalede şunları öğreneceksiniz:

• Bir modelin ilk sürümüne hizmet vermek için adlı blue bir dağıtımla çevrimiçi uç nokta tanımlayın.
• blue Daha fazla isteği işleyebilmesi için dağıtımı ölçeklendirin.
• Modelin green olarak adlandırılan ikinci sürümünü uç noktasına dağıtın, ancak canlı trafik göndermeden dağıtımı gerçekleştirin.
• Dağıtımı izole ederek green test edin.
• Canlı trafiğin bir yüzdesini doğrulamak için green dağıtımına kopyalayın.
• Gerçek zamanlı trafiğin küçük bir yüzdesini dağıtıma gönderin green.
• Tüm canlı trafiği dağıtıma green gönderin.
• Kullanılmayan blue dağıtımı silin.

Önkoşullar

Azure CLI

• Azure CLI ve ml Azure CLI uzantısı yüklenir ve yapılandırılır. Daha fazla bilgi için bkz. CLI'yi (v2) yükleme ve ayarlama.

• Bash kabuğu veya uyumlu bir kabuk, örneğin Linux sistemindeki bir kabuk veya Linux için Windows Alt Sistemi. Bu makaledeki Azure CLI örneklerinde bu tür bir kabuk kullandığınız varsayılır.

• Azure Machine Learning çalışma alanı. Çalışma alanı oluşturma yönergeleri için bkz. Ayarlama.

• Aşağıdaki Azure rol tabanlı erişim denetimi (Azure RBAC) rollerinden en az birine sahip bir kullanıcı hesabı:

  • Azure Machine Learning çalışma alanına yönelik Sahip rolü
  • Azure Machine Learning çalışma alanı için Katkıda Bulunan rolü
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* izinleri olan özel bir rol

  Daha fazla bilgi için bkz . Azure Machine Learning çalışma alanlarına erişimi yönetme.

• İsteğe bağlı olarak Docker Altyapısı yerel olarak yüklenir ve çalışır. Bu önkoşul kesinlikle önerilir. Modeli yerel olarak dağıtmak için buna ihtiyacınız vardır ve hata ayıklama için yararlıdır.

Python SDK'sı

ŞUNLAR IÇIN GEÇERLIDIR: Python SDK'sı azure-ai-ml v2 (geçerli)

• Azure Machine Learning çalışma alanı. Çalışma alanı oluşturma adımları için bkz. Çalışma alanı oluşturma.

• Python v2 için Azure Machine Learning SDK'sı. SDK'yı yüklemek için aşağıdaki komutu kullanın:

  pip install azure-ai-ml azure-identity
  

  SDK'nın mevcut yüklemesini en son sürüme güncelleştirmek için aşağıdaki komutu kullanın:

  pip install --upgrade azure-ai-ml azure-identity
  

  Daha fazla bilgi için bkz. Python için Azure Machine Learning Paketi istemci kitaplığı.

• Python 3.10 veya üzeri.

• Aşağıdaki Azure rol tabanlı erişim denetimi (Azure RBAC) rollerinden en az birine sahip bir kullanıcı hesabı:

  • Azure Machine Learning çalışma alanına yönelik Sahip rolü
  • Azure Machine Learning çalışma alanı için Katkıda Bulunan rolü
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* izinleri olan özel bir rol

  Daha fazla bilgi için bkz . Azure Machine Learning çalışma alanlarına erişimi yönetme.

• İsteğe bağlı olarak Docker Altyapısı yerel olarak yüklenir ve çalışır. Bu önkoşul kesinlikle önerilir. Modeli yerel olarak dağıtmak için buna ihtiyacınız vardır ve hata ayıklama için yararlıdır.

Stüdyo

• Azure aboneliği. Eğer bir Azure aboneliğiniz yoksa, başlamadan önce ücretsiz bir hesap oluşturun.

• Azure Machine Learning çalışma alanı. Çalışma alanı oluşturma yönergeleri için bkz. Çalışma alanı oluşturma.

• Aşağıdaki Azure rol tabanlı erişim denetimi (Azure RBAC) rollerinden en az birine sahip bir kullanıcı hesabı:

  • Azure Machine Learning çalışma alanına yönelik Sahip rolü
  • Azure Machine Learning çalışma alanı için Katkıda Bulunan rolü
  • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* izinleri olan özel bir rol

  Daha fazla bilgi için bkz . Azure Machine Learning çalışma alanlarına erişimi yönetme.

Sisteminizi hazırlama

Azure CLI

Ortam değişkenlerini belirleme

Azure CLI ile kullanılacak varsayılan değerleri yapılandırabilirsiniz. Aboneliğiniz, çalışma alanınız ve kaynak grubunuz için değerlerin birden çok kez geçirilmesini önlemek için aşağıdaki kodu çalıştırın:

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

Örnek deposunu kopyalama

Bu makaleyi takip etmek için önce örnek deposunu (azureml-examples) kopyalayın. Ardından deponun cli/ dizinine gidin:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

İpucu

Yalnızca depoya en son işlemeyi kopyalamak için kullanın --depth 1 ; bu da işlemi tamamlamak için gereken süreyi azaltır.

Bu öğreticideki komutlar deploy-safe-rollout-online-endpoints.sh dizinindeki cli dosyasındadır. YAML yapılandırma dosyaları alt dizindedir endpoints/online/managed/sample/ .

Not

Kubernetes çevrimiçi uç noktaları için YAML yapılandırma dosyaları alt dizindedir endpoints/online/kubernetes/ .

Python SDK'sı

Örnek deposunu kopyalama

Eğitim örneklerini çalıştırmak için önce örnek deposunu (azureml-examples) kopyalayın. Önce azureml-examples/sdk/python/endpoints/online/managed dizinine gidin:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

İpucu

Yalnızca depoya en son işlemeyi kopyalamak için kullanın --depth 1 ; bu da işlemi tamamlamak için gereken süreyi azaltır.

Bu makale , online-endpoints-safe-rollout.ipynb not defterini temel alır. Bu makale not defteriyle aynı içeriği içerir, ancak kod bloklarının sırası iki belge arasında biraz farklılık gösterir.

Not

Kubernetes çevrimiçi uç noktası için adımlar kubernetes-online-endpoints-safe-rollout.ipynb not defterini temel alır.

Azure Machine Learning çalışma alanına bağlanma

Çalışma alanı , Azure Machine Learning için en üst düzey kaynaktır. Çalışma alanı, Azure Machine Learning kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir yer sağlar. Bu bölümde, dağıtım görevlerini gerçekleştirdiğiniz çalışma alanınıza bağlanacaksınız. Takip etmek için online-endpoints-safe-rollout.ipynb not defterinizi açın.

1. Gerekli kitaplıkları içeri aktarın:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   Not

   Kubernetes çevrimiçi uç noktası kullanıyorsanız, KubernetesOnlineEndpoint kitaplığından KubernetesOnlineDeployment ve azure.ai.ml.entities sınıflarını içeri aktarın.

2. Çalışma alanı ayarlarını yapılandırın ve çalışma alanına erişim sağlayın.

   Bir çalışma alanına bağlanmak için tanımlayıcı parametrelerine (abonelik, kaynak grubu ve çalışma alanı adı) ihtiyacınız vardır. Gerekli Azure Machine Learning çalışma alanına bir tanıtıcı almak için MLClient modülündeki azure.ai.ml sınıfında bu bilgileri kullanın. Bu örnek varsayılan Azure kimlik doğrulamasını kullanır.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

Stüdyo

Yerel makinenizde Git yüklüyse örnek deposunu kopyalamak için yönergeleri izleyebilirsiniz. Aksi takdirde, örnek deposundaki dosyaları indirmek için yönergeleri izleyin.

Örnek deposunu kopyalama

Bu makaleyi takip etmek için azureml-examples deposunu kopyalayın. Ardından klasörüne azureml-examples/cli/endpoints/online/model-1 gidin.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

İpucu

Yalnızca depoya en son işlemeyi kopyalamak için kullanın --depth 1 ; bu da işlemi tamamlamak için gereken süreyi azaltır.

Örnek deposundan dosya indirme

Örnek deposunu kopyalama yerine depoyu yerel makinenize indirebilirsiniz:

1. Şuraya git: https://github.com/Azure/azureml-examples/ .
2. Kod'a tıklayın<>. Yerel sekmesine gidin ve ZIP İndir'i seçin.

Uç noktayı ve dağıtımı tanımlama

Çevrimiçi (gerçek zamanlı) çıkarım için çevrimiçi uç noktaları kullanın. Çevrimiçi uç noktalar, istemcilerden veri almaya ve yanıtları gerçek zamanlı olarak geri göndermeye hazır dağıtımlar içerir.

Uç nokta tanımlama

Aşağıdaki tabloda, bir uç nokta tanımladığınızda belirtilmesi gereken temel öznitelikler listelemektedir.

Öznitelik	Gerekli veya isteğe bağlı	Tanım
Ad	Gerekli	Uç noktanın adı. Azure bölgesinde benzersiz olmalıdır. Adlandırma kuralları hakkında daha fazla bilgi için bkz. Azure Machine Learning çevrimiçi uç noktaları ve toplu iş uç noktaları.
Kimlik doğrulaması modu	Opsiyonel	Uç nokta için kimlik doğrulama yöntemi. Anahtar tabanlı kimlik doğrulaması, , keyAzure Machine Learning belirteç tabanlı kimlik doğrulaması aml_tokenve Microsoft Entra belirteç tabanlı kimlik doğrulaması aad_tokenarasında seçim yapın. Anahtarın süresi dolmaz, ancak belirtecin süresi dolmaz. Kimlik doğrulaması hakkında daha fazla bilgi için bkz. Çevrimiçi uç noktalar için istemcilerin kimliğini doğrulama.
Tanım	Opsiyonel	Uç noktanın açıklaması.
Etiketler	Opsiyonel	Uç nokta için etiket sözlüğü.
Trafik	Opsiyonel	Dağıtımlar arasında trafiği yönlendirme kuralları. Trafiği anahtar-değer çiftlerinin sözlüğü olarak temsil eder; burada anahtar dağıtım adını, değer de bu dağıtıma gelen trafiğin yüzdesini temsil eder. Trafiği yalnızca bir uç nokta altında dağıtımları oluşturduktan sonra ayarlayabilirsiniz. Dağıtımlar oluşturulduktan sonra çevrimiçi uç nokta trafiğini de güncelleştirebilirsiniz. Yansıtılmış trafiği kullanma hakkında daha fazla bilgi için bkz. Yeni dağıtıma canlı trafiğin küçük bir yüzdesini ayırma.
Yansıtma trafiği	Opsiyonel	Bir dağıtıma yansıtılan canlı trafiğin yüzdesi. Daha fazla bilgi için yansıtılmış trafiği kullanma konusuna bakın: Yansıtılmış trafikle dağıtımı test etme.

Uç nokta oluştururken belirtebileceğiniz özniteliklerin tam listesini görmek için bkz. CLI (v2) çevrimiçi uç nokta YAML şeması. Python için Azure Machine Learning SDK'sının 2. sürümü için bkz. ManagedOnlineEndpoint Sınıfı.

Bir dağıtımı tanımla

Dağıtım, modeli barındıran ve gerçek çıkarım yapan bir kaynak kümesidir. Aşağıdaki tabloda, bir dağıtım tanımladığınızda belirtilmesi gereken temel öznitelikler açıklanmaktadır.

Öznitelik	Gerekli veya isteğe bağlı	Tanım
Ad	Gerekli	Dağıtımın adı.
Uç nokta adı	Gerekli	Dağıtımın oluşturulacağı uç noktanın adı.
Örnek	Opsiyonel	Dağıtım için kullanılacak model. Bu değer, çalışma alanında var olan sürümleme yapılmış bir modelin referansı veya satır içi model tanımı olabilir. Bu makalenin örneklerinde bir scikit-learn model regresyon yapar.
Kod yolu	Opsiyonel	Modeli puanlama için tüm Python kaynak kodunu içeren yerel geliştirme ortamındaki klasörün yolu. İç içe dizinleri ve paketleri kullanabilirsiniz.
Puanlama betiği	Opsiyonel	Belirli bir giriş isteğinde modeli yürüten Python kodu. Bu değer, kaynak kod klasöründeki puanlama dosyasının göreli yolu olabilir. Puanlama betiği dağıtılan bir web hizmetine gönderilen verileri alır ve modele geçirir. Betik, modeli çalıştırdıktan sonra yanıtını istemciye gönderir. Puanlama betiği modelinize özgüdür ve modelin giriş olarak beklediği ve çıkış olarak döndürdüğü verileri anlaması gerekir. Bu makaledeki örneklerde score.py dosyası kullanılabilecek. Bu Python kodunun bir init işlevi ve bir run işlevi olmalıdır. init İşlev, model oluşturulduktan veya güncelleştirildikten sonra çağrılır. Örneğin, modeli bellekte önbelleğe almak için kullanabilirsiniz. İşlev run , gerçek puanlama ve tahmin gerçekleştirmek için uç noktanın her çağrısında çağrılır.
Ortam	Gerekli	Modeli ve kodu barındıracak ortam. Bu değer, çalışma alanında mevcut bir sürümlü ortama referans veya yerinde ortam belirtimi olabilir. Ortam, Conda bağımlılıklarına sahip bir Docker görüntüsü, dockerfile veya kayıtlı bir ortam olabilir.
Örnek türü	Gerekli	Dağıtım için kullanılacak sanal makine boyutu. Desteklenen boyutların listesi için bkz. Yönetilen çevrimiçi uç noktalar SKU listesi.
Örnek sayısı	Gerekli	Dağıtım için kullanılacak örnek sayısı. Değeri beklediğiniz iş yüküne dayandırın. Yüksek kullanılabilirlik için en az üç örnek kullanın. Azure Machine Learning, yükseltmeleri gerçekleştirmek için fazladan yüzde 20 ayırır. Daha fazla bilgi için bkz. Azure Machine Learning çevrimiçi uç noktaları ve toplu iş uç noktaları.

Dağıtım oluştururken belirtebileceğiniz özniteliklerin tam listesini görmek için bkz. CLI (v2) yönetilen çevrimiçi dağıtım YAML şeması. Python SDK'sının 2. sürümü için bkz. ManagedOnlineDeployment Sınıfı.

Azure CLI

Çevrimiçi uç nokta oluşturma

İlk olarak uç nokta adını ayarlayın. Ardından uç noktayı yapılandırın. Bu makalede, uç noktayı yapılandırmak için endpoints/online/managed/sample/endpoint.yml dosyasını kullanırsınız. Bu dosya aşağıdaki satırları içerir:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

Aşağıdaki tabloda YAML uç noktası biçiminin kullandığı anahtarlar açıklanmaktadır. Bu özniteliklerin nasıl belirtileceğini görmek için bkz. CLI (v2) çevrimiçi uç nokta YAML şeması. Yönetilen çevrimiçi uç noktalarla ilgili sınırlar hakkında bilgi için bkz. Azure Machine Learning çevrimiçi uç noktaları ve toplu iş uç noktaları.

Anahtar	Tanım
$schema	(İsteğe bağlı) YAML şeması. YAML dosyasındaki tüm kullanılabilir seçenekleri görmek için, şemayı bir tarayıcıdaki önceki kod bloğunda görüntüleyebilirsiniz.
name	Uç noktanın adı.
auth_mode	Kimlik doğrulama modu. Anahtar tabanlı kimlik doğrulaması için kullanın key . Azure Machine Learning belirteç tabanlı kimlik doğrulaması için kullanın aml_token . Microsoft Entra belirteç tabanlı kimlik doğrulaması için aad_token kullanın. En son belirteci almak için az ml online-endpoint get-credentials komutunu kullanın.

Çevrimiçi uç nokta oluşturmak için:

1. Aşağıdaki Unix komutunu çalıştırarak uç nokta adınızı ayarlayın. YOUR_ENDPOINT_NAME yerine benzersiz bir ad yazın.

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   Önemli

   Uç nokta adları bir Azure bölgesinde benzersiz olmalıdır. Örneğin, Azure westus2 bölgesinde adıyla my-endpointyalnızca bir uç nokta olabilir.

2. Aşağıdaki kodu çalıştırarak uç noktayı bulutta oluşturun. Uç noktayı yapılandırmak için bu kod endpoint.yml dosyasını kullanır.

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

Mavi dağıtımı oluştur

endpoints/online/managed/sample/blue-deployment.yml dosyasını, blue adlı dağıtımın önemli yönlerini konfigüre etmek için kullanabilirsiniz. Bu dosya aşağıdaki satırları içerir:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

Uç noktanız için blue dağıtımını oluşturmak üzere blue-deployment.yml dosyasını kullanın ve aşağıdaki komutu çalıştırın.

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

Önemli

Komuttaki --all-traffic bayrağı, az ml online-deployment create uç nokta trafiğinin yüzde 100'ünü yeni oluşturulan blue dağıtıma ayırır.

blue-deployment.yaml Dosyasında, path satır dosyaların karşıya yüklendiği yeri belirtir. Azure Machine Learning CLI dosyaları karşıya yüklemek ve modeli ve ortamı kaydetmek için bu bilgileri kullanır. Üretim için en iyi yöntem olarak modeli ve ortamı kaydedin ve YAML kodunda kayıtlı adı ve sürümü ayrı olarak belirtin. Modelin biçimini model: azureml:<model-name>:<model-version> kullanın, örneğin, model: azureml:my-model:1. Çevre için biçimi environment: azureml:<environment-name>:<environment-version> kullanın, örneğin environment: azureml:my-env:1.

Kayıt için, model ve environment YAML tanımlarını ayrı YAML dosyalarına ayıklayabilir ve az ml model create ve az ml environment create komutlarını kullanabilirsiniz. Bu komutlar hakkında daha fazla bilgi edinmek için az ml model create -h ve az ml environment create -h komutlarını çalıştırın.

Modelinizi varlık olarak kaydetme hakkında daha fazla bilgi için bkz. Azure CLI veya Python SDK'sını kullanarak model kaydetme. Ortam oluşturma hakkında daha fazla bilgi için bkz. Özel ortam oluşturma.

Python SDK'sı

Çevrimiçi uç nokta oluşturma

Yönetilen çevrimiçi uç nokta oluşturmak için sınıfını ManagedOnlineEndpoint kullanın. Bu sınıf, uç noktanın önemli yönlerini yapılandırmanıza yardımcı olur.

1. Uç noktayı yapılandırın:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   Not

   Kubernetes çevrimiçi uç noktası oluşturmak için sınıfını KubernetesOnlineEndpoint kullanın.

2. Uç noktayı oluşturun:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Mavi dağıtımı oluştur

Yönetilen çevrimiçi uç noktanız için dağıtım oluşturmak için sınıfını ManagedOnlineDeployment kullanın. Bu sınıf, dağıtımın temel yönlerini yapılandırmanız için bir yol sağlar.

1. blue Dağıtımı yapılandırın:

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   Bu örnekteki path parametresi, dosyaların karşıya yükleneceği yeri belirtir. Python SDK'sı, dosyaları karşıya yüklemek ve modeli ve ortamı kaydetmek için bu bilgileri kullanır. Üretim için en iyi yöntem olarak modeli ve ortamı kaydedin ve kayıtlı adı ve sürümü kodda ayrı olarak belirtin.

   Modelinizi varlık olarak kaydetme hakkında daha fazla bilgi için bkz. Azure CLI veya Python SDK'sını kullanarak model kaydetme.

   Ortam oluşturma hakkında daha fazla bilgi için bkz. Özel ortam oluşturma.

   Not

   Kubernetes çevrimiçi uç noktası için dağıtım oluşturmak için sınıfını KubernetesOnlineDeployment kullanın.

2. Dağıtımı oluşturun:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Stüdyo

Azure Machine Learning Stüdyosu'da yönetilen bir çevrimiçi uç nokta oluşturduğunuzda, uç nokta için bir ilk dağıtım tanımlamanız gerekir. Dağıtım tanımlamadan önce çalışma alanınıza bir model kaydedin. Aşağıdaki bölümde, dağıtım için kullanmak üzere bir modelin nasıl kaydedilecekleri gösterilmektedir.

Modelinizi kaydetme

Model kaydı, çalışma alanındaki mantıksal bir varlıktır. Bu varlık tek bir model dosyası veya birden çok dosyadan oluşan bir dizin içerebilir. Üretim için en iyi uygulama olarak modelinizi ve ortamınızı kaydedin.

Örnek modeli kaydetmek için aşağıdaki bölümlerde yer alan adımları izleyin.

Model dosyalarını karşıya yükle

1. Azure Machine Learning stüdyosu'a gidin.

2. Modeller'i seçin.

3. Kayıt Ol'u seçin ve ardından Yerel dosyalardan seçin.

4. Model türü altında Belirtilmeyen tür'i seçin.

5. Gözat'ı seçin ve ardından Klasöre gözat'ı seçin.

   

6. Daha önce kopyaladığınız veya indirdiğiniz deponun yerel kopyasına gidin ve ardından \azureml-examples\cli\endpoints\online\model-1\model öğesini seçin. İstendiğinde Karşıya Yükle'yi seçin ve yükleme tamamlanana kadar bekleyin.

7. sonrakiseçin.

Modeli yapılandırma ve kaydetme

1. Model ayarları sayfasında, Ad'ın altında model için kolay bir ad girin. Bu makaledeki adımlarda modelin adı olduğu model-1varsayılır.

2. kaydı tamamlamak için İleri'yi ve ardından Kaydet'i seçin.

Bu makaledeki sonraki örnekler için, deponun yerel kopyasındaki \azureml-examples\cli\endpoints\online\model-2\model klasöründen de bir model kaydetmeniz gerekir. Bu modeli kaydetmek için önceki iki bölümdeki adımları yineleyin, ancak modeli model-2olarak adlandırın.

Kayıtlı modellerle çalışma hakkında daha fazla bilgi için bkz. Azure Machine Learning'de kayıtlı modellerle çalışma.

Stüdyoda ortam oluşturma hakkında bilgi için bkz. Ortam oluşturma.

Yönetilen çevrimiçi uç noktayı ve mavi dağıtımı oluşturun

Doğrudan tarayıcınızda yönetilen bir çevrimiçi uç nokta oluşturmak için Azure Machine Learning Stüdyosu'yu kullanabilirsiniz. Stüdyoda yönetilen bir çevrimiçi uç nokta oluşturduğunuzda, ilk dağıtımı tanımlamanız gerekir. Boş bir yönetilen çevrimiçi uç nokta oluşturamazsınız.

Stüdyoda yönetilen çevrimiçi uç nokta oluşturmanın bir yolu Modeller sayfasındandır. Bu yöntem ayrıca mevcut yönetilen çevrimiçi dağıtıma model eklemenin kolay bir yolunu sağlar. Modelinizi kaydetme bölümünde daha önce kaydettiğiniz adlı model-1modeli dağıtmak için aşağıdaki bölümlerdeki adımları izleyin.

Bir model seçin

1. Azure Machine Learning Stüdyosu'ya gidin ve Modeller'i seçin.

2. Listede modeli seçin model-1 .

3. DağıtGerçek zamanlı uç noktayı.

   

   Uç noktanız hakkında ayrıntılı bilgi belirtmek için kullanabileceğiniz bir pencere açılır.

   

İlk ayarları yapılandırma

1. Uç nokta adı'nın altında uç noktanız için bir ad girin.

2. İşlem türü altında, Yönetilen için varsayılan değeri koruyun.

3. Kimlik doğrulama türü altında anahtar tabanlı kimlik doğrulamasının varsayılan değerini koruyun.

4. İleri'yi seçin ve model sayfasındaİleri'yi seçin.

Kalan ayarları yapılandırma ve dağıtımı oluşturma

1. Dağıtım sayfasında aşağıdaki adımları izleyin:

   1. Dağıtım adı'nın altına mavi girin.
   2. Daha sonra stüdyoda uç nokta etkinliklerinizin grafiklerini görüntülemek istiyorsanız:
      1. Çıkarım veri toplama altında anahtarı açın.
      2. Application Insights tanılaması altında anahtarı açın.
   3. sonrakiseçin.

2. Çıkarım için kod ve ortam sayfasında aşağıdaki adımları izleyin:

   1. Altında Çıkarım için puanlama betiği seçinGözat'ı seçin ve ardından daha önce klonladığınız veya indirdiğiniz depodaki \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py dosyasını seçin.
   2. Ortam listesinin üstündeki arama kutusuna sklearn girmeye başlayın ve sklearn-1.5:19 seçilmiş ortamını seçin.
   3. sonrakiseçin.

3. İşlem sayfasında aşağıdaki adımları izleyin:

   1. Sanal makine'nin altında varsayılan değeri koruyun.
   2. Örnek sayısı'nın altında varsayılan değeri 1 ile değiştirin.
   3. sonrakiseçin.

4. Canlı Trafik sayfasında, kurulumuna varsayılan olarak yüzde 100 trafik ayırmayı kabul etmek için blue seçeneğini seçin.

5. Gözden Geçir'te dağıtım ayarlarınızı gözden geçirin ve oluştur'u seçin.

   

Uç Noktalar sayfasından uç nokta oluşturma

Alternatif olarak, stüdyodaki Uç Noktalar sayfasından yönetilen bir çevrimiçi uç nokta oluşturabilirsiniz.

1. Azure Machine Learning stüdyosu'a gidin.

2. Uç Noktaları seçin.

3. Oluştur'i seçin.

   

   Uç noktanız ve dağıtımınız hakkında ayrıntılı bilgi belirtebileceğiniz bir pencere açılır.

4. Bir model seçin ve ardından Seç'i seçin.

5. Önceki iki bölümde açıklandığı gibi uç noktanızın ve dağıtımınızın ayarlarını girin. Her adımda varsayılan değerleri kullanın. Dağıtımı oluşturmak için son adımda Oluştur'u seçin.

Mevcut dağıtımınızı onaylayın

Mevcut dağıtımınızı doğrulamanın bir yolu, belirli bir giriş isteği için modelinizi puanlandırmak üzere uç noktanızı çağırmaktır. Uç noktanızı Azure CLI veya Python SDK'sı aracılığıyla çağırdığınızda, gelen trafiği alacak dağıtımın adını belirtmeyi seçebilirsiniz.

Not

Azure CLI veya Python SDK'sının aksine, Azure Machine Learning Stüdyosu bir uç noktayı çağırdığınızda bir dağıtım belirtmenizi gerektirir.

Dağıtım adıyla uç noktayı çağırma

Uç noktayı çağırdığınızda, trafik almak istediğiniz dağıtımın adını belirtebilirsiniz. Bu durumda Azure Machine Learning uç nokta trafiğini doğrudan belirtilen dağıtıma yönlendirir ve çıkışını döndürür. --deployment-name veya deployment_name seçeneğini kullanabilirsiniz.

Dağıtım belirtmeden uç noktayı çağırma

Trafik almak istediğiniz dağıtımı belirtmeden uç noktayı çağırırsanız Azure Machine Learning, trafik denetimi ayarlarına göre uç noktanın gelen trafiğini uç noktadaki dağıtımlara yönlendirir.

Trafik denetimi ayarları, uç noktadaki her dağıtıma belirtilen gelen trafik yüzdelerini ayırır. Örneğin, trafik kurallarınız uç noktanızdaki belirli bir dağıtımın 40% gelen trafiği alması gerektiğini belirtiyorsa Azure Machine Learning uç nokta trafiğinin 40% bu dağıtıma yönlendirir.

Azure CLI

Mevcut uç noktanızın ve dağıtımınızın durumunu görüntülemek için aşağıdaki komutları çalıştırın:

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

Çıkışta uç nokta ve $ENDPOINT_NAME dağıtım hakkındaki blue bilgiler listelenir.

Örnek verileri kullanarak uç noktayı test edin

komutunu kullanarak invoke uç noktayı çağırabilirsiniz. Aşağıdaki komut, örnek bir istek göndermek için sample-request.json JSON dosyasını kullanır:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Python SDK'sı

Model dağıtımının durumunu denetlemek için aşağıdaki kodu kullanın:

ml_client.online_endpoints.get(name=online_endpoint_name)

Örnek verileri kullanarak uç noktayı test edin

Uç noktayı tanımlamak için daha önce oluşturduğunuz MLClient örneğini kullanabilirsiniz. Uç noktayı çağırmak için komutunu aşağıdaki parametrelerle kullanın invoke :

• endpoint_name: Uç noktanın adı.
• request_file: İstek verilerini içeren bir dosya.
• deployment_name: Bir uç noktada test edilecek dağıtımın adı.

Aşağıdaki kod, örnek istek göndermek için sample-request.json JSON dosyasını kullanır.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

Stüdyo

Yönetilen çevrimiçi uç noktaları görüntüleme

Tüm yönetilen çevrimiçi uç noktalarınızı stüdyo uç noktaları sayfasında görüntüleyebilirsiniz. Her uç nokta sayfasının Ayrıntılar sekmesinde uç nokta URI'si, durum, test araçları, etkinlik izleyicileri, dağıtım günlükleri ve örnek tüketim kodu gibi kritik bilgiler görüntülenir. Bu bilgileri görmek için aşağıdaki adımları izleyin:

1. Stüdyoda Uç Noktalar'ı seçin. Çalışma alanı içindeki tüm uç noktaların listesi görüntülenir.

2. İsteğe bağlı olarak, yalnızca yönetilen türleri göstermek için işlem örneği türünde bir filtre oluşturun.

3. Uç noktanın Ayrıntılar sayfasını görüntülemek için bir uç nokta adı seçin.

Örnek verileri kullanarak uç noktayı test edin

Uç nokta sayfasında, yönetilen çevrimiçi dağıtımınızı test etmek için Test sekmesini kullanın. Örnek giriş girmek ve sonuçları görüntülemek için aşağıdaki adımları izleyin:

1. Uç nokta sayfasında Test sekmesine gidin. Dağıtım listesinde dağıtım blue zaten seçilidir.

2. sample-request.json dosyasına gidin ve örnek girişini kopyalayın.

3. Stüdyoda, örnek girişi Giriş kutusuna yapıştırın.

4. Test'i seçin.

Daha fazla trafiği işlemek için mevcut dağıtımınızı ölçeklendirme

Azure CLI

Çevrimiçi uç nokta kullanarak makine öğrenmesi modelini dağıtma ve puanlandırma bölümünde açıklanan dağıtımda, dağıtım YAML dosyasında instance_count değerini 1 olarak ayarlarsınız. update komutunu kullanarak ölçeklendirin:

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

Not

Önceki komutta --set seçeneği dağıtım yapılandırmasını geçersiz kılar. Alternatif olarak, YAML dosyasını güncelleştirebilir ve update seçeneğini kullanarak --file komutuna giriş olarak geçirebilirsiniz.

Python SDK'sı

Daha önce oluşturduğunuz MLClient örneğini kullanarak dağıtıma erişin. Dağıtımı ölçeklendirmek için değerini instance_countartırın veya azaltın.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

Uç nokta hakkında ayrıntılı bilgi edinin

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

Stüdyo

Örnek sayısını ayarlayarak dağıtımın ölçeğini büyütmek veya küçültmek için aşağıdaki adımları izleyin:

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve blue dağıtım kartını bulun.

2. Dağıtım kartının başlığında blue düzenle simgesini seçin.

3. Örnek sayısı'nın altına 2 girin.

4. Güncelleştir'i seçin.

Yeni bir model dağıtın ancak trafik göndermeyin

Azure CLI

adlı greenyeni bir dağıtım oluşturun:

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

Dağıtıma açıkça herhangi bir trafik ayırmadığınız için, green dağıtımına ayrılan trafik sıfırdır. Aşağıdaki komutu kullanarak bu gerçeği doğrulayabilirsiniz:

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

Yeni dağıtımı test edin

Dağıtımda trafiğin green yüzde 0'ı ayrılmış olsa da, şu seçeneği kullanarak --deployment doğrudan çağırabilirsiniz:

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

Trafik kurallarından geçmeden dağıtımı doğrudan çağırmak için bir REST istemcisi kullanmak istiyorsanız, aşağıdaki HTTP üst bilgisini ayarlayın: azureml-model-deployment: <deployment-name>. Aşağıdaki kod, dağıtımı doğrudan çağırmak için URL için İstemci (cURL) kullanır. Kodu Linux için Unix veya Windows Alt Sistemi (WSL) ortamında çalıştırabilirsiniz. Değeri alma $ENDPOINT_KEY yönergeleri için bkz. Veri düzlemi anahtarı veya belirteci alma.

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

Python SDK'sı

Yönetilen çevrimiçi uç noktanız için yeni bir dağıtım oluşturun ve dağıtımı greenadlandırın:

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

Not

Kubernetes çevrimiçi uç noktası için dağıtım oluşturuyorsanız sınıfını KubernetesOnlineDeployment kullanın ve Kubernetes kümenizde bir Kubernetes örnek türü belirtin.

Yeni dağıtımı test edin

Trafiğin yüzde 0'ı green dağıtıma ayrılmış olsa da uç noktayı ve dağıtımı yine de kullanabilirsiniz. Aşağıdaki kod, örnek istek göndermek için sample-request.json JSON dosyasını kullanır.

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

Stüdyo

Yönetilen çevrimiçi uç noktanıza eklemek için yeni bir dağıtım oluşturabilirsiniz. adlı greenbir dağıtım oluşturmak için aşağıdaki bölümlerde verilen adımları izleyin.

İlk ayarları yapılandırma

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve Dağıtım Ekle'yi seçin.

2. Model seçin sayfasında model-2'yi ve ardından Seç'i seçin.

3. Uç Nokta sayfasında ve Model sayfasında İleri'yi seçin.

4. Dağıtım sayfasında aşağıdaki adımları izleyin:

   1. Dağıtım adı'nın altınayeşil girin.
   2. Çıkarım veri toplama altında anahtarı açın.
   3. Application Insights tanılaması altında anahtarı açın.
   4. sonrakiseçin.

5. Çıkarım için kod ve ortam sayfasında aşağıdaki adımları izleyin:

   1. Bir çıkarım puanlama betiği seçin altında Gözat'ı seçin ve ardından önceden klonladığınız veya indirdiğiniz depodan \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py dosyasını seçin.
   2. Ortam listesinin üstündeki arama kutusuna sklearn girmeye başlayın ve sklearn-1.5:19 seçilmiş ortamını seçin.
   3. sonrakiseçin.

6. İşlem sayfasında aşağıdaki adımları izleyin:

   1. Sanal makine'nin altında varsayılan değeri koruyun.
   2. Örnek sayısı'nın altında varsayılan değeri 1 ile değiştirin.
   3. sonrakiseçin.

Kalan ayarları yapılandırma ve dağıtımı oluşturma

1. Dinamik Trafik'te, dağıtıma yüzde 100 ve diğerine yüzde 0 trafik ayırmasını kabul etmek için blue'yi seçin.

2. Gözden Geçir'te dağıtım ayarlarınızı gözden geçirin ve oluştur'u seçin.

   

Modeller sayfasından dağıtım ekleme

Alternatif olarak, dağıtım eklemek için Modeller sayfasını kullanabilirsiniz:

1. Stüdyoda Modeller'i seçin.

2. Listeden bir model seçin.

3. DağıtGerçek zamanlı uç noktayı.

4. Uç Noktası'nın altında Mevcut'u seçin.

5. Uç nokta listesinde, modeli dağıtmak istediğiniz yönetilen çevrimiçi uç noktayı seçin ve ardından İleri'yi seçin.

   

6. Model sayfasında İleri'yi seçin.

7. Dağıtımı oluşturmayı green tamamlamak için başlangıç ayarlarını yapılandırma bölümündeki 4 ile 6 arasında adımları ve Kalan ayarları yapılandırma ve dağıtımı oluşturma bölümündeki tüm adımları izleyin.

Not

Uç noktaya yeni bir dağıtım eklediğinizde, dağıtımlar arasındaki trafik dengesini ayarlamak için Trafik ayırmayı güncelleştir sayfasını kullanabilirsiniz. Bu makaledeki diğer yordamları takip etmek için, dağıtımda şimdilik blue için yüzde 100 ve green için yüzde 0 olan varsayılan trafik dağılımını koruyun.

Yeni dağıtımı test edin

Trafiğin yüzde 0'ı dağıtıma green gitse de uç noktayı ve bu dağıtımı çağırabilirsiniz. Uç nokta sayfasında, yönetilen çevrimiçi dağıtımınızı test etmek için Test sekmesini kullanın. Örnek giriş girmek ve sonuçları görüntülemek için aşağıdaki adımları izleyin:

1. Uç nokta sayfasında Test sekmesine gidin.

2. Dağıtım listesinde yeşil'i seçin.

3. sample-request.json dosyasına gidin ve örnek girişini kopyalayın.

4. Stüdyoda, örnek girişi Giriş kutusuna yapıştırın.

5. Test'i seçin.

Yansıtılmış trafikle dağıtımı test etme

Dağıtımınızı green test ettikten sonra, bu trafik yüzdesini kopyalayıp dağıtıma göndererek canlı trafiğin bir yüzdesini uç noktanıza green. Gölgelendirme olarak da adlandırılan trafik yansıtma, istemcilere döndürülen sonuçları değiştirmez. Tüm istekler blue dağıtımına hala akıyor. Trafiğin aynalanmış yüzdesi kopyalanır ve ayrıca istemcilerinizi etkilemeden ölçümleri ve günlükleri toplamak için green dağıtıma gönderilir.

Yansıtma, istemcileri etkilemeden yeni bir dağıtımı doğrulamak istediğinizde kullanışlıdır. Örneğin, gecikme süresinin kabul edilebilir sınırlar içinde olup olmadığını denetlemek veya HTTP hatası olup olmadığını denetlemek için yansıtmayı kullanabilirsiniz. Yeni bir dağıtımı test etmek için trafik yansıtma veya gölgeleme kullanımı gölge testi olarak da bilinir. Yansıtılmış trafiği alan dağıtım (bu durumda green dağıtımı) aynı zamanda gölge dağıtım olarak da adlandırılabilir.

Yansıtma aşağıdaki sınırlamalara sahiptir:

• Yansıtma, Azure Machine Learning CLI'nın 2.4.0 ve sonraki sürümleri ile Python SDK'sının 1.0.0 ve sonraki sürümleri için desteklenir. Uç noktayı güncelleştirmek için Azure Machine Learning CLI veya Python SDK'sının eski bir sürümünü kullanıyorsanız yansıtma trafiği ayarını kaybedersiniz.
• Kubernetes çevrimiçi uç noktaları için yansıtma şu anda desteklenmemektedir.
• Trafiği bir uç noktadaki tek bir dağıtıma yansıtabilirsiniz.
• Yansıtabileceğiniz maksimum trafik yüzdesi yüzde 50'dir. Bu üst sınır, varsayılan değeri 5 MB/sn olan uç nokta bant genişliği kotanızdaki etkiyi sınırlar. Ayrılmış kotayı aşarsanız uç nokta bant genişliğiniz kısıtlanır. Bant genişliği azaltmayı izleme hakkında bilgi için bkz . Bant genişliği azaltma.

Ayrıca aşağıdaki davranışa da dikkat edin:

• Bir dağıtımı, her ikisini birden değil yalnızca canlı veya yansıtılmış trafiği alacak şekilde yapılandırabilirsiniz.
• Bir uç noktayı çağırdığınızda, bir gölge dağıtım dahil herhangi bir dağıtımının adını belirterek tahmin döndürmesini sağlayabilirsiniz.
• Bir uç noktayı çağırıp gelen trafiği alacak dağıtımın adını belirttiğinizde, Azure Machine Learning trafiği gölge dağıtıma yansıtmaz. Azure Machine Learning, bir dağıtım belirtmediğinizde uç noktaya gönderilen trafikten gelen trafiği gölge dağıtıma yansıtır.

Dağıtımı yansıtılmış trafiğin yüzde 10'unu alacak şekilde ayarlarsanız, istemciler yine de sadece green dağıtımından tahminler almaya devam eder.

Azure CLI

Trafiğin yüzde 10'unu yansıtmak ve dağıtıma göndermek için green aşağıdaki komutu kullanın:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

Yansıtılmış trafiği test etmek için dağıtım belirtmeden uç noktayı birkaç kez çağırın. Uç nokta gelen trafiği yönlendirir:

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

Dağıtımdaki günlükleri denetleyerek trafiğin belirtilen yüzdesinin green dağıtıma gönderildiğini onaylayabilirsiniz.

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

Test ettikten sonra yansıtmayı devre dışı bırakmak için yansıtma trafiğini sıfır olarak ayarlayın:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

Python SDK'sı

Trafiğin yüzde 10'unu yansıtmak ve dağıtıma göndermek için green aşağıdaki kodu kullanın:

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

Yansıtılmış trafiği test etmek için dağıtım belirtmeden uç noktayı birkaç kez çağırın. Uç nokta gelen trafiği yönlendirir:

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

Dağıtımdaki günlükleri denetleyerek trafiğin belirtilen yüzdesinin green dağıtıma gönderildiğini onaylayabilirsiniz.

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

Test ettikten sonra yansıtmayı devre dışı bırakmak için yansıtma trafiğini sıfır olarak ayarlayın:

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

Stüdyo

Trafiğin yüzde 10'unu yansıtmak ve dağıtıma göndermek için green aşağıdaki adımları izleyin:

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve Trafiği güncelleştir'i seçin.

2. Yansıtılmış trafiği etkinleştir anahtarını açın.

3. Dağıtım adı listesinde yeşil'i seçin.

4. Trafik ayırma %altında varsayılan 10%değerini tutun.

5. Güncelleştir'i seçin.

Uç nokta ayrıntıları sayfası artık green dağıtımına %10 yansıtılmış trafik ayırma gösteriyor.

Yansıtılmış trafiği test etmek için uç noktayı birkaç kez çağırmak için Azure CLI veya Python sekmelerine bakın. Günlükleri inceleyerek belirtilen trafik yüzdesinin green dağıtımına gönderildiğini onaylayın. Günlükler sekmesine giderek uç nokta sayfasındaki dağıtım günlüklerine erişebilirsiniz.

Yansıtılan trafiğin performansını izlemek için ölçümleri ve günlükleri de kullanabilirsiniz. Daha fazla bilgi için Çevrimiçi uç noktaları izleme bölümüne bkz.

Test ettikten sonra aşağıdaki adımları uygulayarak yansıtmayı devre dışı bırakabilirsiniz:

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve Trafiği güncelleştir'i seçin.

2. Yansıtılmış trafiği etkinleştir seçeneğini kapatın.

3. Güncelleştir'i seçin.

Yeni dağıtıma canlı trafiğin küçük bir yüzdesini ayırın

Dağıtımınızı green test ettikten sonra, buna trafiğin küçük bir yüzdesini ayırın:

Azure CLI

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

Python SDK'sı

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

Stüdyo

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve Trafiği güncelleştir'i seçin.

2. green dağıtımına yüzde 10 ve blue dağıtımına yüzde 90 ayırarak dağıtım trafiğini ayarlayın.

3. Güncelleştir'i seçin.

İpucu

Trafiği devre dışı bırakmak için toplam trafik yüzdesi yüzde 0 veya trafiği etkinleştirmek için yüzde 100 olmalıdır.

Dağıtımınız green artık tüm canlı trafiğin yüzde 10'unu alıyor. İstemciler hem blue hem de green dağıtımlarından tahminler alır.

Tüm trafiği yeni dağıtıma gönderme

green dağıtımınızdan tam olarak memnun olduğunuzda, tüm trafiği ona yönlendirin.

Azure CLI

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

Python SDK'sı

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

Stüdyo

1. Uç nokta sayfasında Ayrıntılar sekmesine gidin ve Trafiği güncelleştir'i seçin.

2. green dağıtımına yüzde 100 ve blue dağıtımına yüzde 0 ayırarak dağıtım trafiğini düzenleyin.

3. Güncelleştir'i seçin.

Eski dağıtımı kaldırma

Yönetilen çevrimiçi uç noktadan tek bir dağıtımı silmek için aşağıdaki adımları kullanın. Tek bir dağıtımın silinmesi, yönetilen çevrimiçi uç noktadaki diğer dağıtımları etkilemez:

Azure CLI

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

Python SDK'sı

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

Stüdyo

Not

Canlı trafiğin ayrıldığı bir dağıtıma sahip olan dağıtımı silemezsiniz. Dağıtımı silmeden önce dağıtımın trafik ayırmasını yüzde 0 olarak ayarlayın .

1. Uç nokta sayfasında Ayrıntılar sekmesine ve ardından dağıtım kartına blue gidin.

2. Dağıtım adının yanındaki sil simgesini seçin.

Uç noktayı ve dağıtımı silin

Uç noktayı ve dağıtımı kullanmayacaksanız bunları silin. Bir uç birimi sildiğinizde, ona bağlı tüm dağıtımları da silersiniz.

Azure CLI

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Python SDK'sı

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

Stüdyo

1. Azure Machine Learning stüdyosu'a gidin.

2. Uç Noktaları seçin.

3. Listeden bir uç nokta seçin.

4. Sil'i seçin.

Alternatif olarak, yönetilen çevrimiçi uç noktayı doğrudan uç nokta sayfasından silebilirsiniz. Ayrıntılar sekmesine gidin ve sil simgesini seçin.

İlgili içerik

• REST ile modelleri dağıtma
• Çevrimiçi uç nokta örnekleri
• Yönetilen çevrimiçi uç noktalarla ağ yalıtımı kullanma
• Yönetilen kimlikle çevrimiçi uç noktadan Azure kaynaklarına erişme