Modelleri standart biçimde dağıtma

Bu makalede, model kataloğundan bir modeli standart dağıtım olarak dağıtmayı öğreneceksiniz.

Model kataloğundaki bazı modeller Standart faturalama ile standart dağıtım olarak dağıtılabilir. Bu dağıtım türü, kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korurken modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu makalede, örnekleme amacıyla Meta Llama model dağıtımı kullanılır. Ancak, model kataloğundaki standart dağıtım için kullanılabilen modellerden herhangi birini dağıtmak için aynı adımları kullanabilirsiniz.

Önkoşullar

• Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

• Azure Machine Learning çalışma alanı.

• Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza kaynak grubunda Azure AI Geliştirici rolü atanmalıdır. İzinler hakkında daha fazla bilgi için bkz . Azure Machine Learning'de rol tabanlı erişim denetimi.

• Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:

  Stüdyo

  Azure Machine Learning'de gezinmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.

  Azure CLI

  Azure Machine Learning için Azure CLI ve ml uzantısı.

  az extension add -n ml
  

  Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.

  az extension update -n ml
  

  Uzantı yüklendikten sonra yapılandırın:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK'sı

  Python için Azure Machine Learning SDK'sını yükleyin.

  pip install -U azure-ai-ml
  

  Yüklendikten sonra gerekli ad alanlarını içeri aktarıp çalışma alanınıza bağlı bir istemci oluşturun:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  Arm şablonlarını Microsoft Azure portalında dağıtmak veya dağıtım araçlarından herhangi birini kullanmak için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz. Bu öğreticide Azure CLI kullanılır.

Model kataloğunda modelinizi ve model kimliğinizi bulma

1. Azure Machine Learning Stüdyosu için oturum aç

2. Azure Market aracılığıyla sunulan modeller için hesabınızın kaynak grubunda Azure AI Geliştirici rolü izinlerine sahip olduğundan veya model tekliflerine abone olmak için gereken izinleri karşıladığınızdan emin olun.

   Microsoft dışı sağlayıcılar (örneğin, Lama ve Mistral modelleri) tarafından sunulan modeller Azure Market üzerinden faturalandırılır. Bu tür modeller için çalışma alanınızı belirli model teklifine abone olmanız gerekir. Faturalama farklı yapıldığından, Microsoft tarafından sunulan modeller (örneğin Phi-3 modelleri) bu gereksinime sahip değildir. Model kataloğundaki modellerin sunucusuz dağıtımı için faturalama hakkında ayrıntılı bilgi için bkz. Standart dağıtımlar için faturalama.

3. Çalışma alanınıza gidin. Standart dağıtım teklifini kullanmak için, çalışma alanınızın dağıtmak istediğiniz model için sunucusuz dağıtım için desteklenen bölgelerden birine ait olması gerekir.

4. Sol kenar çubuğundan Model kataloğu'nu seçin ve dağıtmak istediğiniz modelin model kartını bulun. Bu makalede bir Bria-2.3-Fast modeli seçersiniz.

   1. Modeli Azure CLI, Python SDK veya ARM kullanarak dağıtıyorsanız Model Kimliğini kopyalayın.

   Önemli

   Model Kimliğini kopyalarken sürümü eklemeyin. Standart dağıtımlar her zaman modelin kullanılabilir en son sürümünü dağıtır. Örneğin, model kimliği azureml://registries/azureml-bria/models/Bria-2.3-Fast/versions/1 için azureml://registries/azureml-bria/models/Bria-2.3-Fast kopyalayın.

   

Sonraki bölümde çalışma alanınızı bir model teklifine abone yapmaya yönelik adımlar açıklanmıştır. Microsoft modeli dağıtıyorsanız bu bölümü atlayabilir ve Modeli standart bir dağıtıma dağıtma bölümüne gidebilirsiniz.

Çalışma alanınızı model sunumuna abone ol

Standart dağıtımlar hem Microsoft'un hem de Microsoft tarafından sunulmayan modelleri dağıtabilir. Microsoft modellerinde (Phi-3 modelleri gibi) Azure Market aboneliği oluşturmanız gerekmez ve tahminlerini kullanmak için bunları doğrudan standart dağıtımlara dağıtabilirsiniz . Microsoft dışı modeller için önce aboneliği oluşturmanız gerekir. Modeli çalışma alanına ilk kez dağıtıyorsanız Azure Market'ten belirli bir model teklifi için çalışma alanınızı abone olmanız gerekir. Her çalışma alanının, modelin belirli Azure Market teklifine kendi aboneliği vardır ve bu da harcamaları denetlemenize ve izlemenize olanak tanır.

Not

Azure Market aracılığıyla sunulan modeller, belirli bölgelerdeki standart dağıtımlara dağıtılabilir. Hangi modellerin ve bölgelerin kullanılabilir olduğunu doğrulamak için standart dağıtımlardaki modeller için Bölge kullanılabilirliğini denetleyin. İhtiyacınız olan listede yoksa, desteklenen bir bölgedeki bir çalışma alanına dağıtabilir ve ardından farklı bir çalışma alanından standart dağıtımları kullanabilirsiniz.

1. Modelin market aboneliğini oluşturun. Abonelik oluşturduğunuzda, model teklifiyle ilişkili hüküm ve koşulları kabul edersiniz. Microsoft tarafından sunulan modeller (Phi-3 gibi) için bu adımı gerçekleştirmenize gerek olmadığını unutmayın.

   Stüdyo

   1. Modelin Ayrıntılar sayfasında Bu modeli kullan'ı seçin. Standart dağıtım (sunucusuz API) ile yönetilen işlem kullanan dağıtım arasında seçim sağlayan bir Dağıtım seçenekleri penceresi açılır.

      

      Not

      Yalnızca standart dağıtım aracılığıyla dağıtılabilir modeller için, modelin ayrıntılar sayfasından Bu modeli kullan'ı seçtikten hemen sonra standart dağıtım sihirbazı açılır.

   2. Standart dağıtım sihirbazını açmak için Sunucusuz API'yi seçin.

      

   3. Bu çalışma alanı için zaten bir Azure Market aboneliğiniz var notunu görürseniz, zaten bir aboneliğiniz olduğundan aboneliği oluşturmanız gerekmez. Modeli standart bir dağıtıma dağıtma işlemine geçebilirsiniz.

   4. Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini de seçebilirsiniz.

   5. Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Market teklifi ayrıntıları sekmesini de seçebilirsiniz.

   6. Abone Ol ve Dağıt'ı seçin.

   Azure CLI

   subscription.yml

   name: bria-2.3-Fast
   model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast
   

   Aboneliği oluşturmak için subscription.yml dosyasını kullanın:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK'sı

   model_id="azureml://registries/azureml-bria/models/Bria-2.3-Fast"
   subscription_name="Bria-2.3-Fast""
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Model aboneliği oluşturmak için aşağıdaki şablonu kullanın:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Bria-2.3-Fast",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

2. Belirli bir Azure Market teklifini çalışma alanında abone olduktan sonra, aynı teklifin aynı çalışma alanındaki sonraki dağıtımları için yeniden abone olmanıza gerek kalmaz.

3. Herhangi bir noktada, çalışma alanınızın şu anda abone olduğu model tekliflerini görebilirsiniz:

   Stüdyo

   1. Azure portal'a gidin

   2. Çalışma alanının ait olduğu kaynak grubuna gidin.

   3. Tür filtresinde SaaS'yi seçin.

   4. Şu anda abone olduğunuz tüm teklifleri görürsünüz.

   5. Ayrıntıları görmek için herhangi bir kaynağı seçin.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK'sı

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Modeli standart bir dağıtım ortamına yerleştirme

Microsoft dışı bir model için abonelik oluşturduktan sonra, ilişkili modeli standart bir dağıtıma dağıtabilirsiniz. Microsoft modelleri (Phi-3 modelleri gibi) için abonelik oluşturmanız gerekmez.

Standart dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlarken kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk özelliklerini korur. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu bölümde , Bria-2.3-Fast adlı bir uç nokta oluşturacaksınız.

1. Sunucusuz uç nokta oluşturma

   Stüdyo

   1. Bir model teklifine abone olmayı gerektirmeyen bir Microsoft modeli dağıtmak için Bu modeli kullan'ı ve ardından Sunucusuz API'yi seçerek dağıtım sihirbazını açın.

   2. Alternatif olarak, model aboneliği gerektiren Microsoft dışı bir model için çalışma alanınızı önceki bölümdeki model teklifine abone yaptıysanız Dağıt'ı seçmeye devam edin. Alternatif olarak, Dağıtıma devam et'i seçin (dağıtım sihirbazınızda 'Bu çalışma alanı için zaten bir Azure Market aboneliğiniz var' notu varsa).

      

   3. Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.

      

      İpucu

      İçerik filtresi (önizleme) seçeneği varsayılan olarak etkindir. Nefret, kendine zarar verme, cinsel içerik ve şiddet içeren içerik gibi zararlı içerikleri algılamak için hizmetin varsayılan ayarını değiştirmeyin. İçerik filtreleme (önizleme) hakkında daha fazla bilgi için bkz. Standart dağıtımlar aracılığıyla dağıtılan modeller için içerik güvenliği.

   4. Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.

   Azure CLI

   endpoint.yml

   name: bria-2.3-Fast
   model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast
   

   Uç noktayı oluşturmak için endpoint.yml dosyasını kullanın:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK'sı

   endpoint_name="bria-2.3-Fast"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Uç nokta oluşturmak için aşağıdaki şablonu kullanın:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "project_name": {
               "defaultValue": "my-project",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "bria-2.3-Fast",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Ardından dağıtımı oluşturun:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Azure dağıtım şablonunun tamamlanması birkaç dakika sürebilir. Tamamlandığında, sonucu içeren bir ileti görürsünüz:

   "provisioningState": "Succeeded",
   

2. Herhangi bir noktada, çalışma alanınıza dağıtılan uç noktaları görebilirsiniz:

   Stüdyo

   1. Çalışma alanınıza gidin.

   2. Uç Noktaları seçin.

   3. Standart dağıtımları görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK'sı

   endpoints = ml_client.online_endpoints.list()
   for endpoint in endpoints:
       print(endpoint.name)
   

   ARM

   Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Oluşturulan uç nokta yetkilendirme için anahtar kimlik doğrulamasını kullanır. Belirli bir uç noktayla ilişkili anahtarları almak için aşağıdaki adımları kullanın.

   Stüdyo

   1. Dağıtımın sayfasına dönmek için sunucusuz uç noktalar listesinden uç noktanın adını seçin.
   2. Uç noktanın Hedef URI'sini ve Anahtarını not edin. Dağıtımı çağırmak ve tahminler oluşturmak için bunları kullanın.

   Not

   Azure portalını kullanırken standart dağıtımlar varsayılan olarak kaynak grubunda görüntülenmez. Gizli türleri göster seçeneğini kullanarak bunları kaynak grubunda görüntüleyin.

   Azure CLI

   az ml serverless-endpoint get-credentials -n bria-2.3-Fast
   

   Python SDK'sı

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Bu bilgileri sorgulamak için REST API'lerini kullanın.

4. Bu noktada uç noktanız kullanılmaya hazırdır.

5. Bu dağıtımı farklı bir çalışma alanından kullanmanız gerekiyorsa veya akıllı uygulamalar oluşturmak için istem akışını kullanmayı planlıyorsanız, standart dağıtıma bir bağlantı oluşturmanız gerekir. Yeni bir çalışma alanında veya hub'da mevcut standart dağıtımı yapılandırmayı öğrenmek için bkz. Farklı bir çalışma alanından veya İstem akışından dağıtılan standart dağıtımları kullanma.

   İpucu

   Aynı çalışma alanında dağıtım yapıldıysa ve prompt flow kullanıyorsanız, yine de bağlantı oluşturmanız gerekir.

Standart dağıtımı kullanma

Standart dağıtımlarda Azure Machine Learning ve Microsoft Foundry'de dağıtılan modeller, temel modeller için ortak bir özellik kümesi sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen Azure AI Model Çıkarım API'sini destekler.

Bu API'nin özellikleri ve uygulamaları oluştururken nasıl kullanabileceğiniz hakkında daha fazla bilgi edinin.

Uç noktaları ve abonelikleri silme

Model aboneliklerini ve uç noktaları silebilirsiniz. Model aboneliğini silmek, ilişkili herhangi bir uç noktayı Sağlıksız ve kullanılamaz hale getirir.

Stüdyo

Standart dağıtımı silmek için:

1. Azure Machine Learning stüdyosu'a gidin.

2. Sol kenar çubuğundan Uç Noktalar'ı seçin.

3. Standart dağıtımları görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

4. Silmek istediğiniz uç noktayı açın.

5. Sil'i seçin.

İlişkili model aboneliğini silmek için:

1. Azure portal'a gidin

2. Çalışma alanının ait olduğu kaynak grubuna gidin.

3. Tür filtresinde SaaS'yi seçin.

4. Silmek istediğiniz aboneliği seçin.

5. Sil'i seçin.

Azure CLI

Standart dağıtımı silmek için:

az ml serverless-endpoint delete \
    --name "bria-2.3-Fast"

İlişkili model aboneliğini silmek için:

az ml marketplace-subscription delete \
    --name "bria-2.3-Fast"

Python SDK'sı

Standart dağıtımı silmek için:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

İlişkili model aboneliğini silmek için:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Kaynakları yönetmek için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource delete --name <resource-name>

Standart dağıtım olarak dağıtılan modeller için maliyet ve kota konuları

Kota her dağıtım için yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda çalışma alanı başına model başına bir dağıtımla sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.

Microsoft modelleri için maliyet

Microsoft modellerini (Phi-3 modelleri gibi) standart dağıtımlar olarak dağıtırken dağıtım sihirbazının Fiyatlandırma ve koşullar sekmesinde fiyatlandırma bilgilerini bulabilirsiniz.

Microsoft dışı modeller için maliyet

Standart dağıtım olarak dağıtılan Microsoft dışı modeller Azure Market aracılığıyla sunulur ve kullanım için Foundry ile tümleştirilir. Bu modelleri dağıtırken veya hassas ayar yaparken Azure Marketplace fiyatlandırmasını bulabilirsiniz.

Bir çalışma alanı Azure Market'ten belirli bir teklife her abone olduğunda, tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Çıkarımla veya ince ayar yapmayla ilişkili maliyetleri izlemek için aynı kaynak kullanılır ancak, her senaryoda bağımsız izleme için birden çok metre kullanılabilir.

Maliyetleri izleme hakkında daha fazla bilgi için bkz. Azure Marketplace'te sunulan modeller için maliyetleri izleme.

Model tekliflerine abone olmak için gereken izinler

Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliği için Sahip, Katkıda Bulunan veya Azure AI Geliştirici rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:

• Azure aboneliğinde, her çalışma alanı için teklif başına bir kez olmak üzere çalışma alanını Azure Market teklifine abone yapmak için:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Çalışma alanında - Uç noktaları dağıtmak için (Azure Machine Learning veri bilimci rolü bu izinleri zaten içerir):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

İzinler hakkında daha fazla bilgi için bkz. Azure Machine Learning çalışma alanlarına erişimi yönetme.

İlgili içerik

• Model Kataloğu ve Koleksiyonlar
• Dağıtılan standart dağıtımları farklı bir çalışma alanından kullanın