Modelleri sunucusuz API uç noktaları olarak dağıtma

Bu makalede, model kataloğundan bir modeli kullandıkça öde belirteç tabanlı faturalama ile sunucusuz API olarak dağıtmayı öğreneceksiniz.

Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Önkoşullar

• Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

• Azure Machine Learning çalışma alanı.

• Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza kaynak grubunda Azure AI Geliştirici rolü atanmalıdır. İzinler hakkında daha fazla bilgi için bkz . Azure Machine Learning'de rol tabanlı erişim denetimi.

• Azure Machine Learning ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:

  Studio

  Azure Machine Learning'de gezinmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.

  Azure CLI

  Azure Machine Learning için Azure CLI ve ml uzantısı.

  az extension add -n ml
  

  Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.

  az extension update -n ml
  

  Uzantı yüklendikten sonra yapılandırın:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK'sı

  Python için Azure Machine Learning SDK'sını yükleyin.

  pip install -U azure-ai-ml
  

  Yüklendikten sonra gerekli ad alanlarını içeri aktarıp çalışma alanınıza bağlı bir istemci oluşturun:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  Arm şablonlarını Microsoft Azure portalında dağıtmak veya dağıtım araçlarından herhangi birini kullanmak için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz. Bu öğreticide Azure CLI kullanılır.

Çalışma alanınızı model teklifine abone olma

Azure Market aracılığıyla sunulan modeller için, tahminlerini kullanmak üzere bunları sunucusuz API uç noktalarına dağıtabilirsiniz. Modeli çalışma alanında ilk kez dağıtıyorsanız, Azure Market belirli bir model teklifi için çalışma alanınızı abone olmanız gerekir. Her çalışma alanının, modelin belirli Azure Market teklifine kendi aboneliği vardır ve bu da harcamaları denetlemenize ve izlemenize olanak tanır.

Not

Azure Market aracılığıyla sunulan modeller, belirli bölgelerdeki sunucusuz API uç noktalarına dağıtılabilir. Hangi bölgelerin kullanılabilir olduğunu doğrulamak için Sunucusuz API uç noktalarındaki modeller için Bölge kullanılabilirliğini denetleyin. İhtiyacınız olan listede yoksa, desteklenen bir bölgedeki bir çalışma alanına dağıtabilir ve ardından farklı bir çalışma alanından sunucusuz API uç noktalarını kullanabilirsiniz.

1. Azure Machine Learning stüdyosu oturum açma

2. Hesabınızın kaynak grubunda Azure AI Geliştirici rolü izinlerine sahip olduğundan veya model tekliflerine abone olmak için gereken izinleri karşıladığınızdan emin olun.

3. Çalışma alanınıza gidin.

4. Sol kenar çubuğundan Model kataloğu'nu seçin ve dağıtmak istediğiniz modelin model kartını bulun. Bu makalede bir Meta-Llama-3-8B-Instruct modeli seçersiniz.

   1. Modeli Azure CLI, Python SDK veya ARM kullanarak dağıtıyorsanız Model Kimliğini kopyalayın.

   Önemli

   Model Kimliğini kopyalarken sürümü eklemeyin. Sunucusuz API uç noktaları her zaman modelin kullanılabilir en son sürümünü dağıtır. Örneğin, model kimliği azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3için değerini kopyalayın azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

5. Modelin market aboneliğini oluşturun. Abonelik oluşturduğunuzda, model teklifiyle ilişkili hüküm ve koşulları kabul edersiniz.

   Studio

   1. Modelin Ayrıntılar sayfasında Dağıt'ıve ardından Sunucusuz API'yi seçerek dağıtım sihirbazını açın.

   2. Microsoft satın alma ilkesini onaylamak için onay kutusunu seçin.

      

   3. Bu çalışma alanı için zaten bir Azure Market aboneliğiniz var notunu görürseniz, zaten bir aboneliğiniz olduğundan aboneliği oluşturmanız gerekmez. Modeli sunucusuz api uç noktasına dağıtma işlemine geçebilirsiniz.

   4. Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini de seçebilirsiniz.

   5. Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Market teklifi ayrıntıları sekmesini de seçebilirsiniz.

   6. Abone Ol ve Dağıt'ı seçin.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Aboneliği oluşturmak için subscription.yml dosyasını kullanın:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK'sı

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Model aboneliği oluşturmak için aşağıdaki şablonu kullanın:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

6. Belirli bir Azure Market teklifi için çalışma alanına kaydolduktan sonra, aynı teklifin aynı çalışma alanında sonraki dağıtımları yeniden abone olmayı gerektirmez.

7. Herhangi bir noktada, çalışma alanınızın şu anda abone olduğu model tekliflerini görebilirsiniz:

   Studio

   1. Azure portal'a gidin

   2. Çalışma alanının ait olduğu kaynak grubuna gidin.

   3. Tür filtresinde SaaS'yi seçin.

   4. Şu anda abone olduğunuz tüm teklifleri görürsünüz.

   5. Ayrıntıları görmek için herhangi bir kaynağı seçin.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK'sı

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Modeli sunucusuz API uç noktasına dağıtma

Modelin aboneliğini oluşturduktan sonra, ilişkili modeli sunucusuz api uç noktasına dağıtabilirsiniz. Sunucusuz API uç noktası, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlarken kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk özelliklerini de korumanızı sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu makalede meta-llama3-8b-qwerty adlı bir uç nokta oluşturacaksınız.

1. Sunucusuz uç nokta oluşturma

   Studio

   1. Önceki sihirbazdan Dağıt'ı seçin (çalışma alanını önceki bölümdeki model teklifine abone yaptıysanız) veya Dağıtıma devam et'i seçin (dağıtım sihirbazınızda bu çalışma alanı için zaten bir Azure Market aboneliğiniz varsa).

      

   2. Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.

      

   3. Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Uç noktayı oluşturmak için endpoint.yml dosyasını kullanın:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK'sı

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Uç nokta oluşturmak için aşağıdaki şablonu kullanın:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Ardından dağıtımı oluşturun:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Azure dağıtım şablonunun tamamlanması birkaç dakika sürebilir. Tamamlandığında, sonucu içeren bir ileti görürsünüz:

   "provisioningState": "Succeeded",
   

2. Herhangi bir noktada, çalışma alanınıza dağıtılan uç noktaları görebilirsiniz:

   Studio

   1. Çalışma alanınıza gidin.

   2. Uç Noktaları seçin.

   3. Sunucusuz API uç noktalarını görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK'sı

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Oluşturulan uç nokta yetkilendirme için anahtar kimlik doğrulamasını kullanır. Belirli bir uç noktayla ilişkili anahtarları almak için aşağıdaki adımları kullanın.

   Studio

   1. Dağıtımın sayfasına dönmek için sunucusuz uç noktalar listesinden uç noktanın adını seçin.
   2. Uç noktanın Hedef URI'sini ve Anahtarını not edin. Dağıtımı çağırmak ve tahminler oluşturmak için bunları kullanın.

   Not

   Azure portalını kullanırken sunucusuz API uç noktaları varsayılan olarak kaynak grubunda görüntülenmez. Gizli türleri göster seçeneğini kullanarak bunları kaynak grubunda görüntüleyin.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK'sı

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Bu bilgileri sorgulamak için REST API'lerini kullanın.

4. Bu noktada uç noktanız kullanılmaya hazırdır.

5. Bu dağıtımı farklı bir çalışma alanından kullanmanız gerekiyorsa veya akıllı uygulamalar oluşturmak için istem akışını kullanmayı planlıyorsanız sunucusuz API dağıtımına bir bağlantı oluşturmanız gerekir. Yeni bir proje veya hub'da mevcut sunucusuz API uç noktasını yapılandırmayı öğrenmek için bkz . Farklı bir çalışma alanından veya İstem akışından dağıtılan sunucusuz API uç noktalarını kullanma.

   İpucu

   Dağıtımın dağıtıldığı çalışma alanında istem akışı kullanıyorsanız bağlantıyı yine de oluşturmanız gerekir.

Sunucusuz API uç noktasını kullanma

Sunucusuz API uç noktalarındaki Azure Machine Learning ve Azure AI studio'da dağıtılan modeller, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen Azure Yapay Zeka Modeli Çıkarım API'sini destekler.

Bu API'nin özellikleri ve uygulama oluştururken bu API'den nasıl yararlanabileceğiniz hakkında daha fazla bilgi edinin.

Uç noktaları ve abonelikleri silme

Model aboneliklerini ve uç noktaları silebilirsiniz. Model aboneliğini silmek, ilişkili uç noktaların iyi durumda olmadığını ve kullanılamaz hale gelmesini sağlar.

Studio

Sunucusuz API uç noktasını silmek için:

1. Azure Machine Learning stüdyosu'a gidin.

2. Sol kenar çubuğundan Uç Noktalar'ı seçin.

3. Sunucusuz API uç noktalarını görüntülemek için Sunucusuz uç noktalar sekmesini seçin.

4. Silmek istediğiniz uç noktayı açın.

5. Sil'i seçin.

İlişkili model aboneliğini silmek için:

1. Azure portal'a gidin

2. Çalışma alanının ait olduğu kaynak grubuna gidin.

3. Tür filtresinde SaaS'yi seçin.

4. Silmek istediğiniz aboneliği seçin.

5. Sil'i seçin.

Azure CLI

Sunucusuz API uç noktasını silmek için:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

İlişkili model aboneliğini silmek için:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK'sı

Sunucusuz API uç noktasını silmek için:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

İlişkili model aboneliğini silmek için:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Kaynakları yönetmek için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource delete --name <resource-name>

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Sunucusuz API uç noktası olarak dağıtılan modeller Azure Market aracılığıyla sunulur ve kullanım için Azure Machine Learning ile tümleştirilir. Modelleri dağıtırken veya hassas ayarlar yaparken Azure Market fiyatlandırmasını bulabilirsiniz.

Çalışma alanı Azure Market belirli bir teklife her abone olduğunda, tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Aynı kaynak çıkarım ve ince ayarlama ile ilişkili maliyetleri izlemek için kullanılır; ancak, her senaryo bağımsız olarak izlemek için birden çok metre kullanılabilir.

Maliyetleri izleme hakkında daha fazla bilgi için bkz. Azure Market aracılığıyla sunulan modeller için maliyetleri izleme.

Kota dağıtım başına yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda çalışma alanı başına model başına bir dağıtım sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.

Model tekliflerine abone olmak için gereken izinler

Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliği için Sahip, Katkıda Bulunan veya Azure AI Geliştirici rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:

• Azure aboneliğinde - Çalışma alanının her çalışma alanı ve teklif başına bir kez Azure Market teklifine abone olması için:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Çalışma alanında - Uç noktaları dağıtmak için (Azure Machine Learning veri bilimci rolü bu izinleri zaten içerir):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

İzinler hakkında daha fazla bilgi için bkz. Azure Machine Learning çalışma alanlarına erişimi yönetme.

İlgili içerik

• Model Kataloğu ve Koleksiyonlar
• Dağıtılan sunucusuz API uç noktalarını farklı bir çalışma alanından kullanma