Modelleri sunucusuz API'ler olarak dağıtma

Makale
05/21/2024

Önemli

Bu makalede açıklanan özelliklerden bazıları yalnızca önizleme aşamasında kullanılabilir. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Bu makalede, model kataloğundan bir modeli kullandıkça öde belirteci tabanlı faturalama ile sunucusuz API olarak dağıtmayı öğreneceksiniz.

Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz API olarak dağıtılabilir. Bu tür bir dağıtım, modelleri aboneliğinizde barındırmadan API olarak kullanmanın yanı sıra kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluğu korumanın bir yolunu sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Önkoşullar

Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.
Azure AI Studio hub'ı.
Azure AI Studio projesi.
Azure rol tabanlı erişim denetimleri (Azure RBAC), Azure AI Studio'daki işlemlere erişim vermek için kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza kaynak grubunda Azure AI Geliştirici rolü atanmalıdır. İzinler hakkında daha fazla bilgi için bkz . Azure AI Studio'da rol tabanlı erişim denetimi.
Azure AI Studio ile çalışmak için aşağıdaki yazılımı yüklemeniz gerekir:
Azure AI Studio'da gezinmek için uyumlu herhangi bir web tarayıcısını kullanabilirsiniz.
Azure Machine Learning için Azure CLI ve ml uzantısı.
```
az extension add -n ml
```
Uzantı zaten yüklüyse en son sürümün yüklü olduğundan emin olun.
```
az extension update -n ml
```
Uzantı yüklendikten sonra yapılandırın:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Python için Azure Machine Learning SDK'sını yükleyin.
```
pip install -U azure-ai-ml
```
Yüklendikten sonra gerekli ad alanlarını içeri aktarıp projenize bağlı bir istemci oluşturun:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Microsoft Azure portalında ARM şablonlarını dağıtmak için uyumlu herhangi bir web tarayıcısı kullanabilir veya dağıtım araçlarından herhangi birini kullanabilirsiniz. Bu öğreticide Azure CLI kullanılır.

Azure Market aracılığıyla sunulan modeller için, tahminlerini kullanmak üzere bunları sunucusuz API uç noktalarına dağıtabilirsiniz. Modeli projede ilk kez dağıtıyorsanız, projenizi Azure Market belirli bir model teklifi için abone olmanız gerekir. Her projenin, harcamaları denetlemenize ve izlemenize olanak tanıyan modelin belirli Azure Market teklifine kendi aboneliği vardır.

Not

Azure Market aracılığıyla sunulan modeller, belirli bölgelerdeki sunucusuz API uç noktalarına dağıtılabilir. Hangi modellerin ve bölgelerin kullanılabilir olduğunu doğrulamak için Sunucusuz API dağıtımları için Model ve bölge kullanılabilirliğini denetleyin. İhtiyacınız olan listede yoksa, desteklenen bir bölgedeki bir çalışma alanına dağıtabilir ve ardından farklı bir çalışma alanından sunucusuz API uç noktalarını kullanabilirsiniz.

Azure AI Studio'da oturum açın.
Hesabınızın kaynak grubunda Azure AI Geliştirici rolü izinlerine sahip olduğundan veya model tekliflerine abone olmak için gereken izinleri karşıladığınızdan emin olun.
Sol kenar çubuğundan Model kataloğu'nu seçin ve dağıtmak istediğiniz modelin model kartını bulun. Bu makalede bir Meta-Llama-3-8B-Instruct modeli seçersiniz.
1. Modeli Azure CLI, Python veya ARM kullanarak dağıtıyorsanız Model Kimliğini kopyalayın.
  
  Önemli
  
  Model Kimliğini kopyalarken sürümü eklemeyin. Sunucusuz API uç noktaları her zaman modelin kullanılabilir en son sürümünü dağıtır. Örneğin, model kimliği azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3için değerini kopyalayın azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

Modelin market aboneliğini oluşturun. Abonelik oluşturduğunuzda, model teklifiyle ilişkili hüküm ve koşulları kabul edersiniz.

Modelin Ayrıntılar sayfasında Dağıt'ı ve ardından Sunucusuz API'yi seçerek dağıtım sihirbazını açın.
Modellerinizi dağıtmak istediğiniz projeyi seçin. Tüm bölgelerin desteklenmediğini unutmayın.
Bu proje için zaten bir Azure Market aboneliğiniz var notunu görüyorsanız, zaten bir aboneliğiniz olduğundan aboneliği oluşturmanız gerekmez. Modeli sunucusuz api uç noktasına dağıtma işlemine geçebilirsiniz.
Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin. Seçilen modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini de seçebilirsiniz.
Abone Ol ve Dağıt'ı seçin.

subscription.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Aboneliği oluşturmak için önceki dosyayı kullanın:

az ml marketplace-subscription create -f subscription.yml

model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()

Model aboneliği oluşturmak için aşağıdaki şablonu kullanın:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}

Belirli bir Azure Market teklifi için projeye kaydolduktan sonra, aynı teklifin aynı projedeki sonraki dağıtımları yeniden abone olmayı gerektirmez.
Herhangi bir noktada, projenizin şu anda abone olduğu model tekliflerini görebilirsiniz:
1. Azure portalına gidin.
2. Projenin ait olduğu kaynak grubuna gidin.
3. Tür filtresinde SaaS'yi seçin.
4. Şu anda abone olduğunuz tüm teklifleri görürsünüz.
5. Ayrıntıları görmek için herhangi bir kaynağı seçin.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Modeli sunucusuz API uç noktasına dağıtma

Modelin aboneliğini oluşturduktan sonra, ilişkili modeli sunucusuz api uç noktasına dağıtabilirsiniz. Sunucusuz API uç noktası, modelleri aboneliğinizde barındırmadan API olarak kullanmanın bir yolunu sağlarken kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk özelliklerini de korumanızı sağlar. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Bu makalede meta-llama3-8b-qwerty adlı bir uç nokta oluşturacaksınız.

Sunucusuz uç nokta oluşturma

Önceki sihirbazdan Dağıt'ı seçin (projeyi önceki bölümdeki model teklifine abone yaptıysanız) veya Dağıtıma devam et'i seçin (dağıtım sihirbazınızda bu proje için zaten bir Azure Market aboneliğiniz varsa).
Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.
Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.

endpoint.yml

name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct

Uç noktayı oluşturmak için endpoint.yml dosyasını kullanın:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Uç nokta oluşturmak için aşağıdaki şablonu kullanın:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Ardından dağıtımı oluşturun:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

Azure dağıtım şablonunun tamamlanması birkaç dakika sürebilir. Tamamlandığında, sonucu içeren bir ileti görürsünüz:

"provisioningState": "Succeeded",

Herhangi bir noktada projenize dağıtılan uç noktaları görebilirsiniz:

Projenize gidin.
Dağıtımlar bölümünü seçin
Sunucusuz API uç noktaları görüntülenir.

az ml serverless-endpoint list

endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Kaynakları sorgulamak için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"

Oluşturulan uç nokta yetkilendirme için anahtar kimlik doğrulamasını kullanır. Belirli bir uç noktayla ilişkili anahtarları almak için aşağıdaki adımları kullanın.
Dağıtımlar sayfasına dönebilir, dağıtımı seçebilir ve uç noktanın Hedef URI'sini ve Anahtarını not edebilirsiniz. Dağıtımı çağırmak ve tahminler oluşturmak için bunları kullanın.

Not

Azure portalını kullanırken sunucusuz API uç noktaları varsayılan olarak kaynak grubunda görüntülenmez. Gizli türleri göster seçeneğini kullanarak bunları kaynak grubunda görüntüleyin.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Bu bilgileri sorgulamak için REST API'lerini kullanın.
Bu noktada uç noktanız kullanılmaya hazırdır.
Bu dağıtımı farklı bir projeden veya hub'dan kullanmanız gerekiyorsa veya akıllı uygulamalar oluşturmak için istem akışını kullanmayı planlıyorsanız sunucusuz API dağıtımına bir bağlantı oluşturmanız gerekir. Yeni bir projede veya hub'da mevcut sunucusuz API uç noktasını yapılandırmayı öğrenmek için bkz . Farklı bir projeden veya prompt akışından dağıtılan sunucusuz API uç noktalarını kullanma.

İpucu

Dağıtımın dağıtıldığı projede veya hub'da istem akışı kullanıyorsanız, bağlantıyı yine de oluşturmanız gerekir.

Sunucusuz API uç noktasını kullanma

Sunucusuz API uç noktalarındaki Azure Machine Learning ve Azure AI studio'da dağıtılan modeller, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen Azure Yapay Zeka Modeli Çıkarım API'sini destekler.

Bu API'nin özellikleri ve uygulama oluştururken bu API'den nasıl yararlanabileceğiniz hakkında daha fazla bilgi edinin.

Uç noktaları ve abonelikleri silme

Model aboneliklerini ve uç noktaları silebilirsiniz. Model aboneliğini silmek, ilişkili uç noktaların iyi durumda olmadığını ve kullanılamaz hale gelmesini sağlar.

Sunucusuz API uç noktasını silmek için:

Azure AI Studio'ya gidin.
Bileşenler Dağıtımları'na >gidin.
Silmek istediğiniz dağıtımı açın.
Sil'i seçin.

İlişkili model aboneliğini silmek için:

Azure portal'a gidin
Projenin ait olduğu kaynak grubuna gidin.
Tür filtresinde SaaS'yi seçin.
Silmek istediğiniz aboneliği seçin.
Sil'i seçin.

Sunucusuz API uç noktasını silmek için:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

İlişkili model aboneliğini silmek için:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Sunucusuz API uç noktasını silmek için:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

İlişkili model aboneliğini silmek için:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Kaynakları yönetmek için kaynak yönetimi araçlarını kullanabilirsiniz. Aşağıdaki kod Azure CLI'yi kullanır:

az resource delete --name <resource-name>

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Sunucusuz API uç noktaları olarak dağıtılan modeller Azure Market aracılığıyla sunulur ve kullanım için Azure AI Studio ile tümleştirilir. Modelleri dağıtırken veya hassas ayarlar yaparken Azure Market fiyatlandırmasını bulabilirsiniz.

Proje Azure Market belirli bir teklife her abone olduğunda, tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Aynı kaynak çıkarım ve ince ayarlama ile ilişkili maliyetleri izlemek için kullanılır; ancak, her senaryo bağımsız olarak izlemek için birden çok metre kullanılabilir.

Maliyetleri izleme hakkında daha fazla bilgi için bkz. Azure Market aracılığıyla sunulan modeller için maliyetleri izleme.

Kota dağıtım başına yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda proje başına model başına bir dağıtımı sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.

Azure rol tabanlı erişim denetimleri (Azure RBAC), Azure AI Studio'daki işlemlere erişim vermek için kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliği için Sahip, Katkıda Bulunan veya Azure AI Geliştirici rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:

Azure aboneliğinde - Çalışma alanının her çalışma alanı ve teklif başına bir kez Azure Market teklifine abone olması için:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Çalışma alanında - Uç noktaları dağıtmak için (Azure Machine Learning veri bilimci rolü bu izinleri zaten içerir):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

İzinler hakkında daha fazla bilgi için bkz . Azure AI Studio'da rol tabanlı erişim denetimi.

Sonraki adım

Azure AI Studio'da Meta Llama 2 modeline ince ayar yapma

Aracılığıyla paylaş

Modelleri sunucusuz API'ler olarak dağıtma

Önkoşullar

Modeli sunucusuz API uç noktasına dağıtma

Sunucusuz API uç noktasını kullanma

Uç noktaları ve abonelikleri silme

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Sonraki adım

Geri Bildirim

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Modelleri sunucusuz API'ler olarak dağıtma

Önkoşullar

Projenizi model teklifine abone olma

Modeli sunucusuz API uç noktasına dağıtma

Sunucusuz API uç noktasını kullanma

Uç noktaları ve abonelikleri silme

Sunucusuz API uç noktaları olarak dağıtılan modeller için maliyet ve kota konuları

Model tekliflerine abone olmak için gereken izinler

Sonraki adım

Geri Bildirim

Geri Bildirim

Ek kaynaklar