Menyebarkan model sebagai penyebaran standar

Dalam artikel ini, Anda mempelajari cara menyebarkan model dari katalog model sebagai penyebaran standar.

Model-model tertentu dalam katalog model dapat diimplementasikan sebagai penerapan standar dengan penagihan Standar. Jenis penyebaran ini menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil mempertahankan keamanan dan kepatuhan perusahaan yang dibutuhkan organisasi. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Artikel ini menggunakan penyebaran model Meta Llama sebagai ilustrasi. Namun, Anda dapat menggunakan langkah yang sama untuk menyebarkan salah satu model dalam katalog model yang tersedia untuk penyebaran standar.

Prasyarat

Langganan Azure dengan metode pembayaran yang valid. Langganan Azure gratis atau uji coba tidak akan berfungsi. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.
Ruang kerja Azure Machine Learning.
Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pengembang Azure AI pada grup sumber daya. Untuk informasi selengkapnya tentang izin, lihat Kontrol akses berbasis peran di Azure Pembelajaran Mesin.
Anda perlu menginstal perangkat lunak berikut untuk bekerja dengan Azure Pembelajaran Mesin:
- Studio
- Azure CLI
- Python SDK
- ARM
Anda dapat menggunakan browser web yang kompatibel untuk menavigasi Azure Pembelajaran Mesin.
Azure CLI dan ekstensi ml untuk Azure Pembelajaran Mesin.
```
az extension add -n ml
```
Jika Anda sudah menginstal ekstensi, pastikan versi terbaru diinstal.
```
az extension update -n ml
```
Setelah ekstensi diinstal, konfigurasikan:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Instal Azure Machine Learning SDK untuk Python.
```
pip install -U azure-ai-ml
```
Setelah diinstal, impor namespace yang diperlukan dan buat klien yang tersambung ke ruang kerja Anda:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Anda dapat menggunakan browser web yang kompatibel untuk menyebarkan templat ARM di Microsoft portal Azure atau menggunakan salah satu alat penyebaran. Tutorial ini menggunakan Azure CLI.

Menemukan MODEL dan ID model Anda di katalog model

Masuk ke Studio Azure Machine Learning
Untuk model yang ditawarkan melalui Azure Marketplace, pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Bahwa Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model.

Model yang ditawarkan oleh penyedia non-Microsoft (misalnya, model Llama dan Mistral) ditagih melalui Marketplace Azure. Untuk model tersebut, Anda diharuskan untuk mendaftarkan ruang kerja Anda pada penawaran model tertentu. Model yang ditawarkan oleh Microsoft (misalnya, model Phi-3) tidak memiliki persyaratan ini, karena penagihan dilakukan secara berbeda. Untuk detail tentang penagihan untuk penyebaran model tanpa server di katalog model, lihat Penagihan untuk penyebaran standar.
Buka ruang kerja Anda. Untuk menggunakan penawaran penyebaran standar, ruang kerja Anda harus termasuk dalam salah satu wilayah yang didukung untuk penyebaran tanpa server untuk model tertentu yang ingin Anda sebarkan.
Pilih Katalog model dari bilah sisi kiri dan temukan kartu model model yang ingin Anda sebarkan. Dalam artikel ini, Anda memilih model Bria-2.3-Fast .
1. Jika Anda menyebarkan model menggunakan Azure CLI, Python SDK, atau ARM, salin ID Model.
Penting

Jangan sertakan versi saat menyalin ID Model. Penyebaran standar selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-bria/models/Bria-2.3-Fast/versions/1model , salin azureml://registries/azureml-bria/models/Bria-2.3-Fast.

Bagian berikutnya mencakup langkah-langkah untuk berlangganan ruang kerja Anda ke penawaran model. Anda dapat melewati bagian ini dan lanjutkan ke Menyebarkan model ke penyebaran standar, jika Anda menyebarkan model Microsoft.

Penyebaran standar dapat menyebarkan model yang ditawarkan Microsoft dan non-Microsoft. Untuk model Microsoft (seperti model Phi-3), Anda tidak perlu membuat langganan Azure Marketplace dan Anda dapat menyebarkannya ke penyebaran standar secara langsung untuk menggunakan prediksinya. Untuk model non-Microsoft, Anda perlu membuat langganan terlebih dahulu. Jika ini pertama kalinya Anda menyebarkan model di ruang kerja, Anda harus berlangganan ruang kerja Anda untuk penawaran model tertentu dari Azure Marketplace. Setiap ruang kerja memiliki langganannya sendiri ke penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran.

Catatan

Model yang ditawarkan melalui Azure Marketplace tersedia untuk penyebaran ke penyebaran standar di wilayah tertentu. Periksa Ketersediaan wilayah untuk model dalam penyebaran standar untuk memverifikasi model dan wilayah mana yang tersedia. Jika yang Anda butuhkan tidak tercantum, Anda dapat menyebarkan ke ruang kerja di wilayah yang didukung lalu menggunakan penyebaran standar dari ruang kerja yang berbeda.

Buat langganan marketplace untuk model. Saat membuat langganan, Anda menerima syarat dan ketentuan yang terkait dengan penawaran model. Ingat bahwa Anda tidak perlu melakukan langkah ini untuk model yang ditawarkan Microsoft (seperti Phi-3).
- Studio
- Azure CLI
- Python SDK
- ARM
1. Pada halaman Detail model, pilih Gunakan model ini. Jendela Opsi penyebaran terbuka, memberi Anda pilihan antara penyebaran standar (API tanpa server) dan penyebaran menggunakan komputasi terkelola.
  
  Catatan
  
  Untuk model yang hanya dapat disebarkan melalui penyebaran standar, wizard penyebaran standar terbuka tepat setelah Anda memilih Gunakan model ini dari halaman detail model.
2. Pilih API Tanpa Server untuk membuka wizard penyebaran standar.
3. Jika Anda melihat catatan Anda sudah memiliki langganan Marketplace Azure untuk ruang kerja ini, Anda tidak perlu membuat langganan karena Anda sudah memilikinya. Anda dapat melanjutkan ke Menyebarkan model secara standar.
4. Di wizard penyebaran, pilih tautan untuk Marketplace Azure Ketentuan untuk mempelajari selengkapnya tentang ketentuan penggunaan. Anda juga dapat memilih tab Harga dan istilah untuk mempelajari tentang harga untuk model yang dipilih.
5. Pada wizard penyebaran, pilih tautan untuk Ketentuan Azure Marketplace untuk mempelajari lebih lanjut tentang ketentuan penggunaan. Anda juga dapat memilih tab detail penawaran Marketplace untuk mempelajari tentang harga untuk model yang dipilih.
6. Pilih Berlangganan dan Sebarkan.
subscription.yml
```
name: bria-2.3-Fast
model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast
```
Gunakan file subscription.yml untuk membuat langganan:
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-bria/models/Bria-2.3-Fast"
subscription_name="Bria-2.3-Fast""

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
Gunakan templat berikut untuk membuat langganan model:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Bria-2.3-Fast",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
Setelah Anda berlangganan ruang kerja untuk penawaran Marketplace Azure tertentu, penyebaran berikutnya dari penawaran yang sama di ruang kerja yang sama tidak memerlukan berlangganan lagi.
Kapan saja, Anda dapat melihat penawaran model tempat ruang kerja Anda saat ini berlangganan:
- Studio
- Azure CLI
- Python SDK
- ARM
1. Masuk ke portal Azure
2. Navigasikan ke grup sumber daya tempat ruang kerja berada.
3. Pada filter Jenis, pilih SaaS.
4. Anda melihat semua penawaran yang saat ini Anda berlangganan.
5. Pilih sumber daya apa pun untuk melihat detailnya.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Terapkan model ke penyebaran standar

Setelah membuat langganan untuk model non-Microsoft, Anda dapat menyebarkan model terkait ke penyebaran standar. Untuk model Microsoft (seperti model Phi-3), Anda tidak perlu membuat langganan.

Penyebaran standar menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil mempertahankan keamanan perusahaan dan kebutuhan organisasi kepatuhan. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Di bagian ini, Anda membuat titik akhir dengan nama Bria-2.3-Fast.

Membuat titik akhir tanpa server

Untuk menyebarkan model Microsoft yang tidak memerlukan berlangganan penawaran model, pilih Gunakan model ini lalu pilih API Tanpa Server untuk membuka wizard penyebaran.
Atau, untuk model non-Microsoft yang memerlukan langganan model, jika Anda telah berlangganan ruang kerja Anda ke penawaran model di bagian sebelumnya, lanjutkan untuk memilih Sebarkan. Atau, pilih Lanjutkan penyebaran (jika wizard penyebaran Anda memiliki catatan Anda sudah memiliki langganan Azure Marketplace untuk ruang kerja ini).
Beri nama penyebaran. Nama ini menjadi bagian dari URL API penyebaran. URL ini harus unik di setiap wilayah Azure.

Petunjuk / Saran

Opsi Filter konten (pratinjau) diaktifkan secara default. Biarkan pengaturan default untuk layanan mendeteksi konten berbahaya seperti konten kebencian, bahaya diri, seksual, dan kekerasan. Untuk informasi selengkapnya tentang pemfilteran konten (pratinjau), lihat Keamanan konten untuk model yang disebarkan melalui penyebaran standar.
Pilih Sebarkan. Tunggu hingga penyebaran siap dan Anda diarahkan ke halaman Penyebaran.

endpoint.yml

name: bria-2.3-Fast
model_id: azureml://registries/azureml-bria/models/Bria-2.3-Fast

Gunakan file endpoint.yml untuk membuat titik akhir:

az ml serverless-endpoint create -f endpoint.yml

endpoint_name="bria-2.3-Fast"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()

Gunakan templat berikut untuk membuat titik akhir:

template.json

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "bria-2.3-Fast",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-bria/models/Bria-2.3-Fast",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}

Kemudian buat penyebaran:

az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json

Menyelesaikan templat penyebaran Azure dapat memerlukan beberapa menit. Setelah selesai, Anda akan melihat pesan yang menyertakan hasilnya:

"provisioningState": "Succeeded",

Kapan saja, Anda dapat melihat titik akhir yang disebarkan ke ruang kerja Anda:
- Studio
- Azure CLI
- Python SDK
- ARM
1. Buka ruang kerja Anda.
2. Pilih Titik akhir.
3. Pilih tab Titik akhir tanpa server untuk menampilkan penyebaran standar.
```
az ml serverless-endpoint list
```
```
endpoints = ml_client.online_endpoints.list()
for endpoint in endpoints:
    print(endpoint.name)
```
Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Gunakan langkah-langkah berikut untuk mendapatkan kunci yang terkait dengan titik akhir tertentu.
- Studio
- Azure CLI
- Python SDK
- ARM
1. Untuk kembali ke halaman penyebaran, pilih nama titik akhir dari daftar titik akhir tanpa server.
2. Catat Target URI dan Kunci endpoint. Gunakan untuk memanggil penyebaran dan menghasilkan prediksi.
Catatan

Saat menggunakan portal Microsoft Azure, penyebaran standar tidak ditampilkan secara default pada grup sumber daya. Gunakan opsi Perlihatkan jenis tersembunyi untuk menampilkannya pada grup sumber daya.
```
az ml serverless-endpoint get-credentials -n bria-2.3-Fast
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Gunakan REST API untuk mengkueri informasi ini.
Pada titik ini, titik akhir Anda siap digunakan.
Jika Anda perlu menggunakan penyebaran ini dari ruang kerja yang berbeda, atau Anda berencana untuk menggunakan prompt flow untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran standar. Untuk mempelajari cara mengonfigurasi penyebaran standar yang ada di ruang kerja atau hub baru, lihat Menggunakan penyebaran standar yang disebarkan dari ruang kerja yang berbeda atau dari alur Prompt.

Petunjuk / Saran

Jika Anda menggunakan alur perintah di ruang kerja yang sama tempat penyebaran disebarkan, Anda masih perlu membuat koneksi.

Gunakan penyebaran standar

Model yang disebarkan di Azure Machine Learning dan Microsoft Foundry dalam penyebaran standar mendukung AZURE AI Model Inference API yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk mengonsumsi prediksi dari serangkaian model yang beragam dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat menggunakannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Anda dapat menghapus langganan model dan titik akhir. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

Untuk menghapus penyebaran standar:

Pergi ke Azure Machine Learning studio.
Pilih Titik akhir dari bilah sisi kiri.
Pilih tab Titik akhir tanpa server untuk menampilkan penyebaran standar.
Buka titik akhir yang ingin Anda hapus.
Pilih Hapus.

Untuk menghapus langganan model terkait:

Masuk ke portal Azure
Navigasikan ke grup sumber daya tempat ruang kerja berada.
Pada filter Jenis, pilih SaaS.
Pilih langganan yang ingin Anda hapus.
Pilih Hapus.

Untuk menghapus penyebaran standar:

az ml serverless-endpoint delete \
    --name "bria-2.3-Fast"

Untuk menghapus langganan model terkait:

az ml marketplace-subscription delete \
    --name "bria-2.3-Fast"

Untuk menghapus penyebaran standar:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Untuk menghapus langganan model terkait:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Anda dapat menggunakan alat manajemen sumber daya untuk mengelola sumber daya. Kode berikut menggunakan Azure CLI:

az resource delete --name <resource-name>

Aspek dan pertimbangan biaya dan kuota pada model yang diterapkan sebagai penyebaran standar

Kuota dikelola per penyebaran. Setiap penyebaran memiliki batas tarif 200.000 token per menit dan 1.000 permintaan API per menit. Namun, saat ini kami membatasi satu penyebaran per model per ruang kerja. Hubungi Dukungan Microsoft Azure jika batas tarif saat ini tidak cukup untuk skenario Anda.

Biaya untuk model Microsoft

Anda dapat menemukan informasi harga pada tab Harga dan ketentuan penyihir penyiapan saat menyebarkan model Microsoft (seperti model Phi-3) sebagai penyebaran standar.

Biaya untuk model non-Microsoft

Model non-Microsoft yang disebarkan sebagai penyebaran standar ditawarkan melalui Azure Marketplace dan terintegrasi dengan Foundry untuk digunakan. Anda dapat menemukan harga Marketplace Azure saat menyebarkan atau menyempurnakan model ini.

Setiap kali ruang kerja berlangganan penawaran tertentu dari Azure Marketplace, sumber daya baru dibuat untuk melacak biaya yang terkait dengan konsumsinya. Sumber daya yang sama digunakan untuk melacak biaya yang terkait dengan inferensi dan penyempurnaan model; namun, beberapa alat ukur tersedia untuk melacak setiap skenario secara independen.

Untuk informasi selengkapnya tentang cara melacak biaya, lihat Memantau biaya untuk model yang ditawarkan melalui Marketplace Azure.

Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pemilik, Kontributor, atau Pengembang Azure AI untuk langganan Azure. Atau, akun Anda dapat diberi peran kustom yang memiliki izin berikut:

Pada langganan Azure—untuk berlangganan ruang kerja ke penawaran Marketplace Azure, sekali untuk setiap ruang kerja, per penawaran:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
Pada grup sumber daya—untuk membuat dan menggunakan sumber daya SaaS:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
Di ruang kerja—untuk menyebarkan titik akhir (peran ilmuwan data Azure Pembelajaran Mesin sudah berisi izin ini):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Untuk informasi selengkapnya tentang izin, lihat Mengelola akses ke ruang kerja Azure Pembelajaran Mesin.

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2025-08-07

Bagikan melalui

Menyebarkan model sebagai penyebaran standar

Prasyarat

Menemukan MODEL dan ID model Anda di katalog model

Berlangganan ruang kerja Anda ke penawaran model

Terapkan model ke penyebaran standar

Gunakan penyebaran standar

Menghapus titik akhir dan langganan

Aspek dan pertimbangan biaya dan kuota pada model yang diterapkan sebagai penyebaran standar

Biaya untuk model Microsoft

Biaya untuk model non-Microsoft

Izin yang diperlukan untuk berlangganan penawaran model

Konten terkait

Saran dan Komentar

Sumber Daya Tambahan: