Menyebarkan model sebagai titik akhir API tanpa server

Dalam artikel ini, Anda mempelajari cara menyebarkan model dari katalog model sebagai API tanpa server dengan penagihan berbasis token bayar sesuai penggunaan.

Model tertentu dalam katalog model dapat disebarkan sebagai API tanpa server dengan penagihan bayar sesuai penggunaan. Penyebaran semacam ini menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil menjaga keamanan dan kepatuhan perusahaan yang dibutuhkan organisasi. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Prasyarat

• Langganan Azure dengan metode pembayaran yang valid. Langganan Azure gratis atau uji coba tidak akan berfungsi. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.

• Ruang kerja Azure Machine Learning.

• Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pengembang Azure AI pada grup sumber daya. Untuk informasi selengkapnya tentang izin, lihat Kontrol akses berbasis peran di Azure Pembelajaran Mesin.

• Anda perlu menginstal perangkat lunak berikut untuk bekerja dengan Azure Pembelajaran Mesin:

  Studio

  Anda dapat menggunakan browser web yang kompatibel untuk menavigasi Azure Pembelajaran Mesin.

  Azure CLI

  Azure CLI dan ekstensi ml untuk Azure Pembelajaran Mesin.

  az extension add -n ml
  

  Jika Anda sudah menginstal ekstensi, pastikan versi terbaru diinstal.

  az extension update -n ml
  

  Setelah ekstensi diinstal, konfigurasikan:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Instal Azure Pembelajaran Mesin SDK untuk Python.

  pip install -U azure-ai-ml
  

  Setelah diinstal, impor namespace yang diperlukan dan buat klien yang tersambung ke ruang kerja Anda:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<workspace-name>",
  )
  

  ARM

  Anda dapat menggunakan browser web yang kompatibel untuk menyebarkan templat ARM di Microsoft portal Azure atau menggunakan salah satu alat penyebaran. Tutorial ini menggunakan Azure CLI.

Berlangganan ruang kerja Anda ke penawaran model

Untuk model yang ditawarkan melalui Marketplace Azure, Anda dapat menyebarkannya ke titik akhir API tanpa server untuk menggunakan prediksinya. Jika ini pertama kalinya Anda menyebarkan model di ruang kerja, Anda harus berlangganan ruang kerja Anda untuk penawaran model tertentu dari Marketplace Azure. Setiap ruang kerja memiliki langganannya sendiri ke penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran.

Catatan

Model yang ditawarkan melalui Marketplace Azure tersedia untuk penyebaran ke titik akhir API tanpa server di wilayah tertentu. Periksa Ketersediaan wilayah untuk model di titik akhir API Tanpa Server untuk memverifikasi wilayah mana yang tersedia. Jika yang Anda butuhkan tidak tercantum, Anda dapat menyebarkan ke ruang kerja di wilayah yang didukung lalu menggunakan titik akhir API tanpa server dari ruang kerja yang berbeda.

1. Masuk ke Studio Azure Machine Learning

2. Pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model.

3. Buka ruang kerja Anda.

4. Pilih Katalog model dari bilah sisi kiri dan temukan kartu model model yang ingin Anda sebarkan. Dalam artikel ini, Anda memilih model Meta-Llama-3-8B-Instruct .

   1. Jika Anda menyebarkan model menggunakan Azure CLI, Python SDK, atau ARM, salin ID Model.

   Penting

   Jangan sertakan versi saat menyalin ID Model. Titik akhir API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3model , salin azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

5. Buat langganan marketplace model. Saat membuat langganan, Anda menerima syarat dan ketentuan yang terkait dengan penawaran model.

   Studio

   1. Pada halaman Detail model, pilih Sebarkan lalu pilih API Tanpa Server untuk membuka wizard penyebaran.

   2. Pilih kotak centang untuk mengakui kebijakan pembelian Microsoft.

      

   3. Jika Anda melihat catatan Anda sudah memiliki langganan Marketplace Azure untuk ruang kerja ini, Anda tidak perlu membuat langganan karena Anda sudah memilikinya. Anda dapat melanjutkan ke Menyebarkan model ke titik akhir API tanpa server.

   4. Di wizard penyebaran, pilih tautan untuk Marketplace Azure Ketentuan untuk mempelajari selengkapnya tentang ketentuan penggunaan. Anda juga dapat memilih tab Harga dan istilah untuk mempelajari tentang harga untuk model yang dipilih.

   5. Pada wizard penyebaran, pilih tautan untuk Marketplace Azure Ketentuan untuk mempelajari selengkapnya tentang ketentuan penggunaan. Anda juga dapat memilih tab detail penawaran Marketplace untuk mempelajari tentang harga untuk model yang dipilih.

   6. Pilih Berlangganan dan Sebarkan.

   Azure CLI

   subscription.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gunakan file subscription.yml untuk membuat langganan:

   az ml marketplace-subscription create -f subscription.yml
   

   Python SDK

   model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
   subscription_name="Meta-Llama-3-8B-Instruct"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

   ARM

   Gunakan templat berikut untuk membuat langganan model:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "subscription_name": {
               "defaultValue": "Meta-Llama-3-8B-Instruct",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('subscription_name'))]",
               "location": "[parameters('location')]",
               "properties": {
                   "modelId": "[parameters('model_id')]"
               }
           }
       ]
   }
   

6. Setelah Anda mendaftarkan ruang kerja untuk penawaran Marketplace Azure tertentu, penyebaran berikutnya dari penawaran yang sama di ruang kerja yang sama tidak memerlukan berlangganan lagi.

7. Kapan saja, Anda dapat melihat penawaran model tempat ruang kerja Anda saat ini berlangganan:

   Studio

   1. Masuk ke portal Azure

   2. Navigasikan ke grup sumber daya tempat ruang kerja berada.

   3. Pada filter Jenis, pilih SaaS.

   4. Anda melihat semua penawaran yang saat ini Anda berlangganan.

   5. Pilih sumber daya apa pun untuk melihat detailnya.

   Azure CLI

   az ml marketplace-subscription list
   

   Python SDK

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

   ARM

   Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Menyebarkan model ke titik akhir API tanpa server

Setelah membuat langganan model, Anda dapat menyebarkan model terkait ke titik akhir API tanpa server. Titik akhir API tanpa server menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil menjaga keamanan perusahaan dan organisasi kepatuhan membutuhkan. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Dalam artikel ini, Anda membuat titik akhir dengan nama meta-llama3-8b-qwerty.

1. Membuat titik akhir tanpa server

   Studio

   1. Dari wizard sebelumnya, pilih Sebarkan (jika Anda baru saja berlangganan ruang kerja ke penawaran model di bagian sebelumnya), atau pilih Lanjutkan untuk menyebarkan (jika wizard penyebaran Anda memiliki catatan Anda sudah memiliki langganan Marketplace Azure untuk ruang kerja ini).

      

   2. Beri nama penyebaran. Nama ini menjadi bagian dari URL API penyebaran. URL ini harus unik di setiap wilayah Azure.

      

   3. Pilih Sebarkan. Tunggu hingga penyebaran siap dan Anda diarahkan ke halaman Penyebaran.

   Azure CLI

   endpoint.yml

   name: meta-llama3-8b-qwerty
   model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
   

   Gunakan file endpoint.yml untuk membuat titik akhir:

   az ml serverless-endpoint create -f endpoint.yml
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Gunakan templat berikut untuk membuat titik akhir:

   template.json

   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "parameters": {
           "workspace_name": {
               "defaultValue": "my-workspace",
               "type": "String"
           },
           "endpoint_name": {
               "defaultValue": "meta-llama3-8b-qwerty",
               "type": "String"
           },
           "location": {
               "defaultValue": "eastus2",
               "type": "String"
           },
           "model_id": {
               "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
               "type": "String"
           }
       },
       "variables": {},
       "resources": [
           {
               "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
               "apiVersion": "2024-04-01",
               "name": "[concat(parameters('workspace_name'), '/', parameters('endpoint_name'))]",
               "location": "[parameters('location')]",
               "sku": {
                   "name": "Consumption"
               },
               "properties": {
                   "modelSettings": {
                       "modelId": "[parameters('model_id')]"
                   }
               }
           }
       ]
   }
   

   Kemudian buat penyebaran:

   az deployment group create \
       --name model-subscription-deployment \
       --resource-group <resource-group> \
       --template-file template.json
   

   Diperlukan beberapa menit untuk menyelesaikan templat penyebaran Azure. Setelah selesai, Anda akan melihat pesan yang menyertakan hasilnya:

   "provisioningState": "Succeeded",
   

2. Kapan saja, Anda dapat melihat titik akhir yang disebarkan ke ruang kerja Anda:

   Studio

   1. Buka ruang kerja Anda.

   2. Pilih Titik akhir.

   3. Pilih tab Titik akhir tanpa server untuk menampilkan titik akhir API tanpa server.

   Azure CLI

   az ml serverless-endpoint list
   

   Python SDK

   endpoint_name="meta-llama3-8b-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

   ARM

   Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Gunakan langkah-langkah berikut untuk mendapatkan kunci yang terkait dengan titik akhir tertentu.

   Studio

   1. Untuk kembali ke halaman penyebaran, pilih nama titik akhir dari daftar titik akhir tanpa server.
   2. Perhatikan Target URI dan Kunci titik akhir. Gunakan untuk memanggil penyebaran dan menghasilkan prediksi.

   Catatan

   Saat menggunakan portal Azure, titik akhir API tanpa server tidak ditampilkan secara default pada grup sumber daya. Gunakan opsi Perlihatkan jenis tersembunyi untuk menampilkannya pada grup sumber daya.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

   ARM

   Gunakan REST API untuk mengkueri informasi ini.

4. Pada titik ini, titik akhir Anda siap digunakan.

5. Jika Anda perlu menggunakan penyebaran ini dari ruang kerja yang berbeda, atau Anda berencana untuk menggunakan alur prompt untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran API tanpa server. Untuk mempelajari cara mengonfigurasi titik akhir API tanpa server yang ada pada proyek atau hub baru, lihat Menggunakan titik akhir API tanpa server yang disebarkan dari ruang kerja yang berbeda atau dari alur Prompt.

   Tip

   Jika Anda menggunakan alur perintah di ruang kerja yang sama tempat penyebaran disebarkan, Anda masih perlu membuat koneksi.

Menggunakan titik akhir API tanpa server

Model yang disebarkan di Azure Pembelajaran Mesin dan studio Azure AI di titik akhir API Tanpa Server mendukung API Inferensi Model Azure AI yang memaparkan serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk menggunakan prediksi dari serangkaian model yang beragam dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat memanfaatkannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Anda dapat menghapus langganan model dan titik akhir. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

Studio

Untuk menghapus titik akhir API tanpa server:

1. Buka studio Azure Pembelajaran Mesin.

2. Pilih Titik akhir dari bilah sisi kiri.

3. Pilih tab Titik akhir tanpa server untuk menampilkan titik akhir API tanpa server.

4. Buka titik akhir yang ingin Anda hapus.

5. Pilih Hapus.

Untuk menghapus langganan model terkait:

1. Masuk ke portal Azure

2. Navigasikan ke grup sumber daya tempat ruang kerja berada.

3. Pada filter Jenis, pilih SaaS.

4. Pilih langganan yang ingin Anda hapus.

5. Pilih Hapus.

Azure CLI

Untuk menghapus titik akhir API tanpa server:

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Untuk menghapus langganan model terkait:

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Python SDK

Untuk menghapus titik akhir API tanpa server:

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Untuk menghapus langganan model terkait:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

ARM

Anda dapat menggunakan alat manajemen sumber daya untuk mengelola sumber daya. Kode berikut menggunakan Azure CLI:

az resource delete --name <resource-name>

Pertimbangan biaya dan kuota untuk model yang disebarkan sebagai titik akhir API tanpa server

Model yang disebarkan sebagai titik akhir API tanpa server ditawarkan melalui Marketplace Azure dan terintegrasi dengan Azure Pembelajaran Mesin untuk digunakan. Anda dapat menemukan harga Marketplace Azure saat menyebarkan atau menyempurnakan model.

Setiap kali ruang kerja berlangganan penawaran tertentu dari Marketplace Azure, sumber daya baru dibuat untuk melacak biaya yang terkait dengan konsumsinya. Sumber daya yang sama digunakan untuk melacak biaya yang terkait dengan inferensi dan penyempurnaan; namun, beberapa meter tersedia untuk melacak setiap skenario secara independen.

Untuk informasi selengkapnya tentang cara melacak biaya, lihat Memantau biaya untuk model yang ditawarkan melalui Marketplace Azure.

Kuota dikelola per penyebaran. Setiap penyebaran memiliki batas tarif 200.000 token per menit dan 1.000 permintaan API per menit. Namun, saat ini kami membatasi satu penyebaran per model per ruang kerja. Hubungi Dukungan Microsoft Azure jika batas tarif saat ini tidak cukup untuk skenario Anda.

Izin yang diperlukan untuk berlangganan penawaran model

Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pemilik, Kontributor, atau Pengembang Azure AI untuk langganan Azure. Atau, akun Anda dapat diberi peran kustom yang memiliki izin berikut:

• Pada langganan Azure—untuk berlangganan ruang kerja ke penawaran Marketplace Azure, sekali untuk setiap ruang kerja, per penawaran:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Pada grup sumber daya—untuk membuat dan menggunakan sumber daya SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Di ruang kerja—untuk menyebarkan titik akhir (peran ilmuwan data Azure Pembelajaran Mesin sudah berisi izin ini):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Untuk informasi selengkapnya tentang izin, lihat Mengelola akses ke ruang kerja Azure Pembelajaran Mesin.

Konten terkait

• Katalog dan Koleksi Model
• Menggunakan titik akhir API tanpa server yang disebarkan dari ruang kerja yang berbeda