Menyebarkan model sebagai penyebaran API tanpa server

Penting

Item-item yang ditandai (pratinjau) dalam artikel ini saat ini sedang berada dalam pratinjau publik. Pratinjau ini disediakan tanpa kesepakatan tingkat layanan, dan kami tidak merekomendasikannya untuk penggunaan dalam lingkungan produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk informasi lebih lanjut, lihat Supplemental Terms of Use for Microsoft Azure Previews.

Dalam artikel ini, Anda mempelajari cara menyebarkan Model Foundry Azure AI sebagai penyebaran API tanpa server. Model tertentu dalam katalog model dapat disebarkan sebagai penyebaran API tanpa server. Penyebaran semacam ini menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil menjaga keamanan dan kepatuhan perusahaan yang dibutuhkan organisasi. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Meskipun penyebaran API tanpa server adalah salah satu opsi untuk menyebarkan Model Azure AI Foundry, kami sarankan Anda menyebarkan Model Foundry ke sumber daya Azure AI Foundry.

Nota

Kami menyarankan agar Anda menyebarkan Model Azure AI Foundry ke sumber daya Azure AI Foundry sehingga Anda dapat menggunakan penyebaran di sumber daya melalui satu titik akhir dengan autentikasi dan skema yang sama untuk menghasilkan inferensi. Titik akhir mengikuti Azure AI Model Inference API yang didukung oleh semua Model Foundry. Untuk mempelajari cara menyebarkan Model Foundry ke sumber daya Azure AI Foundry, lihat Menambahkan dan mengonfigurasi model ke Model Azure AI Foundry.

Prasyarat

• Langganan Azure dengan metode pembayaran yang valid. Langganan Azure gratis atau uji coba tidak akan berfungsi. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.

• Jika Anda tidak memilikinya, buat proyek berbasis hub.

• Pastikan bahwa fitur Sebarkan model ke sumber daya Azure AI Foundry (pratinjau) dinonaktifkan di portal Azure AI Foundry. Saat fitur ini aktif, penyebaran API tanpa server tidak tersedia dari portal.

  

• Model Foundry dari Mitra dan Komunitas memerlukan akses ke Marketplace Azure, sementara Model Foundry Yang Dijual Langsung oleh Azure tidak memiliki persyaratan ini. Pastikan Anda memiliki izin yang diperlukan untuk berlangganan penawaran model di Azure Marketplace.

• Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di portal Azure AI Foundry. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pengembang Azure AI pada grup sumber daya. Untuk informasi selengkapnya tentang izin, lihat Kontrol akses berbasis peran di portal Azure AI Foundry.

• Anda dapat menggunakan browser web yang kompatibel untuk menavigasi Azure AI Foundry.

Menemukan model Anda di katalog model

1. Masuk ke Azure AI Foundry.
2. Jika Anda belum berada dalam proyek Anda, pilih proyek tersebut.
3. Pilih Katalog model dari panel kiri.

Model yang dijual langsung oleh Azure

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih model DeepSeek-R1 .

5. Pilih Gunakan model ini untuk membuka jendela penyebaran API Tanpa Server tempat Anda dapat melihat tab Harga dan istilah .

6. Pada wizard penyebaran, berilah nama untuk penyebaran tersebut. Opsi Filter konten (pratinjau) diaktifkan secara default. Biarkan pengaturan default untuk layanan mendeteksi konten berbahaya seperti konten kebencian, bahaya diri, seksual, dan kekerasan. Untuk informasi selengkapnya tentang pemfilteran konten, lihat Pemfilteran konten di portal Azure AI Foundry.

   

Model dari Mitra dan Komunitas

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih Cohere-command-r-08-2024.

Nota

Model dari Mitra dan Komunitas ditawarkan melalui Marketplace Azure. Untuk model ini, pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model, karena Anda diharuskan untuk berlangganan proyek Anda ke penawaran model tertentu.

Berlangganan proyek Anda ke penawaran model

Untuk model dari mitra dan komunitas, misalnya, Cohere-command-r-08-2024, Anda harus membuat langganan sebelum dapat menyebarkannya. Jika ini pertama kalinya Anda menyebarkan model dalam proyek, Anda harus berlangganan proyek Anda untuk penawaran model tertentu dari Marketplace Azure. Setiap proyek memiliki langganannya sendiri untuk penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran. Setelah Anda berlangganan proyek untuk penawaran Azure Marketplace tertentu, penyebaran berikutnya dari penawaran yang sama dalam proyek yang sama tidak memerlukan berlangganan lagi.

Selain itu, model yang ditawarkan melalui Azure Marketplace tersedia untuk penyebaran ke penyebaran API tanpa server di wilayah tertentu. Periksa wilayah yang didukung untuk penyebaran tanpa server untuk memverifikasi wilayah yang tersedia untuk model tertentu. Jika wilayah tempat proyek Anda berada tidak tercantum, Anda dapat menyebarkan ke proyek di wilayah yang didukung lalu menggunakan penyebaran API tanpa server dari proyek yang berbeda.

1. Pada halaman Detail model, pilih Gunakan model ini untuk membuka jendela penyebaran API Tanpa Server. Di jendela penyebaran API Tanpa Server, tautan Ketentuan Marketplace Azure menyediakan informasi selengkapnya tentang ketentuan penggunaan. Tab Harga dan istilah juga menyediakan detail harga untuk model yang dipilih.

   Petunjuk / Saran

   Untuk model yang dapat disebarkan melalui penyebaran API tanpa server atau komputasi terkelola, jendela Opsi penyebaran terbuka, memberi Anda pilihan antara penyebaran dan penyebaran API tanpa server menggunakan komputasi terkelola. Dari sana, Anda dapat memilih opsi penyebaran API tanpa server.

2. Jika Anda belum pernah menyebarkan model dalam proyek Anda sebelumnya, Pertama-tama Anda harus berlangganan penawaran model di Azure Marketplace. Pilih Berlangganan dan Terapkan untuk membuka wizard penerapan.

   

3. Atau, jika Anda melihat catatan Anda sudah memiliki langganan Azure Marketplace untuk proyek ini, Anda tidak perlu membuat langganan karena Anda sudah memilikinya. Pilih Lanjutkan untuk menyebarkan untuk membuka wizard penyebaran.

   

4. (Opsional) Kapan saja, Anda dapat melihat penawaran model tempat proyek Anda saat ini berlangganan:

   1. Buka portal Azure.
   2. Navigasikan ke grup sumber daya tempat proyek berada.
   3. Pada filter Jenis, pilih SaaS.
   4. Anda melihat semua penawaran yang saat ini Anda berlangganan.
   5. Pilih sumber daya apa pun untuk melihat detailnya.

5. Pada wizard penyebaran, berilah nama untuk penyebaran tersebut. Opsi Filter konten (pratinjau) diaktifkan secara default. Biarkan pengaturan default untuk layanan mendeteksi konten berbahaya seperti konten kebencian, bahaya diri, seksual, dan kekerasan. Untuk informasi selengkapnya tentang pemfilteran konten, lihat Pemfilteran konten di portal Azure AI Foundry.

Menyebarkan model ke API tanpa server

Di bagian ini, Anda membuat titik akhir untuk model Anda.

1. Di wizard penyebaran, pilih Sebarkan. Tunggu hingga penyebaran siap dan Anda diarahkan ke halaman Penyebaran.

2. Untuk melihat titik akhir yang digunakan pada proyek Anda, di bagian Aset Saya pada panel kiri, pilih Model dan titik akhir.

3. Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Untuk mendapatkan kunci yang terkait dengan titik akhir tertentu, ikuti langkah-langkah berikut:

   1. Pilih penyebaran, dan perhatikan Target URI dan Kunci titik akhir.

   2. Gunakan kredensial ini untuk memanggil penyebaran dan menghasilkan prediksi.

4. Jika Anda perlu menggunakan penyebaran ini dari proyek atau hub yang berbeda, atau Anda berencana menggunakan alur Prompt untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran API tanpa server. Untuk mempelajari cara mengonfigurasi penyebaran API tanpa server yang ada pada proyek atau hub baru, lihat Menggunakan penyebaran API tanpa server yang disebarkan dari proyek yang berbeda atau dari alur Prompt.

   Petunjuk / Saran

   Jika Anda menggunakan alur Prompt di proyek atau hub yang sama tempat penyebaran dilakukan, Anda masih perlu membuat koneksi.

Menggunakan penyebaran API tanpa server

Model yang disebarkan di Azure Machine Learning dan Azure AI Foundry dalam penyebaran API tanpa server mendukung API Inferensi Model Azure AI yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk menggunakan prediksi dari berbagai model dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat menggunakannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Petunjuk / Saran

Karena Anda bisa mengkustomisasi panel kiri di portal Azure AI Foundry, Anda mungkin melihat item yang berbeda dari yang diperlihatkan dalam langkah-langkah ini. Jika Anda tidak melihat apa yang Anda cari, pilih ... Lainnya di bagian bawah panel kiri.

Anda dapat menghapus langganan model dan endpoint. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

Untuk menghapus penyebaran API tanpa server:

1. Pergi ke Azure AI Foundry.
2. Buka proyek Anda.
3. Di bagian Aset saya, pilih Model dan endpoint.
4. Buka penyebaran yang ingin Anda hapus.
5. Pilih Hapus.

Untuk menghapus langganan model terkait:

1. Masuk ke portal Azure
2. Navigasikan ke grup sumber daya tempat proyek berada.
3. Pada filter Jenis, pilih SaaS.
4. Pilih langganan yang ingin Anda hapus.
5. Pilih Hapus.

• Untuk bekerja dengan Azure AI Foundry, instal Azure CLI dan ekstensi ml untuk Azure Machine Learning.

  az extension add -n ml
  

  Jika Anda sudah menginstal ekstensi, pastikan versi terbaru diinstal.

  az extension update -n ml
  

  Setelah ekstensi diinstal, konfigurasikan:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

Menemukan model Anda di katalog model

1. Masuk ke Azure AI Foundry.
2. Jika Anda belum berada dalam proyek Anda, pilih proyek tersebut.
3. Pilih Katalog model dari panel kiri.

Model yang dijual langsung oleh Azure

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih model DeepSeek-R1 .

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1model , salin azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Model dari Mitra dan Komunitas

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih Cohere-command-r-08-2024.

   Nota

   Model dari Mitra dan Komunitas ditawarkan melalui Marketplace Azure. Untuk model ini, pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model, karena Anda diharuskan untuk berlangganan proyek Anda ke penawaran model tertentu.

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1model , salin azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Berlangganan proyek Anda ke penawaran model

Untuk model dari mitra dan komunitas, misalnya, Cohere-command-r-08-2024, Anda harus membuat langganan sebelum dapat menyebarkannya. Jika ini pertama kalinya Anda menyebarkan model dalam proyek, Anda harus berlangganan proyek Anda untuk penawaran model tertentu dari Marketplace Azure. Setiap proyek memiliki langganannya sendiri untuk penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran. Setelah Anda berlangganan proyek untuk penawaran Azure Marketplace tertentu, penyebaran berikutnya dari penawaran yang sama dalam proyek yang sama tidak memerlukan berlangganan lagi.

Selain itu, model yang ditawarkan melalui Azure Marketplace tersedia untuk penyebaran ke penyebaran API tanpa server di wilayah tertentu. Periksa wilayah yang didukung untuk penyebaran tanpa server untuk memverifikasi wilayah yang tersedia untuk model tertentu. Jika wilayah tempat proyek Anda berada tidak tercantum, Anda dapat menyebarkan ke proyek di wilayah yang didukung lalu menggunakan penyebaran API tanpa server dari proyek yang berbeda.

1. Buat langganan untuk marketplace model. Saat membuat langganan, Anda menerima syarat dan ketentuan yang terkait dengan penawaran model.

   subscription.yml

   name: Cohere-command-r-08-2024-qwerty
   model_id: azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024
   

   Gunakan file sebelumnya untuk membuat langganan:

   az ml marketplace-subscription create -f subscription.yml
   

2. (Opsional) Kapan saja, Anda dapat melihat penawaran model tempat proyek Anda saat ini berlangganan:

   az ml marketplace-subscription list
   

Langkah-langkah di bagian artikel ini menggunakan model DeepSeek-R1 untuk ilustrasi. Langkah-langkahnya sama, baik Anda menggunakan Model Foundry yang dijual langsung oleh Azure atau Model Foundry dari mitra dan komunitas. Misalnya, jika Anda memilih untuk menyebarkan model Cohere-command-r-08-2024 sebagai gantinya, Anda dapat mengganti kredensial model dalam cuplikan kode dengan kredensial untuk Cohere.

Menyebarkan model ke API tanpa server

Di bagian ini, Anda membuat titik akhir untuk model Anda. Beri nama titik akhir DeepSeek-R1-qwerty.

1. Buat titik akhir tanpa server.

   endpoint.yml

   name: DeepSeek-R1-qwerty
   model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1
   

   Gunakan file endpoint.yml untuk membuat titik akhir:

   az ml serverless-endpoint create -f endpoint.yml
   

2. Kapan saja, Anda dapat melihat titik akhir yang diterapkan pada proyek Anda.

   az ml serverless-endpoint list
   

3. Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Gunakan langkah-langkah berikut untuk mendapatkan kunci yang terkait dengan titik akhir tertentu.

   az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
   

4. Jika Anda perlu menggunakan penyebaran ini dari proyek atau hub yang berbeda, atau Anda berencana menggunakan alur Prompt untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran API tanpa server. Untuk mempelajari cara mengonfigurasi penyebaran API tanpa server yang ada pada proyek atau hub baru, lihat Menggunakan penyebaran API tanpa server yang disebarkan dari proyek yang berbeda atau dari alur Prompt.

   Petunjuk / Saran

   Jika Anda menggunakan alur Prompt di proyek atau hub yang sama tempat penyebaran dilakukan, Anda masih perlu membuat koneksi.

Menggunakan penyebaran API tanpa server

Model yang disebarkan di Azure Machine Learning dan Azure AI Foundry dalam penyebaran API tanpa server mendukung API Inferensi Model Azure AI yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk menggunakan prediksi dari berbagai model dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat menggunakannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Anda dapat menghapus langganan model dan endpoint. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

Untuk menghapus penyebaran API tanpa server:

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Untuk menghapus langganan model terkait:

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

• Untuk bekerja dengan Azure AI Foundry, instal Azure Machine Learning SDK untuk Python.

  pip install -U azure-ai-ml
  

  Setelah diinstal, impor namespace yang diperlukan dan buat klien yang tersambung ke proyek Anda:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

Menemukan model Anda di katalog model

1. Masuk ke Azure AI Foundry.
2. Jika Anda belum berada dalam proyek Anda, pilih proyek tersebut.
3. Pilih Katalog model dari panel kiri.

Model yang dijual langsung oleh Azure

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih model DeepSeek-R1 .

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1model , salin azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Model dari Mitra dan Komunitas

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih Cohere-command-r-08-2024.

   Nota

   Model dari Mitra dan Komunitas ditawarkan melalui Marketplace Azure. Untuk model ini, pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model, karena Anda diharuskan untuk berlangganan proyek Anda ke penawaran model tertentu.

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1model , salin azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Berlangganan proyek Anda ke penawaran model

Untuk model dari mitra dan komunitas, misalnya, Cohere-command-r-08-2024, Anda harus membuat langganan sebelum dapat menyebarkannya. Jika ini pertama kalinya Anda menyebarkan model dalam proyek, Anda harus berlangganan proyek Anda untuk penawaran model tertentu dari Marketplace Azure. Setiap proyek memiliki langganannya sendiri untuk penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran. Setelah Anda berlangganan proyek untuk penawaran Azure Marketplace tertentu, penyebaran berikutnya dari penawaran yang sama dalam proyek yang sama tidak memerlukan berlangganan lagi.

Selain itu, model yang ditawarkan melalui Azure Marketplace tersedia untuk penyebaran ke penyebaran API tanpa server di wilayah tertentu. Periksa wilayah yang didukung untuk penyebaran tanpa server untuk memverifikasi wilayah yang tersedia untuk model tertentu. Jika wilayah tempat proyek Anda berada tidak tercantum, Anda dapat menyebarkan ke proyek di wilayah yang didukung lalu menggunakan penyebaran API tanpa server dari proyek yang berbeda.

1. Buat langganan untuk marketplace model. Saat membuat langganan, Anda menerima syarat dan ketentuan yang terkait dengan penawaran model.

   model_id="azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024"
   subscription_name="Cohere-command-r-08-2024"
   
   marketplace_subscription = MarketplaceSubscription(
       model_id=model_id,
       name=subscription_name,
   )
   
   marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
       marketplace_subscription
   ).result()
   

2. (Opsional) Kapan saja, Anda dapat melihat penawaran model tempat proyek Anda saat ini berlangganan:

   marketplace_sub_list = client.marketplace_subscriptions.list()
   
   for sub in marketplace_sub_list:
       print(sub.as_dict())
   

Langkah-langkah di bagian artikel ini menggunakan model DeepSeek-R1 untuk ilustrasi. Langkah-langkahnya sama, baik Anda menggunakan Model Foundry yang dijual langsung oleh Azure atau Model Foundry dari mitra dan komunitas. Misalnya, jika Anda memilih untuk menyebarkan model Cohere-command-r-08-2024 sebagai gantinya, Anda dapat mengganti kredensial model dalam cuplikan kode dengan kredensial untuk Cohere.

Menyebarkan model ke API tanpa server

Di bagian ini, Anda membuat titik akhir untuk model Anda. Beri nama titik akhir DeepSeek-R1-qwerty.

1. Buat titik akhir tanpa server.

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

2. Kapan saja, Anda dapat melihat titik akhir yang diterapkan pada proyek Anda.

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

3. Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Gunakan langkah-langkah berikut untuk mendapatkan kunci yang terkait dengan titik akhir tertentu.

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

4. Jika Anda perlu menggunakan penyebaran ini dari proyek atau hub yang berbeda, atau Anda berencana menggunakan alur Prompt untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran API tanpa server. Untuk mempelajari cara mengonfigurasi penyebaran API tanpa server yang ada pada proyek atau hub baru, lihat Menggunakan penyebaran API tanpa server yang disebarkan dari proyek yang berbeda atau dari alur Prompt.

   Petunjuk / Saran

   Jika Anda menggunakan alur Prompt di proyek atau hub yang sama tempat penyebaran dilakukan, Anda masih perlu membuat koneksi.

Menggunakan penyebaran API tanpa server

Model yang disebarkan di Azure Machine Learning dan Azure AI Foundry dalam penyebaran API tanpa server mendukung API Inferensi Model Azure AI yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk menggunakan prediksi dari berbagai model dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat menggunakannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Anda dapat menghapus langganan model dan endpoint. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Untuk menghapus langganan model terkait:

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

• Untuk bekerja dengan Azure AI Foundry, instal Azure CLI seperti yang dijelaskan di Azure CLI.

  Konfigurasikan variabel lingkungan berikut sesuai dengan pengaturan Anda:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

Menemukan model Anda di katalog model

1. Masuk ke Azure AI Foundry.
2. Jika Anda belum berada dalam proyek Anda, pilih proyek tersebut.
3. Pilih Katalog model dari panel kiri.

Model yang dijual langsung oleh Azure

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih model DeepSeek-R1 .

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-deepseek/models/DeepSeek-R1/versions/1model , salin azureml://registries/azureml-deepseek/models/DeepSeek-R1.

   

Model dari Mitra dan Komunitas

4. Pilih kartu model dari model yang ingin Anda terapkan. Dalam artikel ini, Anda memilih Cohere-command-r-08-2024.

   Nota

   Model dari Mitra dan Komunitas ditawarkan melalui Marketplace Azure. Untuk model ini, pastikan akun Anda memiliki izin peran Pengembang Azure AI pada grup sumber daya, atau Anda memenuhi izin yang diperlukan untuk berlangganan penawaran model, karena Anda diharuskan untuk berlangganan proyek Anda ke penawaran model tertentu.

5. Salin ID Model tanpa menyertakan versi model, karena penyebaran API tanpa server selalu menyebarkan versi terbaru model yang tersedia. Misalnya, untuk ID azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024/versions/1model , salin azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024.

   

Berlangganan proyek Anda ke penawaran model

Untuk model dari mitra dan komunitas, misalnya, Cohere-command-r-08-2024, Anda harus membuat langganan sebelum dapat menyebarkannya. Jika ini pertama kalinya Anda menyebarkan model dalam proyek, Anda harus berlangganan proyek Anda untuk penawaran model tertentu dari Marketplace Azure. Setiap proyek memiliki langganannya sendiri untuk penawaran Marketplace Azure model tertentu, yang memungkinkan Anda mengontrol dan memantau pengeluaran. Setelah Anda berlangganan proyek untuk penawaran Azure Marketplace tertentu, penyebaran berikutnya dari penawaran yang sama dalam proyek yang sama tidak memerlukan berlangganan lagi.

Selain itu, model yang ditawarkan melalui Azure Marketplace tersedia untuk penyebaran ke penyebaran API tanpa server di wilayah tertentu. Periksa wilayah yang didukung untuk penyebaran tanpa server untuk memverifikasi wilayah yang tersedia untuk model tertentu. Jika wilayah tempat proyek Anda berada tidak tercantum, Anda dapat menyebarkan ke proyek di wilayah yang didukung lalu menggunakan penyebaran API tanpa server dari proyek yang berbeda.

1. Gunakan konfigurasi bicep berikut untuk membuat langganan model. Saat membuat langganan, Anda menerima syarat dan ketentuan yang terkait dengan penawaran model.

   model-subscription.bicep

   param projectName string = 'my-project'
   param modelId string = 'azureml://registries/azureml-cohere/models/Cohere-command-r-08-2024'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_subscription 'Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions@2024-04-01-preview' = if (!startsWith(
     modelId,
     'azureml://registries/azureml/'
   )) {
     name: '${projectName}/${subscriptionName}'
     properties: {
       modelId: modelId
     }
   }
   

   Kemudian buat sumber daya sebagai berikut:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. (Opsional) Kapan saja, Anda dapat melihat penawaran model tempat proyek Anda saat ini berlangganan. Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.SaaS']"
   

Langkah-langkah di bagian artikel ini menggunakan model DeepSeek-R1 untuk ilustrasi. Langkah-langkahnya sama, baik Anda menggunakan Model Foundry yang dijual langsung oleh Azure atau Model Foundry dari mitra dan komunitas. Misalnya, jika Anda memilih untuk menyebarkan model Cohere-command-r-08-2024 sebagai gantinya, Anda dapat mengganti kredensial model dalam cuplikan kode dengan kredensial untuk Cohere.

Menyebarkan model ke API tanpa server

Di bagian ini, Anda membuat titik akhir untuk model Anda. Beri nama titik akhir myserverless-text-1234ss.

1. Buat titik akhir tanpa server. Gunakan templat berikut untuk membuat titik akhir:

   serverless-endpoint.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   var subscriptionName = '${modelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Buat penyebaran sebagai berikut:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. Kapan saja, Anda dapat melihat titik akhir yang diterapkan pada proyek Anda.

   Anda bisa menggunakan alat manajemen sumber daya untuk mengkueri sumber daya. Kode berikut menggunakan Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Titik akhir yang dibuat menggunakan autentikasi kunci untuk otorisasi. Dapatkan kunci yang terkait dengan titik akhir yang diberikan dengan menggunakan REST API untuk mengkueri informasi ini.

4. Jika Anda perlu menggunakan penyebaran ini dari proyek atau hub yang berbeda, atau Anda berencana menggunakan alur Prompt untuk membangun aplikasi cerdas, Anda perlu membuat koneksi ke penyebaran API tanpa server. Untuk mempelajari cara mengonfigurasi penyebaran API tanpa server yang ada pada proyek atau hub baru, lihat Menggunakan penyebaran API tanpa server yang disebarkan dari proyek yang berbeda atau dari alur Prompt.

   Petunjuk / Saran

   Jika Anda menggunakan alur Prompt di proyek atau hub yang sama tempat penyebaran dilakukan, Anda masih perlu membuat koneksi.

Menggunakan penyebaran API tanpa server

Model yang disebarkan di Azure Machine Learning dan Azure AI Foundry dalam penyebaran API tanpa server mendukung API Inferensi Model Azure AI yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk menggunakan prediksi dari berbagai model dengan cara yang seragam dan konsisten.

Baca selengkapnya tentang kemampuan API ini dan bagaimana Anda dapat menggunakannya saat membangun aplikasi.

Menghapus titik akhir dan langganan

Anda dapat menghapus langganan model dan endpoint. Menghapus langganan model membuat titik akhir terkait menjadi Tidak Sehat dan tidak dapat digunakan.

Anda dapat menggunakan alat manajemen sumber daya untuk mengelola sumber daya. Kode berikut menggunakan Azure CLI:

az resource delete --name <resource-name>

Pertimbangan biaya dan kuota untuk Model Foundry yang disebarkan sebagai penyebaran API tanpa server

Kuota dikelola per penyebaran. Setiap penyebaran memiliki batas tarif 200.000 token per menit dan 1.000 permintaan API per menit. Selain itu, saat ini kami membatasi satu penyebaran per model per proyek. Hubungi Dukungan Microsoft Azure jika batas tarif saat ini tidak cukup untuk skenario Anda.

• Anda dapat menemukan informasi harga untuk Model yang Dijual Langsung oleh Azure, pada tab Harga dan istilah dari jendela penyebaran API Tanpa Server .

• Model dari Mitra dan Komunitas ditawarkan melalui Marketplace Azure dan terintegrasi dengan Azure AI Foundry untuk digunakan. Anda dapat menemukan harga Marketplace Azure saat menyebarkan atau menyempurnakan model ini. Setiap kali proyek berlangganan penawaran tertentu dari Marketplace Azure, sumber daya baru dibuat untuk melacak biaya yang terkait dengan konsumsinya. Sumber daya yang sama tersebut digunakan untuk melacak biaya yang terkait dengan inferensi dan penyesuaian; namun, beberapa meteran tersedia untuk melacak setiap skenario secara terpisah. Untuk informasi selengkapnya tentang cara melacak biaya, lihat Memantau biaya untuk model yang ditawarkan melalui Marketplace Azure.

Izin yang diperlukan untuk berlangganan penawaran model

Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di portal Azure AI Foundry. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran Pemilik, Kontributor, atau Pengembang Azure AI untuk langganan Azure. Atau, akun Anda dapat diberi peran kustom yang memiliki izin berikut:

• Pada langganan Azure—untuk berlangganan ruang kerja ke penawaran Marketplace Azure, sekali untuk setiap ruang kerja, per penawaran:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Pada grup sumber daya—untuk membuat dan menggunakan sumber daya SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Di ruang kerja—untuk menerapkan titik akhir (peran ilmuwan data Azure Machine Learning sudah memiliki izin ini):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Untuk informasi selengkapnya tentang izin, lihat Kontrol akses berbasis peran di portal Azure AI Foundry.

Konten terkait

• Ketersediaan wilayah untuk model sebagai penyebaran API tanpa server
• Menyempurnakan model menggunakan penyebaran API tanpa server