Mengonsumsi penyebaran standar dari ruang kerja yang berbeda

Dalam artikel ini, Anda mempelajari cara mengonfigurasi penyebaran standar yang ada di ruang kerja yang berbeda dari tempat penyebarannya.

Model tertentu dalam katalog model dapat disebarkan sebagai penyebaran standar. Penyebaran semacam ini menyediakan cara untuk menggunakan model sebagai API tanpa menghostingnya di langganan Anda, sambil menjaga keamanan dan kepatuhan perusahaan yang dibutuhkan organisasi. Opsi penyebaran ini tidak memerlukan kuota dari langganan Anda.

Kebutuhan untuk memanfaatkan penyebaran standar di ruang kerja yang berbeda dari yang digunakan untuk membuat penyebaran mungkin muncul dalam situasi seperti ini:

• Anda ingin mempusatkan penyebaran di ruang kerja tertentu dan menggunakannya dari ruang kerja yang berbeda di organisasi Anda.
• Anda perlu menyebarkan model di ruang kerja di wilayah Azure tertentu di mana penyebaran tanpa server untuk model tersebut tersedia. Namun, Anda perlu menggunakannya dari wilayah lain, di mana penyebaran tanpa server tidak tersedia untuk model tertentu.

Prasyarat

• Langganan Azure dengan metode pembayaran yang valid. Langganan Azure gratis atau uji coba tidak akan berfungsi. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai.

• Ruang kerja Azure Pembelajaran Mesin tempat Anda ingin menggunakan penyebaran yang ada.

• Model yang diimplementasikan pada penyebaran standar. Artikel ini mengasumsikan bahwa Anda sebelumnya menyebarkan model Meta-Llama-3-8B-Instruct . Untuk mempelajari cara menyebarkan model ini sebagai penyebaran standar, lihat Menyebarkan model sebagai penyebaran standar.

• Anda perlu menginstal perangkat lunak berikut untuk bekerja dengan Azure Pembelajaran Mesin:

  Studio

  Anda dapat menggunakan browser web yang kompatibel untuk menavigasi Azure Pembelajaran Mesin studio.

  Azure CLI

  Azure CLI dan ekstensi ml untuk Azure Pembelajaran Mesin.

  az extension add -n ml
  

  Jika Anda sudah menginstal ekstensi, pastikan versi terbaru diinstal.

  az extension update -n ml
  

  Setelah ekstensi diinstal, konfigurasikan:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Instal Azure Pembelajaran Mesin SDK untuk Python.

  pip install -U azure-ai-ml
  

  Setelah diinstal, impor namespace yang diperlukan:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Membuat koneksi penyebaran standar

Ikuti langkah-langkah berikut untuk membuat koneksi:

1. Sambungkan ke ruang kerja tempat titik akhir disebarkan:

   Studio

   Buka studio Azure Pembelajaran Mesin dan navigasikan ke ruang kerja tempat titik akhir yang ingin Anda sambungkan disebarkan.

   Azure CLI

   Konfigurasikan CLI untuk menunjuk ke ruang kerja:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   Buat klien yang tersambung ke ruang kerja Anda:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Dapatkan URL dan kredensial titik akhir untuk titik akhir yang ingin Anda sambungkan. Dalam contoh ini, Anda mendapatkan detail untuk nama titik akhir meta-llama3-8b-qwerty.

   Studio

   1. Pilih Titik akhir dari bilah sisi kiri.

   2. Pilih tab Titik akhir tanpa server untuk menampilkan penyebaran standar.

   3. Pilih titik akhir yang ingin Anda sambungkan.

   4. Pada tab Detail titik akhir, salin nilai untuk URI Target dan Kunci.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Sekarang, sambungkan ke ruang kerja tempat Anda ingin membuat koneksi dan menggunakan titik akhir.

4. Buat koneksi di ruang kerja:

   Studio

   1. Buka ruang kerja tempat koneksi perlu dibuat.

   2. Buka bagian Kelola di panel kiri dan pilih Koneksi.

   3. Pilih Buat.

   4. Pilih Model Tanpa Server.

   5. Untuk URI Target, tempelkan nilai yang Anda salin sebelumnya.

   6. Untuk Kunci, tempelkan nilai yang Anda salin sebelumnya.

   7. Beri nama koneksi, dalam hal ini meta-llama3-8b-connection.

   8. Pilih Tambahkan koneksi.

   Azure CLI

   Buat definisi koneksi:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. Pada titik ini, koneksi tersedia untuk dikonsumsi.

6. Untuk memvalidasi bahwa koneksi berfungsi:

   1. Dari panel kiri studio Azure Machine Learning, buka Penulisan>Alur permintaan.

   2. Pilih Buat untuk membuat alur baru.

   3. Pilih Buat di kotak Alur obrolan .

   4. Beri nama Alur permintaan Anda dan pilih Buat.

   5. Pilih simpul obrolan dari grafik untuk masuk ke bagian obrolan .

   6. Untuk Koneksi, buka daftar dropdown untuk memilih koneksi yang baru saja Anda buat, dalam hal ini meta-llama3-8b-connection.

   7. Pilih Mulai sesi komputasi dari bilah navigasi atas, untuk memulai runtime otomatis alur perintah.

   8. Pilih opsi Obrolan. Anda sekarang dapat mengirim pesan dan mendapatkan respons.

Konten terkait

• Katalog dan Koleksi Model
• Menerapkan model sebagai penerapan standar