Mengimpor Microsoft Foundry API

BERLAKU UNTUK: Semua tingkatan manajemen API

Anda dapat mengimpor titik akhir model AI yang disebarkan di Microsoft Foundry ke instans API Management Anda sebagai API. Gunakan kebijakan gateway AI dan kemampuan lain dalam API Management untuk menyederhanakan integrasi, meningkatkan pengamatan, dan meningkatkan kontrol atas titik akhir model.

Untuk mempelajari selengkapnya tentang mengelola API AI di API Management, lihat:

Pilihan kompatibilitas klien

API Management mendukung opsi kompatibilitas klien berikut untuk API AI dari Microsoft Foundry. Saat Anda mengimpor API dengan menggunakan wizard, pilih opsi yang cocok untuk penyebaran model Anda. Opsi menentukan bagaimana klien memanggil API dan bagaimana instans API Management merutekan permintaan ke alat Foundry.

  • Azure OpenAI: Mengelola Azure OpenAI dalam penyebaran model Microsoft Foundry.

    Klien memanggil penyebaran di /openai titik akhir seperti /openai/deployments/my-deployment/chat/completions. Jalur permintaan mencakup nama penerapan. Gunakan opsi ini jika alat Foundry Anda hanya menyertakan penyebaran model Azure OpenAI.

  • Azure AI: Mengelola titik akhir model di Microsoft Foundry yang diekspos melalui Azure AI Model Inference API.

    Klien memanggil penyebaran di /models titik akhir seperti /my-model/models/chat/completions. Isi permintaan mencakup nama penyebaran. Gunakan opsi ini jika Anda ingin fleksibilitas beralih antar model yang diekspos melalui API Inferensi Model AI Azure dan yang disebarkan di Azure OpenAI di Model Foundry.

  • Azure OpenAI v1 - Mengelola Azure OpenAI dalam penyebaran model Microsoft Foundry, menggunakan API Azure OpenAI API versi 1.

    Klien memanggil penyebaran di titik akhir model Azure OpenAI v1 seperti openai/v1/my-model/chat/completions. Isi permintaan mencakup nama penyebaran.

Prasyarat

  • Instans Manajemen API yang ada. Buat jika Anda belum melakukannya.

  • Alat Foundry pada langganan Anda dengan satu atau beberapa model yang telah dideploy. Contohnya termasuk model yang disebarkan di Microsoft Foundry atau Azure OpenAI.

Mengimpor MICROSOFT Foundry API dengan menggunakan portal

Gunakan langkah-langkah berikut untuk mengimpor API AI ke API Management.

Ketika Anda mengimpor API, Manajemen API secara otomatis mengonfigurasi:

  • Operasi untuk setiap titik akhir REST API.
  • Identitas yang ditetapkan sistem dengan izin yang diperlukan untuk mengakses penyebaran alat Foundry.
  • Sumber daya backend dan kebijakan set-backend-service yang mengarahkan permintaan API ke titik akhir Layanan AI Azure.
  • Autentikasi ke backend dengan menggunakan identitas terkelola yang ditetapkan sistem instans.
  • (opsional) Kebijakan untuk membantu Anda memantau dan mengelola API.

Untuk mengimpor MICROSOFT Foundry API ke API Management:

  1. Di portal Azure, buka instans API Management Anda.

  2. Pada menu sebelah kiri, di bawah API, pilih API>+ Tambah API.

  3. Di bawah Buat dari sumber daya Azure, pilih Microsoft Foundry.

    Cuplikan layar pembuatan API yang kompatibel dengan OpenAI di portal.

  4. Pada tab Pilih Layanan AI :

    1. Pilih Langganan untuk mencari Foundry Tools. Untuk mendapatkan informasi tentang penyebaran model dalam layanan, pilih tautan penyebaran di samping nama layanan. Tangkapan layar penyebaran untuk layanan AI di portal.
    2. Pilih alat Foundry.
    3. Pilih Selanjutnya.

  5. Pada tab Konfigurasi API :

    1. Masukkan Nama tampilan dan Deskripsi opsional untuk API.

    2. Di Jalur dasar, masukkan jalur yang digunakan instans API Management Anda untuk mengakses titik akhir penyebaran.

    3. Secara opsional pilih satu atau beberapa Produk untuk dikaitkan dengan API.

    4. Di Kompatibilitas klien, pilih salah satu opsi berikut berdasarkan jenis klien yang ingin Anda dukung. Lihat Opsi kompatibilitas klien untuk informasi selengkapnya.

      • Azure OpenAI - Pilih opsi ini jika klien Anda hanya perlu mengakses Azure OpenAI dalam penyebaran model Microsoft Foundry.
      • Azure AI - Pilih opsi ini jika klien Anda perlu mengakses model lain di Microsoft Foundry.
      • Azure OpenAI v1 - Pilih opsi ini jika Anda ingin menggunakan Azure OpenAI API versi 1 dengan penyebaran model Foundry Anda.

    5. Pilih Selanjutnya.

      Cuplikan layar konfigurasi Microsoft Foundry API di portal.

  6. Pada tab Kelola konsumsi token , secara opsional masukkan pengaturan, atau terima default yang menentukan kebijakan berikut untuk membantu memantau dan mengelola API:

  7. Pada tab Terapkan penembolokan semantik, secara opsional masukkan pengaturan, atau terima default yang mengatur kebijakan dan dapat mengoptimalkan performa serta mengurangi latensi untuk API:

  8. Pada tab keamanan konten AI , secara opsional masukkan pengaturan atau terima default untuk mengonfigurasi layanan Azure AI Content Safety untuk memblokir perintah dengan konten yang tidak aman:

  9. Pilih Tinjau.

  10. Setelah portal memvalidasi pengaturan, pilih Buat.

Menguji API AI

Untuk memastikan API AI Anda berfungsi seperti yang diharapkan, uji di konsol pengujian API Management.

  1. Pilih API yang Anda buat pada langkah sebelumnya.

  2. Pilih tab Uji.

  3. Pilih operasi yang sesuai dengan penyebaran model. Halaman menampilkan bidang untuk parameter dan header.

  4. Masukkan parameter dan header sesuai kebutuhan. Bergantung pada operasi, Anda mungkin perlu mengonfigurasi atau memperbarui isi Permintaan. Berikut adalah contoh dasar isi permintaan untuk operasi penyelesaian obrolan:

    {
  "model": "any",
  "messages": [
    {
      "role": "user",
      "content": "Help me plan a trip to Paris",
      "max_tokens": 100
    }
  ]
}

    Nota

    Di konsol pengujian, API Management secara otomatis menambahkan header Ocp-Apim-Subscription-Key dan mengatur kunci langganan untuk langganan semua akses bawaan. Kunci ini menyediakan akses ke setiap API dalam instans API Management. Untuk menampilkan header Ocp-Apim-Subscription-Key secara opsional, pilih ikon "mata" di samping Permintaan HTTP.

  5. Pilih Kirim.

    Ketika pengujian berhasil, backend merespons dengan kode respons HTTP yang berhasil dan beberapa data. Responsnya mencakup data penggunaan token untuk membantu Anda memantau dan mengelola konsumsi token model bahasa Anda.

Konten terkait

  • Last updated on