Bagikan melalui

Mengimpor Microsoft Foundry API

BERLAKU UNTUK: Semua tingkatan manajemen API

Anda dapat mengimpor titik akhir model AI yang disebarkan di Microsoft Foundry ke instans API Management Anda sebagai API. Gunakan kebijakan gateway AI dan kemampuan lain dalam API Management untuk menyederhanakan integrasi, meningkatkan pengamatan, dan meningkatkan kontrol atas titik akhir model.

Pelajari lebih lanjut tentang mengelola API AI di Manajemen API.

Pilihan kompatibilitas klien

API Management mendukung dua opsi kompatibilitas klien untuk API AI dari Microsoft Foundry. Saat Anda mengimpor API menggunakan wizard, pilih opsi yang sesuai untuk penyebaran model Anda. Opsi menentukan bagaimana klien memanggil API dan bagaimana instans API Management merutekan permintaan ke layanan AI.

  • Azure OpenAI - Mengelola Azure OpenAI dalam penyebaran model Microsoft Foundry.

    Klien memanggil penyebaran di /openai titik akhir seperti /openai/deployments/my-deployment/chat/completions. Nama penyebaran diteruskan di jalur permintaan. Gunakan opsi ini jika layanan AI Anda hanya menyertakan penyebaran model Azure OpenAI.

  • Azure AI - Mengelola titik akhir model di Microsoft Foundry yang diekspos melalui Azure AI Model Inference API.

    Klien memanggil penyebaran di /models titik akhir seperti /my-model/models/chat/completions. Nama penyebaran diteruskan dalam isi permintaan. Gunakan opsi ini jika Anda ingin fleksibilitas beralih antar model yang diekspos melalui Azure AI Model Inference API dan yang disebarkan di Azure OpenAI di Model Foundry.

Prasyarat

  • Instans Manajemen API yang ada. Buat jika Anda belum melakukannya.

  • Layanan Azure AI di langganan Anda dengan satu atau beberapa model yang diimplementasikan. Contohnya termasuk model yang disebarkan di Microsoft Foundry atau Azure OpenAI.

Mengimpor MICROSOFT Foundry API menggunakan portal

Gunakan langkah-langkah berikut untuk mengimpor API AI ke API Management.

Ketika Anda mengimpor API, Manajemen API secara otomatis mengonfigurasi:

  • Operasi untuk setiap titik akhir REST API
  • Identitas yang diberikan oleh sistem dengan izin yang diperlukan untuk mengakses penyebaran layanan AI.
  • Sumber daya backend dan kebijakan set-backend-service yang mengarahkan permintaan API ke titik akhir layanan AI.
  • Autentikasi ke backend menggunakan identitas terkelola yang ditetapkan sistem instans.
  • (opsional) Kebijakan untuk membantu Anda memantau dan mengelola API.

Untuk mengimpor API Microsoft Foundry ke API Management:

  1. Di portal Azure, navigasikan ke instance Manajemen API Anda.

  2. Pada menu sebelah kiri, di bawah API, pilih API>+ Tambah API.

  3. Di bawah Buat dari sumber daya Azure, pilih Microsoft Foundry.

    Cuplikan layar pembuatan API yang kompatibel dengan OpenAI di portal.

  4. Pada tab Pilih layanan AI :

    1. Pilih Langganan di mana Anda ingin mencari layanan AI. Untuk mendapatkan informasi tentang penyebaran model dalam layanan, pilih tautan penyebaran di samping nama layanan. Cuplikan layar penerapan untuk layanan AI di portal.
    2. Pilih layanan AI.
    3. Pilih Selanjutnya.

  5. Pada tab Konfigurasi API :

    1. Masukkan Nama tampilan dan Deskripsi opsional untuk API.

    2. Di Jalur dasar, masukkan jalur yang digunakan instans API Management Anda untuk mengakses titik akhir penyebaran.

    3. Secara opsional pilih satu atau beberapa Produk untuk dikaitkan dengan API.

    4. Di Kompatibilitas klien, pilih salah satu hal berikut berdasarkan jenis klien yang ingin Anda dukung. Lihat Opsi kompatibilitas klien untuk informasi selengkapnya.

      • Azure OpenAI - Pilih opsi ini jika klien Anda hanya perlu mengakses Azure OpenAI dalam penyebaran model Microsoft Foundry.
      • Azure AI - Pilih opsi ini jika klien Anda perlu mengakses model lain di Microsoft Foundry.

    5. Pilih Selanjutnya.

      Cuplikan layar konfigurasi Microsoft Foundry API di portal.

  6. Pada tab Kelola konsumsi token , secara opsional masukkan pengaturan atau terima default yang menentukan kebijakan berikut untuk membantu memantau dan mengelola API:

  7. Pada tab Terapkan penembolokan semantik, masukkan pengaturan sesuai kebutuhan atau terima pengaturan default yang mendefinisikan aturan untuk membantu mengoptimalkan performa dan mengurangi latensi untuk API.

  8. Pada keamanan konten AI, secara opsional masukkan pengaturan atau terima default untuk mengonfigurasi layanan Azure AI Content Safety untuk memblokir permintaan dengan konten yang tidak aman:

  9. Pilih Tinjau.

  10. Setelah pengaturan divalidasi, pilih Buat.

Menguji API AI

Untuk memastikan bahwa API AI Anda berfungsi seperti yang diharapkan, uji di konsol pengujian API Management.

  1. Pilih API yang Anda buat pada langkah sebelumnya.

  2. Pilih tab Uji.

  3. Pilih operasi yang sesuai dengan penyebaran model. Halaman menampilkan bidang untuk parameter dan header.

  4. Masukkan parameter dan header sesuai kebutuhan. Bergantung pada operasi, Anda mungkin perlu mengonfigurasi atau memperbarui isi Permintaan.

    Nota

    Dalam konsol uji, API Management secara otomatis mengisi header Ocp-Apim-Subscription-Key, dan mengkonfigurasi kunci langganan dari all-access subscription bawaan. Kunci ini memungkinkan akses ke setiap API dalam instance Manajemen API. Secara opsional, tampilkan header Ocp-Apim-Subscription-Key dengan memilih ikon "mata" di sebelah Permintaan HTTP.

  5. Pilih Kirim.

    Ketika pengujian berhasil, backend merespons dengan kode respons HTTP yang berhasil dan beberapa data. Ditambahkan ke respons adalah data penggunaan token untuk membantu Anda memantau dan mengelola konsumsi token model bahasa Anda.

Konten terkait

  • Last updated on