Mengimpor model bahasa API

BERLAKU UNTUK: Semua tingkatan manajemen API

Anda dapat mengimpor titik akhir model bahasa yang kompatibel dengan OpenAI ke instans API Management Anda, atau mengimpor model yang tidak kompatibel sebagai API passthrough. Misalnya, kelola LLM yang dihost sendiri atau yang dihosting di penyedia inferensi selain Foundry Tools. Gunakan kebijakan gateway AI dan kemampuan API Management lainnya untuk menyederhanakan integrasi, meningkatkan pengamatan, dan meningkatkan kontrol atas titik akhir model.

Pelajari lebih lanjut tentang mengelola API AI di Manajemen API.

Jenis API model bahasa

API Management mendukung dua jenis API model bahasa. Pilih opsi yang cocok dengan penyebaran model Anda, yang menentukan bagaimana klien memanggil API dan bagaimana permintaan mendapatkan rute ke layanan AI.

  • OpenAI-compatible - Titik akhir model bahasa yang kompatibel dengan API OpenAI. Contohnya termasuk Hugging Face Text Generation Inference (TGI) dan Google Gemini API.

    API Management mengonfigurasi titik akhir penyelesaian obrolan.

  • Passthrough - Titik akhir model bahasa tidak kompatibel dengan API OpenAI. Contohnya termasuk model yang disebarkan di Amazon Bedrock atau penyedia lain.

    API Management mengonfigurasi operasi karakter pengganti untuk verba HTTP umum. Klien dapat menambahkan jalur ke operasi wildcard, dan API Management meneruskan permintaan ke backend.

Prasyarat

  • Instans Manajemen API yang ada. Buat jika Anda belum melakukannya.
  • Penyebaran model bahasa yang dihost sendiri atau tidak disediakan oleh Azure, dengan titik akhir API.

Mengimpor API model bahasa dengan menggunakan portal

Mengimpor LLM API secara otomatis mengonfigurasi:

  • Sumber daya backend dan kebijakan layanan set-backend yang mengarahkan permintaan ke titik akhir LLM.
  • (opsional) Akses menggunakan kunci akses (dilindungi sebagai nilai bernama rahasia).
  • (opsional) Kebijakan untuk memantau dan mengelola API.

Untuk mengimpor API model bahasa:

  1. Di portal Azure, buka instans API Management Anda.

  2. Pada menu sebelah kiri, di bawah API, pilih API>+ Tambah API.

  3. Di bawah Tentukan API baru, pilih API Model Bahasa.

    Cuplikan layar pembuatan API yang kompatibel dengan OpenAI di portal.

  4. Pada tab Konfigurasi API :

    1. Masukkan Nama tampilan dan Deskripsi (opsional).
    2. Masukkan URL LLM API.
    3. Pilih satu atau beberapa Produk untuk dikaitkan dengan API (opsional).
    4. Di Jalur, tambahkan jalur untuk mengakses LLM API.
    5. Pilih Buat OpenAI API atau Buat API transit. Lihat Jenis API model bahasa.
    6. Masukkan nama header otorisasi dan kunci API (jika diperlukan).
    7. Pilih Selanjutnya.

    Cuplikan layar konfigurasi API model bahasa di portal.

  5. Pada tab Kelola konsumsi token , masukkan pengaturan atau terima default untuk kebijakan berikut:

  6. Pada tab Terapkan penembolokan semantik , masukkan pengaturan atau terima default untuk kebijakan guna mengoptimalkan performa dan mengurangi latensi:

  7. Pada tab keamanan konten AI, masukkan pengaturan atau terima default untuk mengonfigurasi Azure AI Content Safety untuk memblokir konten yang tidak aman:

  8. Pilih Tinjau.

  9. Setelah validasi, pilih Buat.

API Management membuat API dan mengonfigurasi operasi untuk titik akhir LLM. Secara default, API memerlukan langganan API Management.

Menguji LLM API

Verifikasi LLM API Anda di konsol pengujian.

  1. Pilih API yang Anda buat.

  2. Pilih tab Uji.

  3. Pilih operasi yang sesuai dengan penerapan model. Bidang untuk parameter dan header muncul.

  4. Masukkan parameter dan header. Bergantung pada operasi, konfigurasikan atau perbarui isi Permintaan sesuai kebutuhan.

    Nota

    Konsol pengujian secara otomatis menambahkan header Ocp-Apim-Subscription-Key (menggunakan langganan semua akses bawaan), yang menyediakan akses ke setiap API. Untuk menampilkannya, pilih ikon "mata" di samping Permintaan HTTP.

  5. Pilih Kirim.

    Ketika pengujian berhasil, backend mengembalikan data termasuk metrik penggunaan token untuk memantau konsumsi model bahasa.

Konten terkait

  • Last updated on