Bagikan melalui

Mengimpor API model bahasa yang kompatibel dengan OpenAI

BERLAKU UNTUK: Semua tingkatan manajemen API

Anda dapat mengimpor titik akhir model bahasa yang kompatibel dengan OpenAI ke instans API Management Anda sebagai API. Misalnya, Anda mungkin ingin mengelola LLM yang Anda host sendiri, atau yang dihosting di penyedia inferensi selain layanan Azure AI. Gunakan kebijakan gateway AI dan kemampuan lain dalam API Management untuk menyederhanakan integrasi, meningkatkan pengamatan, dan meningkatkan kontrol atas titik akhir model.

Pelajari lebih lanjut tentang mengelola API AI di Manajemen API.

Jenis API model bahasa

API Management mendukung dua jenis API model bahasa untuk skenario ini. Pilih opsi yang cocok untuk penyebaran model Anda. Opsi menentukan bagaimana klien memanggil API dan bagaimana instans API Management merutekan permintaan ke layanan AI.

  • Kompatibel dengan OpenAI - Titik akhir model bahasa yang kompatibel dengan API OpenAI. Contohnya termasuk model tertentu yang diekspos oleh penyedia inferensi seperti Hugging Face Text Generation Inference (TGI).

    API Management mengonfigurasi titik akhir penyelesaian obrolan yang kompatibel dengan OpenAI.

  • Passthrough - Titik akhir model bahasa lain yang tidak kompatibel dengan API OpenAI. Contohnya termasuk model yang disebarkan di Amazon Bedrock atau penyedia lain.

    API Management mengonfigurasi operasi karakter pengganti untuk verba HTTP umum. Klien dapat menambahkan jalur ke operasi wildcard, dan API Management meneruskan permintaan ke backend.

Prasyarat

  • Instans Manajemen API yang ada. Buat jika Anda belum melakukannya.
  • Penyebaran model bahasa yang dihost sendiri atau yang tidak disediakan Azure dengan titik akhir API.

Mengimpor API model bahasa menggunakan portal

Untuk mengimpor API model bahasa ke API Management:

  1. Di portal Azure, navigasikan ke instance Manajemen API Anda.

  2. Pada menu sebelah kiri, di bawah API, pilih API>+ Tambah API.

  3. Di bawah Tentukan API baru, pilih API Model Bahasa.

    Cuplikan layar pembuatan API yang kompatibel dengan OpenAI di portal.

  4. Pada tab Konfigurasi API :

    1. Masukkan Nama tampilan dan Deskripsi opsional untuk API.
    2. Masukkan URL ke titik akhir LLM API.
    3. Secara opsional pilih satu atau beberapa Produk untuk dikaitkan dengan API.
    4. Di Jalur, tambahkan jalur yang digunakan instans API Management Anda untuk mengakses titik akhir LLM API.
    5. Di Jenis, pilih Buat OpenAI API atau Buat API Passthrough. Lihat Jenis API model bahasa untuk informasi selengkapnya.
    6. Di Kunci akses, masukkan nama header otorisasi dan kunci API yang digunakan untuk mengakses LLM API, jika diperlukan.
    7. Pilih Selanjutnya.

    Cuplikan layar konfigurasi API model bahasa di portal.

  5. Pada tab Kelola konsumsi token , secara opsional masukkan pengaturan atau terima default yang menentukan kebijakan berikut untuk membantu memantau dan mengelola API:

  6. Pada tab Terapkan penembolokan semantik, masukkan pengaturan sesuai kebutuhan atau terima pengaturan default yang mendefinisikan aturan untuk membantu mengoptimalkan performa dan mengurangi latensi untuk API.

  7. Pada keamanan konten AI, secara opsional masukkan pengaturan atau terima default untuk mengonfigurasi layanan Azure AI Content Safety untuk memblokir permintaan dengan konten yang tidak aman:

  8. Pilih Tinjau.

  9. Setelah pengaturan divalidasi, pilih Buat.

Menguji LLM API

Untuk memastikan bahwa LLM API Anda berfungsi seperti yang diharapkan, uji di konsol pengujian API Management.

  1. Pilih API yang Anda buat pada langkah sebelumnya.

  2. Pilih tab Uji.

  3. Pilih operasi yang sesuai dengan penyebaran model. Halaman menampilkan bidang untuk parameter dan header.

  4. Masukkan parameter dan header sesuai kebutuhan. Bergantung pada operasi, Anda mungkin perlu mengonfigurasi atau memperbarui isi Permintaan.

    Nota

    Dalam konsol uji, API Management secara otomatis mengisi header Ocp-Apim-Subscription-Key, dan mengkonfigurasi kunci langganan dari all-access subscription bawaan. Kunci ini memungkinkan akses ke setiap API dalam instance Manajemen API. Secara opsional, tampilkan header Ocp-Apim-Subscription-Key dengan memilih ikon "mata" di sebelah Permintaan HTTP.

  5. Pilih Kirim.

    Ketika pengujian berhasil, backend merespons dengan kode respons HTTP yang berhasil dan beberapa data. Ditambahkan ke respons adalah data penggunaan token untuk membantu Anda memantau dan mengelola konsumsi token model bahasa Anda.

Konten terkait