Bagikan melalui

Azure OpenAI Assistants API (Pratinjau)

  • Artikel

Asisten, fitur baru Azure OpenAI Service, sekarang tersedia dalam pratinjau publik. Assistants API memudahkan pengembang untuk membuat aplikasi dengan pengalaman seperti salinan canggih yang dapat menyaring data, menyarankan solusi, dan mengotomatiskan tugas.

  • Asisten dapat memanggil model Azure OpenAI dengan instruksi khusus untuk menyetel kepribadian dan kemampuan mereka.
  • Asisten dapat mengakses beberapa alat secara paralel. Ini dapat berupa alat yang dihosting Azure OpenAI seperti penerjemah kode dan pencarian file, atau alat yang Anda buat, host, dan akses melalui panggilan fungsi.
  • Asisten dapat mengakses Thread persisten. Utas menyederhanakan pengembangan aplikasi AI dengan menyimpan riwayat pesan dan memotongnya ketika percakapan terlalu panjang untuk panjang konteks model. Anda membuat Utas sekali, dan cukup tambahkan Pesan ke dalamnya sebagai balasan pengguna Anda.
  • Asisten dapat mengakses file dalam beberapa format. Baik sebagai bagian dari pembuatan mereka atau sebagai bagian dari Utas antara Asisten dan pengguna. Saat menggunakan alat, Asisten juga dapat membuat file (seperti gambar atau spreadsheet) dan mengutip file yang mereka referensikan di Pesan yang mereka buat.

Gambaran Umum

Sebelumnya, membangun asisten AI kustom membutuhkan pengangkatan berat bahkan untuk pengembang berpengalaman. Meskipun API penyelesaian obrolan ringan dan kuat, itu secara inheren stateless, yang berarti bahwa pengembang harus mengelola status percakapan dan utas obrolan, integrasi alat, pengambilan dokumen dan indeks, dan menjalankan kode secara manual.

Assistants API, sebagai evolusi stateful dari API penyelesaian obrolan, memberikan solusi untuk tantangan ini. Assistants API mendukung utas yang dikelola secara otomatis persisten. Ini berarti bahwa sebagai pengembang, Anda tidak perlu lagi mengembangkan sistem manajemen status percakapan dan mengatasi batasan jendela konteks model. Assistants API akan secara otomatis menangani pengoptimalan untuk menjaga utas di bawah jendela konteks maksimum model yang Anda pilih. Setelah membuat Utas, Anda cukup menambahkan pesan baru ke dalamnya saat pengguna merespons. Asisten juga dapat mengakses beberapa alat secara paralel, jika diperlukan. Alat ini meliputi:

Tip

Tidak ada harga atau kuota tambahan untuk menggunakan Asisten kecuali Anda menggunakan penerjemah kode atau alat pencarian file.

Assistants API dibangun berdasarkan kemampuan yang sama dengan yang mendukung produk GPT OpenAI. Beberapa kemungkinan kasus penggunaan mulai dari pemberi rekomendasi produk yang didukung AI, aplikasi analis penjualan, asisten pengodean, tanya jawab karyawan, dan banyak lagi. Mulai membangun di taman bermain Asisten tanpa kode di Azure AI Studio atau mulai membangun dengan API.

Penting

Mengambil data yang tidak tepercaya menggunakan fungsi panggilan Fungsi, Penerjemah Kode, atau Pencarian File dengan input file, dan fungsiOnalitas Utas Asisten dapat membahayakan keamanan Asisten Anda, atau aplikasi yang menggunakan Asisten. Pelajari tentang pendekatan mitigasi di sini.

Taman bermain asisten

Kami menyediakan panduan tentang taman bermain Asisten dalam panduan mulai cepat kami. Ini menyediakan lingkungan tanpa kode untuk menguji kemampuan asisten.

Komponen asisten

Diagram yang menunjukkan komponen asisten.

Komponen Keterangan
Asisten AI kustom yang menggunakan model Azure OpenAI bersama dengan alat.
Benang Sesi percakapan antara Asisten dan pengguna. Utas menyimpan Pesan dan secara otomatis menangani pemotongan agar sesuai dengan konten ke dalam konteks model.
Pesan Pesan yang dibuat oleh Asisten atau pengguna. Pesan dapat menyertakan teks, gambar, dan file lainnya. Pesan disimpan sebagai daftar di Utas.
jalankan Aktivasi Asisten untuk mulai berjalan berdasarkan konten Utas. Asisten menggunakan konfigurasinya dan Pesan Utas untuk melakukan tugas dengan memanggil model dan alat. Sebagai bagian dari Eksekusi, Asisten menambahkan Pesan ke Utas.
Jalankan Langkah Daftar terperinci langkah yang diambil Asisten sebagai bagian dari Eksekusi. Asisten dapat memanggil alat atau membuat Pesan selama dijalankan. Memeriksa Langkah Eksekusi memungkinkan Anda memahami bagaimana Asisten mencapai hasil akhirnya.

Akses data asisten

Saat ini, asisten, utas, pesan, dan file yang dibuat untuk Asisten dicakup di tingkat sumber daya Azure OpenAI. Oleh karena itu, siapa pun yang memiliki akses ke sumber daya Azure OpenAI atau akses kunci API dapat membaca/menulis asisten, utas, pesan, dan file.

Kami sangat merekomendasikan kontrol akses data berikut:

  • Menerapkan otorisasi. Sebelum melakukan baca atau tulis pada asisten, utas, pesan, dan file, pastikan bahwa pengguna akhir berwenang untuk melakukannya.
  • Membatasi sumber daya Azure OpenAI dan akses kunci API. Pertimbangkan dengan cermat siapa yang memiliki akses ke sumber daya Azure OpenAI tempat asisten digunakan dan kunci API terkait.
  • Secara rutin mengaudit akun/individu mana yang memiliki akses ke sumber daya Azure OpenAI. Kunci API dan akses tingkat sumber daya memungkinkan berbagai operasi termasuk membaca dan memodifikasi pesan dan file.
  • Aktifkan pengaturan diagnostik untuk memungkinkan pelacakan jangka panjang dari aspek tertentu dari log aktivitas sumber daya Azure OpenAI.

Parameter

Assistants API memiliki dukungan untuk beberapa parameter yang memungkinkan Anda menyesuaikan output Asisten. Parameter tool_choice memungkinkan Anda memaksa Asisten untuk menggunakan alat tertentu. Anda juga dapat membuat pesan dengan assistant peran untuk membuat riwayat percakapan kustom di Utas. temperature, top_p, response_format memungkinkan Anda menyetel respons lebih lanjut. Untuk informasi selengkapnya, lihat dokumentasi referensi .

Manajemen jendela konteks

Asisten secara otomatis memotong teks untuk memastikan teks tetap berada dalam panjang konteks maksimum model. Anda dapat menyesuaikan perilaku ini dengan menentukan token maksimum yang ingin Anda jalankan untuk menggunakan dan/atau jumlah maksimum pesan terbaru yang ingin Anda sertakan dalam eksekusi.

Penyelesaian maksimum dan token prompt maks

Untuk mengontrol penggunaan token dalam satu Eksekusi, atur max_prompt_tokens dan max_completion_tokens saat Anda membuat Jalankan. Batas ini berlaku untuk jumlah total token yang digunakan dalam semua penyelesaian sepanjang siklus hidup Eksekusi.

Misalnya, memulai Eksekusi dengan max_prompt_tokens diatur ke 500 dan max_completion_tokens diatur ke 1000 berarti penyelesaian pertama akan memotong utas menjadi 500 token dan menutup output pada 1.000 token. Jika hanya 200 token prompt dan 300 token penyelesaian yang digunakan dalam penyelesaian pertama, penyelesaian kedua akan memiliki batas yang tersedia dari 300 token prompt dan 700 token penyelesaian.

Jika penyelesaian mencapai max_completion_tokens batas, Eksekusi akan berakhir dengan status tidak lengkap, dan detail akan diberikan di incomplete_details bidang objek Jalankan.

Saat menggunakan alat Pencarian File, sebaiknya atur max_prompt_tokens ke tidak kurang dari 20.000. Untuk percakapan yang lebih panjang atau beberapa interaksi dengan Pencarian File, pertimbangkan untuk meningkatkan batas ini menjadi 50.000, atau idealnya, menghapus max_prompt_tokens batasan sama sekali untuk mendapatkan hasil berkualitas tertinggi.

Strategi pemotongan

Anda juga dapat menentukan strategi pemotongan untuk mengontrol bagaimana utas Anda harus dirender ke dalam jendela konteks model. Menggunakan strategi pemotongan jenis auto akan menggunakan strategi pemotongan default OpenAI. Menggunakan strategi pemotongan jenis last_messages akan memungkinkan Anda menentukan jumlah pesan terbaru untuk disertakan dalam jendela konteks.

Lihat juga