Buka alat LLM Model
Alat Open Model LLM memungkinkan pemanfaatan berbagai Model Terbuka dan Model Dasar, seperti Falcon dan Llama 2, untuk pemrosesan bahasa alami di Azure Pembelajaran Mesin alur prompt.
Perhatian
Pemberitahuan penghentian: Alat OPEN Model LLM telah ditolak untuk alat LLM, yang memberikan dukungan untuk semua model yang didukung oleh API inferensi model Azure AI dan karenanya memberikan fleksibilitas yang lebih besar.
Berikut tampilannya dalam tindakan pada ekstensi alur prompt Visual Studio Code. Dalam contoh ini, alat ini digunakan untuk memanggil titik akhir obrolan LlaMa-2 dan bertanya "Apa itu CI?".
Alat alur prompt ini mendukung dua jenis LLM API yang berbeda:
- Obrolan: Ditampilkan dalam contoh sebelumnya. Jenis API obrolan memfasilitasi percakapan interaktif dengan input dan respons berbasis teks.
- Penyelesaian: Jenis API Penyelesaian digunakan untuk menghasilkan penyelesaian teks respons tunggal berdasarkan input prompt yang disediakan.
Gambaran umum cepat: Bagaimana cara menggunakan alat Open Model LLM?
- Pilih model dari Azure Pembelajaran Mesin Model Catalog dan sebarkan.
- Sambungkan ke penyebaran model.
- Konfigurasikan pengaturan alat llm model terbuka.
- Siapkan perintah.
- Jalankan alur.
Prasyarat: Penyebaran model
- Pilih model yang cocok dengan skenario Anda dari katalog model Azure Pembelajaran Mesin.
- Gunakan tombol Sebarkan untuk menyebarkan model ke titik akhir inferensi online Azure Pembelajaran Mesin.
- Gunakan salah satu opsi penyebaran Pay as you go.
Untuk mempelajari selengkapnya, lihat Menyebarkan model fondasi ke titik akhir untuk inferensi.
Prasyarat: Menyambungkan ke model
Agar alur permintaan menggunakan model yang disebarkan, Anda perlu menyambungkannya. Ada dua cara untuk terhubung.
Koneksi titik akhir
Setelah alur Anda dikaitkan dengan ruang kerja Azure Pembelajaran Mesin atau Azure AI Studio, alat Open Model LLM dapat menggunakan titik akhir di ruang kerja tersebut.
Menggunakan ruang kerja Azure Pembelajaran Mesin atau Azure AI Studio: Jika Anda menggunakan alur perintah di salah satu ruang kerja browser berbasis halaman web, titik akhir online tersedia di ruang kerja yang aktif secara otomatis.
Menggunakan Visual Studio Code atau kode terlebih dahulu: Jika Anda menggunakan alur prompt di Visual Studio Code atau salah satu penawaran Code First, Anda perlu menyambungkan ke ruang kerja. Alat Open Model LLM menggunakan klien DefaultAzureCredential azure.identity untuk otorisasi. Salah satu caranya adalah dengan mengatur nilai kredensial lingkungan.
Koneksi kustom
Alat Open Model LLM menggunakan CustomConnection. Alur prompt mendukung dua jenis koneksi:
Koneksi ruang kerja - Koneksi yang disimpan sebagai rahasia di ruang kerja Azure Pembelajaran Mesin. Meskipun koneksi ini dapat digunakan, di banyak tempat, biasanya dibuat dan dikelola di Antarmuka Pengguna Studio. Untuk mempelajari cara membuat koneksi kustom di Studio UI, lihat cara membuat koneksi kustom.
Koneksi lokal - Koneksi yang disimpan secara lokal di komputer Anda. Koneksi ini tidak tersedia di Studio UX, tetapi dapat digunakan dengan ekstensi Visual Studio Code. Untuk mempelajari cara membuat Koneksi Kustom lokal, lihat cara membuat koneksi lokal.
Kunci yang diperlukan untuk diatur adalah:
- endpoint_url
- Nilai ini dapat ditemukan di titik akhir Inferensi yang dibuat sebelumnya.
- endpoint_api_key
- Pastikan untuk mengaturnya sebagai nilai rahasia.
- Nilai ini dapat ditemukan di titik akhir Inferensi yang dibuat sebelumnya.
- model_family
- Nilai yang didukung: LLAMA, DOLLY, GPT2, atau FALCON
- Nilai ini tergantung pada jenis penyebaran yang Anda targetkan.
Menjalankan alat: Input
Alat Open Model LLM memiliki banyak parameter, beberapa di antaranya diperlukan. Lihat tabel berikut untuk detailnya, Anda dapat mencocokkan parameter ini dengan cuplikan layar sebelumnya untuk kejelasan visual.
| Nama | Tipe | Deskripsi | Wajib diisi |
|---|---|---|---|
| api | string | Mode API yang bergantung pada model yang digunakan dan skenario yang dipilih. Nilai yang didukung: (Penyelesaian | Obrolan) | Ya |
| endpoint_name | string | Nama Titik Akhir Inferensi Online dengan model yang didukung yang disebarkan di dalamnya. Lebih diprioritaskan daripada koneksi. | Ya |
| suhu | float | Keacakan teks yang dihasilkan. Defaultnya adalah 1. | No |
| max_new_tokens | Integer | Jumlah maksimum token yang akan dihasilkan dalam penyelesaian. Defaultnya adalah 500. | No |
| top_p | float | Probabilitas menggunakan pilihan teratas dari token yang dihasilkan. Defaultnya adalah 1. | No |
| model_kwargs | dictionary | Input ini digunakan untuk menyediakan konfigurasi khusus untuk model yang digunakan. Misalnya, model Llama-02 dapat menggunakan {"temperature":0.4}. Default: {} | No |
| deployment_name | string | Nama penyebaran untuk ditargetkan pada titik akhir Inferensi Online. Jika tidak ada nilai yang diteruskan, pengaturan lalu lintas penyeimbang beban inferensi digunakan. | No |
| perintah | string | Perintah teks yang digunakan model bahasa untuk menghasilkan responsnya. | Ya |
Output
| API | Jenis Hasil | Deskripsi |
|---|---|---|
| Penyelesaian | string | Teks dari satu penyelesaian yang diprediksi |
| Obrolan | string | Teks dari satu respons dalam percakapan |
Menyebarkan ke titik akhir online
Saat Anda menyebarkan alur yang berisi alat Open Model LLM ke titik akhir online, ada langkah tambahan untuk menyiapkan izin. Selama penyebaran melalui halaman web, ada pilihan antara jenis Identitas yang ditetapkan sistem dan ditetapkan pengguna. Bagaimanapun, menggunakan portal Azure (atau fungsionalitas serupa), tambahkan peran fungsi Pekerjaan "Pembaca" ke identitas di ruang kerja Azure Pembelajaran Mesin atau proyek Ai Studio, yang menghosting titik akhir. Penyebaran alur prompt mungkin perlu disegarkan.