Memilih dan menyebarkan model

  • 5 menit

Memilih model dari Katalog Model adalah langkah pertama untuk membuat chatbot Contoso Camping Store. Katalog model di Azure AI Studio adalah hub untuk menemukan dan menggunakan berbagai model untuk membangun aplikasi AI generatif. Katalog model ini menampilkan ratusan model di seluruh penyedia model seperti Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA, dan Hugging Face, termasuk model yang dilatih Microsoft.

Cuplikan layar katalog model dalam Azure AI Studio. Saran model disediakan di sepanjang bagian atas diikuti oleh filter. Daftar model yang tersedia ditampilkan di bawah filter.

Katalog model mengatur model menjadi tiga jenis koleksi:

  • Dikurasi oleh Azure AI
  • Model Azure OpenAI tersedia secara eksklusif di Azure
  • Membuka model dari hub Hugging Face

Anda dapat menyebarkan beberapa model dalam model Yang Dikurasi oleh Azure AI dan Buka dari koleksi hub Hugging Face dengan opsi komputasi terkelola. Beberapa model tersedia untuk disebarkan melalui API tanpa server dengan penagihan bayar sesuai penggunaan.

Lihat kartu model

Ada berbagai faktor yang perlu dipertimbangkan saat memilih model seperti performa model, relevansi, dan biaya, untuk beberapa nama. Anda dapat mempelajari selengkapnya tentang model dalam Katalog Model dengan meninjau kartu model masing-masing model. Mari kita lihat kartu model untuk gpt-4 dan Llama-2-70b-chat.

  1. Dalam Azure AI Studio, navigasikan ke Katalog Model.

  2. Terapkan filter berikut:

    • > Koleksi Azure OpenAI
    • Penyelesaian obrolan tugas > inferensi

  3. Pilih model gpt-4 untuk melihat kartu modelnya.

Kartu model untuk model gpt-4 memberikan deskripsi model, berbagai versinya, dan deskripsi lebih lanjut tentang setiap versi model yang mencakup sejauh mana data pelatihan dan batasan tokennya.

Sekarang mari kita lihat model yang disediakan sebagai penawaran Model as a Service (MAAS) untuk membandingkan perbedaan informasi yang tersedia pada kartu model.

  1. Kembali ke Katalog Model.
  2. Terapkan filter berikut:
    • Koleksi yang > Dikumpulkan oleh AzureAI
    • Penyelesaian obrolan tugas > inferensi
    • Pilih model llama-2-70b-chat untuk melihat kartu modelnya.

Kartu model untuk model llama-2-70b-chat memiliki informasi lebih lanjut tentang model, termasuk biayanya, informasi tentang data pelatihan, dan perbandingan evaluasi di seluruh model Llama lainnya.

Membandingkan beberapa model

Meskipun kartu model memberikan detail selengkapnya tentang model yang tersedia, membandingkan model yang berpotensi dipilih akan membuat Anda selangkah lebih dekat untuk memilih satu (atau beberapa) untuk penyebaran. Bagian Tolok Ukur Model azure AI Studio menyediakan satu antarmuka untuk membandingkan tolok ukur di seluruh model dan himpunan data yang tersedia di industri untuk menilai mana yang memenuhi skenario bisnis Anda. Anda menggunakan model penyelesaian obrolan GPT untuk membuat chatbot Contoso Camping Store. Namun, mari kita bandingkan beberapa model penyelesaian obrolan GPT untuk menganalisis bagaimana setiap model mencetak skor secara berbeda di seluruh akurasi, koherensi, groundedness, kefasihan, relevansi, dan Kesamaan GPT.

Cuplikan layar halaman tolok ukur model dalam Azure AI Studio. Ada grafik di halaman yang membandingkan 3 model.

  1. Navigasi ke Tolok Ukur Model.

  2. Di filter Model, pilih model berikut:

    • gpt-4o
    • gpt-4-turbo-2024-04-09
    • gpt-35-turbo-0613

  3. Lihat bagaimana setiap model menilai dibandingkan dengan berbagai himpunan data.

  4. Untuk tampilan ringkasan performa, gulir ke bawah ke bagian Perbandingan dan lihat bagaimana model berkinerja berbeda di setiap metrik.

Di semua perbandingan, untuk setiap metrik, gpt-4o memiliki skor tertinggi. Oleh karena itu, mari kita gunakan gpt-4o sebagai model untuk chatbot Contoso Camping Store.

Terapkan model

Anda dapat menyebarkan model dari kartu model atau halaman penyebaran proyek Anda.

Cuplikan layar kartu model untuk model gpt-4o di Azure AI Studio. Tombol sebarkan disorot.

Catatan

Untuk model Azure OpenAI, kuota default untuk model bervariasi menurut model dan wilayah. Model tertentu mungkin hanya tersedia di beberapa wilayah. Menyebarkan kuota konsumsi yang ditetapkan ke langganan Anda berdasarkan per wilayah per model dalam satuan Token per Menit (TPM). Saat mendaftar ke Azure AI Studio, Anda menerima kuota default untuk sebagian besar model yang tersedia. Kemudian, Anda menetapkan TPM ke setiap penyebaran saat dibuat, sehingga mengurangi kuota yang tersedia untuk model tersebut berdasarkan jumlah yang Anda tetapkan. Anda dapat terus membuat penyebaran dan menetapkannya TPM hingga mencapai batas kuota Anda.

  1. Di dalam bagian Perbandingan halaman Tolok Ukur Model, pilih model gpt-4o.
  2. Pada kartu model, pilih Sebarkan.
  3. Untuk Nama penyebaran, masukkan: gpt-4.
  4. Untuk sumber daya Azure OpenAI, pilih sumber daya Azure OpenAI Anda.
  5. Pilih Sebarkan.

Catatan

Untuk model Azure OpenAI seperti GPT-4, Azure AI Studio menyediakan filter keamanan selama penyebaran untuk memastikan penggunaan AI yang bertanggung jawab. Filter keamanan memungkinkan moderasi konten berbahaya dan sensitif untuk mempromosikan keamanan aplikasi yang ditingkatkan AI.

Azure AI Studio juga menawarkan pemantauan model untuk model yang disebarkan. Pemantauan model untuk LLM menggunakan model bahasa GPT terbaru untuk memantau dan memperingatkan ketika output model berkinerja buruk terhadap ambang batas keamanan dan kualitas generasi yang ditetapkan. Misalnya, Anda dapat mengonfigurasi monitor untuk mengevaluasi seberapa baik jawaban yang dihasilkan model selaras dengan informasi dari sumber input (groundedness). Monitor juga dapat mengevaluasi seberapa dekat jawaban yang dihasilkan cocok dengan kalimat atau dokumen kebenaran dasar (kesamaan).

Mengobrol dengan model yang disebarkan di taman bermain obrolan

Di taman bermain obrolan Azure AI Studio, Anda dapat mengamati bagaimana model Anda merespons dengan dan tanpa data Anda. Sekarang setelah model gpt-4o disebarkan, mari kita berikan beberapa perintah ke dalam obrolan untuk melihat bagaimana model saat ini merespons tentang fakta umum dan terhadap pertanyaan tentang produk Contoso.

Cuplikan layar taman bermain obrolan di Azure AI Studio. Penyiapan untuk perintah model ditampilkan di sebelah kiri. Jendela obrolan ditampilkan di sebelah kanan.

  1. Pada halaman detail penyebaran model, pilih Buka di playground.

  2. Dalam kotak obrolan di halaman Playground obrolan, kirimkan perintah berikut secara individual untuk mengamati respons yang dihasilkan model:

    Prompt Respons Sampel
    Sediakan daftar 2 taman nasional untuk dikunjungi selama musim panas. Pasti! Berikut adalah dua taman nasional yang menawarkan pengalaman musim panas yang luar biasa:

    1. Glacier National Park (Montana) - Menawarkan pemandangan gunung yang menakjubkan, danau yang jernih, dan kesempatan untuk berkendara di sepanjang Going-to-the-Sun Road yang terkenal.
    2. Olympic National Park (Washington) - Memiliki beragam ekosistem, termasuk hutan hujan sedang, daerah alpine, dan kolam pasang pesisir.
    Merekomendasikan tenda yang sesuai dengan keluarga 4. Saat merekomendasikan tenda tertentu untuk keluarga yang terdiri dari empat orang, sangat membantu untuk memilih tenda yang memberikan ruang, daya tahan, dan kenyamanan yang cukup. Berikut adalah pilihan terkenal yang telah populer di kalangan keluarga berkemah: Rei Co-op Kingdom 6 Tent.
    Berapa harga Tas Tidur Contoso MountainDream? Maaf atas kebingungan apa pun, tetapi sebagai AI yang dikembangkan oleh OpenAI, saya tidak memiliki kemampuan untuk mengakses harga real time atau inventaris untuk produk dari peritel tertentu, termasuk produk apa pun bernama "Contoso MountainDream Sleeping Bag."

Model belum dikonfigurasi untuk menjawab pertanyaan tentang produk Contoso Camping Store. Anda dapat mengatasinya dengan mengunggah data Anda, membuat indeks, dan menetapkan indeks ke model.