Share via

Tutorial: Membangun dan menyebarkan salinan pertanyaan dan jawaban dengan alur prompt di Azure AI Studio

  • Artikel

Penting

Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Dalam tutorial Azure AI Studio ini, Anda menggunakan AI generatif dan alur prompt untuk membangun, mengonfigurasi, dan menyebarkan salinan untuk perusahaan ritel Anda yang disebut Contoso. Perusahaan ritel Anda memiliki spesialisasi perlengkapan berkemah luar ruangan dan pakaian.

Salinan harus menjawab pertanyaan tentang produk dan layanan Anda. Ini juga harus menjawab pertanyaan tentang pelanggan Anda. Misalnya, salinan dapat menjawab pertanyaan seperti "Berapa biaya sepatu pendakian TrailWalker?" dan "Berapa banyak sepatu pendakian TrailWalker yang dibeli Daniel Wilson?".

Langkah-langkah dalam tutorial ini adalah:

  1. Tambahkan data Anda ke taman bermain obrolan.
  2. Buat alur perintah dari taman bermain.
  3. Sesuaikan alur prompt dengan beberapa sumber data.
  4. Evaluasi alur menggunakan himpunan data evaluasi pertanyaan dan jawaban.
  5. Sebarkan alur untuk konsumsi.

Prasyarat

  • Langganan Azure - Buat langganan gratis.

  • Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan.

    Saat ini, akses ke layanan ini hanya diberikan oleh aplikasi. Anda dapat mengajukan permohonan akses ke Azure OpenAI dengan melengkapi formulir di https://aka.ms/oai/access. Buka masalah pada repositori ini untuk menghubungi kami jika Anda mengalami masalah.

  • Hub AI Studio, proyek, dan model obrolan Azure OpenAI yang disebarkan. Selesaikan mulai cepat AI Studio playground untuk membuat sumber daya ini jika Anda belum melakukannya.

  • Koneksi azure AI layanan Pencarian untuk mengindeks sampel produk dan data pelanggan.

  • Anda memerlukan salinan lokal data produk dan pelanggan. Repositori Azure-Samples/aistudio-python-quickstart-sample di GitHub berisi sampel informasi pelanggan ritel dan produk yang relevan untuk skenario tutorial ini. Kloning repositori atau salin file dari 1-customer-info dan 3-product-info.

Tambahkan data Anda dan coba model obrolan lagi

Di mulai cepat taman bermain AI Studio (itu adalah prasyarat untuk tutorial ini), Anda dapat mengamati bagaimana model Anda merespons tanpa data Anda. Sekarang Anda menambahkan data Anda ke model untuk membantunya menjawab pertanyaan tentang produk Anda.

Untuk menyelesaikan bagian ini, Anda memerlukan salinan lokal data produk. Repositori Azure-Samples/aistudio-python-quickstart-sample di GitHub berisi sampel informasi pelanggan ritel dan produk yang relevan untuk skenario tutorial ini. Kloning repositori atau salin file dari 3-product-info.

Penting

Fitur Tambahkan data Anda di taman bermain Azure AI Studio tidak mendukung penggunaan jaringan virtual atau titik akhir privat pada sumber daya berikut:

  • Pencarian Azure AI
  • Azure OpenAI
  • Sumber daya penyimpanan

Ikuti langkah-langkah ini untuk menambahkan data Anda di taman bermain obrolan untuk membantu asisten menjawab pertanyaan tentang produk Anda. Anda tidak mengubah model yang disebarkan itu sendiri. Data Anda disimpan secara terpisah dan aman di langganan Azure Anda.

  1. Buka proyek Anda di Azure AI Studio.

  2. Pilih Obrolan Playgrounds>dari panel kiri.

  3. Pilih model obrolan yang Anda sebarkan dari menu dropdown Penyebaran .

    Cuplikan layar playground obrolan dengan mode obrolan dan model dipilih.

  4. Di sisi kiri playground obrolan, pilih Tambahkan data> Anda+ Tambahkan sumber data baru.

    Cuplikan layar playground obrolan dengan opsi untuk menambahkan sumber data yang terlihat.

  5. Di menu dropdown Sumber data , pilih Unggah file.

    Cuplikan layar opsi pemilihan sumber data.

  6. Pilih Unggah>Unggah file untuk menelusuri file lokal Anda.

  7. Pilih file yang ingin Anda unggah. Pilih file informasi produk (3-product-info) yang Anda unduh atau buat sebelumnya. Tambahkan semua file sekarang. Anda tidak akan dapat menambahkan lebih banyak file nanti di sesi playground yang sama.

  8. Pilih Unggah untuk mengunggah file ke akun penyimpanan Azure Blob Anda. Kemudian pilih Berikutnya.

    Cuplikan layar dialog untuk memilih dan mengunggah file.

  9. Pilih layanan Pencarian Azure AI. Dalam contoh ini kita memilih Koneksi sumber daya Azure AI Search lainnya dari menu dropdown Pilih Azure AI layanan Pencarian. Jika Anda tidak memiliki sumber daya pencarian, Anda dapat membuatnya dengan memilih Buat sumber daya Azure AI Search baru. Kemudian kembali ke langkah ini untuk menyambungkan dan memilihnya.

    Cuplikan layar opsi pemilihan sumber daya pencarian.

  10. Telusuri layanan Pencarian Azure AI Anda, dan pilih Tambahkan koneksi.

    Cuplikan layar halaman untuk menambahkan koneksi layanan pencarian.

  11. Untuk Nama indeks, masukkan info produk dan pilih Berikutnya.

  12. Pada halaman Pengaturan pencarian di bawah Pengaturan vektor, batal pilih kotak centang Tambahkan pencarian vektor ke sumber daya pencarian ini. Pengaturan ini membantu menentukan bagaimana model merespons permintaan. Kemudian pilih Berikutnya.

    Catatan

    Jika Anda menambahkan pencarian vektor, lebih banyak opsi akan tersedia di sini dengan biaya tambahan.

  13. Tinjau pengaturan dan pilih Buat.

  14. Di taman bermain, Anda dapat melihat bahwa penyerapan data Anda sedang berlangsung. Proses ini mungkin memakan waktu beberapa menit. Sebelum melanjutkan, tunggu hingga Anda melihat sumber data dan nama indeks sebagai pengganti status.

    Cuplikan layar taman bermain obrolan dengan status penyerapan data dalam tampilan.

  15. Masukkan nama untuk konfigurasi playground dan pilih Simpan konfigurasi Simpan>. Semua item konfigurasi disimpan secara default. Item termasuk penyebaran, pesan sistem, pesan keamanan, parameter, data tambahan, contoh, dan variabel. Menyimpan konfigurasi dengan nama yang sama akan disimpan melalui versi sebelumnya.

    Cuplikan layar nama konfigurasi playground dan tombol Simpan.

  16. Anda sekarang dapat mengobrol dengan model yang mengajukan pertanyaan yang sama seperti sebelumnya ("Berapa banyak sepatu pendakian TrailWalker"), dan kali ini menggunakan informasi dari data Anda untuk membangun respons. Anda dapat memperluas tombol referensi untuk melihat data yang digunakan.

Membuat alur perintah dari taman bermain

Sekarang Anda mungkin bertanya "Bagaimana saya bisa menyesuaikan salinan ini lebih lanjut?" Anda mungkin ingin menambahkan beberapa sumber data, membandingkan permintaan yang berbeda atau performa beberapa model. Alur prompt berfungsi sebagai alur kerja yang dapat dieksekusi yang menyederhanakan pengembangan aplikasi AI berbasis LLM Anda. Ini menyediakan kerangka kerja komprehensif untuk mengelola aliran dan pemrosesan data dalam aplikasi Anda. Anda menggunakan alur prompt untuk mengoptimalkan pesan yang dikirim ke model obrolan salinan.

Di bagian ini, Anda mempelajari cara transisi ke alur permintaan dari taman bermain. Anda mengekspor lingkungan obrolan taman bermain termasuk koneksi ke data yang Anda tambahkan. Kemudian dalam tutorial ini, Anda mengevaluasi alur dan kemudian menyebarkan alur untuk dikonsumsi.

Catatan

Perubahan yang dilakukan dalam alur prompt tidak diterapkan mundur untuk memperbarui lingkungan playground.

Anda dapat membuat alur perintah dari taman bermain dengan mengikuti langkah-langkah berikut:

  1. Buka proyek Anda di AI Studio.

  2. Pilih Obrolan Playgrounds>dari panel kiri.

  3. Karena kami menggunakan data kami sendiri, Anda perlu memilih Tambahkan data Anda. Anda harus sudah memiliki indeks bernama product-info yang Anda buat sebelumnya di playground obrolan. Pilih dari menu dropdown Pilih indeks proyek yang tersedia. Jika tidak, pertama-tama buat indeks dengan data produk Anda lalu kembali ke langkah ini.

  4. Pilih Alur perintah dari menu di atas panel sesi obrolan.

  5. Masukkan nama folder untuk alur permintaan Anda. Lalu pilih Buka. AI Studio mengekspor lingkungan obrolan taman bermain untuk meminta alur. Ekspor menyertakan koneksi ke data yang Anda tambahkan.

    Cuplikan layar dialog buka dalam alur perintah.

Dalam alur, simpul mengambil tahap tengah, mewakili alat tertentu dengan kemampuan unik. Simpul ini menangani pemrosesan data, eksekusi tugas, dan operasi algoritma, dengan input dan output. Dengan menghubungkan simpul, Anda membuat rantai operasi yang mulus yang memandu aliran data melalui aplikasi Anda. Untuk informasi selengkapnya, lihat alat alur perintah.

Untuk memfasilitasi konfigurasi node dan penyempurnaan, representasi visual struktur alur kerja disediakan melalui grafik DAG (Directed Acyclic Graph). Grafik ini menampilkan konektivitas dan dependensi antara simpul, memberikan gambaran umum yang jelas tentang seluruh alur kerja. Simpul dalam grafik yang ditampilkan di sini adalah perwakilan dari pengalaman obrolan taman bermain yang Anda ekspor ke alur permintaan.

Cuplikan layar grafik default yang diekspor dari taman bermain ke alur permintaan.

Dalam alur perintah, Anda juga akan melihat:

  • Tombol Simpan : Anda dapat menyimpan alur perintah kapan saja dengan memilih Simpan dari menu atas. Pastikan untuk menyimpan alur prompt Anda secara berkala saat Anda membuat perubahan dalam tutorial ini.
  • Tombol Mulai sesi komputasi: Anda perlu memulai sesi komputasi untuk menjalankan alur permintaan Anda. Anda dapat memulai sesi nanti dalam tutorial. Anda dikenakan biaya untuk instans komputasi saat sedang berjalan. Untuk informasi selengkapnya, lihat cara membuat sesi komputasi.

Cuplikan layar tombol simpan dan mulai sesi di alur Anda.

Anda dapat kembali ke alur perintah kapan saja dengan memilih Alur permintaan dari Alat di menu sebelah kiri. Kemudian pilih folder alur perintah yang Anda buat sebelumnya.

Cuplikan layar daftar alur perintah Anda.

Mengkustomisasi alur perintah dengan beberapa sumber data

sebelumnya di taman bermain obrolan AI Studio , Anda menambahkan data Anda untuk membuat satu indeks pencarian yang berisi data produk untuk salinan Contoso. Sejauh ini, pengguna hanya dapat menanyakan produk dengan pertanyaan seperti "Berapa biaya sepatu pendakian TrailWalker?". Tetapi mereka tidak bisa mendapatkan jawaban atas pertanyaan seperti "Berapa banyak sepatu pendakian TrailWalker yang dibeli Daniel Wilson?" Untuk mengaktifkan skenario ini, kami menambahkan indeks lain dengan informasi pelanggan ke alur.

Membuat indeks info pelanggan

Untuk melanjutkan, Anda memerlukan salinan lokal contoh informasi pelanggan. Untuk informasi selengkapnya dan tautan ke contoh data, lihat prasyarat.

Ikuti instruksi berikut tentang cara membuat indeks baru. Anda akan kembali ke alur permintaan Anda nanti dalam tutorial ini untuk menambahkan info pelanggan ke alur. Anda dapat membuka tab baru di browser Anda untuk mengikuti instruksi ini lalu kembali ke alur permintaan Anda.

  1. Buka proyek Anda di AI Studio.

  2. Pilih Indeks dari menu sebelah kiri. Perhatikan bahwa Anda sudah memiliki indeks bernama product-info yang Anda buat sebelumnya di playground obrolan.

    Cuplikan layar halaman indeks dengan tombol untuk membuat indeks baru.

  3. Pilih + Indeks baru. Anda dibawa ke wizard Buat indeks .

  4. Pada halaman Data sumber, pilih Unggah file dari menu dropdown Sumber data. Lalu pilih Unggah>Unggah file untuk menelusuri file lokal Anda.

  5. Pilih file info pelanggan yang Anda unduh atau buat sebelumnya. Lihat prasyarat. Kemudian pilih Berikutnya.

    Cuplikan layar opsi pemilihan sumber data pelanggan.

  6. Pilih koneksi layanan Pencarian Azure AI yang sama (contosooutdooraisearch) yang Anda gunakan untuk indeks info produk Anda. Kemudian pilih Berikutnya.

  7. Masukkan info pelanggan untuk nama indeks.

    Cuplikan layar layanan Pencarian Azure AI dan nama indeks.

  8. Pilih komputer virtual untuk menjalankan pekerjaan pengindeksan. Opsi defaultnya adalah Pilih otomatis. Kemudian pilih Berikutnya.

  9. Pada halaman Pengaturan pencarian di bawah Pengaturan vektor, batal pilih kotak centang Tambahkan pencarian vektor ke sumber daya pencarian ini. Pengaturan ini membantu menentukan bagaimana model merespons permintaan. Kemudian pilih Berikutnya.

    Catatan

    Jika Anda menambahkan pencarian vektor, lebih banyak opsi akan tersedia di sini dengan biaya tambahan.

  10. Tinjau detail yang Anda masukkan, dan pilih Buat.

    Cuplikan layar halaman tinjau dan selesaikan pembuatan indeks.

    Catatan

    Anda menggunakan indeks info pelanggan dan koneksi contosooutdooraisearch ke Azure AI Anda layanan Pencarian dalam alur perintah nanti dalam tutorial ini. Jika nama yang Anda masukkan berbeda dari apa yang ditentukan di sini, pastikan untuk menggunakan nama yang Anda masukkan di sisa tutorial.

  11. Anda dibawa ke halaman detail indeks tempat Anda dapat melihat status pembuatan indeks Anda.

    Cuplikan layar detail indeks info pelanggan.

Untuk informasi selengkapnya tentang cara membuat indeks, lihat Membuat indeks.

Membuat sesi komputasi yang diperlukan untuk alur perintah

Setelah selesai membuat indeks, kembali ke alur permintaan Anda dan mulai sesi komputasi. Alur prompt memerlukan sesi komputasi untuk dijalankan.

  1. Buka proyek Anda.
  2. Pilih Alur perintah dari Alat di menu sebelah kiri. Kemudian pilih folder alur perintah yang Anda buat sebelumnya.
  3. Pilih Mulai sesi komputasi dari menu atas.

Untuk membuat instans komputasi dan sesi komputasi, Anda juga dapat mengikuti langkah-langkah dalam cara membuat sesi komputasi.

Untuk menyelesaikan sisa tutorial, pastikan sesi komputasi Anda berjalan.

Penting

Anda dikenakan biaya untuk instans komputasi saat sedang berjalan. Untuk menghindari timbulnya biaya Azure yang tidak perlu, jeda instans komputasi saat Anda tidak secara aktif bekerja dalam alur perintah. Untuk informasi selengkapnya, lihat cara memulai dan menghentikan komputasi.

Menambahkan informasi pelanggan ke alur

Setelah selesai membuat indeks, kembali ke alur permintaan Anda dan ikuti langkah-langkah ini untuk menambahkan info pelanggan ke alur:

  1. Pastikan Anda memiliki sesi komputasi yang berjalan. Jika Anda tidak memilikinya, lihat membuat sesi komputasi di bagian sebelumnya.

  2. Pilih + Alat lainnya dari menu atas lalu pilih Pencarian Indeks dari daftar alat.

    Cuplikan layar memilih alat pencarian indeks dalam alur perintah.

  3. Beri nama kueri node baruCustomerIndex dan pilih Tambahkan.

  4. Pilih kotak teks mlindex_content di node queryCustomerIndex .

    Cuplikan layar kotak teks mlindex_content di simpul pencarian indeks.

    Dialog Buat terbuka. Anda menggunakan dialog ini untuk mengonfigurasi node queryCustomerIndex untuk menyambungkan ke indeks info pelanggan Anda.

  5. Untuk nilai index_type, pilih Pencarian Azure AI.

  6. Pilih atau masukkan nilai berikut:

    Nama Nilai
    acs_index_connection Nama koneksi layanan Pencarian Azure AI Anda (seperti contosooutdooraisearch)
    acs_index_name customer-info
    acs_content_field Konten
    acs_metadata_field meta_json_string
    semantic_configuration azuremldefault
    embedding_type Tidak

  7. Pilih Simpan untuk menyimpan pengaturan Anda.

  8. Pilih atau masukkan nilai berikut untuk node queryCustomerIndex :

    Nama Nilai
    Pertanyaan ${extractSearchIntent.output}
    query_type Kata kunci
    topK 5

    Anda dapat melihat node queryCustomerIndex tersambung ke node extractSearchIntent dalam grafik.

    Cuplikan layar simpul alur perintah untuk mengambil info produk.

  9. Pilih Simpan dari menu atas untuk menyimpan perubahan Anda. Ingatlah untuk menyimpan alur permintaan Anda secara berkala saat Anda membuat perubahan.

Koneksi info pelanggan ke alur

Di bagian berikutnya, Anda mengagregasi info produk dan pelanggan untuk menghasilkannya dalam format yang dapat digunakan model bahasa besar. Tetapi pertama-tama, Anda perlu menghubungkan info pelanggan ke alur.

  1. Pilih ikon elipsis di samping + Alat lainnya lalu pilih Mode file mentah untuk beralih ke mode file mentah. Mode ini memungkinkan Anda menyalin dan menempelkan simpul dalam grafik.

    Cuplikan layar opsi mode file mentah dalam alur perintah.

  2. Ganti semua instans querySearchResource dengan queryProductIndex dalam grafik. Kami mengganti nama simpul agar lebih mencerminkan bahwa simpul mengambil info produk dan kontras dengan node queryCustomerIndex yang Anda tambahkan ke alur.

  3. Ganti nama dan ganti semua instans chunkDocuments dengan chunkProductDocuments dalam grafik.

  4. Ganti nama dan ganti semua instans selectChunks dengan selectProductChunks dalam grafik.

  5. Salin dan tempel node chunkProductDocuments dan pilihProductChunks untuk membuat simpul serupa untuk info pelanggan. Ganti nama node baru chunkCustomerDocuments dan pilihCustomerChunks masing-masing.

  6. Dalam node chunkCustomerDocuments , ganti ${queryProductIndex.output} input dengan ${queryCustomerIndex.output}.

  7. Dalam simpul selectCustomerChunks , ganti ${chunkProductDocuments.output} input dengan ${chunkCustomerDocuments.output}.

  8. Pilih Simpan dari menu atas untuk menyimpan perubahan Anda.

    Cuplikan layar opsi untuk menyimpan file yaml dalam mode file mentah.

    Sekarang, flow.dag.yaml file harus menyertakan simpul (antara lain) yang terlihat mirip dengan contoh berikut:

    - name: chunkProductDocuments
  type: python
  source:
    type: code
    path: chunkProductDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryProductIndex.output}
    top_k: 5
  use_variants: false
- name: selectProductChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkProductDocuments.output}
    top_k: 5
  use_variants: false
- name: chunkCustomerDocuments
  type: python
  source:
    type: code
    path: chunkCustomerDocuments.py
  inputs:
    data_source: Azure AI Search
    max_tokens: 1050
    queries: ${extractSearchIntent.output}
    query_type: Keyword
    results: ${queryCustomerIndex.output}
    top_k: 5
  use_variants: false
- name: selectCustomerChunks
  type: python
  source:
    type: code
    path: filterChunks.py
  inputs:
    min_score: 0.3
    results: ${chunkCustomerDocuments.output}
    top_k: 5
  use_variants: false

Info produk dan pelanggan agregat

Pada titik ini, alur permintaan hanya menggunakan informasi produk.

  • extractSearchIntent mengekstrak niat pencarian dari pertanyaan pengguna.
  • queryProductIndex mengambil info produk dari indeks info produk.
  • Alat LLM (untuk model bahasa besar) menerima balasan yang diformat melalui node chunkProductDocuments>selectProductChunks>formatGeneratedReplyInputs.

Anda perlu menyambungkan dan mengagregasi info produk dan pelanggan untuk menghasilkannya dalam format yang dapat digunakan alat LLM . Ikuti langkah-langkah ini untuk mengagregasi info produk dan pelanggan:

  1. Pilih Python dari daftar alat.

  2. Beri nama alat agregatChunks dan pilih Tambahkan.

  3. Salin dan tempel kode Python berikut untuk mengganti semua konten di blok kode agregatChunks .

    from promptflow import tool
from typing import List

@tool
def aggregate_chunks(input1: List, input2: List) -> str:
    interleaved_list = []
    for i in range(max(len(input1), len(input2))):
        if i < len(input1):
            interleaved_list.append(input1[i])
        if i < len(input2):
            interleaved_list.append(input2[i])
    return interleaved_list

  4. Pilih tombol Validasi dan urai input untuk memvalidasi input untuk simpul agregatChunks . Jika input valid, alur prompt mengurai input dan membuat variabel yang diperlukan untuk Anda gunakan dalam kode Anda.

    Cuplikan layar simpul alur permintaan untuk menggabungkan informasi produk dan pelanggan.

  5. Edit node aggregateChunks untuk menyambungkan info produk dan pelanggan. Atur input ke nilai berikut:

    Nama Jenis Nilai
    input1 list ${selectProductChunks.output}
    input2 list ${selectCustomerChunks.output}

    Cuplikan layar input untuk diedit di simpul gugus agregat.

  6. Pilih node shouldGenerateReply dari grafik. Pilih atau masukkan ${aggregateChunks.output} untuk input gugus .

  7. Pilih format NodeGenerateReplyInputs dari grafik. Pilih atau masukkan ${aggregateChunks.output} untuk input gugus .

  8. Pilih simpul output dari grafik. Pilih atau masukkan ${aggregateChunks.output} untuk input gugus .

  9. Pilih Simpan dari menu atas untuk menyimpan perubahan Anda. Ingatlah untuk menyimpan alur permintaan Anda secara berkala saat Anda membuat perubahan.

Sekarang Anda dapat melihat simpul agregatChunks dalam grafik. Simpul menghubungkan info produk dan pelanggan untuk menghasilkannya dalam format yang dapat digunakan alat LLM .

Cuplikan layar input dan output simpul gugus agregat dalam grafik.

Obrolan dalam alur permintaan dengan info produk dan pelanggan

Sekarang Anda memiliki info produk dan pelanggan dalam alur permintaan. Anda dapat mengobrol dengan model dalam alur prompt dan mendapatkan jawaban atas pertanyaan seperti "Berapa banyak sepatu pendakian TrailWalker yang dibeli Daniel Wilson?" Sebelum melanjutkan ke evaluasi yang lebih formal, Anda dapat secara opsional mengobrol dengan model untuk melihat bagaimana hal itu merespons pertanyaan Anda.

  1. Lanjutkan dari bagian sebelumnya dengan simpul output yang dipilih. Pastikan bahwa output balasan memiliki tombol radio output Obrolan yang dipilih. Jika tidak, kumpulan lengkap dokumen dikembalikan sebagai respons terhadap pertanyaan dalam obrolan.

  2. Pilih Obrolan dari menu atas dalam alur perintah untuk mencoba obrolan.

  3. Masukkan "Berapa banyak sepatu pendakian TrailWalker yang dibeli Daniel Wilson?" lalu pilih ikon panah kanan untuk dikirim.

    Catatan

    Mungkin perlu beberapa detik agar model merespons. Anda dapat mengharapkan waktu respons menjadi lebih cepat saat Anda menggunakan alur yang disebarkan.

  4. Responsnya adalah apa yang Anda harapkan. Model ini menggunakan info pelanggan untuk menjawab pertanyaan.

    Cuplikan layar balasan asisten dengan data dasar produk dan pelanggan.

Mengevaluasi alur menggunakan himpunan data evaluasi pertanyaan dan jawaban

Di AI Studio, Anda ingin mengevaluasi alur sebelum menyebarkan alur untuk konsumsi.

Di bagian ini, Anda menggunakan evaluasi bawaan untuk mengevaluasi alur Anda dengan himpunan data evaluasi pertanyaan dan jawaban. Evaluasi bawaan menggunakan metrik yang dibantu AI untuk mengevaluasi alur Anda: groundedness, relevansi, dan skor pengambilan. Untuk informasi selengkapnya, lihat metrik evaluasi bawaan.

Membuat evaluasi

Anda memerlukan himpunan data evaluasi pertanyaan dan jawaban yang berisi pertanyaan dan jawaban yang relevan dengan skenario Anda. Buat file baru bernama qa-evaluation.jsonl secara lokal. Salin dan tempel pertanyaan dan jawaban berikut ("truth") ke dalam file.

{"question": "What color is the CozyNights Sleeping Bag?", "truth": "Red", "chat_history": [], }
{"question": "When did Daniel Wilson order the BaseCamp Folding Table?", "truth": "May 7th, 2023", "chat_history": [] }
{"question": "How much does TrailWalker Hiking Shoes cost? ", "truth": "$110", "chat_history": [] }
{"question": "What kind of tent did Sarah Lee buy?", "truth": "SkyView 2 person tent", "chat_history": [] }
{"question": "What is Melissa Davis's phone number?", "truth": "555-333-4444", "chat_history": [] }
{"question": "What is the proper care for trailwalker hiking shoes?", "truth": "After each use, remove any dirt or debris by brushing or wiping the shoes with a damp cloth.", "chat_history": [] }
{"question": "Does TrailMaster Tent come with a warranty?", "truth": "2 years", "chat_history": [] }
{"question": "How much did David Kim spend on the TrailLite Daypack?", "truth": "$240", "chat_history": [] }
{"question": "What items did Amanda Perez purchase?", "truth": "TrailMaster X4 Tent, TrekReady Hiking Boots (quantity 3), CozyNights Sleeping Bag, TrailBlaze Hiking Pants, RainGuard Hiking Jacket, and CompactCook Camping Stove", "chat_history": [] }
{"question": "What is the Brand for TrekReady Hiking Boots", "truth": "TrekReady", "chat_history": [] }
{"question": "How many items did Karen Williams buy?", "truth": "three items of the Summit Breeze Jacket", "chat_history": [] }
{"question": "France is in Europe", "truth": "Sorry, I can only truth questions related to outdoor/camping gear and equipment", "chat_history": [] }

Setelah memiliki himpunan data evaluasi, Anda dapat mengevaluasi alur dengan mengikuti langkah-langkah berikut:

  1. Pilih Evaluasi>Evaluasi bawaan dari menu atas dalam alur perintah.

    Cuplikan layar opsi untuk membuat evaluasi bawaan dari alur perintah.

    Anda dibawa ke wizard Buat evaluasi baru.

  2. Masukkan nama untuk evaluasi Anda dan pilih sesi komputasi.

  3. Pilih Pertanyaan dan jawaban tanpa konteks dari opsi skenario.

  4. Pilih alur yang akan dievaluasi. Dalam contoh ini, pilih Alur luar ruangan Contoso atau apa pun yang Anda beri nama alur Anda. Kemudian pilih Berikutnya.

    Cuplikan layar memilih skenario evaluasi.

  5. Pilih Tambahkan himpunandata Anda di halaman Konfigurasikan data pengujian.

    Cuplikan layar opsi untuk menggunakan himpunan data baru atau yang sudah ada.

  6. Pilih Unggah file, telusuri file, dan pilih file qa-evaluation.jsonl yang Anda buat sebelumnya.

  7. Setelah file diunggah, Anda perlu mengonfigurasi kolom data agar sesuai dengan input yang diperlukan untuk alur permintaan guna menjalankan eksekusi batch yang menghasilkan output untuk evaluasi. Masukkan atau pilih nilai berikut untuk setiap pemetaan himpunan data untuk alur permintaan.

    Cuplikan layar pemetaan himpunan data evaluasi alur perintah.

    Nama Deskripsi Jenis Sumber data
    chat_history Riwayat obrolan list ${data.chat_history}
    query Kueri string ${data.question}

  8. Pilih Selanjutnya.

  9. Pilih metrik yang ingin Anda gunakan untuk mengevaluasi alur Anda. Dalam contoh ini, pilih Coherence, Fluency, kesamaan GPT, dan skor F1.

  10. Pilih koneksi dan model yang akan digunakan untuk evaluasi. Dalam contoh ini, pilih gpt-35-turbo-16k. Kemudian pilih Berikutnya.

    Cuplikan layar memilih metrik evaluasi.

    Catatan

    Evaluasi dengan metrik yang dibantu AI perlu memanggil model GPT lain untuk melakukan penghitungan. Untuk performa terbaik, gunakan model yang mendukung setidaknya token 16k seperti model gpt-4-32k atau gpt-35-turbo-16k. Jika sebelumnya Anda tidak menyebarkan model tersebut, Anda dapat menyebarkan model lain dengan mengikuti langkah-langkah dalam mulai cepat AI Studio chat playground. Kemudian kembali ke langkah ini dan pilih model yang Anda sebarkan.

  11. Anda perlu mengonfigurasi kolom data agar sesuai dengan input yang diperlukan untuk menghasilkan metrik evaluasi. Masukkan nilai berikut untuk memetakan himpunan data ke properti evaluasi:

    Nama Deskripsi Jenis Sumber data
    Pertanyaan Kueri yang mencari informasi tertentu. string ${data.question}
    Jawaban Respons terhadap pertanyaan yang dihasilkan oleh model sebagai jawaban. string ${run.outputs.reply}
    Dokumen String dengan konteks dari dokumen yang diambil. string ${run.outputs.documents}

  12. Pilih Selanjutnya.

  13. Tinjau detail evaluasi lalu pilih Kirim. Anda dibawa ke halaman Evaluasi metrik.

Menampilkan status evaluasi dan hasil

Sekarang Anda dapat melihat status evaluasi dan hasil dengan mengikuti langkah-langkah berikut:

  1. Setelah Anda membuat evaluasi, jika Anda belum berada di sana, buka Evaluasi. Pada halaman Evaluasi metrik, Anda dapat melihat status evaluasi dan metrik yang Anda pilih. Anda mungkin perlu memilih Refresh setelah beberapa menit untuk melihat status Selesai .

    Cuplikan layar halaman evaluasi metrik.

  2. Hentikan sesi komputasi Anda dalam alur perintah. Buka alur permintaan Anda dan pilih Sesi komputasi yang menjalankan>Hentikan sesi komputasi dari menu atas.

    Cuplikan layar tombol untuk menghentikan sesi komputasi dalam alur perintah.

    Tip

    Setelah evaluasi dalam status Selesai , Anda tidak memerlukan sesi komputasi untuk menyelesaikan sisa tutorial ini. Anda dapat menghentikan instans komputasi untuk menghindari timbulnya biaya Azure yang tidak perlu. Untuk informasi selengkapnya, lihat cara memulai dan menghentikan komputasi.

  3. Pilih nama evaluasi (seperti evaluation_evaluate_from_flow_variant_0) untuk melihat metrik evaluasi.

    Cuplikan layar halaman hasil metrik terperinci.

Untuk informasi selengkapnya, lihat melihat hasil evaluasi.

Menyebarkan alur

Sekarang setelah Anda membangun alur dan menyelesaikan evaluasi berbasis metrik, saatnya untuk membuat titik akhir online Anda untuk inferensi real-time. Itu berarti Anda dapat menggunakan alur yang disebarkan untuk menjawab pertanyaan secara real time.

Ikuti langkah-langkah ini untuk menyebarkan alur perintah sebagai titik akhir online dari AI Studio.

  1. Siapkan alur prompt untuk penyebaran. Jika Anda tidak memilikinya, lihat bagian sebelumnya atau cara membuat alur permintaan.

  2. Opsional: Pilih Obrolan untuk menguji apakah alur berfungsi dengan benar. Menguji alur Anda sebelum penyebaran disarankan praktik terbaik.

  3. Pilih Sebarkan pada editor alur.

    Cuplikan layar tombol sebarkan dari editor alur perintah.

  4. Berikan informasi yang diminta di halaman Pengaturan Dasar dalam wizard penyebaran. Pilih Berikutnya untuk melanjutkan ke halaman pengaturan tingkat lanjut.

    Cuplikan layar halaman pengaturan dasar dalam wizard penyebaran.

  5. Pada halaman Pengaturan tingkat lanjut - Titik Akhir, biarkan pengaturan default dan pilih Berikutnya.

  6. Pada halaman Pengaturan tingkat lanjut - Penyebaran , biarkan pengaturan default dan pilih Berikutnya.

  7. Pada halaman Pengaturan tingkat lanjut - Output & koneksi , pastikan semua output dipilih di bawah Disertakan dalam respons titik akhir.

    Cuplikan layar halaman pengaturan tingkat lanjut di wizard penyebaran.

  8. Pilih Tinjau + Buat untuk meninjau pengaturan dan membuat penyebaran.

  9. Pilih Buat untuk menyebarkan alur perintah.

    Cuplikan layar halaman pengaturan penyebaran alur perintah ulasan.

Untuk informasi selengkapnya, lihat cara menyebarkan alur.

Menggunakan alur yang disebarkan

Aplikasi salinan Anda dapat menggunakan alur permintaan yang disebarkan untuk menjawab pertanyaan secara real time. Anda dapat menggunakan titik akhir REST atau SDK untuk menggunakan alur yang disebarkan.

  1. Untuk melihat status penyebaran Anda di AI Studio, pilih Penyebaran dari navigasi kiri.

    Cuplikan layar status penyebaran alur prompt sedang berlangsung.

    Setelah penyebaran berhasil dibuat, Anda dapat memilih penyebaran untuk melihat detailnya.

    Catatan

    Jika Anda melihat pesan yang mengatakan "Saat ini titik akhir ini tidak memiliki penyebaran" atau Status masih Memperbarui, Anda mungkin perlu memilih Refresh setelah beberapa menit untuk melihat penyebaran.

  2. Secara opsional, halaman detail adalah tempat Anda dapat mengubah jenis autentikasi atau mengaktifkan pemantauan.

    Cuplikan layar halaman detail penyebaran alur perintah.

  3. Pilih tab Konsumsi . Anda dapat melihat sampel kode dan titik akhir REST untuk aplikasi salinan Anda untuk menggunakan alur yang disebarkan.

    Cuplikan layar titik akhir penyebaran alur perintah dan sampel kode.

Membersihkan sumber daya

Untuk menghindari timbulnya biaya Azure yang tidak perlu, Anda harus menghapus sumber daya yang Anda buat dalam tutorial ini jika tidak lagi diperlukan. Untuk mengelola sumber daya, Anda dapat menggunakan portal Azure.

Anda juga dapat menghentikan atau menghapus instans komputasi di AI Studio sesuai kebutuhan.

Langkah berikutnya