Sebagian besar bisnis menyediakan dukungan layanan pelanggan untuk membantu pelanggan dengan kueri produk, pemecahan masalah, dan memelihara atau meningkatkan fitur atau produk itu sendiri. Untuk memberikan resolusi yang memuaskan, spesialis dukungan pelanggan perlu merespons dengan cepat dengan informasi yang akurat. OpenAI dapat membantu organisasi dengan dukungan pelanggan dengan berbagai cara.
Panduan ini menjelaskan cara menghasilkan ringkasan interaksi agen pelanggan dengan menggunakan model Azure OpenAI GPT-3. Ini berisi arsitektur sampel end-to-end yang mengilustrasikan komponen utama yang terlibat dalam mendapatkan ringkasan input teks. Pembuatan input teks berada di luar cakupan panduan ini. Fokus dari panduan ini adalah untuk menjelaskan proses penerapan ringkasan serangkaian sampel percakapan agen-pelanggan dan menganalisis hasil dari berbagai pendekatan untuk ringkasan.
Skenario percakapan
- Chatbot layanan mandiri (sepenuhnya otomatis). Dalam skenario ini, pelanggan dapat berinteraksi dengan chatbot yang didukung oleh GPT-3 dan dilatih pada data khusus industri. Chatbot dapat memahami pertanyaan pelanggan dan menjawab dengan tepat berdasarkan respons yang dipelajari dari basis pengetahuan.
- Chatbot dengan intervensi agen (semi-otomatis). Pertanyaan yang diajukan oleh pelanggan terkadang kompleks dan mengharuskan intervensi manusia. Dalam kasus seperti itu, GPT-3 dapat memberikan ringkasan percakapan chatbot pelanggan dan membantu agen dengan pencarian cepat untuk informasi tambahan dari basis pengetahuan besar.
- Meringkas transkrip (sepenuhnya otomatis atau semi-otomatis). Di sebagian besar pusat dukungan pelanggan, agen diharuskan untuk meringkas percakapan untuk penyimpanan rekaman, tindak lanjut di masa mendatang, pelatihan, dan proses internal lainnya. GPT-3 dapat memberikan ringkasan otomatis atau semi-otomatis yang menangkap detail percakapan yang menarik untuk digunakan lebih lanjut.
Panduan ini berfokus pada proses untuk meringkas transkrip dengan menggunakan Azure OpenAI GPT-3.
Rata-rata, dibutuhkan agen 5 hingga 6 menit untuk meringkas satu percakapan agen-pelanggan. Mengingat tingginya volume permintaan yang ditangani tim layanan pada hari tertentu, tugas tambahan ini dapat memberatkan tim. OpenAI adalah cara yang baik untuk membantu agen dengan aktivitas terkait ringkasan. Ini dapat meningkatkan efisiensi proses dukungan pelanggan dan memberikan presisi yang lebih baik. Ringkasan percakapan dapat diterapkan ke tugas dukungan pelanggan apa pun yang melibatkan interaksi agen-pelanggan.
Layanan ringkasan percakapan
Ringkasan percakapan cocok dalam skenario di mana percakapan dukungan pelanggan mengikuti format tanya jawab.
Beberapa manfaat menggunakan layanan ringkasan adalah:
- Peningkatan efisiensi: Ini memungkinkan agen layanan pelanggan untuk dengan cepat meringkas percakapan pelanggan, menghilangkan kebutuhan akan pertukaran bolak-balik yang panjang. Efisiensi ini membantu mempercepat penyelesaian masalah pelanggan.
- Layanan pelanggan yang ditingkatkan: Agen dapat menggunakan ringkasan percakapan dalam interaksi di masa mendatang untuk dengan cepat menemukan informasi yang diperlukan untuk menyelesaikan masalah pelanggan secara akurat.
- Berbagi pengetahuan yang ditingkatkan: Ringkasan percakapan dapat membantu tim layanan pelanggan berbagi pengetahuan satu sama lain dengan cepat dan efektif. Ini membekali tim layanan pelanggan dengan resolusi yang lebih baik dan membantu mereka memberikan dukungan yang lebih cepat.
Sistem
Arsitektur umum untuk ringkasan percakapan memiliki tiga tahap utama: pra-pemrosesan, ringkasan, dan pasca-pemrosesan. Jika input berisi percakapan verbal atau bentuk ucapan apa pun, ucapan perlu ditranskripsikan ke teks. Untuk informasi selengkapnya, lihat Layanan ucapan ke teks Azure.
Berikut adalah contoh arsitektur:
Unduh file PowerPoint arsitektur ini.
Alur kerja
- Mengumpulkan data input: Memberi umpan data input yang relevan ke dalam alur. Jika sumbernya adalah file audio, Anda perlu mengonversinya menjadi teks dengan menggunakan layanan teks ke ucapan (TTS) seperti teks Azure ke ucapan.
- Pra-proses data: Hapus informasi rahasia dan percakapan yang tidak penting dari data.
- Umpan data ke dalam ringkasan: Teruskan data dalam perintah melalui API Azure OpenAI. Model pembelajaran dalam konteks mencakup nol bidikan, beberapa bidikan, atau model kustom.
- Buat ringkasan: Model menghasilkan ringkasan percakapan.
- Pasca-proses data: Terapkan filter kata-kata kocek dan berbagai pemeriksaan validasi ke ringkasan. Tambahkan data sensitif atau rahasia yang dihapus selama langkah pra-proses kembali ke ringkasan.
- Mengevaluasi hasil: Tinjau dan evaluasi hasilnya. Langkah ini dapat membantu Anda mengidentifikasi area di mana model perlu ditingkatkan dan menemukan kesalahan.
Bagian berikut memberikan detail selengkapnya tentang tiga tahap utama.
Pra-proses
Tujuan pra-pemrosesan adalah untuk memastikan bahwa data yang diberikan ke layanan summarizer relevan dan tidak menyertakan informasi sensitif atau rahasia.
Berikut adalah beberapa langkah pra-pemrosesan yang dapat membantu mengkondisikan data mentah Anda. Anda mungkin perlu menerapkan satu atau banyak langkah, tergantung pada kasus penggunaan.
Hapus informasi pengidentifikasi pribadi (PII). Anda dapat menggunakan API PII Percakapan (pratinjau) untuk menghapus PII dari teks yang ditranskripsikan atau ditulis. Contoh ini menunjukkan output setelah API menghapus PII:
Document text: Parker Doe has repaid all of their loans as of 2020-04-25. Their SSN is 999-99-9999. To contact them, use their phone number 555-555-0100. They are originally from Brazil and have Brazilian CPF number 998.214.865-68 Redacted document text: ******* has repaid all of their loans as of *******. Their SSN is *******. To contact them, use their phone number *******. They are originally from Brazil and have Brazilian CPF number 998.214.865-68 ...Entity 'Parker Doe' with category 'Person' got redacted ...Entity '2020-04-25' with category 'DateTime' got redacted ...Entity '999-99-9999' with category 'USSocialSecurityNumber' got redacted ...Entity '555-555-0100' with category 'PhoneNumber' got redactedHapus informasi asing. Agen pelanggan memulai percakapan dengan pertukaran kasual yang tidak menyertakan informasi yang relevan. Pemicu dapat ditambahkan ke percakapan untuk mengidentifikasi titik di mana kekhawatiran atau pertanyaan yang relevan pertama kali ditangani. Menghapus pertukaran tersebut dari konteks dapat meningkatkan akurasi layanan summarizer karena model kemudian disempurnakan pada informasi yang paling relevan dalam percakapan. Mesin Curie GPT-3 adalah pilihan populer untuk tugas ini karena dilatih secara ekstensif, melalui konten dari internet, untuk mengidentifikasi jenis percakapan santai ini.
Hapus percakapan yang terlalu negatif. Percakapan juga dapat mencakup sentimen negatif dari pelanggan yang tidak bahagia. Anda dapat menggunakan metode pemfilteran konten Azure seperti Azure Content Moderator untuk menghapus percakapan yang berisi informasi sensitif dari analisis. Atau, OpenAI menawarkan titik akhir moderasi, alat yang dapat Anda gunakan untuk memeriksa apakah konten sesuai dengan kebijakan konten OpenAI.
Ringkasan
Titik akhir API penyelesaian teks OpenAI disebut titik akhir penyelesaian. Untuk memulai proses penyelesaian teks, diperlukan perintah. Rekayasa prompt adalah proses yang digunakan dalam mengonsumsi model bahasa. Bagian pertama dari perintah mencakup instruksi bahasa alami atau contoh tugas tertentu yang diminta (dalam skenario ini, ringkasan). Perintah memungkinkan pengembang untuk memberikan beberapa konteks ke API, yang dapat membantunya menghasilkan penyelesaian teks yang lebih relevan dan akurat. Model kemudian menyelesaikan tugas dengan memprediksi teks berikutnya yang paling mungkin. Teknik ini dikenal sebagai pembelajaran dalam konteks .
Catatan
Ringkasan ekstraktif mencoba mengidentifikasi dan mengekstrak informasi yang penting dari teks dan mengelompokkannya untuk menghasilkan ringkasan ringkasan tanpa memahami arti atau konteks.
Ringkasan abstraktif menulis ulang teks dengan terlebih dahulu membuat representasi semantik internal lalu membuat ringkasan dengan menggunakan pemrosesan bahasa alami. Proses ini melibatkan parafraksing.
Ada tiga pendekatan utama untuk model pelatihan untuk pembelajaran dalam konteks: zero-shot, few-shot, dan fine-tuning. Pendekatan ini bervariasi berdasarkan jumlah data khusus tugas yang disediakan untuk model.
Zero-shot: Dalam pendekatan ini, tidak ada contoh yang disediakan untuk model. Permintaan tugas adalah satu-satunya input. Dalam pembelajaran tanpa bidikan, model bergantung pada data yang sudah dilatih GPT-3 (hampir semua data yang tersedia dari internet). Ini mencoba untuk menghubungkan tugas yang diberikan ke kategori yang ada yang telah dipelajari dan merespons dengan sesuai.
Beberapa bidikan: Saat Anda menggunakan pendekatan ini, Anda menyertakan sejumlah kecil contoh dalam perintah yang menunjukkan format jawaban dan konteks yang diharapkan. Model ini disediakan dengan sejumlah kecil data pelatihan, biasanya hanya beberapa contoh, untuk memandu prediksinya. Pelatihan dengan sekumpulan kecil contoh memungkinkan model untuk menggeneralisasi dan memahami tugas terkait tetapi sebelumnya tidak jelas. Membuat contoh beberapa bidikan ini bisa menjadi tantangan karena mereka perlu mengklarifikasi tugas yang Anda inginkan untuk dilakukan model. Salah satu masalah yang umum diamati adalah bahwa model, terutama yang kecil, sensitif terhadap gaya penulisan yang digunakan dalam contoh pelatihan.
Keuntungan utama dari pendekatan ini adalah pengurangan yang signifikan dalam kebutuhan akan data khusus tugas dan berkurangnya potensi untuk mempelajari distribusi yang terlalu sempit dari himpunan data penyempurnaan yang besar tetapi sempit.
Dengan pendekatan ini, Anda tidak dapat memperbarui bobot model yang telah dilatih sebelumnya.
Untuk informasi selengkapnya, lihat Model Bahasa adalah beberapa pelajar yang ditembak.
Penyempurnaan: Penyempurnaan adalah proses menyesuaikan model untuk mendapatkan hasil tertentu yang diinginkan dari himpunan data Anda sendiri. Ini melibatkan pelatihan ulang model pada data baru. Untuk informasi selengkapnya, harap lihat Pelajari cara menyesuaikan model untuk aplikasi Anda.
Anda dapat menggunakan langkah penyesuaian ini untuk meningkatkan proses Anda dengan:
- Termasuk sekumpulan data contoh yang lebih besar.
- Menggunakan teknik pengoptimalan tradisional dengan backpropagation untuk memperbanyak bobot model. Teknik ini memungkinkan hasil kualitas yang lebih tinggi daripada pendekatan nol-bidikan atau beberapa bidikan yang disediakan sendiri.
- Meningkatkan pendekatan pembelajaran beberapa bidikan dengan melatih bobot model dengan perintah tertentu dan struktur tertentu. Teknik ini memungkinkan Anda untuk mencapai hasil yang lebih baik pada sejumlah tugas yang lebih luas tanpa perlu memberikan contoh dalam perintah. Hasilnya lebih sedikit teks yang dikirim dan lebih sedikit token.
Kerugian termasuk kebutuhan akan himpunan data baru yang besar untuk setiap tugas, potensi generalisasi yang buruk dari distribusi, dan kemungkinan untuk mengeksploitasi fitur data pelatihan yang memacu, menghasilkan kemungkinan besar perbandingan yang tidak adil dengan performa manusia.
Membuat himpunan data untuk kustomisasi model berbeda dari merancang permintaan untuk digunakan dengan model lain. Permintaan untuk panggilan penyelesaian sering menggunakan instruksi terperinci atau teknik pembelajaran beberapa bidikan dan terdiri dari beberapa contoh. Untuk penyempurnaan, sebaiknya setiap contoh pelatihan terdiri dari satu contoh input dan output yang diinginkan. Anda tidak perlu memberikan instruksi atau contoh terperinci dalam perintah.
Saat Anda meningkatkan jumlah contoh pelatihan, hasil Anda meningkat. Sebaiknya anda menyertakan setidaknya 500 contoh. Biasanya digunakan antara ribuan dan ratusan ribu contoh berlabel. Pengujian menunjukkan bahwa setiap penggandaan ukuran himpunan data menyebabkan peningkatan linier dalam kualitas model.
Panduan ini menunjukkan mesin curie-instruct/text-curie-001 dan davinci-instruct/text-davinci-001. Mesin ini sering diperbarui. Versi yang Anda gunakan mungkin berbeda.
Pasca-proses
Kami menyarankan agar Anda memeriksa validitas hasil yang Anda dapatkan dari GPT-3. Terapkan pemeriksaan validitas dengan menggunakan pendekatan atau pengklasifikasi terprogram, tergantung pada kasus penggunaan. Berikut adalah beberapa pemeriksaan penting:
- Verifikasi bahwa tidak ada poin signifikan yang terlewatkan.
- Periksa ketidakakuratan faktual.
- Periksa bias apa pun yang diperkenalkan oleh data pelatihan yang digunakan pada model.
- Verifikasi bahwa model tidak mengubah teks dengan menambahkan ide atau poin baru. Masalah ini dikenal sebagai halusinasi.
- Periksa kesalahan tata bahasa dan ejaan.
- Gunakan filter kata-kata kotor konten seperti Content Moderator untuk memastikan bahwa tidak ada konten yang tidak pantas atau tidak relevan yang disertakan.
Terakhir, memperkenalkan kembali informasi penting apa pun yang sebelumnya dihapus dari ringkasan, seperti informasi rahasia.
Dalam beberapa kasus, ringkasan percakapan juga dikirim ke pelanggan, bersama dengan transkrip asli. Dalam kasus ini, pasca-pemrosesan melibatkan penambungan transkrip ke ringkasan. Ini juga dapat mencakup penambahan kalimat prospek seperti "Silakan lihat ringkasan di bawah ini."
Pertimbangan
Penting untuk menyempurnakan model dasar Anda dengan himpunan data pelatihan khusus industri dan mengubah ukuran himpunan data yang tersedia. Model yang disempurnakan berkinerja terbaik ketika data pelatihan mencakup setidaknya 1.000 titik data dan kebenaran dasar (ringkasan yang dihasilkan manusia) yang digunakan untuk melatih model berkualitas tinggi.
Pertukaran adalah biaya. Proses pelabelan dan pembersihan himpunan data bisa mahal. Untuk memastikan data pelatihan berkualitas tinggi, Anda mungkin perlu memeriksa ringkasan kebenaran dasar secara manual dan menulis ulang ringkasan berkualitas rendah. Pertimbangkan poin-poin berikut tentang tahap ringkasan:
- Rekayasa prompt: Ketika diberikan sedikit instruksi, Davinci sering berkinerja lebih baik daripada model lain. Untuk mengoptimalkan hasil, bereksperimenlah dengan permintaan yang berbeda untuk model yang berbeda.
- Ukuran token: Ringkasan yang didasarkan pada GPT-3 dibatasi hingga total 4.098 token, termasuk perintah dan penyelesaian. Untuk meringkas bagian yang lebih besar, pisahkan teks menjadi bagian yang sesuai dengan batasan ini. Ringkas setiap bagian satu per satu lalu kumpulkan hasilnya dalam ringkasan akhir.
- Sampah masuk, sampah keluar: Model terlatih hanya sebagus data pelatihan yang Anda berikan. Pastikan bahwa ringkasan kebenaran dasar dalam data pelatihan sangat cocok dengan informasi yang akhirnya ingin Anda ringkas dalam dialog Anda.
- Titik henti: Model berhenti meringkas saat mencapai titik berhenti alami atau urutan berhenti yang Anda berikan. Uji parameter ini untuk memilih di antara beberapa ringkasan dan untuk memeriksa apakah ringkasan terlihat tidak lengkap.
Contoh skenario: Meringkas transkrip di pusat panggilan
Skenario ini menunjukkan bagaimana fitur ringkasan Azure OpenAI dapat membantu agen layanan pelanggan dengan tugas ringkasan. Ini menguji pendekatan zero-shot, few-shot, dan fine-tuning dan membandingkan hasilnya dengan ringkasan yang dihasilkan manusia.
Himpunan data yang digunakan dalam skenario ini adalah serangkaian percakapan hipotetis antara pelanggan dan agen di pusat dukungan pelanggan Xbox tentang berbagai produk dan layanan Xbox. Obrolan hipotetis diberi label dengan Prompt. Ringkasan abstraktif yang ditulis manusia diberi label dengan Penyelesaian.
| Prompt | Penyelesaian |
|---|---|
| Pelanggan: Pertanyaan tentang XAIL Halo! Bagaimana aku bisa membantumu hari ini? Pelanggan: Hai, saya punya pertanyaan tentang cincin orang dalam Aksesibilitas Agen: Oke. Aku bisa membantumu dengan itu. Pelanggan: Apakah saya perlu mendaftar cincin pratinjau untuk bergabung dengan liga aksesibilitas? Agen: Tidak. Anda dapat meninggalkan konsol dari cincin Pratinjau Xbox dan masih bergabung dengan Liga. Namun, perhatikan bahwa beberapa pengalaman yang disediakan untuk Anda mungkin mengharuskan Anda bergabung dengan cincin Pratinjau Xbox. Pelanggan: Oke. Dan aku bisa mendaftar untuk pratinjau cincin nanti ya? Agen: Itu benar. Pelanggan: Manis. |
Pelanggan ingin tahu apakah mereka perlu mendaftar cincin pratinjau untuk bergabung dengan Xbox Accessibility Insider League. Agen menanggapi bahwa itu tidak wajib, tetapi bahwa beberapa pengalaman mungkin memerlukannya. |
Output ideal. Tujuannya adalah untuk membuat ringkasan yang mengikuti format ini: "Pelanggan mengatakan x. Agen merespons y." Tujuan lain adalah untuk menangkap fitur penting dari dialog, seperti keluhan pelanggan, resolusi yang disarankan, dan tindakan tindak lanjut.
Berikut adalah contoh interaksi dukungan pelanggan, diikuti oleh ringkasan komprehensif yang ditulis manusia:
Dialog
Pelanggan: Halo. Aku punya pertanyaan tentang lulus permainan.
Agen: Halo. Bagaimana kabarmu hari ini?
Pelanggan: Saya baik-baik saja.
Agen. Saya melihat bahwa Anda membutuhkan bantuan dengan Xbox Game Pass.
Pelanggan: Ya. Aku ingin tahu berapa lama aku bisa mengakses permainan setelah mereka meninggalkan game pass.
Agen: Setelah permainan meninggalkan katalog Xbox Game Pass, Anda harus membeli salinan digital dari aplikasi Xbox untuk Windows atau Microsoft Store, bermain dari disk, atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Ingat, Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog Xbox Game Pass. Dan, sebagai anggota, Anda dapat membeli game apa pun di katalog hingga 20% off (atau harga diskon terbaik yang tersedia) untuk terus memainkan permainan setelah meninggalkan katalog.
Pelanggan: Mengerti, terima kasih
Ringkasan kebenaran dasar
Pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan Game Pass. Agen memberi tahu pelanggan bahwa mereka perlu membeli game untuk terus memiliki akses.
Tembakan nol
Pendekatan nol bidikan berguna saat Anda tidak memiliki data pelatihan berlabel yang cukup. Dalam hal ini, tidak ada ringkasan kebenaran dasar yang cukup. Penting untuk merancang permintaan dengan hati-hati untuk mengekstrak informasi yang relevan. Format berikut digunakan untuk mengekstrak ringkasan umum dari obrolan agen pelanggan:
prefix = "Please provide a summary of the conversation below: "
suffix = "The summary is as follows: "
Berikut adalah sampel yang menunjukkan cara menjalankan model nol bidikan:
rouge = Rouge()
# Run zero-shot prediction for all engines of interest
deploymentNames = ["curie-instruct","davinci-instruct"] # also known as text-davinci/text-instruct
for deployment in deploymentNames:
url = openai.api_base + "openai/deployments/" + deployment + "/completions?api-version=2022-12-01-preivew"
response_list = []
rouge_list = []
print("calling..." + deployment)
for i in range(len(test)):
response_i = openai.Completion.create(
engine = deployment,
prompt = build_prompt(prefix, [test['prompt'][i]], suffix),
temperature = 0.0,
max_tokens = 400,
top_p = 1.0,
frequence_penalty = 0.5,
persence_penalty = 0.0,
stop=["end"] # We recommend that you adjust the stop sequence based on the dataset
)
scores = rouge.get_scores(normalize_text(response_i['choices'][ 0]['text']),test['completion'][i])
rouge_list += [scores[0]['rouge-1']['f']],
response_list += [response_i]
summary_list = [normalize_text(i['choices'][0]['text']) for i in response_list]
test[deployment + "_zeroshotsummary"] = summary_list
test[deployment + "_zeroshotroguescore"] = rouge_list
Hasil dan pengamatan
Output model nol bidikan diproduksi langsung dari model dasar. Dalam hal ini, Curie dan Davinci merangkum dialog dengan cukup baik. Satu-satunya perbedaan yang nyata adalah bahwa model Curie memberikan sedikit lebih sedikit detail. Curie memulai ringkasan dengan "Pelanggan bertanya kepada agen tentang pass game Xbox." Kalimat yang sesuai di Davinci adalah "Pelanggan bertanya berapa lama mereka dapat mengakses game setelah mereka meninggalkan katalog pass game Xbox."
Dialog
Pelanggan: Halo. Aku punya pertanyaan tentang lulus permainan.
Agen: Halo. Bagaimana keadaanmu?
Pelanggan: Saya baik-baik saja.
Agen: Saya melihat bahwa Anda memerlukan bantuan dengan Xbox Game Pass.
Pelanggan: Ya. Aku ingin tahu berapa lama aku bisa mengakses permainan setelah mereka meninggalkan game pass.
Agen: Setelah permainan meninggalkan katalog pass game Xbox, Anda harus membeli salinan digital dari aplikasi Xbox untuk Windows atau Microsoft Store, bermain dari disk, atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Ingat, Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog Xbox Game Pass. Dan, sebagai anggota, Anda dapat membeli game apa pun di katalog untuk diskon hingga 20% atau harga diskon terbaik yang tersedia untuk terus memainkan permainan setelah meninggalkan katalog.
Kebenaran dasar
Pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan Game Pass. Agen memberi tahu pelanggan bahwa mereka perlu membeli game untuk terus memiliki akses.
Hasil Davinci
Pelanggan bertanya berapa lama mereka dapat mengakses game setelah mereka meninggalkan katalog pass game Xbox. Agen memberi tahu mereka bahwa mereka perlu membeli salinan digital permainan dari aplikasi Xbox untuk Windows atau toko Microsoft untuk terus memutarnya. Agen juga mengingatkan pelanggan bahwa mereka akan diberi tahu sebelum permainan meninggalkan katalog pass game Xbox. sebagai anggota, pelanggan dapat membeli game apa pun di katalog hingga 20 off atau harga diskon terbaik yang tersedia.
Hasil curie
Pelanggan bertanya kepada agen tentang pass game Xbox. agen memberi tahu pelanggan bahwa setelah permainan meninggalkan katalog pass game Xbox, pelanggan harus membeli salinan digital dari aplikasi Xbox untuk Windows atau toko Microsoft bermain dari disk atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Agen juga mengingatkan pelanggan bahwa Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog pass game Xbox.
Beberapa kali ditembak
Saat Anda menggunakan pendekatan beberapa bidikan , model disediakan dengan sejumlah kecil contoh.
context_primer = "Below are examples of conversations and their corresponding summaries:"
prefix = "Please provide a summary of the conversation below: "
suffix = "The summary is as follows: "
Berikut adalah sampel yang menunjukkan cara menjalankan model beberapa bidikan:
train_small = train[]
train_small_json = train_small.to_dict(orient='records')
compiled_train_prompt = build_prompt_fewshot(prefix,context_primer, train_small_json, suffix)
for deployment in deploymentNames:
url = openai.api_base + "openai/deployments/" + deployment + "/completions?api-version=2022-12-01-preivew"
response_list = []
rouge_list = []
print("calling..." + deployment)
for i in range(len(test)):
response_i = openai.Completion.create(
engine = deployment,
prompt = compiled_train_prompt+build_prompt(prefix, [test['prompt'][i]], suffix),
temperature = 0.0,
max_tokens = 400,
top_p = 1.0,
frequence_penalty = 0.5,
persence_penalty = 0.0,
stop=["end"] # We recommend that you adjust the stop sequence based on the dataset
)
scores = rouge.get_scores(normalize_text(response_i['choices'][ 0]['text']),test['completion'][i])
rouge_list += [scores[0]['rouge-1']['f']],
response_list += [response_i]
summary_list = [normalize_text(i['choices'][0]['text']) for i in response_list]
test[deployment + "_fewshot"] = summary_list
test[deployment + "_FSscore1"] = rouge_list
Hasil dan pengamatan
Dengan pendekatan beberapa bidikan, ringkasan terus menangkap fitur percakapan yang menarik. Ringkasan Davinci lebih ringkas dan lebih dekat ke kebenaran dasar. Curie membuat beberapa detail sepele.
Dialog
Pelanggan: Halo. Aku punya pertanyaan tentang lulus permainan.
Agen: Halo. Bagaimana keadaanmu?
Pelanggan: Saya baik-baik saja.
Agen: Saya melihat bahwa Anda memerlukan bantuan dengan Xbox Game Pass.
Pelanggan: Ya. Aku ingin tahu berapa lama aku bisa mengakses permainan setelah mereka meninggalkan game pass.
Agen: Setelah permainan meninggalkan katalog Xbox Game Pass, Anda harus membeli salinan digital dari aplikasi Xbox untuk Windows atau Microsoft Store, bermain dari disk, atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Ingat, Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog Xbox Game Pass. Dan, sebagai anggota, Anda dapat membeli game apa pun di katalog untuk diskon hingga 20% atau harga diskon terbaik yang tersedia untuk terus memainkan permainan setelah meninggalkan katalog.
Kebenaran dasar
Pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan Game Pass. Agen memberi tahu pelanggan bahwa mereka perlu membeli game untuk terus memiliki akses.
Hasil Davinci
pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan game pass. Agen menginformasikan bahwa setelah permainan meninggalkan katalog pass game Xbox, pelanggan perlu membeli salinan digital atau mendapatkan bentuk pemberian kepemilikan lain untuk terus memainkan game.
Hasil curie
pelanggan memiliki pertanyaan tentang pass game. pelanggan baik. agen membutuhkan bantuan dengan pass game Xbox. pelanggan bertanya berapa lama mereka dapat mengakses game setelah mereka meninggalkan katalog game pass. Agen menginformasikan bahwa setelah permainan meninggalkan katalog Xbox game pass, pelanggan perlu membeli salinan digital dari aplikasi Xbox untuk Windows atau microsoft store bermain dari disk atau mendapatkan bentuk lain dari pemberian untuk terus memainkan game. pelanggan senang mendengar ini dan terima kasih agen.
Penyesuaian halus
Penyempurnaan adalah proses menyesuaikan model untuk mendapatkan hasil tertentu yang diinginkan dari himpunan data Anda sendiri.
Berikut adalah contoh format:
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
Hasil dan pengamatan
Pengujian menunjukkan bahwa model Curie yang disempurnakan mengarah pada hasil yang sebanding dengan model sedikit bidikan Davinci. Kedua ringkasan menangkap pertanyaan pelanggan dan jawaban agen tanpa menangkap detail tentang diskon dan tanpa menambahkan konten. Kedua ringkasan mirip dengan kebenaran dasar.
Dialog
Pelanggan: Halo. Aku punya pertanyaan tentang lulus permainan.
Agen: Halo. Bagaimana keadaanmu?
Pelanggan: Saya baik-baik saja.
Agen: Saya melihat bahwa Anda memerlukan bantuan dengan Xbox Game Pass.
Pelanggan: Ya. Aku ingin tahu berapa lama aku bisa mengakses permainan setelah mereka meninggalkan game pass.
Agen: Setelah permainan meninggalkan katalog Xbox Game Pass, Anda harus membeli salinan digital dari aplikasi Xbox untuk Windows atau Microsoft Store, bermain dari disk, atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Ingat, Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog Xbox Game Pass. Dan, sebagai anggota, Anda dapat membeli game apa pun di katalog untuk diskon hingga 20% atau harga diskon terbaik yang tersedia untuk terus memainkan permainan setelah meninggalkan katalog.
Kebenaran dasar
Pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan Game Pass. Agen memberi tahu pelanggan bahwa mereka perlu membeli game untuk terus memiliki akses.
Hasil curie
pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan game pass. agen menjelaskan bahwa setelah permainan meninggalkan katalog pass game Xbox, mereka harus membeli salinan digital dari aplikasi Xbox untuk Windows atau toko Microsoft bermain dari disk atau mendapatkan bentuk pemberian lain untuk terus memainkan game.
Kesimpulan
Umumnya, model Davinci membutuhkan lebih sedikit instruksi untuk melakukan tugas daripada model lain, seperti Curie. Davinci lebih cocok untuk meringkas teks yang memerlukan pemahaman tentang konteks atau bahasa tertentu. Karena Davinci adalah model yang paling kompleks, latensinya lebih tinggi daripada model lain. Curie lebih cepat daripada Davinci dan mampu meringkas percakapan.
Pengujian ini menunjukkan bahwa Anda dapat menghasilkan ringkasan yang lebih baik ketika Anda memberikan lebih banyak instruksi ke model melalui beberapa bidikan atau penyempurnaan. Model yang disempurnakan lebih baik dalam menyesuaikan dengan struktur dan konteks yang dipelajari dari himpunan data pelatihan. Kemampuan ini sangat berguna ketika ringkasan khusus domain (misalnya, menghasilkan ringkasan dari catatan dokter atau dukungan pelanggan resep online). Jika Anda menggunakan penyempurnaan, Anda memiliki kontrol lebih atas jenis ringkasan yang Anda lihat.
Demi perbandingan yang mudah, berikut adalah ringkasan hasil yang disajikan sebelumnya:
Kebenaran dasar
Pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan Game Pass. Agen memberi tahu pelanggan bahwa mereka perlu membeli game untuk terus memiliki akses.
Hasil nol bidikan Davinci
Pelanggan bertanya berapa lama mereka dapat mengakses game setelah mereka meninggalkan katalog pass game Xbox. Agen memberi tahu mereka bahwa mereka perlu membeli salinan digital permainan dari aplikasi Xbox untuk Windows atau toko Microsoft untuk terus memutarnya. Agen juga mengingatkan pelanggan bahwa mereka akan diberi tahu sebelum permainan meninggalkan katalog pass game Xbox. Sebagai anggota, pelanggan dapat membeli game apa pun di katalog hingga 20 off atau harga diskon terbaik yang tersedia.
Hasil curie zero-shot
Pelanggan bertanya kepada agen tentang pass game Xbox. agen memberi tahu pelanggan bahwa setelah permainan meninggalkan katalog pass game Xbox, pelanggan harus membeli salinan digital dari aplikasi Xbox untuk Windows atau toko Microsoft bermain dari disk atau mendapatkan bentuk pemberian lain untuk terus memainkan game. Agen juga mengingatkan pelanggan bahwa Xbox akan memberi tahu anggota sebelum permainan meninggalkan katalog pass game Xbox.
Hasil beberapa bidikan Davinci
pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan game pass. Agen menginformasikan bahwa setelah permainan meninggalkan katalog pass game Xbox, pelanggan perlu membeli salinan digital atau mendapatkan bentuk pemberian kepemilikan lain untuk terus memainkan game.
Hasil curie few-shot
pelanggan memiliki pertanyaan tentang pass game. pelanggan baik. agen membutuhkan bantuan dengan pass game Xbox. pelanggan bertanya berapa lama mereka dapat mengakses game setelah mereka meninggalkan katalog game pass. Agen menginformasikan bahwa setelah permainan meninggalkan katalog Xbox game pass, pelanggan perlu membeli salinan digital dari aplikasi Xbox untuk Windows atau microsoft store bermain dari disk atau mendapatkan bentuk lain dari pemberian untuk terus memainkan game. pelanggan senang mendengar ini dan terima kasih agen.
Hasil penyempurnaan Curie
pelanggan ingin tahu berapa lama mereka dapat mengakses game setelah mereka meninggalkan game pass. agen menjelaskan bahwa setelah permainan meninggalkan katalog pass game Xbox, mereka harus membeli salinan digital dari aplikasi Xbox untuk Windows atau toko Microsoft bermain dari disk atau mendapatkan bentuk pemberian lain untuk terus memainkan game.
Mengevaluasi ringkasan
Ada beberapa teknik untuk mengevaluasi performa model ringkasan.
Berikut ini adalah beberapa di antaranya:
ROUGE (Recall-Oriented Understudy for Gisting Evaluation). Teknik ini mencakup langkah-langkah untuk secara otomatis menentukan kualitas ringkasan dengan membandingkannya dengan ringkasan ideal yang dibuat oleh manusia. Ukuran menghitung jumlah unit yang tumpang tindih, seperti n-gram, urutan kata, dan pasangan kata, antara ringkasan yang dihasilkan komputer yang sedang dievaluasi dan ringkasan ideal.
Berikut contohnya:
reference_summary = "The cat ison porch by the tree"
generated_summary = "The cat is by the tree on the porch"
rouge = Rouge()
rouge.get_scores(generated_summary, reference_summary)
[{'rouge-1': {'r':1.0, 'p': 1.0, 'f': 0.999999995},
'rouge-2': {'r': 0.5714285714285714, 'p': 0.5, 'f': 0.5333333283555556},
'rouge-1': {'r': 0.75, 'p': 0.75, 'f': 0.749999995}}]
BertScore. Teknik ini menghitung skor kesamaan dengan menyelaraskan ringkasan yang dihasilkan dan referensi pada tingkat token. Keselarasan token dihitung dengan rakus untuk memaksimalkan kesamaan kosinus antara penyematan token kontekstual dari BERT.
Berikut contohnya:
import torchmetrics
from torchmetrics.text.bert import BERTScore
preds = "You should have ice cream in the summer"
target = "Ice creams are great when the weather is hot"
bertscore = BERTScore()
score = bertscore(preds, target)
print(score)
Matriks kesamaan. Matriks kesamaan adalah representasi kesamaan antara entitas yang berbeda dalam evaluasi ringkasan. Anda dapat menggunakannya untuk membandingkan ringkasan yang berbeda dari teks yang sama dan mengukur kesamaannya. Ini diwakili oleh kisi dua dimensi, di mana setiap sel berisi ukuran kesamaan antara dua ringkasan. Anda dapat mengukur kesamaan dengan menggunakan berbagai metode, seperti kesamaan kosinus, kesamaan Jaccard, dan jarak edit. Anda kemudian menggunakan matriks untuk membandingkan ringkasan dan menentukan mana yang merupakan representasi teks asli yang paling akurat.
Berikut adalah contoh perintah yang menghasilkan matriks kesamaan perbandingan BERTScore dari dua kalimat serupa:
bert-score-show --lang en -r "The cat is on the porch by the tree"
-c "The cat is by the tree on the porch"
-f out.png
Kalimat pertama, "Kucing berada di beranda oleh pohon," disebut sebagai kandidat. Kalimat kedua disebut sebagai referensi. Perintah menggunakan BERTScore untuk membandingkan kalimat dan menghasilkan matriks.
Matriks berikut ini menampilkan output yang dihasilkan oleh perintah sebelumnya:
Untuk informasi selengkapnya, lihat SummEval: Mengevaluasi Ulang Evaluasi Ringkasan. Untuk kotak alat Indeks Paket Python (PyPI) untuk ringkasan, lihat Summ-eval 0.892.
Penggunaan yang bertanggung jawab
GPT dapat menghasilkan hasil yang sangat baik, tetapi Anda perlu memeriksa output untuk bias sosial, etika, dan hukum dan hasil yang berbahaya. Saat menyempurnakan model, Anda perlu menghapus poin data apa pun yang mungkin berbahaya bagi model untuk dipelajari. Anda dapat menggunakan tim merah untuk mengidentifikasi output berbahaya dari model. Anda dapat menerapkan proses ini secara manual dan mendukungnya dengan menggunakan metode semi-otomatis. Anda dapat menghasilkan kasus pengujian dengan menggunakan model bahasa dan kemudian menggunakan pengklasifikasi untuk mendeteksi perilaku berbahaya dalam kasus pengujian. Terakhir, Anda harus melakukan pemeriksaan manual ringkasan yang dihasilkan untuk memastikan bahwa ringkasan tersebut siap digunakan.
Untuk informasi selengkapnya, lihat Model Bahasa Teaming Merah dengan Model Bahasa.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Meghna Jani | Data & Ilmuwan Terapan II
Kontributor lainnya:
- Mick Alberts | Penulis Teknis
Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.
Langkah berikutnya
- Informasi selengkapnya tentang Azure OpenAI
- Artikel referensi nakal
- Modul pelatihan: Pengantar Layanan Azure OpenAI
- Jalur pembelajaran: Mengembangkan solusi AI dengan Azure OpenAI