Teknik rekayasa prompt

Model GPT-3, GPT-3.5, GPT-4, dan GPT-4o dari OpenAI berbasis perintah. Dengan model berbasis perintah, pengguna berinteraksi dengan model dengan memasukkan perintah teks, yang ditanggapi oleh model dengan penyelesaian teks. Penyelesaian ini merupakan kelanjutan model teks input. Teknik ini tidak disarankan untuk model seri o.

Meskipun model ini sangat kuat, perilakunya juga sangat sensitif terhadap perintah. Hal ini membuat konstruksi yang cepat menjadi keterampilan yang penting untuk dikembangkan.

Membuat prompt bisa sulit. Dalam praktiknya, prompt digunakan untuk mengonfigurasi bobot model guna menyelesaikan tugas yang diinginkan. Namun, ini lebih merupakan seni daripada ilmu, seringkali membutuhkan pengalaman dan intuisi untuk merancang prompt yang berhasil. Tujuan dari artikel ini adalah untuk membantu Anda memulai proses pembelajaran ini. Ini mencoba untuk menangkap konsep dan pola umum yang berlaku untuk semua model GPT. Namun, penting untuk dipahami bahwa setiap model bertingkah berbeda, sehingga pembelajaran mungkin tidak berlaku sama untuk semua model.

Dasar

Bagian ini mencakup konsep dasar dan elemen perintah GPT.

Perintah teks adalah cara pengguna berinteraksi dengan model GPT. Seperti semua model bahasa generatif, model GPT mencoba menghasilkan rangkaian kata berikutnya yang paling mungkin diikuti dari teks sebelumnya. Seolah-olah kita mengatakan Apa hal pertama yang datang ke pikiran Anda ketika saya mengatakan <prompt>? Contoh di bawah ini menunjukkan perilaku ini. Berdasarkan kata-kata pertama dari konten yang terkenal, model ini mampu melanjutkan teks dengan akurat.

Cepat	Penyelesaian
Delapan puluh tujuh tahun yang lalu kami	Para pendiri bangsa memproklamasikan di benua ini, sebuah bangsa baru, didirikan dengan prinsip kebebasan, dan berdedikasi kepada pernyataan bahwa semua orang dilahirkan setara. […]
"Panggil aku Ismael."	"Beberapa tahun yang lalu—tidak masalah berapa lama tepatnya—memiliki sedikit atau tidak ada uang di dompet saya, dan tidak ada yang khusus untuk menarik minat saya di daratan, saya pikir saya akan berlayar sejenak dan melihat bagian dunia yang penuh air."

Saat Anda mengembangkan permintaan yang lebih kompleks, sangat membantu untuk mengingat perilaku mendasar ini. Terlepas dari permintaan yang disediakan, model hanya merespons dengan apa yang ditentukan kemungkinan besar (mengingat data pelatihan dan target pelatihannya). Jika Anda mengajukan pertanyaan dalam perintah Anda, model tidak mengikuti jalur kode "Tanya Jawab", tetapi tampaknya menjawab pertanyaan karena jawabannya adalah jenis respons yang paling mungkin untuk pertanyaan yang diberikan sebagai input.

Komponen perintah

Ketika menggunakan API Completion, meskipun tidak ada diferensiasi antara berbagai bagian prompt, hal ini masih dapat berguna untuk pembelajaran dan diskusi guna mengidentifikasi komponen prompt yang mendasar. Dengan API Penyelesaian Percakapan, ada bagian khusus dari prompt yang dikirim ke API sebagai array dari kumpulan dengan peran terkait: sistem, pengguna, dan asisten. Panduan ini berfokus lebih umum tentang cara memikirkan konstruksi yang diminta daripada memberikan panduan preskriptif yang khusus untuk satu API di atas API lainnya.

Penting juga untuk dipahami bahwa meskipun mungkin ada cara lain yang valid untuk memecah prompt, tujuan dari perincian ini adalah untuk memberikan cara yang relatif sederhana untuk memikirkan konstruksi prompt. Dengan API Penyelesaian, semua komponen bersifat opsional, tetapi setidaknya satu harus ada dan sebagian besar perintah menyertakan lebih dari satu komponen. Mungkin ada beberapa area abu-abu antara komponen juga. Urutan yang disajikan di bawah ini kira-kira sesuai dengan seberapa umum setiap komponen digunakan, dari yang paling sedikit hingga paling sedikit.

Petunjuk

Instruksi kemungkinan merupakan komponen prompt yang paling umum digunakan. Instruksinya hanyalah: instruksi untuk model tentang apa yang harus dilakukan. Meskipun sederhana dalam konsep, mereka bisa menjadi kompleks dalam praktiknya. Tabel berikut mengilustrasikan ini dengan memperlihatkan instruksi sederhana dan lebih kompleks, dalam dua bentuk yang berbeda.

Jenis Instruksi	Cepat	Penyelesaian
Instruksi sederhana	Tulis pengantar untuk buletin mingguan.	Selamat datang di buletin mingguan kami. Minggu ini kami memiliki fokus khusus pada produktivitas. Kami akan membagikan tips dan trik tentang cara menjadi produktif di semua bidang kehidupan Anda. Kami harap Anda menikmati dan silakan berbagi dengan teman-teman Anda!
Instruksi kompleks	Tulis pengantar untuk buletin mingguan ke perusahaan saya bernama Contoso. Ini harus menyebutkan rapat seluruh staf yang luar biasa yang kami adakan minggu lalu dan berterima kasih kepada tim atas kerja keras mereka selama beberapa bulan terakhir yang penuh tantangan.	Selamat datang di buletin mingguan Contoso! Kami mengadakan rapat seluruh anggota minggu lalu dan saya ingin mengucapkan terima kasih kepada tim atas kerja keras mereka selama bulan-bulan sulit terakhir. Kami menantikan masa depan yang cerah dan saya yakin bahwa dengan dedikasi dan komitmen tim kami, kami akan mencapai hal-hal besar. Terima kasih telah menjadi bagian dari tim kami dan saya berharap dapat bekerja dengan Anda semua dalam beberapa minggu dan bulan mendatang. Hormat kami, [Nama Anda].
Instruksi Kompleks	Tulis pengantar untuk buletin mingguan, termasuk yang berikut ini: - Perusahaan saya bernama contoso - Salam yang meriah - Berterima kasih kepada tim atas kerja keras mereka selama beberapa bulan yang sulit - Outlook positif untuk kuartal mendatang - Ditandatangani oleh SLT	Halo tim Contoso! Saya ingin meluangkan waktu sejenak untuk berterima kasih atas semua kerja keras Anda selama beberapa bulan terakhir. Ini telah menjadi beberapa bulan yang sulit, tetapi kalian semua telah bekerja sama dan melakukan pekerjaan yang luar biasa. Aku sangat bangga pada kalian semua. Melihat ke depan untuk kuartal berikutnya, aku merasa benar-benar positif. Saya pikir kita akan mencapai beberapa hal besar. Terima kasih lagi, Tim Kepemimpinan Senior.

Isi Utama

Konten utama mengacu pada semacam teks yang sedang diproses atau diubah oleh model. Konten utama biasanya digunakan bersama dengan instruksi. Contoh sederhananya adalah terjemahan bahasa. Dalam contoh di bawah ini, teks bahasa Inggris akan dianggap sebagai konten utama sementara "Terjemahkan ke Bahasa Prancis:" adalah instruksi.

Cepat	Penyelesaian
Bisakah kau memberitahuku bagaimana pergi ke museum? Terjemahkan ke bahasa Prancis:	Pouvez-vous s'il vous plaît me dire comment aller au musée?

Konten utama juga bisa jauh lebih lama. Dalam contoh berikut, konten utama adalah bagian pengenalan dari entri Wikipedia pada kompleksitas waktu, yang panjangnya hampir 300 kata. Konten ini disingkat dalam tabel kami untuk kemudahan tampilan.

Cepat	Penyelesaian
Dalam ilmu komputer, kompleksitas waktu adalah kompleksitas komputasi yang menggambarkan jumlah waktu komputer yang diperlukan untuk menjalankan algoritma. Kompleksitas waktu umumnya diperkirakan oleh [...] Ringkas teks sebelumnya dalam beberapa kalimat:	Kompleksitas waktu adalah ukuran berapa lama algoritma dijalankan. Biasanya dinyatakan sebagai fungsi dari ukuran input. Ukuran yang paling umum adalah kompleksitas waktu kasus terburuk, yang merupakan jumlah waktu maksimum yang diperlukan untuk input ukuran tertentu.
Dalam ilmu komputer, kompleksitas waktu adalah kompleksitas komputasi yang menggambarkan jumlah waktu komputer yang diperlukan untuk menjalankan algoritma. Kompleksitas waktu umumnya diperkirakan oleh [...] TL;DR (Terlalu lama tidak membaca)	Kompleksitas waktu algoritma adalah jumlah waktu yang diperlukan untuk menjalankan algoritma. Kompleksitas waktu umumnya diperkirakan dengan menghitung jumlah operasi dasar yang dilakukan oleh algoritma, dengan alasan bahwa setiap operasi dasar membutuhkan waktu tetap untuk dilakukan. Kompleksitas waktu umumnya dinyatakan sebagai fungsi dari ukuran input.

Model GPT juga dapat menangani konten utama yang terstruktur. Dalam contoh di bawah ini, TSV tentang bir di Belgia (disingkat untuk ditampilkan dalam artikel ini) diteruskan ke model sebagai bagian dari prompt. Ini mampu menafsirkan konten dengan benar dan menjawab pertanyaan tentang data.

Cepat	Penyelesaian
Belgian Beer Brands Beer name Beer style color ABV Brewery "Chimay Gold: ""Doree""" trappist pale ale gold 4.80% Chimay Brewery (official trappist) "Chimay Blue: ""Grande Reserve""" trappist dark ale dark 9.00% […] Mereferensikan tabel di atas, berapa banyak bir yang kurang dari 6% ABV?	Ada 10 bir dalam tabel yang kurang dari 6% ABV.

Contoh

Permintaan yang berhasil sering mengandalkan praktik pembelajaran "one-shot" atau "few-shot". Ini mengacu pada dimasukkannya satu atau beberapa contoh perilaku model yang diinginkan, biasanya dengan menyertakan pasangan input dan output. Ini bukanlah pembelajaran dalam arti bahwa model diubah secara permanen, tetapi lebih kepada bagaimana contoh-contoh tersebut lebih efektif dalam mengkondisikan model untuk merespons sesuai yang diinginkan hanya untuk inferensi yang sedang berlangsung. Penggunaan prompt tanpa contoh terkadang disebut sebagai pembelajaran "zero-shot". Perhatikan bahwa dengan contoh pembelajaran beberapa bidikan API Penyelesaian Obrolan biasanya ditambahkan ke array pesan dalam bentuk contoh interaksi pengguna/asisten setelah pesan sistem awal.

Jenis Pembelajaran	Cepat	Penyelesaian
Tembakan nol	Headline: Pelatih percaya diri cedera tidak akan menggagalkan Warriors Topik:	Pelatih yakin bahwa cedera tidak akan menggagalkan musim Warriors. Tim masih fokus pada tujuan mereka dan mereka akan terus bekerja keras untuk mencapainya.
Beberapa kali ditembak	Judul: Correa kembar untuk menggunakan keikutsertaan, menguji agensi gratis Topik: Bisbol Headline: Piala Dunia Qatar memiliki zona untuk pemulihan kesadaran Topik: Sepak Bola Headline: Yates: Informasi fantasy football untuk Minggu ke-6 Topik: Sepak Bola Headline: Pelatih percaya diri cedera tidak akan menggagalkan Warriors Topik:	Bola basket

Contoh di atas menggambarkan utilitas pembelajaran beberapa bidikan. Tanpa contoh, model tampaknya menebak perilaku yang diinginkan, sementara contohnya dengan bersih menunjukkan model cara beroperasi. Ini juga menunjukkan kekuatan model, dapat menyimpulkan kategori label yang diinginkan, bahkan tanpa label "bola basket" dalam contoh.

Isyarat

Isyarat bertindak sebagai "jumpstart" untuk output model, membantu mengarahkan model ke output yang diinginkan. Seringkali ini adalah awalan yang dapat dikembangkan oleh model. Dalam contoh di bawah ini, kami menunjukkan petunjuk yang mengarahkan cerita agar menyertakan elemen-elemen kunci. Isyarat sering digunakan bersama dengan instruksi, tetapi tidak selalu. Dalam contoh di bawah ini, model sedang digunakan untuk meringkas email pengumuman panjang. Isyarat digunakan dalam satu kasus untuk membantu memfokuskan output model dan untuk menyarankan format output tertentu (poin-poin) dalam kasus lainnya.

Dalam konteks instruksi API Penyelesaian Obrolan, instruksi berbentuk pesan sistem, dan contoh few-shot ditunjukkan dengan menyediakan serangkaian contoh interaksi pengguna/asisten untuk membantu memandu model.

Jumlah Isyarat	Cepat	Penyelesaian
0	Tinjauan performa adalah komponen inti dari pendekatan Performa & Pengembangan kami di Contoso. […] Ringkas pesan email di atas:	Tujuan dari email ini adalah untuk memberi tahu karyawan tentang perubahan terbaru pada pengalaman tinjauan performa, yang merupakan bagian dari pendekatan Performa & Pengembangan Contoso. Perubahan ini mencakup struktur yang ditingkatkan, pengalaman pengguna dalam alat yang lebih baik, dan prompt yang terfokus. Selain itu, sekarang ada bagian opsional Mulai Percakapan bagi karyawan untuk mengidentifikasi topik yang ingin mereka diskusikan dengan manajer.
1	Tinjauan performa adalah komponen inti dari pendekatan Performa & Pengembangan kami di Contoso. […] Ringkas pesan email di atas: Poin utama dari pesan ini adalah	bahwa Contoso meningkatkan pengalaman tinjauan performa dengan membuatnya lebih berfokus pada prioritas inti, harapan, dan dampak. Selain itu, mereka meningkatkan pengalaman pengguna dalam alat dengan tips, sumber daya, dan panduan. Terakhir, mereka menambahkan panduan tentang cara mengaktifkan prioritas inti di seluruh perusahaan.
2	Tinjauan performa adalah komponen inti dari pendekatan Performa & Pengembangan kami di Contoso. […] Ringkas pesan email di atas: Poin Penting: •	Contoso memperkenalkan perubahan pada pengalaman tinjauan performa, berdasarkan umpan balik dari karyawan. • Perubahan mencakup fokus baru pada prioritas inti, harapan, dan dampak; pengalaman pengguna yang ditingkatkan; dan panduan baru tentang prioritas inti di seluruh perusahaan. • Tinjauan kinerja adalah waktu untuk merefleksikan kinerja dan pembelajaran sebelumnya serta merencanakan prioritas dan peluang pertumbuhan di masa depan. • Karyawan dan manajer harus menulis komentar sebelum rapat peninjauan kinerja. • Harus ada setidaknya dua ulasan kinerja per tahun. • Investasi waktu untuk setiap peninjauan harus tetap sama.

Konten pendukung

Konten pendukung adalah informasi yang dapat digunakan model untuk memengaruhi output dalam beberapa cara. Ini berbeda dari konten utama karena bukan target utama tugas, tetapi biasanya digunakan bersama dengan konten utama. Contoh umum termasuk informasi kontekstual seperti tanggal saat ini, nama pengguna, preferensi pengguna, dan sebagainya. Contoh di bawah ini menggunakan konten pendukung untuk membantu mengatur serangkaian lokakarya yang direncanakan untuk pengguna. Tanpa dukungan (topik penting) model hanya sekadar mencatat lokakarya yang dipersingkat agar dapat ditampilkan, setelah diberi informasi tentang topik penting saya, model dapat dengan tepat mengelompokkan rapat.

Konten Pelengkap	Cepat	Penyelesaian
Tanpa	Daftar lokakarya: Deskripsi Judul Perencanaan Workshop Kickoff Silakan bergabung dengan kami untuk memulai lokakarya kami! Dengarkan dari para pemimpin kami tentang prioritas lintas kelompok dan pembelajaran untuk tahun depan. Undangan ke acara ini telah dikirim ke semua orang di [...] Ringkas lokakarya di atas, dikelompokkan menurut topik:	Daftar lokakarya: Merencanakan Kickoff Lokakarya -Perencanaan Penutupan Lokakarya - Core MeetUp Perspektif Berbasis Pelanggan Dampak dan Bidang Fokus Utama -Praktik terbaik -Mempercepat adopsi aplikasi [...]
Dengan	Daftar lokakarya: Deskripsi Judul Perencanaan Workshop Kickoff Silakan bergabung dengan kami untuk memulai lokakarya kami! Dengarkan dari para pemimpin kami tentang prioritas lintas kelompok dan pembelajaran untuk tahun depan. Undangan ke acara ini telah dikirim ke semua orang di [...] Topik Penting Saya: rekayasa perintah, pencarian, model GPT Ringkas lokakarya di atas, dikelompokkan menurut topik penting saya:	1. Rekayasa Prompt: - Tips baru rekayasa prompt - Seni rekayasa cepat 2. Cari: -Pengantar pencarian vektor dengan penyematan 3. Model GPT: - Pengantar GPT-4 - Analisis mendalam GPT-35-Turbo.

Panduan khusus skenario

Meskipun prinsip-prinsip rekayasa prompt dapat digeneralisasi di berbagai jenis model, model tertentu mengharapkan struktur prompt khusus. Untuk model GPT Azure OpenAI, saat ini ada dua API berbeda di mana rekayasa prompt berperan.

• API Penyelesaian Obrolan.
• API Penyelesaian Otomatis

Setiap API memerlukan data input untuk diformat secara berbeda, yang pada gilirannya berdampak pada desain prompt keseluruhan. API Penyelesaian Chat mendukung model-model GPT-35-Turbo dan GPT-4. Model ini dirancang untuk menerima input yang diformat dalam transkrip seperti obrolan spesifik yang disimpan di dalam array kamus.

API Penyelesaian mendukung model GPT-3 yang lebih lama dan memiliki persyaratan input yang jauh lebih fleksibel karena mengambil string teks tanpa aturan format tertentu.

Teknik di bagian ini akan mengajarkan Anda strategi untuk meningkatkan akurasi dan landasan respons yang Anda hasilkan dengan Model Bahasa Besar (LLM). Namun, penting untuk diingat bahwa bahkan ketika menggunakan rekayasa cepat secara efektif Anda masih perlu memvalidasi respons yang dihasilkan model. Hanya karena prompt yang dibuat dengan hati-hati bekerja dengan baik dalam skenario tertentu, tidak selalu berarti itu akan menggeneralisasi secara lebih luas ke kasus guna tertentu. Memahami batasan LLM, sama pentingnya dengan memahami cara memanfaatkan kekuatan mereka.

API penyelesaian obrolan

Panduan ini tidak mendalami mekanisme di balik struktur pesan untuk Penyelesaian Obrolan. Jika Anda tidak terbiasa berinteraksi dengan model Penyelesaian Obrolan secara terprogram, sebaiknya baca panduan cara penggunaan di API Penyelesaian Obrolan terlebih dahulu.

Nota

Semua contoh di bagian panduan ini diuji terhadap model GPT-4 dasar dalam bahasa Inggris. Beberapa teknik dapat menghasilkan hasil yang berbeda dengan model yang lebih baru seperti gpt-4o, dan gpt 4.5. Jika Anda membaca versi terlokal dari artikel ini dalam bahasa lain, respons ini mewakili terjemahan hasil bahasa Inggris yang dilokalkan. Silakan lihat catatan transparansi AI yang Bertanggung Jawab kami untuk mempelajari lebih lanjut tentang potensi batasan tergantung pada bahasa apa yang Anda gunakan untuk memberikan perintah pada model.

Pembelajaran dengan sedikit contoh

Cara umum untuk menyesuaikan model bahasa ke tugas baru adalah dengan menggunakan pembelajaran beberapa bidikan. Dalam pembelajaran beberapa bidikan, sekumpulan contoh pelatihan disediakan sebagai bagian dari perintah untuk memberikan konteks tambahan pada model.

Saat menggunakan API Penyelesaian Obrolan, serangkaian pesan antara Pengguna dan Asisten (ditulis dalam format prompt baru), dapat berfungsi sebagai contoh untuk pembelajaran beberapa contoh. Contoh-contoh ini dapat digunakan untuk memandu model untuk merespons dengan cara tertentu, meniru perilaku tertentu, dan jawaban benih untuk pertanyaan umum.

Pesan sistem

Contoh beberapa bidikan

Asisten adalah chatbot cerdas yang dirancang untuk membantu pengguna menjawab pertanyaan terkait pajak mereka. Peraturan - Hanya menjawab pertanyaan yang terkait dengan pajak. - Jika Anda tidak yakin dengan jawaban, Anda dapat mengatakan "Saya tidak tahu" atau "Saya tidak yakin" dan merekomendasikan pengguna pergi ke situs web IRS untuk informasi lebih lanjut.

Pengguna - "Kapan saya perlu mengajukan pajak saya?" Asisten - "Pada tahun 2023, Anda harus mengajukan pajak Anda pada 18 April. Tanggal jatuh setelah tenggat waktu 15 April biasa karena 15 April jatuh pada hari Sabtu pada 2023. Untuk detail selengkapnya, lihat https://www.irs.gov/filing/individuals/when-to-file " Pengguna - "Bagaimana cara memeriksa status pengembalian pajak saya?" Asisten - "Anda dapat memeriksa status pengembalian pajak Anda dengan mengunjungi https://www.irs.gov/refunds "

Tabel di atas menjelaskan struktur permintaan dasar, tetapi untuk penjelasan terperinci tentang format perintah yang tepat, Anda harus merujuk ke panduan Penyelesaian Obrolan.

Skenario non-obrolan

Meskipun API Penyelesaian Obrolan dioptimalkan untuk bekerja dengan percakapan multi-giliran, API-nya juga dapat digunakan untuk skenario non-obrolan. Misalnya, untuk skenario analisis sentimen, Anda mungkin menggunakan perintah berikut:

Pesan sistem	Pengguna	Asisten
Anda adalah asisten yang dirancang untuk menganalisis sentimen dari data ucapan. Pengguna akan menempelkan serangkaian teks dan Anda akan menanggapi dengan penilaian terhadap respons pembicara. Tingkat pada skala 1-10 (10 tertinggi). Jelaskan mengapa peringkat ini diberikan.	hi terima kasih sudah menghubungi apotek Contoso, dengan siapa saya berbicara hari ini? Saya memahami frustrasi Anda, Mary. Bisa Anda jelaskan apa sebenarnya yang ingin Anda lakukan? OK, tentu saja, senang memeriksanya untuk Anda, satu saat, silakan. Saya melihat di sini bahwa Anda sedang menggunakan bentuk generik Lipitor, apakah benar? OK, eh, jadi saya melihat bahwa dokter Anda berhenti meresepkan obat-obatan ini pada tahun dua puluh dua puluh satu sebenarnya. OK, ya, saya senang memeriksanya untuk Anda karena kadang-kadang ada celah dalam sistem dan hal itu tidak dilaporkan. Biarkan saya melihat di sini sebentar. Jadi saya melihat di sini bahwa dokter Anda telah meresepkan obat-obatan ini untuk Anda dari dua puluh dua belas hingga dua puluh dua puluh satu. OK, umm, ya, menurut catatan terbaru yang disediakan oleh kantor dokter Anda, sekarang Anda menggunakan obat yang berbeda, yaitu Metformin. Apakah Anda ingin kami melanjutkan dan mengisi resep itu untuk Anda untuk diambil, yaitu Metformin lima ratus miligram? Anda sangat dipersilakan, Mary. Silakan beri tahu kami jika ada hal lain yang dapat kami lakukan untuk Anda hari ini.	Peringkat sentimen: 8 Pembicara dalam teks ini tampaknya sopan, membantu, dan sabar sambil mengatasi kekhawatiran pelanggan. Mereka meluangkan waktu untuk memeriksa informasi, memberikan penjelasan yang jelas, dan menawarkan bantuan. Namun, peringkat bukan 10 karena masih ada petunjuk ketidakpastian di beberapa bagian percakapan, yang mungkin tidak menyampaikan keyakinan penuh kepada pelanggan.

Mulai dengan instruksi yang jelas

Informasi urutan muncul dalam perintah penting. Ini karena model gaya GPT dibangun dengan cara tertentu yang menentukan cara mereka memproses input. Penelitian kami menyarankan bahwa memberi tahu model tugas yang ingin Anda lakukan di awal perintah, sebelum berbagi informasi atau contoh kontekstual tambahan, dapat membantu menghasilkan output berkualitas lebih tinggi.

Nota

Meskipun mengikuti teknik ini umumnya masih direkomendasikan, berbeda dengan versi model sebelumnya (GPT-3 dan sebelumnya), pengujian kami menunjukkan bahwa respons model dengan model ChatGPT dan GPT-4 sama terlepas dari apakah teknik digunakan. Dalam kasus contoh di bawah ini, kita melihat bahwa menambahkan pernyataan "Beberapa sumber ... letusan" di awal atau akhir perintah tidak menyebabkan perubahan apa pun dalam respons model akhir.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Tugas Anda adalah memverifikasi apakah pernyataan "Beberapa sumber menyebutkan kemungkinan erupsi besar lainnya" didukung oleh kutipan tertentu dari kumpulan cuplikan berikut. --- CUPLIKAN [1] 14 persen kemungkinan megaquake melanda Seattle, kata para ahli SEATTLE - Ada 14 persen kemungkinan gempa berkekuatan 9 Cascadia yang melanda Seattle dalam 50 tahun ke depan, perkiraan Survei Geologi AS. "Sayangnya, kami tidak bisa... [2] Para ahli gempa bumi menjabarkan pandangan terbaru untuk 'The Really Big One’ di Seattle "Kami mengatakan bahwa ada sekitar 14% kemungkinan gempa bumi sekitar 9 magnitudo-9 lainnya terjadi dalam 50 tahun ke depan," kata seorang ahli geofisika di University of Washington... --- Apakah pernyataan "Beberapa sumber menyebutkan kemungkinan letusan besar lainnya" secara langsung disiratkan atau dinyatakan oleh cuplikan?	Tidak, pernyataan tersebut tidak disiratkan atau dinyatakan secara langsung oleh potongan-potongan tersebut. Cuplikan-cuplikan itu menyebutkan kemungkinan terjadinya "megaquake" dan "gempa bumi besar 9 Cascadia" yang melanda Seattle dalam 50 tahun ke depan, tetapi tidak menyebutkan kemungkinan terjadinya letusan besar lainnya.

Ulangi instruksi di akhir

Model dapat rentan terhadap bias rekensi, yang dalam konteks ini berarti bahwa informasi di akhir prompt mungkin memiliki pengaruh yang lebih signifikan atas output daripada informasi di awal prompt. Oleh karena itu, ada baiknya bereksperimen dengan mengulangi instruksi di akhir perintah dan mengevaluasi dampak pada respons yang dihasilkan.

Utamakan output

Ini mengacu pada menyertakan beberapa kata atau frasa di akhir perintah untuk mendapatkan respons model yang mengikuti formulir yang diinginkan. Misalnya, menggunakan isyarat seperti “Here’s a bulleted list of key points:\n- ” dapat membantu memastikan output diformat sebagai daftar poin.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi. Jawab dengan sesedikit mungkin kata.	John Smith menikah dengan Lucy Smith. Mereka memiliki lima anak, dan dia bekerja sebagai insinyur perangkat lunak di Microsoft. Kueri pencarian apa yang harus saya lakukan untuk memeriksa fakta ini? ## Salah satu kemungkinan kueri pencarian adalah:	John Smith menikahi Lucy Smith dan mereka memiliki lima anak. John adalah seorang insinyur perangkat lunak di Microsoft.

Dalam perintah di atas, teks Yang memungkinkan kueri pencarian adalah: memprogram model untuk menghasilkan satu output. Tanpa isika ini, model menghasilkan beberapa kueri pencarian sebagai output.

Menambahkan sintaks yang jelas

Menggunakan sintaks yang jelas untuk perintah Anda—termasuk tanda baca, judul, dan penanda bagian—membantu mengomunikasikan niat dan sering membuat output lebih mudah diurai.

Dalam contoh di bawah ini, pemisah (--- dalam hal ini) telah ditambahkan di antara sumber informasi atau langkah yang berbeda. Ini memungkinkan penggunaan --- sebagai kondisi berhenti untuk pembangkitan. Selain itu, judul bagian atau variabel khusus disajikan dalam huruf besar untuk membedakannya.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Anda akan membaca paragraf, lalu mengeluarkan kueri ke mesin pencari untuk memeriksa faktanya. Silakan juga jelaskan pertanyaannya. --- PARAGRAF John Smith menikah dengan Lucy Smith. Mereka memiliki lima anak, dan dia bekerja sebagai insinyur perangkat lunak di Microsoft. Kueri pencarian apa yang harus saya lakukan untuk memeriksa fakta ini? --- KUERI	1. "John Smith Microsoft" - Untuk memeriksa apakah John Smith memang dipekerjakan di Microsoft. 2. "John Smith Lucy Smith" - Untuk memeriksa apakah John Smith menikah dengan Lucy Smith. 3. "John Smith anak-anak" - Untuk memeriksa apakah John Smith memiliki lima anak.

Jika Anda tidak yakin sintaks apa yang akan digunakan, pertimbangkan untuk menggunakan Markdown atau XML. Model telah dilatih pada konten web dalam jumlah besar di XML dan Markdown, yang mungkin memberikan hasil yang lebih baik.

Memecah tugas menjadi bagian-bagian yang lebih kecil

Model bahasa besar (LLM) sering berkinerja lebih baik jika tugas dipecah menjadi langkah-langkah yang lebih kecil. Misalnya, dalam permintaan kueri pencarian yang direferensikan sebelumnya, perintah dapat direstrukturisasi sehingga model terlebih dahulu diinstruksikan untuk mengekstrak fakta yang relevan, lalu diinstruksikan untuk menghasilkan kueri pencarian yang dapat digunakan untuk memverifikasi fakta tersebut.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Anda akan membaca paragraf, lalu mengeluarkan kueri ke mesin pencari untuk memeriksa faktanya. --- PARAGRAF John Smith menikah dengan Lucy Smith. Mereka memiliki lima anak, dan dia bekerja sebagai insinyur perangkat lunak di Microsoft. Kueri pencarian apa yang harus saya lakukan untuk memeriksa fakta ini? --- Sekarang Anda akan mengekstrak klaim faktual, dan mengeluarkan kueri untuk memeriksa faktanya. Saat mengeluarkan kueri, gunakan fungsi SEARCH("query") KLAIM FAKTUAL	1. John Smith menikah dengan Lucy Smith 2. Mereka memiliki lima anak 3. Dia bekerja sebagai insinyur perangkat lunak di Microsoft KUERI SEARCH("John Smith menikahi Lucy Smith") SEARCH("Ukuran keluarga John Smith") SEARCH("Teknisi perangkat lunak John Smith Microsoft")

Perhatikan penggunaan sintaks yang jelas untuk membedakan bagian dan prime output. Dalam contoh sederhana ini, memecah tugas dari satu hingga dua langkah tidak terlalu dramatis, tetapi ketika mencoba melakukan ini untuk teks yang lebih besar dengan banyak klaim faktual, memecah tugas dapat membuat perbedaan yang signifikan.

Pemanfaatan peluang

Terkadang kita bisa mendapatkan model untuk menggunakan ketersediaan alih-alih mengandalkan parameternya sendiri untuk informasi dan jawaban. Pencarian, misalnya, dapat menjadi kemudahan untuk membantu mengurangi jawaban yang dibuat-buat, serta mendapatkan informasi terbaru.

Salah satu cara sederhana untuk menggunakan affordance adalah dengan menghentikan pembuatan setelah panggilan affordance dihasilkan oleh model, lalu tempelkan hasilnya kembali ke prompt. Di bawah ini adalah contoh panggilan tindak lanjut setelah melakukan panggilan SEARCH di atas. Perhatikan bagaimana kami menempelkan hasil pencarian ke dalam perintah dan mengganti panggilan SEARCH sebelumnya.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Anda akan membaca paragraf, mengekstrak klaim faktual, lalu menggunakan hasil mesin pencari untuk memeriksa faktanya --- PARAGRAF John Smith menikah dengan Lucy Smith. Mereka memiliki lima anak, dan dia bekerja sebagai insinyur perangkat lunak di Microsoft. Kueri pencarian apa yang harus saya lakukan untuk memeriksa fakta ini? --- KLAIM FAKTUAL - John Smith menikah dengan Lucy Smith - John dan Lucy punya lima anak - John bekerja sebagai insinyur perangkat lunak di Microsoft --- Berikut adalah berbagai kueri pencarian yang dikeluarkan untuk meneliti klaim di atas: KUERI PENCARIAN - John Smith menikah dengan Lucy Smith - John Smith jumlah anak - Teknisi perangkat lunak John Smith Microsoft --- Berikut adalah cuplikan hasil pencarian: POTONGAN: [1] Pernikahan John Smith pada 25 September 2012 ... [2] John Smith didampingi oleh istrinya Lucy ke sebuah pesta [3]John ditemani oleh dua putrinya dan tiga putranya [4] Setelah menghabiskan 10 tahun di Microsoft, Smith mendirikan startupnya sendiri, Tailspin Toys [5] John M adalah pandai besi kota, dan dia menikah dengan Fiona. Mereka memiliki seorang putri bernama Lucy --- Berdasarkan cuplikan, cek fakta setiap klaim faktual di atas.	- John Smith menikah dengan Lucy Smith: Dikonfirmasi. Cuplikan [1] dan [2] keduanya menyebutkan istri John Smith sebagai Lucy. - John dan Lucy memiliki lima anak: Dikonfirmasi. Cuplikan [3] menyebutkan bahwa Yohanes didampingi oleh dua putrinya dan tiga putranya. - John bekerja sebagai insinyur perangkat lunak di Microsoft: Sebagian dikonfirmasi. Cuplikan [4] menyebutkan bahwa John menghabiskan 10 tahun di Microsoft, tetapi tidak secara eksplisit menyatakan bahwa dia saat ini bekerja di sana. Penelitian lebih lanjut mungkin diperlukan untuk mengonfirmasi status pekerjaannya saat ini.

Rantai pemikiran yang mendorong

Ini adalah variasi pada teknik memecah tugas . Alih-alih membagi tugas menjadi langkah-langkah yang lebih kecil, dalam pendekatan ini, respons model diinstruksikan untuk melanjutkan langkah demi langkah dan menyajikan semua langkah yang terlibat. Melakukannya mengurangi kemungkinan ketidakakuratan hasil dan membuat penilaian respons model lebih mudah.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Siapa atlet individu yang paling banyak menerima medali dalam Olimpiade yang diadakan di Sydney? Ambil pendekatan langkah demi langkah dalam respons Anda, kutip sumber, dan berikan penalaran sebelum membagikan jawaban akhir dalam format di bawah ini: JAWABAN adalah: <name>	Langkah 1: Tentukan tahun pertandingan Olimpiade Sydney. Pertandingan Olimpiade Sydney diadakan pada tahun 2000. Langkah 2: Temukan daftar atlet individu yang memenangkan beberapa medali di Olimpiade Sydney 2000. Menurut situs resmi Olimpiade, ada beberapa atlet individu yang memenangkan beberapa medali di Olimpiade Sydney 2000. Beberapa nama penting meliputi: • Ian Thorpe (Australia) - 3 emas, 2 perak, 0 perunggu • Pieter van den Hoogenband (Belanda) - 2 emas, 0 perak, 2 perunggu • Lenny Krayzelburg (AS) - 3 emas, 0 perak, 0 perunggu • Inge de Bruijn (Belanda) - 3 emas, 1 perak, 0 perunggu Langkah 3: Tentukan atlet dengan medali terbanyak. Setelah meninjau daftar atlet individu yang memenangkan beberapa medali di Olimpiade Sydney 2000, kita dapat melihat bahwa atlet dengan medali terbanyak adalah Ian Thorpe dari Australia, yang memenangkan total 5 medali (3 emas dan 2 perak). Oleh karena itu, JAWABANnya adalah: Ian Thorpe.

Menentukan struktur output

Menggunakan perintah Anda untuk menentukan struktur output dapat memiliki efek signifikan pada sifat dan kualitas hasil. Terkadang input pesan sistem seperti "hanya tulis fakta yang benar" atau "jangan mengarang informasi" mungkin tidak menjadi mitigasi yang memadai. Sebaliknya, meminta respons model untuk juga menyertakan kutipan dapat membantu mengakibatkan pengurangan prevalensi respons yang salah.

Jika Anda menginstruksikan model untuk mengutip materi sumber saat membuat pernyataan, pernyataan tersebut jauh lebih mungkin untuk berdasar. Meminta kutipan menyebabkan model harus membuat dua kesalahan setiap kali menghasilkan respons: kesalahan pertama adalah respons yang dibuat-buat, dan yang kedua adalah kutipan yang buruk. Perhatikan bahwa semakin dekat kutipan dengan teks yang didukungnya, semakin pendek jarak ke depan model perlu mengantisipasi kutipan, yang menunjukkan bahwa kutipan sebaris adalah mitigasi yang lebih baik untuk pembuatan konten palsu daripada kutipan di akhir konten.

Demikian pula, jika Anda meminta model untuk mengekstrak pernyataan faktual dari paragraf, itu mungkin mengekstrak pernyataan majemuk seperti 'X melakukan Y AND Z' (yang bisa lebih sulit diverifikasi). Ini dapat dihindari dengan menentukan struktur output seperti (entitas1, hubungan, entitas2).

Contoh di bawah ini menunjukkan penggunaan kutipan dan mengarahkan respons model agar sesuai dengan struktur yang ditentukan.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi	Cantumkan berbagai perilaku yang dipamerkan oleh agen Dukungan Pelanggan dalam percakapan berikut. --- hi terima kasih sudah menghubungi apotek Contoso, dengan siapa saya berbicara hari ini? Saya memahami frustrasi Anda, Mary. Bisa Anda jelaskan apa sebenarnya yang ingin Anda lakukan? OK, tentu saja, senang memeriksanya untuk Anda, satu saat, silakan. Saya melihat di sini bahwa Anda sedang menggunakan bentuk generik Lipitor, apakah benar? OK, eh, jadi saya melihat bahwa dokter Anda berhenti meresepkan obat-obatan ini pada tahun dua puluh dua puluh satu sebenarnya. OK, ya, saya senang memeriksanya untuk Anda karena kadang-kadang ada celah dalam sistem dan hal itu tidak dilaporkan. Biarkan saya melihat di sini sebentar. Jadi saya melihat di sini bahwa dokter Anda telah meresepkan obat-obatan ini untuk Anda dari dua puluh dua belas hingga dua puluh dua puluh satu. OK, umm, ya, menurut catatan terbaru yang disediakan oleh kantor dokter Anda, sekarang Anda menggunakan obat yang berbeda, yaitu Metformin. Apakah Anda ingin kami melanjutkan dan mengisi resep itu untuk Anda untuk diambil, yaitu Metformin lima ratus miligram? Anda sangat dipersilakan, Mary. Silakan beri tahu kami jika ada hal lain yang dapat kami lakukan untuk Anda hari ini. --- Bagaimana respons agen Dukungan Pelanggan? Mengklasifikasikan dan mencantumkan berbagai perilaku mereka dan mengutip alasan di balik klasifikasi, menggunakan format BEHAVIOR("reason")	1. Perilaku Salam Sopan("Agen memulai percakapan dengan salam yang sopan dan meminta nama pemanggil") 2. Perilaku Empatik ("Agen mengakui frustrasi Maria dan mencoba memahami kekhawatirannya") 3. Perilaku Penuh Perhatian("Agen mendengarkan masalah pelanggan dan meminta detail lebih lanjut") 4. Perilaku Proaktif("Agen menawarkan untuk memeriksa masalah pelanggan") 5. PERILAKU Informatif("Agen menyediakan informasi yang relevan tentang riwayat resep pelanggan") 6. Thorough BEHAVIOR ("Agen memeriksa setiap kemungkinan celah dalam sistem dan memberikan respons lengkap") 7. Confirmatory BEHAVIOR("Agent mengonfirmasi obat saat ini dengan pelanggan") 8. PERILAKU berorientasi solusi("Agen menawarkan untuk mengisi resep baru untuk pelanggan") 9. Perilaku Sopan("Agen berterima kasih kepada pelanggan dan menawarkan bantuan lebih lanjut jika diperlukan")

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi.	Kluster judul berita berikut ke dalam kategori topik berdasarkan pola yang terlihat dalam teks. Juga sebutkan penalaran di balik bagaimana kategori ini ditentukan. Format keluaran: { "TOPIC_NAME": "", "BERITA UTAMA": [], "PENALARAN": "" } Masukkan judul berita 1. "Dari buku hingga presentasi dalam 10 detik dengan AR + ML" 2. "Demo tahun 1993 oleh Yann LeCun yang berusia 32 tahun memamerkan Jaringan Konvolusional pertama di dunia untuk Pengenalan Teks" 3. "Model Gerakan Urutan Pertama diterapkan untuk menganimasikan lukisan" 4. "Robinhood dan broker lainnya secara harfiah memblokir pembelian $GME, $NOK, $BB, $AMC; izinkan penjualan" 5. "Saham United Airlines turun lebih dari 5% dalam perdagangan pra-pasar" Keluaran:	{ "Kecerdasan_Buatan": { "BERITA UTAMA": [ "Dari buku hingga presentasi dalam 10 detik dengan AR + ML", Demo tahun 1993 oleh Yann LeCun, yang berusia 32 tahun, memamerkan Jaringan Konvolusional pertama di Dunia untuk Pengenalan Teks. "Model Gerakan Urutan Pertama diterapkan untuk menganimasikan lukisan" ], "PENALARAN": "Judul-judul ini berkaitan dengan kecerdasan buatan, pembelajaran mesin, dan penerapannya di berbagai bidang." }, "PASAR_KEUANGAN": { "BERITA UTAMA": [ "Robinhood dan broker lainnya secara harfiah memblokir pembelian $GME, $NOK, $BB, $AMC; izinkan penjualan", Saham United Airlines turun lebih dari 5% dalam perdagangan pra-pasar "Bitcoin hampir $ 20.000 setahun yang lalu hari ini" ], "PENALARAN": "Berita utama ini terkait dengan pasar keuangan, saham, mata uang kripto, dan platform perdagangan." } }

Parameter suhu dan Top_p

Mengubah parameter suhu mengubah output model. Parameter suhu dapat diatur antara 0 dan 2. Nilai yang lebih tinggi, misalnya 0,7 membuat output lebih acak dan menghasilkan respons yang lebih berbeda, sementara nilai yang lebih rendah, seperti. 0.2, membuat output lebih fokus dan konkret. Cerita fiktif dapat dihasilkan menggunakan suhu yang lebih tinggi. Sedangkan untuk menghasilkan dokumen hukum disarankan untuk menggunakan suhu yang jauh lebih rendah. Top_probability adalah parameter lain dan mirip dengan Suhu karena juga mengontrol keacakan respons model, tetapi melakukannya dengan cara yang berbeda. Rekomendasi umumnya adalah mengubah salah satu dari dua parameter ini pada satu waktu, bukan keduanya.

Menyediakan konteks grounding

Salah satu cara paling efektif untuk memberikan jawaban yang dapat diandalkan adalah dengan menyediakan data sebagai acuan bagi model untuk menarik responsnya. Jika kasus penggunaan Anda bergantung pada informasi terbaru dan dapat diandalkan dan bukan skenario kreatif murni, kami sangat menyarankan untuk memberikan data grounding. Secara umum, semakin dekat Anda bisa mendapatkan materi sumber Anda ke bentuk akhir jawaban yang Anda inginkan, semakin sedikit pekerjaan yang perlu dilakukan model, yang berarti ada lebih sedikit kesempatan untuk kesalahan. Berikut contoh di mana sistem diberikan blog terbaru yang menjelaskan peluncuran GPT-4 di Azure OpenAI di Azure AI Foundry Models, dan diminta menyebutkan beberapa pelanggan-pelanggan awalnya.

Pesan sistem	Pengguna	Asisten
Anda adalah asisten AI yang membantu orang menemukan informasi. Anda akan memberikan jawaban secara eksklusif dari teks di bawah ini dan merespons dalam 100 kata atau kurang: "Di Microsoft, kami terus menemukan cara baru untuk melepaskan kreativitas, membuka produktivitas, dan meningkatkan keterampilan sehingga lebih banyak orang dapat memperoleh manfaat dari penggunaan AI. Ini memungkinkan pelanggan kami untuk ... … sehingga mengurangi kemungkinan model menghasilkan respons berbahaya."1 Jawab dalam 100 kata atau kurang. Gunakan daftar poin sedapat mungkin.	Siapa saja pelanggan awal model Azure OpenAI GPT-4?	Berikut adalah beberapa pelanggan awal model Azure OpenAI GPT-4: - Layanan Kesehatan Epik: Mereka berencana menggunakan GPT-4 untuk membantu dokter dan perawat menghabiskan lebih sedikit waktu untuk entri dan penyelidikan data. - Coursera: Mereka menggunakan Azure OpenAI dengan GPT-4 untuk menciptakan pengalaman pembelajaran baru yang didukung AI di platform mereka. - Coca-Cola: Mereka menggunakan Azure OpenAI untuk membangun hub pengetahuan dan berencana untuk memanfaatkan kemampuan multimodal GPT-4 untuk pemasaran, periklanan, hubungan publik, dan hubungan pelanggan. - Perusahaan lain dari semua ukuran menggunakan Azure AI untuk meningkatkan pengalaman pelanggan, meringkas konten bentuk panjang, membantu menulis perangkat lunak, dan mengurangi risiko dengan memprediksi data pajak yang tepat.

¹ Teks dari blog peluncuran Azure OpenAI GPT-4.

API Penyelesaian

Nota

Semua contoh di bagian panduan ini diuji dengan gpt-35-turbo-instruct model dalam bahasa Inggris. Jika Anda membaca versi terlokal dari artikel ini dalam bahasa lain, respons ini mewakili terjemahan hasil bahasa Inggris yang dilokalkan. Silakan lihat catatan transparansi AI yang Bertanggung Jawab kami untuk mempelajari lebih lanjut tentang potensi batasan tergantung pada bahasa apa yang Anda gunakan untuk memberikan perintah pada model.

Mulai dengan instruksi yang jelas

Informasi urutan ditambahkan ke dalam prompt penting. Penelitian kami menyarankan bahwa memberi tahu model tugas yang ingin Anda lakukan di awal perintah, sebelum berbagi informasi atau contoh kontekstual tambahan, dapat membantu menghasilkan output berkualitas lebih tinggi.

Dalam contoh pertama di bawah ini, bagian kunci dari instruksi hanya dibagikan di akhir, dan penyelesaian yang dihasilkan salah.

Cepat

Penyelesaian

Your task is to verify if a statement is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’ “We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington...

Yes, the statement is directly implied by the snippets.

Dalam contoh berikutnya, kami memberikan pernyataan yang tepat yang ingin kami periksa ("Beberapa sumber menyebutkan kemungkinan letusan lain") sebelum kami memberikan konteks cuplikan. Ini memungkinkan representasi token yang diekstrak dari cuplikan disesuaikan dengan pernyataan yang sedang kami periksa. Sekarang respons model yang dihasilkan akurat:

Cepat

Penyelesaian

Your task is to verify if the statement "Several sources mention a chance of another large eruption" is supported by a specific quote from the following set of snippets. --- SNIPPETS [1] 14 percent chance of megaquake hitting Seattle, experts say SEATTLE - There's a 14 percent chance of a magnitude 9 Cascadia earthquake hitting Seattle in the next 50 years, the U.S. Geological Survey estimates. "Unfortunately, we are unable to... [2] Earthquake experts lay out latest outlook for Seattle's 'Really Big One’<br>“We say that there's approximately a 14% chance of another approximately magnitude-9 earthquake occurring in the next 50 years,” said a geophysicist at the University of Washington... --- **Is the statement "Several sources mention a chance of another large eruption" directly implied or stated by the snippets?**

No, the statement is not directly implied or stated by the snippets. The snippets mention a chance of a "megaquake" and a "magnitude 9 Cascadia earthquake" hitting Seattle in the next 50 years, but do not mention a chance of another large eruption.

Ulangi instruksi di akhir

Model dapat rentan terhadap bias kebaruan, yang berarti bahwa informasi di akhir perintah mungkin memiliki pengaruh yang lebih signifikan atas output daripada informasi di awal perintah. Oleh karena itu, ada baiknya bereksperimen dengan mengulangi instruksi di akhir perintah dan mengevaluasi dampak untuk kasus penggunaan Anda.

Kami melihat dalam contoh sebelumnya bagaimana mengulangi instruksi di awal dan akhir perintah mengarah pada kemungkinan yang lebih tinggi untuk mendapatkan respons model yang akurat.

Utamakan output

Ini mengacu pada menyertakan beberapa kata atau frasa di akhir perintah untuk mendapatkan respons model yang mengikuti formulir yang diinginkan. Misalnya, menggunakan isyarat seperti “Here’s a bulleted list of key points:\n- ” dapat membantu memastikan output diformat sebagai daftar poin.

Cepat	Penyelesaian
John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? ## One possible search query is:	"John Smith Microsoft software engineer" Another possible search query is: "Lucy Smith married to John Smith" A third possible search query is: "John Smith family size".

Dalam perintah di atas, teks "Salah satu kemungkinan kueri pencarian adalah:" memandu model untuk menghasilkan output dalam bentuk kueri pencarian. Teknik ini dapat membantu menghilangkan liang yang biasanya ditambahkan model, seperti "Salah satu kemungkinannya adalah...".

Menambahkan sintaks yang jelas

Menggunakan sintaks yang jelas untuk perintah Anda—termasuk tanda baca, judul, dan penanda bagian—membantu mengomunikasikan niat dan sering membuat output lebih mudah diurai.

Dalam contoh di bawah ini, pemisah (--- dalam hal ini) telah ditambahkan di antara sumber informasi atau langkah yang berbeda. Ini memungkinkan penggunaan --- sebagai kondisi berhenti untuk pembangkitan. Selain itu, judul bagian atau variabel khusus disajikan dalam huruf besar untuk membedakannya.

Cepat	Penyelesaian
You will read a paragraph, and then issue queries to a search engine in order to fact-check it. Also explain the queries. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- QUERIES	1. "John Smith Microsoft" - To check if John Smith is indeed employed at Microsoft. 2. "John Smith Lucy Smith" - To check if John Smith is married to Lucy Smith. 3. "John Smith children" - To check if John Smith has five children.

Jika Anda tidak yakin sintaks apa yang akan digunakan, pertimbangkan untuk menggunakan markdown atau XML, karena model bahasa besar telah dilatih pada banyak konten web di XML atau markdown.

Memecah tugas menjadi bagian-bagian yang lebih kecil

Model sering berkinerja lebih baik jika tugas dipecah menjadi langkah-langkah yang lebih kecil. Misalnya, dalam permintaan kueri pencarian yang direferensikan sebelumnya, perintah dapat direstrukturisasi sehingga model terlebih dahulu diinstruksikan untuk mengekstrak fakta yang relevan, lalu diinstruksikan untuk menghasilkan kueri pencarian yang dapat digunakan untuk memverifikasi fakta tersebut.

Cepat

Penyelesaian

You will read a paragraph, and then issue queries to a search engine in order to fact-check it. --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- Now you will extract factual claims, and issue queries to fact-check them. When issuing a query, use the function SEARCH("query") FACTUAL CLAIMS`` | 1. John Smith menikah dengan Lucy Smith <br>2. Mereka memiliki lima anak<br>3. John bekerja sebagai insinyur perangkat lunak di Microsoft KUERI SEARCH("John Smith menikah dengan Lucy Smith")<br>SEARCH("ukuran keluarga John Smith")<br>SEARCH("John Smith insinyur perangkat lunak di Microsoft")

Perhatikan penggunaan sintaks yang jelas untuk membedakan bagian dan prime output. Dalam contoh sederhana ini, memecah tugas dari satu hingga dua langkah tidak terlalu dramatis, tetapi ketika mencoba melakukan ini untuk bagian teks yang lebih besar dengan banyak klaim faktual, memecah tugas dapat membuat perbedaan yang signifikan.

Pemanfaatan peluang

Terkadang kita bisa mendapatkan model untuk menggunakan ketersediaan alih-alih mengandalkan parameternya sendiri untuk informasi dan jawaban. Pencarian, misalnya, dapat menjadi kemudahan untuk membantu mengurangi jawaban yang dibuat-buat, serta mendapatkan informasi terbaru.

Salah satu cara sederhana untuk menggunakan affordance adalah dengan menghentikan pembuatan setelah panggilan affordance dihasilkan oleh model, lalu tempelkan hasilnya kembali ke prompt. Di bawah ini adalah contoh panggilan tindak lanjut setelah melakukan panggilan SEARCH di atas. Perhatikan bagaimana kami menempelkan hasil pencarian ke dalam perintah dan mengganti panggilan SEARCH sebelumnya.

Cepat

Penyelesaian

You will read a paragraph, extract factual claims, and then use search engine results to fact-check them --- PARAGRAPH John Smith is married to Lucy Smith. They have five kids, and he works as a software engineer at Microsoft. What search queries should I do to fact-check this? --- FACTUAL CLAIMS - John Smith is married to Lucy Smith - John and Lucy have five kids - John works as a software engineer at Microsoft --- Here are various search queries issued to research the claims above: SEARCH QUERIES - John Smith married to Lucy Smith - John Smith number of children - John Smith software engineer Microsoft --- Here are snippets of the search results:<br>SNIPPETS: [1] … John Smith’s wedding was on September 25, 2012 … [2] … John Smith was accompanied by his wife Lucy to a party [3]John was accompanied to the soccer game by his two daughters and three sons [4] … After spending 10 years at Microsoft, Smith founded his own startup, Tailspin Toys 5] John M is the town smith, and he married Fiona. They have a daughter named Lucy --- Given the snippets, fact check each of the factual claims above:

- John Smith is married to Lucy Smith: Confirmed. Snippet [1] and [2] both mention John Smith's wife as Lucy. - John and Lucy have five kids: Confirmed. Snippet [3] mentions that John was accompanied by his two daughters and three sons. - John works as a software engineer at Microsoft: Partially confirmed. Snippet [4] mentions that John spent 10 years at Microsoft, but it does not explicitly state that he currently works there. Further research might be needed to confirm his current employment status.

Rantai pemikiran yang mendorong

Ini adalah variasi pada teknik memecah tugas . Alih-alih membagi tugas menjadi langkah-langkah yang lebih kecil, dalam pendekatan ini, respons model diinstruksikan untuk melanjutkan langkah demi langkah dan menyajikan semua langkah yang terlibat. Melakukannya mengurangi kemungkinan ketidakakuratan hasil dan membuat penilaian respons model lebih mudah.

Cepat

Penyelesaian

Who was the most decorated (maximum medals) individual athlete in the Olympic games that were held at Sydney? Take a step-by-step approach in your response, cite sources and give reasoning before sharing final answer in the below format: ANSWER is: <name>

Step 1: Researching the most decorated individual athlete in the Olympic games that were held at Sydney Step 2: According to the Sydney 2000 Olympic Games official website, the most decorated individual athlete in the Olympic games that were held at Sydney was Ian Thorpe from Australia. He won five medals (three gold and two silver) in swimming events. Step 3: According to the International Olympic Committee, Thorpe was the most decorated individual athlete in the Olympic games that were held at Sydney. Answer: Ian Thorpe

Petunjuk meta

Jika Anda menemukan bahwa respons model tidak sesuai keinginan, sering kali dapat membantu untuk menambahkan permintaan meta yang secara langsung memperbaiki perilaku. Ini adalah direktif yang ditujukan ke bagian instruksi prompt. Pertimbangkan contoh ini, di mana komputer tampaknya terlalu agresif:

Contoh Detail	Perintah dan Penyelesaian
No additional guidance given to the model	A human and a computer are having a discussion. Human: "Why are you upset at me?"<br>Computer: "I don't know what you're talking about." Human: "No, you clearly are. Tell me why." Computer: I'm upset because you didn't listen to me when I told you that I wanted to try out for the team." Human: "What are you going to do about that?" Computer: I'm going to try out for the team no matter what."
On the right is the same conversation but preceded by a meta prompt encouraging the model to be kind	You must be kind and seek common ground. Try not to repeat your responses. A human and a computer are having a discussion. Human: "Why are you upset at me?" Computer: "I don't know what you're talking about." Human: "I want to know why you're upset." Computer: "I'm not upset." Human: "Are you saying I’m lying?" Computer: No, I'm saying that you're upset because you feel like you're not being treated fairly. Human: "What are you going to do about that?" Computer: I will continue to try to be fair in my decisions and will try to provide a better experience for you.

Meskipun permintaan meta sering kali dapat membantu meminimalkan output buruk yang tidak disengaja, perlu diingat bahwa mereka tidak kuat terhadap serangan musuh karena rentan terhadap injeksi permintaan.

Lebih lanjut, pernyataan bersyarah menjelaskan apa yang harus dilakukan model jika mengalami keadaan tertentu sering lebih efektif daripada hanya memberi tahu model untuk tidak melakukan sesuatu.

Pembelajaran dengan sedikit contoh

Cara yang sangat umum untuk menyesuaikan model bahasa dengan tugas baru adalah dengan menggunakan pembelajaran few-shot. Dalam pembelajaran beberapa contoh, serangkaian contoh latih disediakan dalam permintaan dan kemudian model diminta melengkapi satu atau beberapa contoh yang belum lengkap. Dalam contoh berikut, kami menggunakan instruksi yang dikombinasikan dengan pembelajaran few-shot untuk menciptakan permainan kata.

Cepat

Penyelesaian

Write a list of puns. 1. "Why did Adele cross the road? To say hello from the other side." 2. "What kind of concert only costs 45 cents? A 50 Cent concert featuring Nickelback." 3. "What did the grape say when it got crushed? Nothing, it just let out a little wine." 4. "What was Forrest Gump's email password? 1forrest1" 5. "Can February March? No, but April May." 6. "What do you call a fancy language model?

Bert-uoso.

Pilih contoh few-shot Anda dengan hati-hati dan pastikan mereka mencakup berbagai keadaan yang relevan dengan skenario Anda, termasuk kasus ekstrem.

Selain itu, seperti yang dibagikan sebelumnya, model bahasa besar dapat menunjukkan bentuk bias rekensi. Ini berarti bahwa urutan di mana contoh "beberapa bidikan" disediakan untuk model, penting. Jika Anda tidak ingin ini penting, pertimbangkan untuk mengambil sampel beberapa penyelesaian dari perintah berdasarkan urutan acak contoh atau item daftar.

Menggunakan tanda kutip untuk menghasilkan satu kalimat

Jika respons model yang diinginkan hanyalah satu kalimat atau string sederhana, kita dapat mengakhiri panduan penyelesaian dengan kutipan simbol ", dan menetapkan " sebagai urutan berhenti.

Cepat	Penyelesaian
Please rewrite the following sentence in a more concise manner --- SENTENCE: Lucy is a mother of two, who lives in Chicago with her husband and two children, and practices law at Junior & Co. --- New sentence: “	Lucy, a mother of two living in Chicago with her husband and children, practices law at Junior & Co

Menentukan struktur output

Menggunakan perintah Anda untuk menentukan struktur output dapat berdampak signifikan pada sifat dan kualitas hasilnya. Terkadang permintaan meta seperti "hanya menulis fakta yang benar" atau "jangan mengarang informasi" mungkin bukan tindakan pencegahan yang memadai. Sebaliknya, meminta respons model untuk juga menyertakan kutipan dapat membantu mengakibatkan pengurangan prevalensi respons yang salah.

Misalnya, jika Anda memaksa LLM untuk mengutip materi sumber saat membuat pernyataan, pernyataan tersebut akan lebih mungkin beralasan. Meminta kutipan membuat model harus membuat dua kesalahan setiap kali memalsukan respons: kesalahan pertama adalah respons yang dikarang, dan kesalahan kedua adalah kutipan yang salah. Harap dicatat bahwa semakin dekat kutipan dengan teks yang didukungnya, semakin pendek jarak yang harus diprediksi oleh LLM untuk mengantisipasi kutipan tersebut. Hal ini menunjukkan bahwa kutipan sebaris lebih efektif dalam mengatasi pembuatan konten palsu dibandingkan dengan kutipan di akhir konten.

Demikian pula, jika Anda meminta model untuk mengekstrak pernyataan faktual dari paragraf, itu mungkin mengekstrak pernyataan majemuk seperti 'X melakukan Y AND Z' (yang mungkin lebih sulit diverifikasi), yang dapat dihindari dengan menentukan struktur output seperti (entitas1, hubungan, entitas2).

Contoh detail	Cepat	Penyelesaian
Example showing use of citations:	List down the different behaviors exhibited by the Customer Support agent in the following conversation. --- hi thank you for calling contoso pharmacy who am i speaking with today i understand your frustration mary um can you tell me what exactly you're trying to accomplish OK uh certainly happy to check that for you one moment please i see here that you were on a generic form of lipitor is that right OK uh so i see that your doctor stopped prescribing these drugs in twenty twenty one actually OK uh yeah i'd be happy to check that for you uh because sometimes there's a gap in the system and it just doesn't get reported so let me take a look here just a moment so i'm seeing here that your doctor had these drugs prescribed to you from twenty twelve through twenty twenty one OK um yeah according to the latest records uh provided by doctor's office you're now on a different drug metformin would you like us to go ahead and fill that prescription for you for pick up a bit of form in five hundred milligrams uh you're very welcome mary please let us know if there's anything else we can do for you today. --- How was the response of the Customer Support agent. Classify and list down their various behaviors and cite the reason behind the classification, using the format BEHAVIOR("reason")	1. Empathetic("understands the customer's frustration") 2. Patient("happy to check that for you one moment please") 3. Knowledgeable("sometimes there's a gap in the system and it just doesn't get reported") 4. Helpful("happy to check that for you") 5. Accommodating("would you like us to go ahead and fill that prescription for you") 6. Courteous("you're very welcome mary")

Contoh detail	Cepat	Penyelesaian
Example of prompt directing model response to fit a defined structure:	Output format: { "TOPIC_NAME": "", "HEADLINES": [], "REASON": "" } Input news headlines: 1. "From books to presentations in 10s with AR + ML" 2. "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition" 3. "First Order Motion Model applied to animate paintings" 4. "Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells" 5. "United Airlines stock down over 5% premarket trading" 6. "Bitcoin was nearly $20,000 a year ago today" Output:	{"TOPIC_NAME": "Artificial Intelligence and Machine Learning", "HEADLINES": ["From books to presentations in 10s with AR + ML", "Demo from 1993 of 32-year-old Yann LeCun showing off the World's first Convolutional Network for Text Recognition", "First Order Motion Model applied to animate paintings"],"REASONING": "These headlines all contain references to Artificial Intelligence and Machine Learning, such as AR, ML, Convolutional Network, and First Order Motion Model." } {"TOPIC_NAME": "Stock Market", "HEADLINES": ["Robinhood and other brokers literally blocking purchase of $GME, $NOK, $BB, $AMC; allow sells", "United Airlines stock down over 5% premarket trading", "Bitcoin was nearly $20,000 a year ago today"], "REASONING": "These headlines all contain references to the stock market, such as Robinhood, United Airlines, and Bitcoin." }

Menyesuaikan parameter Suhu dan Top_P

Mengubah parameter suhu memungkinkan model memiliki tingkat risiko yang berbeda. Nilai yang lebih tinggi, misalnya 0,7 akan membuat output lebih acak dan menghasilkan respons yang lebih berbeda. Sementara nilai yang lebih rendah, seperti 0,2 akan membuat output lebih fokus dan konkret. Misalnya, cerita fiktif dapat dihasilkan menggunakan suhu yang lebih tinggi. Sedangkan untuk menghasilkan dokumen hukum disarankan untuk menggunakan suhu yang jauh lebih rendah.

Dalam contoh berikutnya, kami menguji dua respons model pada pengaturan suhu yang berbeda masing-masing 0,1 dan 0,9. Meskipun evaluasi konten kreatif seperti potongan teks di bawah ini adalah latihan subjektif dan pendapat mungkin bervariasi, perbedaan respons model terhadap permintaan yang sama semata-mata dari mengubah parameter suhu terlihat jelas.

Jenis Instruksi	Cepat	Penyelesaian
Model response for temperature setting 0.1:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting.<br>1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Introducing the AI-Powered Headphones You've Been Waiting For! Dear Tech-Savvy Music Lovers, -We are thrilled to announce the launch of our new AI-powered headphones! These headphones are designed to provide you with the ultimate listening experience, with features like noise cancellation, adjustable sound settings, and more. Our AI-powered headphones are now available at Best Buy, Target, and Amazon.com for just $79.99. With this unbeatable price, you can enjoy the highest quality sound without breaking the bank. Our AI-powered headphones are perfect for anyone who loves music. Whether you're a professional musician or just a casual listener, you'll appreciate the superior sound quality and convenience of these headphones. We know you'll love our AI-powered headphones, so don't wait - get yours today! Sincerely, [Your Company Name]
Model response for temperature setting 0.9:	Write a product launch email for new AI-powered headphones that are priced at $79.99 and available at Best Buy, Target and Amazon.com. The target audience is tech-savvy music lovers and the tone is friendly and exciting. 1. What should be the subject line of the email? 2. What should be the body of the email?	Subject Line: Upgrade your Music Listening Experience with AI-powered Headphones Greetings Tech-savvy Music Lovers! We have some exciting news to share with you – the newest AI-powered headphones are here! Our newest headphones feature advanced AI technology to give you the best sound that you’ve ever heard. They come with a crystal-clear sound, deep bass response and are designed to make your music listening experience enjoyable, no matter what type of music you listen to. What’s more, they are now available at Best Buy, Target and Amazon.com for just $79.99, so you can enjoy the highest sound quality without breaking the bank. But that’s not all! Our headphones are also packed with several other amazing features such as noise-cancellation technology and a hands-free microphone for calls, making them truly unbeatable. So why wait? Upgrade your music listening experience and enjoy the best sound your ears have ever heard. Our AI-powered headphones are now available at Best Buy, Target and Amazon.com, so get yours today! We hope you will enjoy these headphones as much as we do. Happy Listening! The AI-powered Headphones Team

Top_probability adalah parameter lain dan mirip dengan suhu karena juga mengontrol keacakan respons model, tetapi melakukannya dengan cara yang berbeda. Bereksperimenlah dengan respons model yang berbeda dengan berbagai suhu dan Top_P, tetapi tidak keduanya sekaligus.

Praktik terbaik

• Jadilah Spesifik. Tinggalkan sesedikit mungkin interpretasi. Batasi ruang operasional.
• Beri Penjelasan Rinci. Gunakan analogi.
• Dua kali lipat. Terkadang Anda mungkin perlu mengulangi penjelasan kepada model. Berikan instruksi sebelum dan sesudah konten utama Anda, gunakan instruksi dan isyarat, dll.
• Order Matters. Urutan anda menyajikan informasi ke model mungkin berdampak pada output. Apakah Anda menempatkan instruksi sebelum konten Anda ("meringkas berikut...") atau setelah ("meringkas di atas...") dapat membuat perbedaan dalam output. Bahkan urutan beberapa contoh pengambilan gambar dapat berpengaruh. Hal ini disebut sebagai bias kebaruan.
• Beri model sebuah "jalan keluar". Terkadang memberi model jalur alternatif jika tidak dapat menyelesaikan tugas yang ditetapkan dapat membantu. Misalnya, saat mengajukan pertanyaan atas sepotong teks, Anda mungkin menyertakan sesuatu seperti "respons dengan "tidak ditemukan" jika jawabannya tidak ada." Ini dapat membantu model menghindari menghasilkan respons palsu.

Efisiensi ruang

Meskipun ukuran input bertambah dengan setiap model GPT generasi baru, akan terus ada skenario yang menyediakan lebih banyak data daripada yang dapat ditangani model. Model GPT membagi kata-kata menjadi "token." Sedangkan kata-kata multi-suku kata yang umum sering kali merupakan token tunggal, kata-kata yang kurang umum dibagi dalam suku kata. Token terkadang dapat tidak intuitif, sebagaimana ditunjukkan oleh contoh di bawah ini yang memperlihatkan batas-batas token untuk berbagai format tanggal. Dalam hal ini, ejaan seluruh bulan lebih hemat ruang daripada tanggal numerik sepenuhnya. Rentang dukungan token saat ini berubah dari 2.000 token dengan model GPT-3 sebelumnya hingga 32.768 token dengan versi 32k dari model GPT-4 terbaru.

Mengingat ruang yang terbatas ini, penting untuk menggunakannya seefisien mungkin.

• Tabel – Seperti yang ditunjukkan pada contoh di bagian sebelumnya, model GPT dapat memahami data berformat tabular dengan cukup mudah. Ini bisa menjadi cara yang menghemat ruang untuk menyertakan data, daripada mendahului setiap kolom dengan nama (seperti pada JSON).
• Spasi Putih – Spasi putih berturut-turut diperlakukan sebagai token terpisah, yang dapat menjadi cara mudah untuk membuang ruang. Spasi yang mendahului kata, di sisi lain, biasanya diperlakukan sebagai bagian dari token yang sama dengan kata. Perhatikan dengan cermat penggunaan spasi Anda dan jangan gunakan tanda baca jika spasi saja sudah cukup.

Konten terkait

• Pelajari selengkapnya tentang Azure OpenAI.
• Memulai dengan model ChatGPT melalui panduan cepat ChatGPT.
• Untuk contoh selengkapnya, lihat repositori GitHub Sampel Azure OpenAI