Bagikan melalui

Tinjauan manusia untuk otomatisasi dengan perintah

  • Artikel

Artikel ini menekankan peran penting tinjauan manusia dalam menerapkan fitur Buat teks dengan GPT Power Automate. Fitur ini menggunakan model pembuatan teks dari , didukung oleh Layanan Azure AI Builder. OpenAI Meskipun model ini sangat efektif, mereka kadang-kadang dapat menghasilkan informasi yang menyesatkan atau dibuat-buat dan rentan terhadap serangan injeksi yang cepat.

Penting

Serangan injeksi cepat

Serangan injeksi cepat terjadi ketika pihak ketiga mengambil keuntungan dari kepercayaan yang melekat pada model di semua sumber input. Penyerang menyuntikkan prompt ke konten yang pengguna yang sah meminta solusi AI untuk berinteraksi, yang mengarah ke perubahan dalam output solusi AI, dan berpotensi, tindakannya.

Misalnya, pertimbangkan skenario saat developer warga menggunakan tindakan Buat teks dengan GPT untuk merumuskan tanggapan atas keluhan pelanggan yang dikumpulkan dari berbagai platform seperti email, media sosial, atau forum. Penyerang dapat memasukkan prompt ke konten dari salah satu sumber ini. Skenario ini dapat menipu model untuk menghasilkan respons yang berbeda dari yang dimaksudkan. Responsnya bisa tidak pantas, salah, atau berbahaya. Informasi yang salah yang dikirim ke pelanggan dapat berdampak negatif terhadap reputasi perusahaan dan Relasi pelanggan.

Fabrikasi dalam model AI

Fabrikasi, juga dikenal sebagai halusinasi, adalah tantangan lain yang dihadapi oleh model AI, termasuk model pembuatan teks. Fabrikasi terjadi ketika model AI menghasilkan informasi yang tidak didasarkan pada input yang disediakan atau data yang sudah ada sebelumnya, pada dasarnya menciptakan atau berhalusinasi informasi.

Misalnya, jika model AI diminta untuk menghasilkan ringkasan peristiwa sejarah berdasarkan teks tertentu, itu mungkin termasuk detail atau peristiwa yang tidak disebutkan dalam teks sumber. Misalnya, alur membuat sinopsis rapat berdasarkan transkrip rekaman. Data input mencakup rincian tentang peserta, artikel yang dibahas, dan keputusan yang dibuat. Namun, model mungkin menghasilkan ringkasan yang mencakup item tindakan atau keputusan yang tidak pernah dibahas dalam rapat. Situasi ini adalah contoh fabrikasi, di mana model telah berhalusinasi informasi yang tidak ada dalam data input.

Untuk mengurangi risiko fabrikasi, sangat penting untuk menerapkan praktik AI yang bertanggung jawab. Ini termasuk pengujian yang ketat terhadap prompt dan aliran, menyediakan model dengan informasi landasan sebanyak mungkin dan akhirnya menerapkan sistem yang kuat untuk pengawasan manusia.

Atasi risiko melalui praktik AI yang bertanggung jawab

Kami menganjurkan praktik AI yang bertanggung jawab sebagai sarana untuk mengurangi risiko. Meskipun memiliki strategi untuk memoderasi konten yang dihasilkan oleh model, mengelola kecenderungan model untuk menghasilkan respons palsu atau menyerah pada serangan injeksi yang cepat tetap menjadi tantangan yang kompleks. Kami mengakui risiko ini dan menegaskan kembali komitmen kami terhadap pengawasan dan pengendalian manusia.

Sebagai pengakuan atas perlunya otomatisasi tanpa batas, kami secara proaktif meningkatkan sistem keselamatan kami dan mencari pemahaman yang lebih dalam tentang tantangan ini. Tujuan kami adalah untuk lebih menyempurnakan model pembuatan teks dengan langkah-langkah keamanan yang tepat, sejalan dengan prinsip-prinsip kami tentang AI yang bertanggung jawab berdasarkan desain, mengembalikan kontrol kepada pengembang jika memungkinkan.

Baca juga

AI yang Bertanggung Jawab - FAQ