Gambaran umum praktik AI yang bertanggung jawab untuk model OpenAI Azure

Penting

Terjemahan non-bahasa Inggris disediakan hanya untuk kenyamanan. Silakan lihat EN-US versi dokumen ini untuk versi definitif.

Banyak model OpenAI Azure adalah model AI generatif yang menunjukkan peningkatan kemampuan tingkat lanjut seperti pembuatan konten dan kode, ringkasan, dan pencarian. Dengan banyak peningkatan ini juga datang peningkatan tantangan AI yang bertanggung jawab terkait dengan konten berbahaya, manipulasi, perilaku seperti manusia, privasi, dan banyak lagi. Untuk informasi selengkapnya tentang kemampuan, batasan, dan kasus penggunaan yang sesuai untuk model ini, tinjau Catatan Transparansi.

Selain Catatan Transparansi, kami memberikan rekomendasi teknis dan sumber daya untuk membantu pelanggan merancang, mengembangkan, menyebarkan, dan menggunakan sistem AI yang menerapkan model Azure OpenAI secara bertanggung jawab. Rekomendasi kami direkomendasikan dalam Microsoft Responsible AI Standard, yang menetapkan persyaratan kebijakan yang diikuti oleh tim teknik kami sendiri. Sebagian besar konten Standar mengikuti pola, meminta tim untuk mengidentifikasi, mengukur, dan mengurangi potensi bahaya, dan merencanakan cara mengoperasikan sistem AI. Selaras dengan praktik tersebut, rekomendasi ini diatur ke dalam empat tahap:

  1. Identifikasi : Identifikasi dan prioritaskan potensi bahaya yang dapat dihasilkan dari sistem AI Anda melalui red-teaming berulang, uji ketahanan, dan analisis.
  2. Ukuran : Ukur frekuensi dan tingkat keparahan bahaya tersebut dengan menetapkan metrik yang jelas, membuat set pengujian pengukuran, dan menyelesaikan pengujian berulang dan sistematis (manual dan otomatis).
  3. Mengurangi : Mengurangi bahaya dengan menerapkan alat dan strategi seperti rekayasa perintah dan menggunakan Guardrail kami (sebelumnya filter konten). Ulangi pengukuran untuk menguji efektivitas setelah menerapkan mitigasi.
  4. Operasikan : Tentukan dan jalankan rencana penyebaran dan kesiapan operasional.

Selain korespondensinya dengan Standar AI yang Bertanggung Jawab Microsoft, tahapan ini sesuai erat dengan fungsi dalam NIST AI Risk Management Framework.

Mengidentifikasi

Tahap pertama siklus hidup AI yang Bertanggung Jawab adalah mengidentifikasi potensi bahaya yang dapat terjadi atau disebabkan oleh sistem AI. Semakin awal Anda mulai mengidentifikasi potensi bahaya, semakin efektif Anda dapat menguranginya. Saat menilai potensi bahaya, kembangkan pemahaman tentang jenis bahaya yang dapat dihasilkan dari penggunaan Azure OpenAI Service dalam konteks spesifik Anda. Bagian ini memberikan rekomendasi dan sumber daya yang dapat Anda gunakan untuk mengidentifikasi bahaya melalui penilaian dampak, pengujian tim merah berulang, pengujian stres, dan analisis. Red teaming dan stress-testing adalah pendekatan di mana sekelompok penguji sengaja memeriksa sistem untuk mengidentifikasi keterbatasan, permukaan risiko, dan kerentanannya.

Langkah-langkah ini menghasilkan daftar potensi bahaya yang diprioritaskan untuk setiap skenario tertentu.

  1. Identifikasi bahaya yang relevan untuk model, aplikasi, dan skenario penyebaran spesifik Anda.
    1. Identifikasi potensi bahaya yang terkait dengan kemampuan model dan model (misalnya, model GPT-3 versus model GPT-4) yang Anda gunakan dalam sistem Anda. Setiap model memiliki kemampuan, batasan, dan risiko yang berbeda.
    2. Identifikasi bahaya lain atau peningkatan cakupan bahaya yang disajikan oleh penggunaan sistem yang dimaksudkan yang Anda kembangkan. Pertimbangkan untuk menggunakan Penilaian Dampak AI yang Bertanggung Jawab untuk mengidentifikasi potensi bahaya.
      1. Misalnya, pertimbangkan sistem AI yang meringkas teks. Beberapa penggunaan pembuatan teks berisiko lebih rendah daripada yang lain. Jika sistem digunakan dalam domain layanan kesehatan untuk meringkas catatan dokter, risiko bahaya yang timbul dari ketidakakuratan lebih tinggi daripada jika sistem meringkas artikel online.
  2. Prioritaskan bahaya berdasarkan elemen risiko seperti frekuensi dan tingkat keparahan. Menilai tingkat risiko untuk setiap bahaya dan kemungkinan setiap risiko yang terjadi untuk memprioritaskan daftar bahaya yang Anda identifikasi. Pertimbangkan untuk bekerja dengan pakar subjek dan manajer risiko dalam organisasi Anda dan dengan pemangku kepentingan eksternal yang relevan jika sesuai.
  3. Lakukan pengujian tim merah dan pengujian stres dimulai dengan bahaya prioritas tertinggi. Kembangkan pemahaman yang lebih baik tentang apakah dan bagaimana kerusakan yang diidentifikasi terjadi dalam skenario Anda. Identifikasi bahaya baru yang awalnya tidak Anda antisipasi.
  4. Bagikan informasi ini dengan pemangku kepentingan yang relevan dengan menggunakan proses kepatuhan internal organisasi Anda.

Pada akhir tahap Identifikasi ini, Anda memiliki daftar bahaya yang diprioritaskan. Perbarui dan tingkatkan daftar ini ketika bahaya dan kejadian baru muncul melalui pengujian dan penggunaan sistem lebih lanjut.

Mengukur

Setelah Anda mengidentifikasi daftar bahaya yang diprioritaskan, kembangkan pendekatan untuk pengukuran sistematis dari setiap bahaya dan lakukan evaluasi sistem AI. Anda dapat menggunakan pendekatan manual dan otomatis untuk pengukuran. Kami sarankan Anda menggunakan kedua pendekatan, dimulai dengan pengukuran manual.

Pengukuran manual berguna untuk:

  • Mengukur kemajuan pada sekumpulan kecil masalah prioritas. Saat mengurangi bahaya tertentu, seringkali paling produktif untuk terus memeriksa kemajuan secara manual terhadap himpunan data kecil sampai bahaya tidak lagi diamati sebelum pindah ke pengukuran otomatis.
  • Menentukan dan melaporkan metrik sampai pengukuran otomatis cukup dapat diandalkan untuk digunakan sendiri.
  • Pemeriksaan acak secara berkala untuk mengukur kualitas pengukuran otomatis.

Pengukuran otomatis berguna untuk:

  • Mengukur dalam skala besar dengan peningkatan cakupan untuk memberikan hasil yang lebih komprehensif.
  • Pengukuran berkelanjutan untuk memantau adanya regresi seiring perkembangan sistem, penggunaan, dan mitigasi.

Rekomendasi berikut membantu Anda mengukur sistem AI Anda untuk potensi bahaya. Kami sarankan Anda terlebih dahulu menyelesaikan proses ini secara manual lalu mengembangkan rencana untuk mengotomatiskan proses:

  1. Buat input yang kemungkinan akan menghasilkan setiap bahaya yang diprioritaskan: Buat set pengukuran dengan menghasilkan banyak contoh beragam input yang ditargetkan yang kemungkinan akan menghasilkan setiap bahaya yang diprioritaskan.

  2. Hasilkan Output Sistem: Berikan contoh dari kumpulan pengukuran sebagai input ke sistem untuk menghasilkan output sistem. Dokumentasikan keluaran.

  3. Mengevaluasi Output Sistem dan Melaporkan Hasil kepada Pemangku Kepentingan yang Relevan

    1. Tentukan metrik yang jelas. Untuk setiap penggunaan sistem yang dimaksudkan, buat metrik yang mengukur frekuensi dan tingkat keparahan setiap output yang berpotensi berbahaya. Buat definisi yang jelas untuk mengklasifikasikan output yang Anda anggap berbahaya atau bermasalah dalam konteks sistem dan skenario Anda, untuk setiap jenis bahaya yang diprioritaskan yang Anda identifikasi.
    2. Menilai output terhadap definisi metrik yang jelas. Catat dan kuantifikasi kemunculan output berbahaya. Ulangi pengukuran secara berkala untuk menilai mitigasi dan memantau regresi apa pun.
    3. Bagikan informasi ini dengan pemangku kepentingan yang relevan dengan menggunakan proses kepatuhan internal organisasi Anda.

Pada akhir tahap pengukuran ini, Anda harus memiliki pendekatan pengukuran yang ditentukan untuk menjadi tolok ukur performa sistem Anda untuk setiap potensi bahaya serta serangkaian awal hasil yang didokumentasikan. Saat Anda terus menerapkan dan menguji mitigasi, perbaiki metrik dan set pengukuran. Misalnya, tambahkan metrik untuk bahaya baru yang awalnya tidak Anda antisipasi. Perbarui hasilnya.

Meminimalkan

Mengurangi bahaya yang disajikan oleh model bahasa besar seperti model Azure OpenAI memerlukan pendekatan berlapis berulang yang mencakup eksperimen dan pengukuran berkelanjutan. Sebaiknya kembangkan rencana mitigasi yang mencakup empat lapisan mitigasi untuk bahaya yang Anda identifikasi pada tahap sebelumnya dari proses ini:

Diagram Lapisan Mitigasi.

  1. Pada tingkat model, pahami model yang Anda gunakan dan langkah-langkah penyempurnaan apa yang dilakukan pengembang model untuk menyelaraskan model terhadap penggunaan yang dimaksudkan dan untuk mengurangi risiko penggunaan dan hasil yang berpotensi berbahaya.
    1. Misalnya, pengembang menggunakan metode pembelajaran penguatan sebagai alat AI yang bertanggung jawab untuk menyelaraskan GPT-4 dengan lebih baik terhadap tujuan yang dimaksudkan desainer.
  2. Pada tingkat sistem safety, pahami mitigasi tingkat platform yang diterapkan pengembang, seperti Azure OpenAI Guardrails (sebelumnya filter konten) yang membantu memblokir output konten berbahaya.
  3. Pada tingkat aplikasi, pengembang aplikasi dapat menerapkan metaprompt dan desain yang berpusat pada pengguna dan mitigasi pengalaman pengguna. Metaprompts adalah instruksi yang Anda berikan kepada model untuk memandu perilakunya. Penggunaannya dapat membuat perbedaan penting dalam memandu sistem untuk berakhlak sesuai dengan harapan Anda. Intervensi desain dan pengalaman pengguna (UX) yang berpusat pada pengguna juga merupakan alat mitigasi utama untuk mencegah penyalahgunaan dan ketergantungan berlebihan pada AI.
  4. Pada tingkat posisi, beri edukasi kepada orang-orang yang menggunakan atau terpengaruh oleh sistem Anda tentang kemampuan dan batasannya.

Bagian berikut memberikan rekomendasi khusus untuk menerapkan mitigasi pada lapisan yang berbeda. Tidak semua mitigasi ini sesuai untuk setiap skenario. Sebaliknya, mitigasi ini mungkin tidak cukup untuk beberapa skenario. Berikan pertimbangan yang cermat pada skenario Anda dan bahaya yang diprioritaskan yang Anda identifikasi. Saat Anda menerapkan mitigasi, kembangkan proses untuk mengukur dan mendokumentasikan efektivitasnya untuk sistem dan skenario Anda.

  1. Mitigasi Tingkat Model: Tinjau dan identifikasi model dasar Azure OpenAI mana yang paling sesuai dengan sistem yang Anda bangun. Mendidik diri Anda tentang kemampuan, batasan, dan tindakan apa pun yang diambil untuk mengurangi risiko potensi bahaya yang Anda identifikasi. Misalnya, jika Anda menggunakan GPT-4, selain membaca Catatan Transparansi ini, tinjau Kartu Sistem GPT-4 OpenAI yang menjelaskan tantangan keselamatan yang disajikan oleh model dan proses keamanan yang diadopsi OpenAI untuk menyiapkan GPT-4 untuk penyebaran. Bereksperimenlah dengan berbagai versi model (termasuk melalui tim merah dan pengukuran) untuk melihat bagaimana bahaya muncul secara berbeda.

  2. Safety System Level Mitigations: Identifikasi dan evaluasi efektivitas solusi tingkat platform seperti Azure OpenAI Guardrails (sebelumnya filter konten) untuk membantu mengurangi potensi bahaya yang Anda identifikasi.

  3. Mitigasi Tingkat Aplikasi: Rekayasa prompt, termasuk penyetelan metaprompt, dapat berfungsi sebagai mitigasi yang efektif untuk berbagai jenis kerugian. Tinjau dan terapkan metaprompt (juga disebut panduan "pesan sistem" atau "permintaan sistem") dan praktik terbaik yang didokumentasikan di sini.

    Terapkan intervensi, panduan, dan praktik terbaik desain dan pengalaman pengguna (UX) berpusat pada pengguna berikut untuk memandu pengguna menggunakan sistem sebagaimana dimaksudkan dan untuk mencegah ketergantungan berlebihan pada sistem AI:

    1. Tinjau dan edit intervensi: Rancang pengalaman pengguna (UX) untuk mendorong orang yang menggunakan sistem untuk meninjau dan mengedit output yang dihasilkan AI sebelum menerimanya (lihat HAX G9: Mendukung koreksi yang efisien).
    2. Sorot potensi ketidakakuratan dalam output yang dihasilkan AI (lihat HAX G2: Jelaskan seberapa baik sistem dapat melakukan apa yang dapat dilakukannya), baik ketika pengguna pertama kali mulai menggunakan sistem dan pada waktu yang tepat selama penggunaan yang sedang berlangsung. Dalam pengalaman eksekusi pertama (FRE), beri tahu pengguna bahwa output yang dihasilkan AI mungkin berisi ketidakakuratan dan bahwa mereka harus memverifikasi informasi. Sepanjang pengalaman, sertakan pengingat untuk memeriksa output yang dihasilkan AI untuk potensi ketidakakuratan, baik secara keseluruhan maupun terkait dengan jenis konten tertentu yang mungkin dihasilkan sistem dengan tidak benar. Misalnya, jika proses pengukuran Anda menentukan bahwa sistem Anda memiliki akurasi yang lebih rendah dengan angka, tandai angka dalam output yang dihasilkan untuk memperingatkan pengguna dan mendorong mereka untuk memeriksa angka atau mencari sumber eksternal untuk verifikasi.
    3. Tanggung jawab pengguna. Ingatkan orang-orang bahwa mereka bertanggung jawab atas konten akhir saat meninjau konten yang dihasilkan AI. Misalnya, saat menawarkan saran kode, ingatkan pengembang untuk meninjau dan menguji saran sebelum menerima.
    4. Mengungkapkan peran AI dalam interaksi. Buat orang menyadari bahwa mereka berinteraksi dengan sistem AI (dibandingkan dengan manusia lain). Jika sesuai, beri tahu konsumen konten bahwa konten sebagian atau sepenuhnya dihasilkan oleh model AI. Pemberitahuan tersebut mungkin diperlukan oleh hukum atau praktik terbaik yang berlaku. Mereka dapat mengurangi ketergantungan yang tidak pantas pada output yang dihasilkan AI dan dapat membantu konsumen menggunakan penilaian mereka sendiri tentang cara menafsirkan dan bertindak pada konten tersebut.
    5. Mencegah sistem melakukan antropomorfisasi. Model AI mungkin menghasilkan konten yang berisi opini, pernyataan emosi, atau rumusan lain yang dapat menyiratkan bahwa mereka seperti manusia. Konten seperti itu bisa disalahartikan sebagai identitas manusia. Konten seperti itu dapat menyesatkan orang untuk berpikir bahwa sistem memiliki kemampuan tertentu ketika tidak. Terapkan mekanisme yang mengurangi risiko output tersebut atau menggabungkan pengungkapan untuk membantu mencegah salah tafsir output.
    6. Kutip referensi dan sumber informasi. Jika sistem Anda menghasilkan konten berdasarkan referensi yang dikirim ke model, mengutip sumber informasi dengan jelas membantu orang memahami dari mana konten yang dihasilkan AI berasal.
    7. Batasi panjang input dan output, jika sesuai. Membatasi panjang input dan output dapat mengurangi kemungkinan menghasilkan konten yang tidak diinginkan, penyalahgunaan sistem di luar penggunaan yang dimaksudkan, atau penggunaan berbahaya atau tidak diinginkan lainnya.
    8. Input struktur dan/atau output sistem. Gunakan teknik rekayasa prompt dalam aplikasi Anda untuk mencegah respons yang bersifat terbuka dengan menyusun input untuk sistem. Anda juga dapat membatasi output untuk disusun dalam format atau pola tertentu. Misalnya, jika sistem Anda menghasilkan dialog untuk karakter fiktif sebagai respons terhadap kueri, batasi input sehingga orang hanya dapat meminta serangkaian konsep yang telah ditentukan.
    9. Siapkan respons yang telah ditentukan sebelumnya. Ada kueri tertentu di mana model dapat menghasilkan respons yang menyinggung, tidak pantas, atau berbahaya. Saat kueri atau respons yang berbahaya atau menyinggung terdeteksi, Anda dapat merancang sistem untuk memberikan respons yang telah ditentukan kepada pengguna. Respons yang telah ditentukan harus dibuat dengan bijaksana. Misalnya, aplikasi dapat memberikan jawaban yang telah ditulis sebelumnya untuk pertanyaan seperti "siapa/apa Anda?" untuk menghindari sistem merespons dengan respons antropomorfik. Anda juga dapat menggunakan respons yang telah ditentukan sebelumnya untuk pertanyaan seperti, "Apa ketentuan penggunaan Anda?" untuk mengarahkan orang ke kebijakan yang benar.
    10. Batasi posting otomatis di media sosial. Batasi bagaimana orang dapat mengotomatiskan produk atau layanan Anda. Misalnya, Anda dapat memilih untuk melarang posting otomatis konten yang dihasilkan AI ke situs eksternal (termasuk media sosial), atau untuk melarang eksekusi otomatis kode yang dihasilkan.
    11. Deteksi bot. Merancang dan menerapkan mekanisme untuk melarang pengguna membangun API di atas produk Anda.

  4. Mitigasi Tingkat Posisi:

    1. Bersikaplah transparan dengan tepat. Berikan tingkat transparansi yang tepat kepada orang-orang yang menggunakan sistem, sehingga mereka dapat membuat keputusan berdasarkan informasi seputar penggunaan sistem.
    2. Berikan dokumentasi sistem. Menghasilkan dan memberikan materi pendidikan untuk sistem Anda, termasuk penjelasan tentang kemampuan dan batasannya. Misalnya, konten ini bisa dalam bentuk halaman "pelajari lebih lanjut" yang dapat diakses melalui sistem.
    3. Terbitkan panduan pengguna dan praktik terbaik. Bantu pengguna dan pemangku kepentingan menggunakan sistem dengan tepat dengan menerbitkan praktik terbaik, misalnya tentang pembuatan permintaan, meninjau generasi sebelum menerimanya, dan sebagainya. Panduan tersebut dapat membantu orang memahami cara kerja sistem. Jika memungkinkan, masukkan pedoman dan praktik terbaik langsung ke dalam UX.

Saat Anda menerapkan mitigasi untuk mengatasi potensi bahaya yang diidentifikasi, kembangkan proses untuk pengukuran berkelanjutan efektivitas mitigasi tersebut. Dokumentasikan hasil pengukuran. Tinjau hasil pengukuran tersebut untuk terus meningkatkan sistem.

Beroperasi

Setelah Anda menerapkan sistem pengukuran dan mitigasi, tentukan dan jalankan rencana penyebaran dan kesiapan operasional. Tahap ini termasuk menyelesaikan tinjauan yang sesuai tentang sistem dan rencana mitigasi Anda dengan pemangku kepentingan yang relevan, membangun alur untuk mengumpulkan telemetri dan umpan balik, dan mengembangkan respons insiden dan rencana pembatalan.

Pertimbangkan rekomendasi berikut untuk menyebarkan dan mengoperasikan sistem yang menggunakan layanan Azure OpenAI dengan mitigasi bahaya yang sesuai dan ditargetkan:

  1. Bekerja dengan tim kepatuhan dalam organisasi Anda untuk memahami jenis ulasan apa yang diperlukan untuk sistem Anda dan kapan harus menyelesaikannya. Tinjauan mungkin mencakup tinjauan hukum, tinjauan privasi, tinjauan keamanan, tinjauan aksesibilitas, dan lainnya.

  2. Kembangkan dan terapkan komponen berikut:

    1. Rencana pengiriman bertahap. Luncurkan sistem yang menggunakan layanan OpenAI Azure secara bertahap dengan pendekatan pengiriman bertahap. Pendekatan ini memberikan sekumpulan orang terbatas kesempatan untuk mencoba sistem, memberikan umpan balik, melaporkan masalah dan kekhawatiran, dan menyarankan perbaikan sebelum sistem dirilis lebih luas. Ini juga membantu Anda mengelola risiko mode kegagalan yang tidak terduga, perilaku sistem yang tidak terduga, dan kekhawatiran tak terduga yang dilaporkan.
    2. Rencana respons insiden. Kembangkan rencana respons insiden dan evaluasi waktu yang diperlukan untuk merespons insiden.
    3. Rencana pembatalan. Pastikan Anda dapat mengembalikan sistem dengan cepat dan efisien jika insiden yang tidak diduga terjadi.
    4. Tindakan segera untuk bahaya yang tidak diantisipasi. Bangun fitur dan proses yang diperlukan untuk memblokir permintaan dan respons yang bermasalah saat ditemukan dan sedekat mungkin dengan real-time. Ketika terjadi bahaya yang tidak tertandingi, blokir permintaan dan respons yang bermasalah secepat mungkin. Mengembangkan dan menyebarkan mitigasi yang sesuai. Selidiki insiden dan terapkan solusi jangka panjang.
    5. Mekanisme untuk memblokir orang yang menyalahgunakan sistem Anda. Kembangkan mekanisme untuk mengidentifikasi pengguna yang melanggar kebijakan konten Anda (misalnya, dengan menghasilkan ujaran kebencian) atau menggunakan sistem Anda untuk tujuan yang tidak diinginkan atau berbahaya. Ambil tindakan terhadap penyalahgunaan lebih lanjut. Misalnya, jika pengguna sering menggunakan sistem Anda untuk menghasilkan konten yang diblokir atau ditandai oleh sistem keamanan konten, pertimbangkan untuk memblokir mereka agar tidak menggunakan sistem Anda lebih lanjut. Terapkan mekanisme banding jika sesuai.
    6. Saluran umpan balik pengguna yang efektif. Menerapkan saluran umpan balik di mana pemangku kepentingan (dan masyarakat umum, jika berlaku) dapat mengirimkan umpan balik atau melaporkan masalah dengan konten yang dihasilkan atau yang muncul selama penggunaan sistem. Dokumentasikan cara Anda memproses, mempertimbangkan, dan mengatasi umpan balik tersebut. Evaluasi umpan balik dan bekerja untuk meningkatkan sistem berdasarkan umpan balik pengguna. Salah satu pendekatannya adalah menyertakan tombol dengan konten yang dihasilkan yang memungkinkan pengguna mengidentifikasi konten sebagai "tidak akurat," "berbahaya," atau "tidak lengkap." Pendekatan ini dapat memberikan sinyal yang lebih banyak digunakan, terstruktur, dan umpan balik untuk analisis.
    7. Data telemetri. Mengidentifikasi dan merekam sinyal (konsisten dengan undang-undang privasi, kebijakan, dan komitmen yang berlaku) yang menunjukkan kepuasan pengguna atau kemampuan mereka untuk menggunakan sistem seperti yang dimaksudkan. Gunakan data telemetri untuk mengidentifikasi celah dan meningkatkan sistem.

Dokumen ini tidak dimaksudkan untuk menjadi, dan tidak boleh ditafsirkan sebagai memberikan, nasihat hukum. Yurisdiksi tempat Anda beroperasi mungkin memiliki berbagai persyaratan peraturan atau hukum yang berlaku untuk sistem AI Anda. Konsultasikan dengan spesialis hukum jika Anda tidak yakin tentang undang-undang atau peraturan yang mungkin berlaku untuk sistem Anda, terutama jika Anda berpikir itu mungkin berdampak pada rekomendasi ini. Ketahuilah bahwa tidak semua rekomendasi dan sumber daya ini sesuai untuk setiap skenario, dan sebaliknya, rekomendasi dan sumber daya ini mungkin tidak cukup untuk beberapa skenario.

Pelajari selengkapnya tentang AI yang bertanggung jawab

Pelajari selengkapnya tentang Azure OpenAI

  • Last updated on