Mengembangkan Aplikasi dan Fitur AI Generatif yang Bertanggung Jawab di Windows

Dokumen ini memberikan gambaran umum tentang praktik pengembangan yang bertanggung jawab yang direkomendasikan untuk digunakan saat Anda membuat aplikasi dan fitur di Windows dengan kecerdasan buatan generatif.

Panduan untuk pengembangan aplikasi dan fitur AI generatif yang bertanggung jawab di Windows

Setiap tim di Microsoft mengikuti prinsip dan praktik inti untuk membangun dan mengirim AI secara bertanggung jawab, termasuk Windows. Anda dapat membaca selengkapnya tentang pendekatan Microsoft untuk pengembangan yang bertanggung jawab dalam Laporan Transparansi Microsoft Responsible AI. Windows mengikuti pilar dasar pengembangan RAI — mengatur, memetakan, mengukur, dan mengelola — yang selaras dengan Kerangka Kerja Manajemen Risiko AI Institut Nasional untuk Standar dan Teknologi (NIST).

Mengatur - Kebijakan, praktik, dan proses

Standar adalah dasar proses tata kelola dan kepatuhan. Microsoft telah mengembangkan Standar AI Bertanggung Jawab kami sendiri , termasuk enam prinsip yang dapat Anda gunakan sebagai titik awal untuk mengembangkan panduan Anda untuk AI yang bertanggung jawab. Kami sarankan Anda membangun prinsip AI ke dalam siklus hidup pengembangan Anda secara menyeluruh, serta ke dalam proses dan alur kerja Anda untuk kepatuhan terhadap hukum dan peraturan di seluruh AI privasi, keamanan, dan tanggung jawab. Ini mencakup dari penilaian awal setiap fitur AI, menggunakan alat seperti Daftar Periksa Kewajaran AI dan Panduan Interaksi Human-AI - Microsoft Research, hingga pemantauan dan peninjauan tolok ukur AI, pengujian dan proses menggunakan alat seperti kartu skor AI yang Bertanggung Jawab, hingga dokumentasi publik ke dalam kemampuan dan batasan fitur AI Anda dan pengungkapan dan kontrol pengguna -- perhatikan, persetujuan, pengumpulan data, dan informasi pemrosesan, dll. -- sesuai dengan undang-undang privasi, persyaratan peraturan, dan kebijakan yang berlaku.

Peta - Identifikasi risiko

Praktik yang direkomendasikan untuk mengidentifikasi risiko meliputi:

Pengujian ujung-ke-ujung

Pengujian end-to-end mengevaluasi seluruh sistem AI dari awal hingga akhir untuk memastikan bahwa sistem beroperasi seperti yang dimaksudkan dan mematuhi standar yang ditetapkan. Pendekatan komprehensif ini dapat mencakup:

Beregu merah

Istilah tim merah secara historis menggambarkan serangan musuh sistematis untuk menguji kerentanan keamanan. Baru-baru ini, istilah ini telah melampaui keamanan cyber tradisional dan berkembang dalam penggunaan umum untuk menggambarkan banyak jenis pemeriksaan, pengujian, dan serangan sistem AI.

Dengan model bahasa besar (LLM) dan model bahasa kecil (SLM), penggunaan yang jinak dan yang bersifat adversarial dapat menghasilkan output yang berpotensi berbahaya dalam berbagai bentuk, termasuk ujaran kebencian, hasutan, pemuliaan kekerasan, atau konten seksual. Tim merah menyeluruh memungkinkan Anda untuk menguji stres sistem Anda dan menyempurnakan strategi konten Anda untuk mengurangi kemungkinan bahwa sistem Anda menyebabkan bahaya.

Semua sistem AI harus menjalani pengujian tim merah, tergantung pada fungsi dan tujuan, untuk sistem berisiko tinggi yang menggunakan AI generatif dan sistem berisiko lebih rendah yang menggunakan AI non-generatif:

  • Pengujian keamanan formal: Pengujian keamanan independen harus dilakukan untuk semua sistem berisiko tinggi yang memanfaatkan AI generatif dengan model bahasa besar (LLM). Tim merah formal mencakup merekrut profesional di luar organisasi Anda untuk berpartisipasi dalam kegiatan tim merah.

  • Tim Merah Internal: Setidaknya, rencanakan tim merah internal untuk semua sistem AI yang berisiko lebih rendah dan non-generatif. Ini dapat dilakukan oleh orang-orang di dalam organisasi Anda.

Pelajari selengkapnya tentang tim merah dan cara menilai kebutuhan tim merah sistem Anda: Microsoft AI Red Team

Evaluasi model

Sebagai bagian dari pengujian end-to-end, penting untuk mengevaluasi model itu sendiri.

  • Kartu Model: Untuk model yang tersedia untuk umum, seperti yang ada di HuggingFace, Anda dapat memeriksa Kartu Model setiap model sebagai referensi yang berguna untuk memahami apakah model adalah yang tepat untuk kasus penggunaan Anda. Baca selengkapnya tentang Kartu Model.

  • Pengujian manual: Manusia melakukan pengujian langkah demi langkah tanpa skrip adalah komponen penting dari evaluasi model yang mendukung...

    • Mengukur kemajuan pada sekumpulan kecil masalah prioritas. Saat mengurangi bahaya tertentu, seringkali paling produktif untuk terus memeriksa kemajuan secara manual terhadap himpunan data kecil sampai bahaya tidak lagi diamati sebelum pindah ke pengukuran otomatis.

    • Menentukan dan melaporkan metrik sampai pengukuran otomatis cukup dapat diandalkan untuk digunakan sendiri.

    • Pemeriksaan spot secara berkala untuk mengukur kualitas pengukuran otomatis.

  • Pengujian otomatis: Pengujian yang dijalankan secara otomatis juga merupakan komponen penting dari evaluasi model yang mendukung...

    • Mengukur dalam skala besar dengan peningkatan cakupan untuk memberikan hasil yang lebih komprehensif.

    • Pengukuran yang sedang berlangsung untuk memantau regresi apa pun saat sistem, penggunaan, dan mitigasi berevolusi.

  • Pemilihan model: Pilih model yang cocok untuk tujuan Anda dan edukasi diri Anda untuk memahami kemampuan, batasan, dan potensi tantangan keselamatannya. Saat menguji model Anda, pastikan model tersebut menghasilkan hasil yang sesuai untuk penggunaan Anda. Untuk memulai, tujuan untuk sumber model Microsoft (dan non-Microsoft/sumber terbuka) meliputi:

Ukuran - Menilai risiko dan mitigasi

Praktik yang direkomendasikan meliputi:

  • Menetapkan Content Moderator: Content Moderator memeriksa konten teks, gambar, dan video untuk materi yang berpotensi menyinggung, berisiko, atau tidak diinginkan dalam konten. Pelajari selengkapnya: Pengantar Content Moderator (Pelatihan Microsoft Learn).

    • Gunakan filter keamanan konten: Ansambel model klasifikasi multi-kelas ini mendeteksi empat kategori konten berbahaya (kekerasan, kebencian, seksual, dan bahaya diri) masing-masing pada empat tingkat keparahan (aman, rendah, sedang, dan tinggi). Pelajari selengkapnya: Cara mengonfigurasi filter konten dengan Azure OpenAI Service.

    • Terapkan meta-prompt: Meta-prompt adalah pesan sistem yang disertakan di awal perintah dan digunakan untuk memandikan model dengan konteks, instruksi, atau informasi lain yang relevan dengan kasus penggunaan Anda. Instruksi ini digunakan untuk memandu perilaku model. Pelajari lebih lanjut: Membuat pagar pembatas keamanan yang efektif dengan metaprompt / rekayasa pesan sistem.

    • Menggunakan daftar blokir: Ini memblokir penggunaan istilah atau pola tertentu dalam perintah. Pelajari selengkapnya: Gunakan daftar blokir di Azure OpenAI.

    • Kenali bukti model: Pembuktian adalah sejarah kepemilikan model, atau who-what-where-when, dan sangat penting untuk dipahami. Siapa yang mengumpulkan data dalam model? Siapa yang berkaitan dengan data? Jenis data apa yang digunakan? Di mana data dikumpulkan? Kapan data dikumpulkan? Mengetahui dari mana data model berasal dapat membantu Anda menilai kualitas, keandalan, dan menghindari penggunaan data yang tidak etis, tidak adil, bias, atau tidak akurat.

    • Gunakan alur standar: Gunakan satu con mode tenda ration pipeline daripada menarik bersama-sama bagian sepotong. Pelajari selengkapnya: Memahami alur pembelajaran mesin.

  • Menerapkanmitigasi UI: Ini memberikan kejelasan penting kepada pengguna Anda tentang kemampuan dan batasan fitur berbasis AI. Untuk membantu pengguna dan memberikan transparansi tentang fitur Anda, Anda dapat:

    • Mendorong pengguna untuk mengedit output sebelum menerimanya

    • Menyoroti potensi ketidakakuratan dalam output AI

    • Mengungkapkan peran AI dalam interaksi

    • Mengutip referensi dan sumber

    • Batasi panjang input dan output jika sesuai

    • Berikan struktur keluar input atau output – perintah harus mengikuti format standar

    • Siapkan respons yang telah ditentukan sebelumnya untuk perintah kontroversial.

  • Menerapkan perulangan umpan balik pelanggan: Mendorong pengguna Anda untuk terlibat secara aktif dalam perulangan umpan balik:

    • Minta umpan balik langsung di aplikasi/produk Anda menggunakan mekanisme umpan balik sederhana yang tersedia dalam konteks sebagai bagian dari pengalaman pengguna.

    • Terapkan teknik mendengarkan sosial di saluran yang digunakan pelanggan Anda untuk percakapan awal tentang masalah fitur, kekhawatiran, dan kemungkinan bahaya.

Kelola - Mengurangi risiko AI

Rekomendasi untuk mengurangi risiko AI meliputi:

  • Pemantauan penyalahgunaan: Metodologi ini mendeteksi dan mengurangi instans konten dan/atau perilaku berulang yang menyarankan layanan telah digunakan dengan cara yang dapat melanggar Kode Etik atau ketentuan produk lain yang berlaku. Pelajari lebih lanjut: Pemantauan Penyalahgunaan.

  • Pengiriman bertahap: Luncurkan solusi AI Anda secara perlahan untuk menangani laporan dan kekhawatiran masuk.

  • Rencana respons insiden: Untuk setiap risiko prioritas tinggi, evaluasi apa yang akan terjadi dan berapa lama waktu yang diperlukan untuk menanggapi insiden, dan seperti apa proses responsnya.

  • Kemampuan untuk menonaktifkan fitur atau sistem: Menyediakan fungsionalitas untuk menonaktifkan fitur jika insiden akan atau telah terjadi yang memerlukan jeda fungsionalitas untuk menghindari bahaya lebih lanjut.

  • Kontrol/pemblokiran akses pengguna: Kembangkan cara untuk memblokir pengguna yang menyalahgunakan sistem.

  • Umpan balik pengguna: Gunakan mekanisme untuk mendeteksi masalah dari sisi pengguna.

    • Minta umpan balik langsung dalam produk Anda, dengan mekanisme umpan balik sederhana yang tersedia dalam konteks alur kerja umum.

    • Terapkan teknik mendengarkan sosial di saluran yang digunakan pelanggan Anda untuk percakapan awal tentang masalah fitur, kekhawatiran, dan kemungkinan bahaya.

  • Penyebaran data telemetri yang bertanggung jawab: Mengidentifikasi, mengumpulkan, dan memantau sinyal yang menunjukkan kepuasan pengguna atau kemampuan mereka untuk menggunakan sistem sebagaimana dimaksud, memastikan Anda mengikuti undang-undang privasi, kebijakan, dan komitmen yang berlaku. Gunakan data telemetri untuk mengidentifikasi celah dan meningkatkan sistem.

Alat dan sumber daya