Mengamankan sistem AI agenik otonom

Nama pilar: Memantau dan mendeteksi ancaman
Nama pola: Sistem AI agenik yang aman

---

Konteks dan masalah

Sistem AI agenik otonom dapat merencanakan, memanggil alat, mengakses data, dan menjalankan tindakan dengan intervensi manusia terbatas. Ketika otonomi meningkat, begitu juga dampak potensial dari ketidakselarasan, penyalahgunaan, dan kompromi.

Artikel Pola & Praktik pendamping Mengurangi risiko untuk sistem AI agenik otonom menguraikan risiko desain, keamanan, dan tata kelola yang diperkenalkan oleh perilaku agenik. Pola ini bergeser dari identifikasi risiko ke pengurangan risiko, berfokus pada kontrol dan keputusan desain yang mengurangi risiko tersebut dalam praktiknya.

Solusi

Mengamankan sistem agenik memerlukan strategi pertahanan mendalam yang mengasumsikan kegagalan pada masing-masing lapisan dan sistem desain sehingga tidak ada kegagalan tunggal yang menghasilkan bahaya yang tidak dapat diterima.

Kontrol dalam lapisan mitigasi

Kontrol lapisan model

Model bertindak sebagai mesin penalaran agen dan memengaruhi bagaimana agen menginterpretasikan instruksi, merencanakan tindakan, dan menanggapi masukan yang bersifat adversarial. Model yang berbeda menawarkan berbagai kemampuan dan fitur keamanan yang memengaruhi output dan tindakan agen. Memilih model yang sesuai membantu menghindari ketidakselarasan, kesalahan, dan hasil yang tidak aman.

Kontrol yang direkomendasikan:

• Pemilihan model yang disengaja: Pilih model yang kedalaman penalaran, perilaku penolakan, dan karakteristik penggunaan alatnya cocok dengan profil otonomi dan risiko agen. Mengurangi ketidakselarasan tugas dan tindakan yang tidak aman.
• Tata kelola rantai pasokan model: Perlakukan model sebagai dependensi keamanan dengan melacak versi, meninjau pembaruan, dan memvalidasi perubahan sebelum penyebaran. Mengurangi kompromi rantai pasokan.
• Evaluasi dan tim merah: Terus menguji model untuk ancaman agenik seperti injeksi lintas perintah, pemecahan niat, dan pemilihan alat yang tidak aman. Mengurangi pembajakan agen dan tindakan yang tidak diinginkan.
• Perataan kemampuan: Hindari model yang terlalu mampu ketika model yang lebih sederhana atau lebih terkendala memenuhi kebutuhan sistem. Mengurangi otonomi yang berlebihan dan peningkatan radius ledakan.

Kontrol lapisan sistem keamanan

Lapisan sistem keamanan mencegat kegagalan pada runtime, ketika agen berinteraksi dengan konten, alat, API, dan pengguna yang tidak tepercaya. Perlindungan ini membentuk pertahanan penting terhadap risiko operasional, termasuk pembajakan agen, output berbahaya, kebocoran data sensitif, dan penyalahgunaan runtime.

Kontrol yang direkomendasikan:

• Pemfilteran input dan output: Mendeteksi dan memblokir input dan output berbahaya, manipulatif, atau tidak aman, termasuk injeksi prompt tidak langsung. Mengurangi pembajakan agen dan kebocoran data sensitif.
• Pagar pembatas agen: Terapkan kepatuhan tugas dan cegah invokasi alat di luar cakupan atau tidak aman selama eksekusi. Mengurangi tindakan yang tidak diinginkan dan penyalahgunaan berdampak tinggi.
• Pencatatan dan Observabilitas: Menangkap rencana agen, panggilan alat, keputusan, dan hasil untuk mendukung audit, respons insiden, dan peningkatan. Mengurangi kegagalan pemahaman dan penyalahgunaan yang tidak terdeteksi.
• Penyalahgunaan dan deteksi anomali: Pantau upaya pembobolan berulang atau pola anomali perilaku. Mengatasi pemeriksaan persisten dan eksfiltrasi terselubung.

Kontrol lapisan aplikasi

Lapisan aplikasi mendefinisikan bagaimana agen dirancang, tindakan apa yang dapat diambil, dan bagaimana kontrol diberlakukan. Di sinilah prinsip keselamatan menjadi perilaku sistem yang dapat ditegakkan.

Kontrol yang direkomendasikan:

• Agen sebagai layanan mikro: Rancang agen seperti layanan mikro dengan izin yang terisolasi dan akses alat yang dibatasi secara sempit. Mengurangi ketidakselarasan, radius ledakan, dan kebocoran data sensitif.
• Skema tindakan eksplisit: Tentukan tindakan yang diizinkan, input yang diperlukan, tingkat risiko, batasan eksekusi, dan persyaratan pengelogan. Mengurangi tindakan yang tidak diinginkan dan pemanggilan alat yang tidak aman.
• Deterministik human-in-the-loop (HITL): Memastikan pengawasan manusia untuk tindakan berisiko tinggi atau tidak dapat diubah melalui logika sistem orkestrator dibandingkan dengan penalaran model. Mengurangi kesenjangan kontrol pengawasan dan ketidakselarasan.
• Hak istimewa terkecil dan desain tindakan paling sedikit: Mulailah tanpa tindakan yang diizinkan secara default dan secara bertahap mengaktifkan kemampuan berdasarkan peran dan risiko. Tetapkan setiap agen identitas unik yang dapat diverifikasi untuk memberlakukan RBAC. Mengurangi kebocoran data sensitif, penyebaran agen, dan pemberian izin yang berlebihan.
• Pesan sistem sebagai penguatan: Gunakan instruksi sistem terstruktur untuk memperkuat peran dan batasan, selalu didukung oleh kontrol deterministik. Mengurangi pembajakan dan ketidakselarasan agen.

Memosisikan kontrol lapisan

Lapisan posisi membentuk bagaimana orang memahami, mempercayai, dan mengandalkan sistem agenik. Posisi yang buruk dapat menimbulkan risiko bahkan ketika kontrol teknis kuat.

Kontrol yang direkomendasikan:

• Pengungkapan yang jelas: Jadikan eksplisit ketika pengguna berinteraksi dengan agen AI otonom. Mengurangi kegagalan transparansi dan pengungkapan.
• Transparansi kemampuan: Komunikasikan apa yang dapat dan tidak dapat dilakukan agen, termasuk batasan dan ketidakpastian. Hindari memposisikan agen sebagai otoritatif atau tidak bisa salah. Mengurangi keandalan yang tidak pantas.
• Batas yang terlihat pengguna: Munculkan tindakan, persetujuan, dan hasil yang direncanakan sehingga pengguna dapat mendeteksi perilaku abnormal. Mengurangi kegagalan keterpahaman.
• Pola UX aman: Pastikan mekanisme peninjauan, persetujuan, dan pematian dapat diakses dan dilindungi. Mengurangi penyalahgunaan dan keandalan berlebihan.

Solusi Microsoft

Kontrol di atas menjelaskan apa yang harus diterapkan. Solusi Microsoft berikut membantu mengoprasikan mitigasi ini di seluruh identitas, tata kelola, penegakan runtime, dan deteksi.

Sarana kontrol utama

• Microsoft Agent 365:
  • Menyediakan inventarisasi terpusat, tata kelola, batas akses, dan visibilitas lintas agen.
  • Dukungan: pencegahan agen sprawl, prinsip hak akses minimum, dan tata kelola. Dukungan: pencegahan sprawl agen, prinsip hak istimewa terkecil, tata kelola.

Pemilihan dan svaluasi model

• Katalog Model Microsoft Foundry untuk mengevaluasi dan memilih model yang sesuai untuk kasus penggunaan, termasuk garis besar keamanan dan keselamatan.
• Agen AI Red Teaming Microsoft Foundry dan Python Risk Identification Tool (PyRIT) untuk tim merah dan evaluasi berkelanjutan.

Sistem keamanan dan mitigasi waktu proses

• Microsoft Foundry (Pagar pembatas, Filter Konten, Pemantauan Penyalahgunaan)
  • Menerapkan kepatuhan tugas, memfilter input dan output yang tidak tepercaya, dan mendeteksi pola penyalahgunaan.
  • Dukungan: Pencegahan injeksi prompt, pengurangan kebocoran.

Perlindungan identitas dan data

• Microsoft Entra:

  • Menyediakan identitas, akses kondisional, dan kontrol akses berbasis peran untuk agen.
  • Dukungan: hak istimewa terkecil, kontrol akses.

• Microsoft Purview:

  • Menyediakan klasifikasi data, tata kelola, dan penegakan kebijakan.
  • Mendukung: perlindungan terhadap data sensitif.

Desain UX

• Toolkit Interaksi AI Manusia (HAX) untuk pengungkapan dan pola UX yang berpusat pada manusia.
• Secure by Design UX Toolkit untuk pola UX yang aman

Deteksi dan respons (mendukung)

• Microsoft Defender dan Microsoft Sentinel untuk manajemen postur keamanan, korelasi sinyal, dan respons insiden di seluruh beban kerja agen.
• Azure Monitor dan Application Insights untuk telemetri dan pengamatan untuk perilaku dan performa agen.

Bimbingan

Organisasi yang ingin mengadopsi pola ini dapat menerapkan praktik yang dapat ditindaklanjuti berikut:

Kategori Praktik	Tindakan yang Disarankan	Sumber Daya
Tata kelola untuk alat, agen, dan model	Gabungkan agen ke Foundry menggunakan framework yang didukung atau daftarkan agen kustom	Pesawat Pengendali Microsoft Foundry
Keamanan konten & ketahanan terhadap injeksi perintah	Memfilter masukan dan keluaran; memperlakukan konten yang diperoleh sebagai tidak dapat dipercaya; blokir injeksi prompt tidak langsung	Pemfilteran Konten Foundry dan Prompt Shields
Kepatuhan tugas & keamanan alat	Menerapkan daftar izin alat dan validasi deterministik	Panduan Pengaman Agen Foundry
AI red-teaming	Terus menguji penyuntikan perintah, pemecahan maksud, pemilihan alat yang tidak aman, dan kebocoran	Foundry AI Red Teaming Agent / PyRIT
Identitas dan akses untuk agen	Menerapkan hak istimewa terkecil, akses bersyarkat, dan tata kelola siklus hidup	Microsoft Entra
Kepatuhan dan tata kelola data	Mengklasifikasikan dan melindungi data sensitif	Microsoft Purview
Manajemen postur	Menilai konfigurasi dan kerentanan	Microsoft Defender untuk Awan
Mendeteksi penyalahgunaan	Menghubungkan log dan jejak	Microsoft Sentinel

Hasil

Keuntungan

• Agen beroperasi dalam niat, izin, dan batas yang ditentukan.
• Tindakan berisiko tinggi membutuhkan persetujuan manusia deterministik.
• Perilaku agen dapat diamati, dapat diaudit, dan diatur dalam skala besar.
• Paparan data sensitif dikurangi melalui hak istimewa paling sedikit dan penegakan kebijakan.
• Organisasi mempertahankan visibilitas dan kontrol saat penggunaan agen tumbuh.
• Kepercayaan dibangun melalui transparansi, akuntabilitas, dan perilaku yang dapat diprediksi.

Trade-off

• Upaya rekayasa tambahan diperlukan untuk menerapkan kontrol berlapis.
• Sistem otonom memperkenalkan kompleksitas arsitektur dan operasional.
• Pengawasan manusia menambah gesekan pada alur kerja berisiko tinggi.
• Tata kelola dan pengamatan memerlukan investasi operasional berkelanjutan.

Faktor keberhasilan utama

• Kepatuhan tugas
• Keterlibatan manusia
• Perlindungan deterministik
• Transparansi dan pengungkapan
• Resistensi terhadap pembajakan
• Hak istimewa dan tata kelola terkecil
• Kesadaran rantai pasokan

RINGKASAN

Membuka kunci potensi manusia dimulai dengan kepercayaan. Kemampuan sistem agenik untuk merencanakan, memutuskan, dan bertindak secara otonom berarti bahwa kesalahan kecil, pengawasan, atau kesenjangan keamanan dapat menyebabkan konsekuensi signifikan dan hilangnya kepercayaan.

Ketika sistem ini menjadi lebih terintegrasi secara mendalam dengan alat, API, dan agen lain, perilaku mereka menjadi semakin kompleks —dan begitu juga jalur di mana bahaya dapat terjadi. Risiko yang terkait dengan perilaku agenik bersifat sistemik dan memerlukan strategi mitigasi yang mencakup tumpukan sistem penuh.

Dengan menerapkan pertahanan secara mendalam di seluruh lapisan model, sistem keselamatan, aplikasi, dan posisi, dan dengan memanfaatkan ekosistem manajemen keamanan dan agen terintegrasi Microsoft, organisasi dapat menyebarkan sistem agenik yang otonom, dapat diamati, dan tangguh berdasarkan desain.