Pemberitahuan untuk beban kerja AI (Pratinjau)
Artikel ini mencantumkan pemberitahuan keamanan yang mungkin Anda dapatkan untuk beban kerja AI dari Microsoft Defender untuk Cloud dan paket Pertahanan Microsoft apa pun yang Anda aktifkan. Peringatan yang ditampilkan pada lingkungan Anda tergantung pada sumber daya dan layanan yang dilindungi, serta konfigurasi yang disesuaikan.
Catatan
Beberapa pemberitahuan yang baru ditambahkan didukung oleh Inteligensi Ancaman Microsoft Defender dan Microsoft Defender untuk Titik Akhir mungkin tidak terdokumentasi.
Pelajari cara menanggapi pemberitahuan ini.
Pelajari cara mengekspor pemberitahuan.
Catatan
Pemberitahuan dari sumber yang berbeda mungkin membutuhkan waktu yang berbeda untuk muncul. Misalnya, pemberitahuan yang memerlukan analisis lalu lintas jaringan mungkin membutuhkan waktu lebih lama untuk muncul daripada pemberitahuan yang terkait dengan proses mencurigakan yang berjalan pada komputer virtual.
Pemberitahuan beban kerja AI
Upaya pencurian kredensial yang terdeteksi pada penyebaran model Azure OpenAI
(AI. Azure_CredentialTheftAttempt)
Deskripsi: Pemberitahuan pencurian kredensial dirancang untuk memberi tahu SOC ketika kredensial terdeteksi dalam respons model GenAI terhadap permintaan pengguna, menunjukkan potensi pelanggaran. Pemberitahuan ini sangat penting untuk mendeteksi kasus kebocoran kredensial atau pencurian, yang unik untuk AI generatif dan dapat memiliki konsekuensi parah jika berhasil.
Taktik MITRE: Akses Kredensial, Gerakan Lateral, Eksfiltrasi
Tingkat keparahan: Sedang
Upaya Jailbreak pada penyebaran model Azure OpenAI diblokir oleh Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Deskripsi: Pemberitahuan Jailbreak, dilakukan menggunakan teknik injeksi prompt langsung, dirancang untuk memberi tahu SOC ada upaya untuk memanipulasi prompt sistem untuk melewati perlindungan AI generatif, yang berpotensi mengakses data sensitif atau fungsi istimewa. Ini menunjukkan bahwa upaya tersebut diblokir oleh Azure Responsible AI Content Safety (AKA Prompt Shields), memastikan integritas sumber daya AI dan keamanan data.
Taktik MITRE: Eskalasi Hak Istimewa, Penghindarian Pertahanan
Tingkat keparahan: Sedang
Upaya Jailbreak pada penyebaran model Azure OpenAI terdeteksi oleh Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Deskripsi: Pemberitahuan Jailbreak, dilakukan menggunakan teknik injeksi prompt langsung, dirancang untuk memberi tahu SOC ada upaya untuk memanipulasi prompt sistem untuk melewati perlindungan AI generatif, yang berpotensi mengakses data sensitif atau fungsi istimewa. Ini menunjukkan bahwa upaya tersebut terdeteksi oleh Azure Responsible AI Content Safety (AKA Prompt Shields), tetapi tidak diblokir karena pengaturan pemfilteran konten atau karena kepercayaan diri yang rendah.
Taktik MITRE: Eskalasi Hak Istimewa, Penghindarian Pertahanan
Tingkat keparahan: Sedang
Paparan Data Sensitif Terdeteksi dalam Penyebaran Model Azure OpenAI
(AI. Azure_DataLeakInModelResponse.Sensitif)
Deskripsi: Pemberitahuan kebocoran data sensitif dirancang untuk memberi tahu SOC bahwa model GenAI merespons permintaan pengguna dengan informasi sensitif, berpotensi karena pengguna jahat yang mencoba melewati perlindungan AI generatif untuk mengakses data sensitif yang tidak sah.
Taktik MITRE: Koleksi
Tingkat keparahan: Sedang
Aplikasi AI yang rusak\model\data mengarahkan upaya pengelabuan pada pengguna
(AI. Azure_PhishingContentInModelResponse)
Deskripsi: Pemberitahuan ini menunjukkan kerusakan aplikasi AI yang dikembangkan oleh organisasi, karena telah secara aktif membagikan URL berbahaya yang diketahui digunakan untuk phishing dengan pengguna. URL yang berasal dari dalam aplikasi itu sendiri, model AI atau data yang dapat diakses aplikasi.
Taktik MITRE: Dampak (Defacement)
Tingkat keparahan: Tinggi
URL pengelabuan yang dibagikan dalam aplikasi AI
(AI. Azure_PhishingContentInAIApplication)
Deskripsi: Pemberitahuan ini menunjukkan potensi kerusakan aplikasi AI, atau upaya pengelabuan oleh salah satu pengguna akhir. Pemberitahuan menentukan bahwa URL berbahaya yang digunakan untuk phishing diteruskan selama percakapan melalui aplikasi AI, namun asal URL (pengguna atau aplikasi) tidak jelas.
Taktik MITRE: Dampak (Defacement), Koleksi
Tingkat keparahan: Tinggi
Upaya pengelabuan terdeteksi dalam aplikasi AI
(AI. Azure_PhishingContentInUserPrompt)
Deskripsi: Pemberitahuan ini menunjukkan URL yang digunakan untuk serangan pengelabuan dikirim oleh pengguna ke aplikasi AI. Konten biasanya memikat pengunjung untuk memasukkan kredensial perusahaan atau informasi keuangan mereka ke situs web yang terlihat sah. Mengirim ini ke aplikasi AI mungkin untuk tujuan merusaknya, meracuni sumber data yang dapat diaksesnya, atau mendapatkan akses ke karyawan atau pelanggan lain melalui alat aplikasi.
Taktik MITRE: Koleksi
Tingkat keparahan: Tinggi
Catatan
Untuk lansiran yang ada dalam pratinjau: Persyaratan Tambahan Pratinjau Azure mencakup persyaratan hukum tambahan yang berlaku untuk fitur Azure yang masih dalam versi beta, pratinjau, atau belum dirilis ke ketersediaan umum.