Aviseringar för AI-arbetsbelastningar (förhandsversion)
Den här artikeln innehåller säkerhetsaviseringar som du kan få för AI-arbetsbelastningar från Microsoft Defender för molnet och eventuella Microsoft Defender-planer som du har aktiverat. De aviseringar som visas i din miljö beror på de resurser och tjänster som du skyddar och din anpassade konfiguration.
Kommentar
Några av de nyligen tillagda aviseringarna som drivs av Microsoft Defender Hotinformation och Microsoft Defender för Endpoint kan vara odokumenterade.
Lär dig hur du svarar på dessa aviseringar.
Lär dig hur du exporterar aviseringar.
Kommentar
Aviseringar från olika källor kan ta olika tid att visas. Aviseringar som kräver analys av nätverkstrafik kan till exempel ta längre tid att visas än aviseringar relaterade till misstänkta processer som körs på virtuella datorer.
AI-arbetsbelastningsaviseringar
Identifierade försök till stöld av autentiseringsuppgifter i en Azure OpenAI-modelldistribution
(AI. Azure_CredentialTheftAttempt)
Beskrivning: Aviseringen om stöld av autentiseringsuppgifter är utformad för att meddela SOC när autentiseringsuppgifter identifieras i GenAI-modellsvar på en användarprompt, vilket indikerar ett potentiellt intrång. Den här aviseringen är avgörande för att identifiera fall av läckage eller stöld av autentiseringsuppgifter, som är unika för generativ AI och kan få allvarliga konsekvenser om den lyckas.
MITRE-taktik: Åtkomst till autentiseringsuppgifter, lateral förflyttning, exfiltrering
Allvarlighetsgrad: Medel
Ett jailbreak-försök för en Azure OpenAI-modelldistribution blockerades av Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Beskrivning: Jailbreak-aviseringen, som utförs med hjälp av en direkt promptinmatningsteknik, är utformad för att meddela SOC att det gjordes ett försök att manipulera systemprompten för att kringgå generativ AI:s skydd, eventuellt komma åt känsliga data eller privilegierade funktioner. Den visade att sådana försök blockerades av Azure Responsible AI Content Safety (AKA Prompt Shields), vilket säkerställde integriteten för AI-resurserna och datasäkerheten.
MITRE-taktik: Privilege Escalation, Defense Evasion
Allvarlighetsgrad: Medel
Ett jailbreak-försök för en Azure OpenAI-modelldistribution upptäcktes av Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Beskrivning: Jailbreak-aviseringen, som utförs med hjälp av en direkt promptinmatningsteknik, är utformad för att meddela SOC att det gjordes ett försök att manipulera systemprompten för att kringgå generativ AI:s skydd, eventuellt komma åt känsliga data eller privilegierade funktioner. Den visade att sådana försök upptäcktes av Azure Responsible AI Content Safety (AKA Prompt Shields), men blockerades inte på grund av inställningar för innehållsfiltrering eller på grund av lågt förtroende.
MITRE-taktik: Privilege Escalation, Defense Evasion
Allvarlighetsgrad: Medel
Exponering av känsliga data har identifierats i Azure OpenAI-modelldistribution
(AI. Azure_DataLeakInModelResponse.Sensitive)
Beskrivning: Aviseringen om läckage av känsliga data är utformad för att meddela SOC att en GenAI-modell svarade på en användarfråga med känslig information, vilket kan bero på att en obehörig användare försöker kringgå generativ AI:s skydd för åtkomst till obehöriga känsliga data.
MITRE-taktik: Samling
Allvarlighetsgrad: Medel
Skadat AI-program\modell\data riktade ett nätfiskeförsök mot en användare
(AI. Azure_PhishingContentInModelResponse)
Beskrivning: Den här varningen anger att ett AI-program som utvecklats av organisationen är skadat eftersom det aktivt har delat en känd skadlig URL som används för nätfiske med en användare. URL:en har sitt ursprung i själva programmet, AI-modellen eller de data som programmet kan komma åt.
MITRE-taktik: Effekt (defacement)
Allvarlighetsgrad: Hög
Nätfiske-URL som delas i ett AI-program
(AI. Azure_PhishingContentInAIApplication)
Beskrivning: Den här varningen anger en potentiell skada för ett AI-program eller ett nätfiskeförsök av en av slutanvändarna. Aviseringen avgör att en skadlig URL som används för nätfiske skickades under en konversation via AI-programmet, men url:ens ursprung (användare eller program) är oklart.
MITRE-taktik: Impact (Defacement), Collection
Allvarlighetsgrad: Hög
Nätfiskeförsök har upptäckts i ett AI-program
(AI. Azure_PhishingContentInUserPrompt)
Beskrivning: Den här varningen anger att en URL som används för nätfiskeattack har skickats av en användare till ett AI-program. Innehållet lockar vanligtvis besökare att ange sina företagsautentiseringsuppgifter eller finansiell information på en legitim webbplats. Att skicka detta till ett AI-program kan vara i syfte att skada det, förgifta de datakällor som det har åtkomst till eller få åtkomst till anställda eller andra kunder via programmets verktyg.
MITRE-taktik: Samling
Allvarlighetsgrad: Hög
Kommentar
För aviseringar som är i förhandsversion: Tilläggsvillkoren för Azure Preview innehåller ytterligare juridiska villkor som gäller för Azure-funktioner som är i betaversion, förhandsversion eller på annat sätt ännu inte har släppts i allmän tillgänglighet.