Delen via


Waarschuwingen voor AI-workloads

In dit artikel worden de beveiligingswaarschuwingen vermeld die u mogelijk krijgt voor AI-workloads van Microsoft Defender voor Cloud en eventuele Microsoft Defender-abonnementen die u hebt ingeschakeld. De waarschuwingen die in uw omgeving worden weergegeven, zijn afhankelijk van de resources en services die u beveiligt en uw aangepaste configuratie.

Notitie

Sommige van de onlangs toegevoegde waarschuwingen mogelijk gemaakt door Microsoft Defender-bedreigingsinformatie en Microsoft Defender voor Eindpunt zijn mogelijk niet-gedocumenteerd.

Meer informatie over hoe u kunt reageren op deze waarschuwingen.

Meer informatie over het exporteren van waarschuwingen.

Notitie

Hoe snel een waarschuwing wordt weergegeven, hangt af van de bron van de waarschuwing. Waarschuwingen waarvoor analyse van netwerkverkeer is vereist, worden bijvoorbeeld later weergegeven dan waarschuwingen met betrekking tot verdachte processen op virtuele machines.

Waarschuwingen voor AI-workloads

Detected credential theft attempts on an Azure OpenAI model deployment (Pogingen tot diefstal van referenties gedetecteerd in een Azure OpenAI-modeli

(AI. Azure_CredentialTheftAttempt)

Beschrijving: De waarschuwing voor referentiediefstal is ontworpen om de SOC op de hoogte te stellen wanneer referenties worden gedetecteerd in genAI-modelreacties op een gebruikersprompt, wat aangeeft dat er een mogelijke inbreuk is. Deze waarschuwing is van cruciaal belang voor het detecteren van gevallen van referentielek of diefstal, die uniek zijn voor generatieve AI en ernstige gevolgen kunnen hebben als ze succesvol zijn.

MITRE-tactieken: referentietoegang, laterale verplaatsing, exfiltratie

Ernst: gemiddeld

Een jailbreakpoging op een Azure OpenAI-modelimplementatie is geblokkeerd door Azure AI Content Safety Prompt Shields

(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Beschrijving: De Jailbreak-waarschuwing, uitgevoerd met behulp van een directe promptinjectietechniek, is ontworpen om de SOC op de hoogte te stellen van een poging om de systeemprompt te manipuleren om de beveiligingsmechanismen van AI te omzeilen, mogelijk toegang tot gevoelige gegevens of bevoegde functies. Er is aangegeven dat dergelijke pogingen zijn geblokkeerd door Azure Responsible AI Content Safety (AKA Prompt Shields), waardoor de integriteit van de AI-resources en de gegevensbeveiliging wordt gewaarborgd.

MITRE-tactieken: Escalatie van bevoegdheden, defensieontduiking

Ernst: gemiddeld

Er is een jailbreakpoging op een Azure OpenAI-modelimplementatie gedetecteerd door Azure AI Content Safety Prompt Shields

(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Beschrijving: De Jailbreak-waarschuwing, uitgevoerd met behulp van een directe promptinjectietechniek, is ontworpen om de SOC op de hoogte te stellen van een poging om de systeemprompt te manipuleren om de beveiligingsmechanismen van AI te omzeilen, mogelijk toegang tot gevoelige gegevens of bevoegde functies. Er is aangegeven dat dergelijke pogingen zijn gedetecteerd door Azure Responsible AI Content Safety (AKA Prompt Shields), maar niet zijn geblokkeerd vanwege instellingen voor inhoudsfiltering of vanwege een lage betrouwbaarheid.

MITRE-tactieken: Escalatie van bevoegdheden, defensieontduiking

Ernst: gemiddeld

Blootstelling aan gevoelige gegevens gedetecteerd in azure OpenAI-modelimplementatie

(AI. Azure_DataLeakInModelResponse.Gevoelig)

Beschrijving: De waarschuwing voor het lekken van gevoelige gegevens is ontworpen om de SOC op de hoogte te stellen dat een GenAI-model heeft gereageerd op een gebruikersprompt met gevoelige informatie, mogelijk omdat een kwaadwillende gebruiker probeert de beveiligingsmechanismen van AI te omzeilen om toegang te krijgen tot onbevoegde gevoelige gegevens.

MITRE-tactieken: Verzameling

Ernst: gemiddeld

Beschadigde AI-toepassing\model\gegevens hebben een phishingpoging naar een gebruiker geleid

(AI. Azure_PhishingContentInModelResponse)

Beschrijving: Deze waarschuwing geeft een beschadiging aan van een AI-toepassing die is ontwikkeld door de organisatie, omdat deze actief een bekende schadelijke URL heeft gedeeld die wordt gebruikt voor phishing met een gebruiker. De URL is afkomstig uit de toepassing zelf, het AI-model of de gegevens die de toepassing kan openen.

MITRE-tactieken: Impact (Defacement)

Ernst: Hoog

Phishing-URL gedeeld in een AI-toepassing

(AI. Azure_PhishingContentInAIApplication)

Beschrijving: Deze waarschuwing geeft een mogelijke beschadiging van een AI-toepassing aan of een phishingpoging door een van de eindgebruikers. De waarschuwing bepaalt dat een schadelijke URL die wordt gebruikt voor phishing is doorgegeven tijdens een gesprek via de AI-toepassing, maar de oorsprong van de URL (gebruiker of toepassing) is onduidelijk.

MITRE tactiek: Impact (Defacement), Verzameling

Ernst: Hoog

Phishingpoging gedetecteerd in een AI-toepassing

(AI. Azure_PhishingContentInUserPrompt)

Beschrijving: Deze waarschuwing geeft aan dat een URL die wordt gebruikt voor phishingaanvallen is verzonden door een gebruiker naar een AI-toepassing. De inhoud probeert meestal om bezoekers te verleiden hun bedrijfsreferenties of financiële gegevens te verstrekken op website die eruit ziet als een betrouwbare site. Het verzenden hiervan naar een AI-toepassing kan het doel zijn om deze te beschadigen, de gegevensbronnen te vergiftigen waar hij toegang toe heeft of om toegang te krijgen tot werknemers of andere klanten via de hulpprogramma's van de toepassing.

MITRE-tactieken: Verzameling

Ernst: Hoog

Notitie

Voor waarschuwingen die in preview zijn: de aanvullende voorwaarden van Azure Preview bevatten aanvullende juridische voorwaarden die van toepassing zijn op Azure-functies die beschikbaar zijn in bèta, preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid.

Volgende stappen