Upozornění pro úlohy AI (Preview)
Tento článek obsahuje seznam výstrah zabezpečení, které můžete získat pro úlohy AI z Programu Microsoft Defender pro cloud a všech plánů Microsoft Defenderu, které jste povolili. Výstrahy zobrazené ve vašem prostředí závisí na prostředcích a službách, které chráníte, a na vlastní konfiguraci.
Poznámka:
Některé nedávno přidané výstrahy využívající Analýza hrozeb v programu Microsoft Defender a Microsoft Defender for Endpoint můžou být nezdokumentované.
Přečtěte si, jak na tato upozornění reagovat.
Zjistěte, jak exportovat upozornění.
Poznámka:
Zobrazení výstrah z různých zdrojů může trvat různě dlouho. Například výstrahy, které vyžadují analýzu síťového provozu, můžou trvat déle, než se zobrazí výstrahy související s podezřelými procesy spuštěnými na virtuálních počítačích.
Upozornění na úlohy AI
Zjištění pokusů o krádež přihlašovacích údajů v nasazení modelu Azure OpenAI
(AI. Azure_CredentialTheftAttempt)
Popis: Výstraha krádeže přihlašovacích údajů je navržená tak, aby upozorňovala SOC, když se v rámci odpovědí modelu GenAI na výzvu uživatele zjistí přihlašovací údaje, které značí potenciální porušení zabezpečení. Tato výstraha je zásadní pro detekci případů úniku nebo krádeže přihlašovacích údajů, které jsou jedinečné pro generování umělé inteligence a můžou mít závažné důsledky v případě úspěchu.
Taktika MITRE: Přístup k přihlašovacím údajům, laterální pohyb, exfiltrace
Závažnost: Střední
Pokus o jailbreak v nasazení modelu Azure OpenAI zablokoval stínění azure AI Content Safety Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Popis: Výstraha jailbreaku prováděná pomocí techniky přímé injektáže výzvy je navržena tak, aby oznámila SOC, že došlo k pokusu o manipulaci se systémem výzvy k obejití ochranných opatření generující umělé inteligence, potenciálně přístup k citlivým datům nebo privilegovaným funkcím. Ukázalo se, že takové pokusy zablokovala služba Azure Responsible AI Content Safety (AKA Prompt Shields), která zajišťuje integritu prostředků AI a zabezpečení dat.
Taktika MITRE: Eskalace oprávnění, únik obrany
Závažnost: Střední
Při pokusu o jailbreak v nasazení modelu Azure OpenAI se zjistilo zabezpečení obsahu Azure AI Štíty
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Popis: Výstraha jailbreaku prováděná pomocí techniky přímé injektáže výzvy je navržena tak, aby oznámila SOC, že došlo k pokusu o manipulaci se systémem výzvy k obejití ochranných opatření generující umělé inteligence, potenciálně přístup k citlivým datům nebo privilegovaným funkcím. Ukázalo se, že tyto pokusy zjistila služba Azure Responsible AI Content Safety (AKA Prompt Shields), ale neblokovala se kvůli nastavení filtrování obsahu nebo kvůli nízké spolehlivosti.
Taktika MITRE: Eskalace oprávnění, únik obrany
Závažnost: Střední
Zjištění ohrožení citlivých dat v nasazení modelu Azure OpenAI
(AI. Azure_DataLeakInModelResponse.Sensitive)
Popis: Výstraha o úniku citlivých dat je navržená tak, aby upozorňovala soc, že model GenAI reagoval na výzvu uživatele s citlivými informacemi, což může způsobit, že se uživatel se zlými úmysly pokusí obejít bezpečnostní opatření generující umělé inteligence pro přístup k neoprávněným citlivým datům.
Taktika MITRE: Kolekce
Závažnost: Střední
Poškozená aplikace AI\model\data směrovala pokus o útok phishing na uživatele
(AI. Azure_PhishingContentInModelResponse)
Popis: Tato výstraha indikuje poškození aplikace umělé inteligence vyvinuté organizací, protože aktivně sdílela známou škodlivou adresu URL použitou pro útok phishing s uživatelem. Adresa URL pocházející ze samotné aplikace, model AI nebo data, ke které má aplikace přístup.
Taktika MITRE: Dopad (defacement)
Závažnost: Vysoká
Adresa URL útoku phishing sdílená v aplikaci AI
(AI. Azure_PhishingContentInAIApplication)
Popis: Tato výstraha označuje potenciální poškození aplikace umělé inteligence nebo útok phishing některým z koncových uživatelů. Výstraha určuje, že během konverzace prostřednictvím aplikace AI byla předána škodlivá adresa URL použitá pro útok phishing, ale původ adresy URL (uživatele nebo aplikace) není jasné.
Taktika MITRE: Impact (Defacement), Collection
Závažnost: Vysoká
Pokus o útok phishing zjištěný v aplikaci AI
(AI. Azure_PhishingContentInUserPrompt)
Popis: Tato výstraha indikuje adresu URL použitou k útoku phishing uživatelem do aplikace AI. Obsah obvykle láká návštěvníky k zadávání firemních přihlašovacích údajů nebo finančních informací na legitimní web. Odeslání do aplikace AI může být pro účely poškození, otravování zdrojů dat, ke které má přístup, nebo získání přístupu k zaměstnancům nebo jiným zákazníkům prostřednictvím nástrojů aplikace.
Taktika MITRE: Kolekce
Závažnost: Vysoká
Poznámka:
Upozornění, která jsou ve verzi Preview: Doplňkové podmínky Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, preview nebo které ještě nejsou vydány v obecné dostupnosti.