Resumo
Neste módulo, você aprendeu sobre os conceitos fundamentais de segurança de IA. Você explorou como a segurança de IA difere da segurança cibernética tradicional, particularmente devido à natureza não determinística da IA generativa e à superfície de ataque expandida criada por interfaces de linguagem natural. Você também aprendeu sobre a importância da IA responsável e das estruturas padrão do setor, como o OWASP Top 10 para aplicativos LLM e o MITRE ATLAS.
Você examinou as três camadas da arquitetura de IA — uso, aplicativo e plataforma — e as preocupações de segurança distintas em cada camada. Em seguida, você explorou cinco categorias de ataques específicos à IA:
- Jailbreaking: Técnicas que ignoram as medidas de segurança, incluindo injeção direta, ataques do tipo crescendo e truques de codificação
- Injeção de prompt: ataques diretos e indiretos (XPIA) que manipulam o comportamento do modelo por meio de instruções mal-intencionadas
- Manipulação de modelo: ataques de envenenamento por modelo e envenenamento de dados que comprometem o modelo durante o treinamento
- Exfiltração de dados: extração não autorizada de modelos, dados de treinamento ou dados de interação
- Dependência excessiva: o risco comportamental humano de aceitar a saída de IA sem verificação
Para cada tipo de ataque, você aprendeu sobre estratégias de mitigação em camadas que combinam controles técnicos, monitoramento e supervisão humana. A segurança da IA é um campo em rápida evolução— novas técnicas de ataque e contramedidas continuam a surgir. Manter-se atualizado com estruturas como OWASP, MITRE ATLAS e NIST AI RMF é essencial para manter controles de segurança eficazes.
Outros recursos
Para continuar sua jornada de aprendizagem, acesse: