Criar uma postura de segurança forte para IA

2025-04-30

Sua postura de segurança de IA é uma parte importante de sua estratégia de segurança geral. A IA prioriza elementos específicos de uma estratégia de segurança cibernética, como a proteção de dados. Este artigo ajuda você a desenvolver sua estratégia e prioridades para proteger a IA. Os artigos subsequentes nesta coleção ajudam você a identificar os elementos específicos da segurança cibernética para priorizar à medida que adota complementares de IA, ferramentas e novos aplicativos.

Sua postura de segurança é definida como a capacidade geral de defesa de segurança cibernética da sua organização, juntamente com o nível de preparação e status operacional para lidar com ameaças contínuas à segurança cibernética. Essa postura deve ser quantificável e mensurável, da mesma forma que qualquer outra métrica importante que pertença ao status operacional ou ao bem-estar de sua organização.

Criar uma postura de segurança forte para IA envolve trabalhar em sua organização, especialmente líderes em sua organização, para desenvolver uma estratégia e um conjunto de prioridades e objetivos. Em seguida, você identifica o trabalho técnico necessário para alcançar os objetivos e levar as várias equipes a realizá-los. Os artigos nesta biblioteca fornecem uma metodologia com diretrizes específicas à IA:

Prepare seu ambiente com proteções de segurança de base. Você provavelmente já tem muitas dessas proteções em vigor.
Descubra os aplicativos de IA que estão sendo usados em sua organização, incluindo os tipos de dados que os aplicativos estão usando.
Proteja o uso de ferramentas de IA em sua organização. Isso envolve recursos de proteção de dados específicos da IA e a garantia de que sua organização implementou uma proteção forte contra ameaças.
Governar IA para conformidade.

Diagrama que mostra o processo de implementação da segurança para IA.

Use esta biblioteca junto com as seguintes estruturas no Microsoft Learn:

Na imagem:

Use essa biblioteca (biblioteca segurança para IA) para saber como implementar recursos para proteger aplicativos e dados de IA em seu ambiente. Essas proteções ajudam a criar sua base de confiança zero.
Use a estrutura de adoção de Confiança Zero para continuar a progredir em direção à segurança de ponta a ponta. Cada um dos cenários de negócios de Confiança Zero também aumenta sua segurança para aplicativos e dados de IA.
Use o Cloud Adoption Framework para IA para desenvolver seu roteiro de ponta a ponta para a adoção da IA, incluindo IA gerativa e não geradora. Essa biblioteca inclui estratégias para escolher tecnologias de IA, processos para proteger e controlar a IA e recursos para design e implementação de IA.

Entender as motivações de seus líderes de negócios

Uma postura de segurança de IA forte permite inovação , capacita as organizações a criar e implantar IA com confiança e agilidade. O objetivo é capacitar a organização a criar, implantar e dimensionar sistemas de IA com confiança e, ao mesmo tempo, proteger contra riscos que possam prejudicar a confiança, a conformidade ou a estabilidade operacional. Ao inserir a segurança na base de iniciativas de IA, as organizações podem desbloquear todo o potencial da IA de forma responsável, garantindo que ela permaneça um ativo estratégico em vez de uma fonte de danos não intencionais.

Comece a desenvolver sua estratégia e prioridades, obtendo alinhamento com seus líderes de negócios. O que motiva seus líderes e por que eles se preocupam com sua postura de segurança para IA? A tabela a seguir fornece perspectivas de exemplo, mas é importante que você se reúna com cada um desses líderes e equipes e tenha uma compreensão compartilhada das motivações uns dos outros.

Função	Por que criar uma postura de segurança forte para IA é importante
Diretor executivo (CEO)	Os sistemas de IA moldam cada vez mais as decisões estratégicas e as interações do cliente. Uma violação ou manipulação da IA pode levar a decisões ruins, escrutínio regulatório, danos à reputação e perda de confiança. A forte segurança de IA é crucial para a organização proteger a reputação da empresa, garantir a conformidade legal e garantir uma transformação de IA bem-sucedida.
Diretor de Marketing (CMO)	As ferramentas de IA geram insights, direcionamento e personalização do cliente. Se comprometidas, essas ferramentas podem levar a vazamentos de dados, saídas tendenciosas ou danos à marca devido a conteúdo ou direcionamento inadequados. Proteger a IA garante a confiança no envolvimento do cliente, preservando a integridade da marca, evitando desastres de RP e demonstrando o compromisso da empresa em proteger a privacidade do cliente.
Diretor de Informações (CIO)	Um ambiente de IA seguro é essencial para garantir a confiabilidade do sistema, impedir o acesso não autorizado e manter a resiliência operacional. Isso permite que os CIOs integrem com confiança tecnologias de IA que aprimoram o negócio sem expor a empresa a riscos indevidos.
Diretor de Segurança da Informação (CISO)	A IA introduz novas superfícies de ataque e novos riscos, além de ampliar os riscos existentes. Novas superfícies de ataque incluem prompts, respostas, modelos, dados RAG, MCP (protocolo de contexto de modelo), dados de treinamento e envenenamento de dados, ataques de jailbreak, segurança de dados e muito mais. O CISO deve liderar esforços na modelagem de ameaças e na proteção de pipelines de IA para manter a postura de segurança da empresa. A segurança robusta de IA é uma extensão da estratégia geral de defesa cibernética para proteger os ativos da organização, cumprir as estruturas de segurança e manter a confiança dos clientes e das partes interessadas na era dos sistemas inteligentes.
Diretor de tecnologia (CTO)	Uma postura de segurança de IA forte é fundamental para que os CTOs protejam os ativos tecnológicos da organização e garantam que os sistemas de IA sejam executados de forma confiável conforme o esperado. Ao inserir a segurança no ciclo de vida de desenvolvimento de IA, o CTO ajuda a evitar violações de algoritmos confidenciais e a manter alta qualidade e confiança em produtos controlados por IA. Isso permite que a inovação prossiga sem riscos indevidos.
Diretor de Operações (COO)	A IA automatiza processos críticos na cadeia de suprimentos, logística e operações. Ataques a sistemas de IA podem interromper serviços, aumentar o risco operacional e causar atrasos dispendados. Uma postura de segurança de IA forte garante a continuidade e a eficiência dos negócios.
Diretor Financeiro (CFO)	Os CFOs veem uma postura robusta de segurança de IA como essencial para proteger a organização. Ele ajuda a evitar perdas financeiras imprevistas e garante a conformidade com as leis e obrigações de relatório.

Abordar o cenário de ameaças em evolução para IA

O GenAI apresenta novas superfícies de ataque, alterando efetivamente o cenário de risco. Além de gerenciar vetores de ameaças tradicionais, os líderes de segurança e de risco também precisam lidar com riscos amplificados, como vazamento de dados e compartilhamento excessivo de dados, além de novos riscos, como injeções de prompt, informações incorretas, vulnerabilidades de modelo e informações incorretas. Abordar o cenário de ameaças em evolução é crucial para habilitar a IA confiável.

Na ilustração:

As superfícies de ataque do GenAI introduzem riscos novos e amplificados.
Os vetores de ameaça que permanecem inalterados incluem seus aplicativos, identidades, pontos de extremidade, rede, dados e recursos de nuvem.
A GenAI apresenta novas superfícies de ataque, incluindo prompts, respostas, orquestração de IA, dados de treinamento, dados RAG (dados de geração aumentada de recuperação, ou seja, dados que resultam de interações dos seus dados ou outros dados externos com modelos de linguagem), modelos de IA e plug-ins de IA.
O GenAI apresenta novos riscos amplificados, incluindo vazamento de dados, jailbreak (comprometendo dispositivos que estão protegidos de outra forma), injeção indireta de comandos e vulnerabilidade de modelo.

Atualmente, os incidentes de segurança mais comuns na IA incluem:

Vazamento de dados e compartilhamento excessivo — os usuários podem vazar dados confidenciais para aplicativos de IA de sombra (aplicativos não aprovados pela sua equipe de TI). Os usuários também podem acessar dados confidenciais usando aplicativos de IA.
Vulnerabilidades e ameaças emergentes — atores ruins podem explorar vulnerabilidades em aplicativos de IA para acessar recursos valiosos.
Não conformidade — os regulamentos, incluindo regulamentos emergentes de IA, podem aumentar a incerteza. A adoção de IA não compatível pode aumentar a responsabilidade.

Os dois cenários de exemplo a seguir destacam a necessidade de criar uma postura de segurança forte para IA.

Como o compartilhamento excessivo e o vazamento de dados acontecem?

Neste exemplo, um funcionário da Contoso, Adele, localiza e usa dados confidenciais com vários aplicativos de IA.

Passo	Descrição	Riscos não mitigados
1	Adele ouve um membro da equipe fazendo referência ao Project Obsidian. Ela usa o Microsoft 365 Copilot para encontrar mais informações sobre ele. Copilot fornece a ela um resumo e um link para os documentos.	O Copilot pode processar dados confidenciais sem limitações. Dados confidenciais são superexpostos aos funcionários, incluindo aqueles que não devem ter acesso.
2	Adele continua usando Copilot para encontrar e coletar mais informações sobre o Project Obsidian.	Não há controles em vigor para detectar anomalias em aplicativos de IA.
3	Por curiosidade, Adele quer ver o que ChatGPT resumiria, então ela cola o conteúdo do arquivo no ChatGTP.	Não há nenhuma DLP (prevenção contra perda de dados) em vigor para evitar vazamento de dados para aplicativos de IA do consumidor.
4	Os detalhes do projeto foram revelados prematuramente, resultando em violações de dados. Portanto, a Contoso proibiu todos os aplicativos de IA no local de trabalho.	Proibir a IA voltada para o consumidor pode levar a um aumento do uso clandestino.

A Contoso poderia ter mitigado esses riscos fazendo o trabalho de preparação, descoberta e proteção do uso do aplicativo de IA.

Fase	Descrição
Preparar-se	Use o Entra e o Gerenciamento Avançado do SharePoint para dimensionar com o tamanho certo o acesso dos funcionários aos recursos. Use a Proteção de Informações do Purview para classificar e rotular dados confidenciais.
Descobrir	Use o DSPM do Purview para IA para descobrir riscos de dados. Use um relatório de avaliação de excesso de compartilhamento para avaliar os riscos de compartilhamento excessivo.
Proteger	Imponha o DLP do Purview para o Microsoft 365 Copilot para impedir que o Copilot resumisse dados confidenciais. Use o Gerenciamento de Riscos do Insider do Purview para detectar e investigar atividades de anomalias. Use a Proteção Adaptável para restringir dinamicamente o acesso a usuários de alto risco. Use o Defender para Aplicativos de Nuvem para bloquear aplicativos de alto risco. Use o Acesso Condicional do Entra para exigir que Adele aceite os Termos de Uso antes de conceder acesso ao ChatGPT. Use o DLP do ponto de extremidade do Purview para bloquear a colagem de dados confidenciais em aplicativos de IA para consumidores.

Como a IA pode introduzir o risco de conformidade?

Neste próximo exemplo, Jane foi designada para liderar a governança de IA para Contoso.

Passo	Descrição	Riscos não mitigados
1	Jane se esforça para interpretar os requisitos regulatórios em controles acionáveis para as equipes de TI implementarem.	Falta de especialistas que são bem versados em requisitos regulatórios e tecnologia.
2	Jane começa a se preparar para avaliações de risco, mas não está ciente dos sistemas de IA que estão sendo criados e usados na Contoso. Ela também não tem visibilidade sobre o uso e possíveis riscos de conformidade.	Nenhuma visibilidade dos sistemas de IA implantados no ambiente. Nenhuma governança de uso de IA.
3	Após várias entrevistas internas, Jane percebe que os desenvolvedores estão criando cerca de 14 aplicativos de IA simultaneamente, com vários padrões de segurança, proteção e controle de privacidade implementados.	Não há visibilidade dos controles embutidos em sistemas de IA criados por desenvolvedores.
4	Alguns aplicativos de IA usam dados pessoais sem guardrails padrão para avaliar os riscos.	Nenhuma avaliação de risco em vigor.
5	Os clientes reclamam que a IA da Contoso está criando conteúdo prejudicial e infundado.	Falta de controles para saídas de IA.

Os regulamentos de IA trazem incerteza e risco de responsabilidade esmagadora aos líderes responsáveis pela governança da IA. Sem alterações, a Contoso corre o risco de violar os requisitos regulatórios de IA e potencialmente enfrenta penalidades e danos à reputação.

A Contoso poderia ter mitigado esses riscos fazendo o trabalho de preparação, descoberta e proteção do uso do aplicativo de IA.

Fase	Descrição
Preparar-se	Use o Gerenciador de Conformidade do Purview para obter diretrizes sobre a implementação de controles que podem ajudar a atender aos requisitos de conformidade.
Descobrir	Use o Defender para Nuvem para descobrir os recursos de IA implantados em ambientes de nuvem. Use o Defender para Aplicativos de Nuvem para descobrir aplicativos de IA SaaS em uso.
Controlar	Governe o uso de IA com Auditoria do Microsoft Purview, Gerenciamento do ciclo de vida de dados, Conformidade de comunicação e eDiscovery. Use relatórios de IA no Azure AI Foundry para desenvolvedores para documentar os detalhes do projeto de IA. Use o Priva Privacy Assessments para avaliar proativamente os riscos de privacidade para cada projeto de IA. Use o Azure AI Content Safety para mitigar os riscos de conteúdo prejudicial ou infundado.

Com o uso proativo de recursos de governança, as organizações podem avaliar e resolver riscos ao adotar a IA.

Cinco etapas para implementar a segurança efetiva para IA

À medida que a conscientização sobre os riscos associados à rápida implementação do GenAI aumenta, muitas organizações estão respondendo proativamente dedicando recursos substanciais para aprimorar suas medidas de segurança. Os líderes de segurança e risco podem tomar várias etapas acionáveis para criar um caminho para uma inovação segura e segura de IA.

Essas práticas recomendadas se concentram em promover um ambiente colaborativo e implementar medidas de segurança eficazes que darão suporte aos avanços do GenAI, ao mesmo tempo em que protegem os interesses organizacionais.

Etapa 1 – Criar uma equipe de segurança para IA

A maioria das empresas reconhece a necessidade de formar equipes dedicadas e multifuncionais para gerenciar os desafios de segurança exclusivos colocados pela IA. As equipes de segurança dedicadas garantem que os sistemas de IA sejam rigorosamente testados, as vulnerabilidades sejam rapidamente identificadas e atenuadas e os protocolos de segurança sejam atualizados continuamente para acompanhar as ameaças em evolução.

Oitenta por cento dos entrevistados da pesquisa têm atualmente (45%) ou planejam ter (35%) uma equipe dedicada para lidar com a segurança da IA. Mais de 6 em cada 10 disseram que suas equipes se reportarão a um tomador de decisões de segurança, garantindo não apenas supervisão vigilante, mas também visão estratégica e liderança no endereçamento de riscos relacionados à IA.

Notavelmente, o tamanho médio da equipe, ou o tamanho pretendido da equipe, dessas equipes de segurança dedicadas era de 24 funcionários, ressaltando os recursos substanciais que as empresas estão se comprometendo a proteger suas iniciativas de IA. Quando o tamanho da empresa foi contabilizado, os tamanhos da equipe variaram.

Aqui estão algumas práticas recomendadas que as organizações podem usar para criar com êxito uma equipe de segurança multifuncional eficaz para IA.

Formar um comitê de IA para promover a colaboração entre departamentos

A segurança da IA é um esforço coletivo que vai além do departamento de TI. Incentive a colaboração entre equipes como segurança, TI, legal, conformidade e gerenciamento de riscos para criar estratégias de segurança abrangentes. Ter diferentes perspectivas e conhecimentos aprimorará a eficácia dos protocolos de segurança.

Contratar conjuntos de habilidades diversos

A formação de uma equipe de segurança bem-sucedida para IA requer um equilíbrio de habilidades. Procure membros da equipe com experiência em ciência de dados, segurança cibernética, engenharia de software e machine learning. Essa diversidade garante que vários aspectos de segurança sejam abordados, desde o desenvolvimento técnico até a prevenção de ameaças.

Estabelecer funções e responsabilidades claras

Para uma produtividade efetiva, defina claramente a função de cada membro da equipe. Certifique-se de que todos entendam suas responsabilidades específicas, o que promove a responsabilidade e evita a sobreposição nos esforços.

Investir em treinamento e desenvolvimento contínuos

A rápida evolução das tecnologias de IA exige educação contínua para as equipes de segurança. Forneça acesso a programas de treinamento e workshops que se concentram em práticas, ameaças emergentes e considerações éticas relacionadas à segurança da IA. Esse investimento não só capacita os membros da equipe, mas também garante que a organização permaneça à frente de possíveis vulnerabilidades.

Etapa 2 : otimizar recursos para proteger o GenAI

A introdução de aplicativos de IA dentro das organizações não está apenas revolucionando operações, mas também exigindo alterações significativas na alocação de recursos e orçamento, especialmente na segurança de TI.

A maioria significativa dos líderes de segurança e risco (78%) acredita que seu orçamento de segurança de TI aumentará para acomodar os desafios e oportunidades exclusivos trazidos pela IA. Esse ajuste é crucial por vários motivos. Os sistemas de IA exigem uma infraestrutura de segurança robusta para operar com segurança. Isso pode envolver a atualização de sistemas de segurança existentes, a implementação de controles de acesso mais rigorosos e o aprimoramento da segurança e governança de dados. Outros recursos também podem ser necessários para atender aos novos requisitos regulatórios de IA emergentes.

Anteriormente neste artigo, a Microsoft recomenda fazer o trabalho para entender as motivações de líderes empresariais e diferentes unidades de negócios em toda a sua organização. Identificar as principais preocupações e objetivos de negócios compartilhados é um passo importante para negociar recursos para alcançar os objetivos.

Alocar fundos para avaliações de conformidade, consultas legais e auditorias torna-se essencial para alinhar a estratégia de IA de uma organização a uma estrutura do setor e habilitar sistemas e uso de IA mais seguros, seguros e compatíveis. Priorizar fundos para treinamento contínuo de funcionários e desenvolvimento de habilidades, o que pode incluir treinamento especializado em ferramentas de segurança para IA, estratégias de gerenciamento de riscos e considerações éticas no uso de IA também é importante considerar ao alocar orçamento e recursos.

Etapa 3 – Adotar uma abordagem de Confiança Zero

Ao se preparar para a adoção da IA, uma estratégia de Confiança Zero fornece aos líderes de segurança e risco um conjunto de princípios que ajudam a resolver algumas de suas principais preocupações, incluindo compartilhamento excessivo de dados ou superexposição e TI sombra. Uma abordagem de Confiança Zero muda de um foco centrado em rede para um foco centrado em ativos e dados e trata cada solicitação de acesso como uma ameaça potencial, independentemente de sua origem.

A Confiança Zero valida constantemente as identidades de cada usuário e dispositivo, garantindo que somente aqueles com permissões claras possam alcançar informações confidenciais. Ao ajustar dinamicamente as medidas de segurança com base em avaliações em tempo real, a Confiança Zero minimiza o risco de vazamento de dados e protege uma organização contra ameaças internas e externas. A verificação contínua, o acesso a privilégios mínimos e o gerenciamento dinâmico de riscos são os pilares dessa abordagem, fornecendo uma estrutura de segurança robusta e adaptável que dá suporte ao sucesso da segurança de ponta a ponta de uma organização.

Ao adotar a Confiança Zero, as organizações podem proteger suas implantações de IA e saber que sua segurança é continuamente validada e protegida. A Confiança Zero capacita as organizações a adotar a IA com confiança, garantindo que as funcionalidades poderosas da IA sejam aproveitadas de forma segura e eficaz.

Todas as diretrizes de segurança para IA fornecidas pela Microsoft são ancoradas em princípios de Confiança Zero. Seguindo as diretrizes de segurança recomendadas para o GenAI, você está criando uma base forte de Confiança Zero.

Etapa 4 – Investir em responsabilidade compartilhada com parceiros de sua confiança

Um recurso que geralmente é usado para ajudar a informar a estratégia e as prioridades é o modelo de responsabilidade compartilhada. Sua responsabilidade de proteger o uso de IA em sua organização baseia-se no tipo de aplicativos usados. Os parceiros que você investe compartilham a responsabilidade com você.

Um modelo de responsabilidade compartilhada ajuda as equipes de segurança a orientar sua organização a escolher:

Aplicativos de GenAI que reduzem a responsabilidade de suas organizações.
Parceiros que ganharam sua confiança.

Este diagrama resume o equilíbrio de responsabilidades para você e a Microsoft. Muitas organizações usam o modelo de responsabilidade compartilhada para priorizar o uso de aplicativos SaaS em parceria com provedores confiáveis e reduzir o número de aplicativos personalizados.

Para obter mais informações, consulte o modelo de responsabilidade compartilhada de IA – Microsoft Azure.

Além de investir com parceiros que ganharam sua confiança, muitos profissionais de segurança recomendam consolidar ferramentas de segurança e fornecedores. A Microsoft oferece uma solução de segurança abrangente para IA com ferramentas que funcionam em conjunto, reduzindo consideravelmente o volume de trabalho de integração para equipes de segurança.

Etapa 5 – Adotar uma solução de segurança abrangente para IA

A IA apresenta riscos específicos que as medidas de segurança tradicionais podem não resolver totalmente. A segurança para IA foi projetada para atenuar esses riscos.

Uma maioria significativa das empresas planeja adquirir ferramentas e plataformas especializadas para proteger o uso e o desenvolvimento de aplicativos de IA. Quando perguntados sobre como planejam proteger e proteger o uso e o desenvolvimento de aplicativos de IA em suas organizações, a maioria dos entrevistados da pesquisa (72%) disse que planeja adquirir uma nova solução de segurança dedicada para proteger o uso e o desenvolvimento da IA, enquanto 64% afirmaram que planejam usar soluções de segurança existentes para proteger a IA.

Os líderes de TI e segurança acreditam que os principais colaboradores de orçamento para novas soluções para a proteção e governança da IA serão os departamentos de TI (63%) e os departamentos de segurança da informação/segurança cibernética (57%). Essas descobertas mostram que, além de continuar a usar soluções de segurança existentes, as organizações veem a necessidade de procurar novas soluções que possam ajudar a resolver os riscos amplificados e emergentes da IA.

Além da plataforma de segurança de ponta a ponta da Microsoft, a Microsoft fornece ferramentas de segurança abrangentes para proteger a IA, desde a descoberta de ferramentas e dados de IA até proteções projetadas especificamente para mitigar ameaças à IA. Essas ferramentas incluem dashboards sofisticados e recursos de conformidade, ajudando você a se manter no topo dos riscos e das obrigações regulatórias.

A imagem a seguir é uma exibição resumida de todos os recursos que a Microsoft fornece para proteger a adoção da IA. Esses recursos também estão listados na tabela abaixo.

Principal preocupação do cliente	Capacidades
Evitar vazamento de dados e compartilhamento excessivo	– Controles de acesso e ponto de extremidade — Microsoft Entra & Intune – Gerenciamento de postura de segurança de dados para IA — Microsoft Purview – Classificação, rotulagem e proteção de dados – Microsoft Purview – Prevenção contra perda de dados — Microsoft Purview – Detecção e resposta de atividades arriscadas e anomalias — Microsoft Purview – Segurança do aplicativo SaaS — Microsoft Defender
Proteger a IA contra vulnerabilidades e ameaças emergentes	– Segurança e governança de dados — Microsoft Purview – Avaliação de controles de qualidade e segurança — Azure AI Foundry – Gerenciamento de postura de segurança para ativos de IA (aplicativos, modelos, orquestradores, SDKs) — Microsoft Defender – Política de governança de modelo — Portal do Azure – Escudo de prompt para segurança de conteúdo — IA do Azure – Proteção contra ameaças para cargas de trabalho de IA — Microsoft Defender
Controlar a IA para atender aos requisitos regulatórios	– Avaliações de conformidade em relação aos regulamentos e padrões de IA — Microsoft Purview – Descoberta e catálogo de IA — Microsoft Defender – Auditorias de prompt e resposta, gerenciamento do ciclo de vida, eDiscovery, conformidade com a comunicação — Microsoft Purview – Relatórios de IA para desenvolvedores registrarem em log detalhes e controles do projeto — Azure AI Foundry – Avaliação de impacto de privacidade — Microsoft Priva – Mitigação de conteúdo prejudicial, informações incorretas e materiais protegidos — Segurança de Conteúdo da IA do Azure

Próximas etapas para proteger a IA

Esta biblioteca orienta você pelo processo de implementação da segurança para IA em uma abordagem preparada.