Card de aplicações: agentes de Microsoft Security Copilot

O que é um card de Aplicação ou plataforma?

Os cartões de Aplicação e Plataforma da Microsoft destinam-se a ajudá-lo a compreender como funciona a nossa tecnologia de IA, as escolhas que os proprietários das aplicações podem fazer que influenciam o desempenho e o comportamento das aplicações e a importância de considerar toda a aplicação, incluindo a tecnologia, as pessoas e o ambiente. Os cartões de aplicação são criados para aplicações de IA e os cartões de plataforma são criados para serviços de plataforma de IA. Estes recursos podem suportar o desenvolvimento ou a implementação das suas próprias aplicações e podem ser partilhados com utilizadores ou intervenientes afetados pelas mesmas.

Como parte do seu compromisso com a IA responsável, a Microsoft cumpre seis princípios fundamentais: equidade, fiabilidade e segurança, privacidade e segurança, inclusão, transparência e responsabilidade. Estes princípios estão incorporados no Standard de IA Responsável, que orienta as equipas na conceção, criação e teste de aplicações de IA. Os cartões de Aplicação e Plataforma desempenham um papel fundamental na operacionalização destes princípios ao oferecer transparência em torno das capacidades, utilizações pretendidas e limitações. Para obter mais informações, os leitores são encorajados a explorar o Relatório de Transparência de IA Responsável da Microsoft e o Código de Conduta dos Serviços de IA empresarial da Microsoft, que descreve como interagir com a IA de forma responsável.

Visão Geral

Microsoft Security Copilot é uma solução de segurança gerada com tecnologia de IA que ajuda a aumentar a eficiência e as capacidades dos defensores para melhorar os resultados de segurança à velocidade e dimensionamento da máquina. Security Copilot fornece uma experiência de copilot de apoio e linguagem natural que ajuda os profissionais de segurança e os administradores de TI a lidar com uma vasta gama de cenários ponto a ponto, incluindo resposta a incidentes, investigação de ameaças, recolha de informações e gestão da postura.

Security Copilot foi concebido com a integração em mente e oferece uma experiência autónoma envolvente no https://securitycopilot.microsoft.com. A plataforma integra-se perfeitamente com produtos no portefólio de segurança da Microsoft, como Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra e Microsoft Purview e serviços de terceiros suportados.

Um agente Security Copilot gera saídas e pode executar ações com base na lógica configurada, nas permissões e nos acionadores definidos pelo cliente. Os clientes podem utilizar agentes de Security Copilot autónomos para automatizar fluxos de trabalho de segurança, acelerar os tempos de resposta, atribuir prioridades a riscos e reduzir cargas de trabalho manuais, mantendo o controlo total. A autonomia do agente refere-se à capacidade de um agente tomar medidas de forma independente dentro dos limites definidos.

Um administrador (Security Copilot proprietário) deteta e implementa agentes através do portal do Security Copilot e da Loja de Segurança, com alguns agentes também a surgirem em experiências de produtos de segurança da Microsoft incorporadas. O administrador define a identidade do agente e configura o controlo de acesso baseado em funções (RBAC) para o agente.

Os utilizadores pretendidos incluem analistas SOC, administradores de TI, administradores de segurança e identidade de dados, analistas de conformidade e líderes de segurança, tais como CiSOs (Chief Information Security Officers).

Security Copilot detém a certificação ISO 42001, que confirma que terceiros independentes analisaram a aplicação da Microsoft da estrutura e capacidades necessárias para gerir eficazmente riscos e oportunidades associados ao desenvolvimento, implementação e funcionamento contínuos de sistemas Microsoft AI.

Para obter mais informações, consulte O que é Microsoft Security Copilot?, experiências Microsoft Security Copilot e Card de Aplicações para Security Copilot.

Principais termos

A tabela seguinte fornece um glossário de termos-chave relacionados com Microsoft Security Copilot agentes.

Termo Definição
Agente Um agente Security Copilot processa sinais do ambiente do cliente através de origens de dados e plug-ins integrados, analisa dados e gera recomendações. Os agentes também podem realizar ações de âmbito dentro das permissões configuradas quando lhe for pedido, o que requer a aprovação de um utilizador ou administrador adequado. Os agentes podem ir desde experiências simples de pedido e resposta a fluxos de trabalho semi-autónomos mais automatizados com supervisão humana.
Ação do agente Uma operação executada por um agente, como a obtenção de dados, a geração de saídas ou a modificação de configurações, com base em permissões.
Manifesto do agente Um ficheiro de configuração que define as capacidades, ferramentas e comportamento de um agente. Controla a forma como o agente funciona no Security Copilot e é representado num formato de ficheiro YAML.
Experiência incorporada Aceder a capacidades de Security Copilot a partir de outro produto de segurança da Microsoft, como Microsoft Defender XDR ou Microsoft Sentinel. O painel de sidecar Security Copilot apresenta a assistência de IA diretamente no contexto desse produto.
Terra O processo de fornecer origens de entrada contextuais ao modelo de linguagem grande relacionado com o pedido de um utilizador. Ao permitir que Security Copilot acedam a dados organizacionais através de plug-ins e produtos de segurança da Microsoft, Security Copilot podem fornecer respostas mais precisas e contextualmente relevantes.
Modelo de linguagem grande (LLM) Modelos de IA preparados em grandes quantidades de dados de texto para prever palavras em sequências. Os LLMs são capazes de realizar várias tarefas, como geração de texto, resumo, tradução, classificação e muito mais.
Agente criado pelo parceiro Um agente publicado por parceiros da Microsoft e disponibilizado através da Loja de Segurança para resolver casos de utilização de segurança específicos.
Plug-in Uma coleção de ferramentas relacionadas que expande as capacidades do Security Copilot ao conceder-lhe acesso a recursos da Microsoft e serviços não Microsoft e sites públicos através de APIs. Os plug-ins adicionam mais contexto às respostas e saídas que Security Copilot gera.
Pós-processamento O conjunto de ações Security Copilot efetua para refinar e preparar a resposta LLM antes de a devolver ao utilizador. Este pós-processamento inclui chamadas de ligação à base adicionais através de plug-ins, verificações de IA responsáveis, segurança, conformidade e verificações de privacidade.
Prompt O texto de linguagem natural que um utilizador envia para Security Copilot para executar uma tarefa específica ou obter informações. Por exemplo, resumir este incidente e sugerir passos de remediação.
Promptbook Uma série de pedidos que são executados em sequência, com base em respostas anteriores, para realizar tarefas específicas relacionadas com segurança. Os promptbooks podem ser utilizados a partir da biblioteca ou criados e partilhados pelos utilizadores.
Teste da equipa vermelha Técnicas utilizadas por especialistas para avaliar as limitações e vulnerabilidades de um sistema e testar a eficácia das mitigações planeadas. Os testes da equipa vermelha são utilizados para identificar potenciais riscos e são distintos da medição sistemática dos riscos.
IA responsável As práticas de política, investigação e engenharia da Microsoft que se baseiam nos seus princípios de IA e são operacionalizadas através da norma de IA Responsável. Para obter mais informações, veja a documentação de orientação Fluent RAI.
Unidade de Computação de Segurança (SCU) As SCUs são as unidades de capacidade de computação utilizadas para executar cargas de trabalho Security Copilot e proporcionar um desempenho consistente nas suas experiências. Security Copilot capacidade é medida em SCUs e pode ser consumida através de modelos de capacidade de aprovisionamento ou utilização excedida. Para obter mais informações, veja Compreender as SCUs.
Centro de Operações de Segurança (SOC) Uma equipa de segurança dedicada ou uma instalação focada na monitorização, análise e resposta contínuas a incidentes de cibersegurança numa organização. Os analistas do SOC estão entre os principais utilizadores de Security Copilot.
Experiência autónoma A experiência envolvente do portal Security Copilot acedida diretamente em https://securitycopilot.microsoft.com.
Tenant O limite organizacional no Microsoft Entra ID que isola a identidade, o acesso e os dados de Security Copilot. O inquilino rege todas as áreas de trabalho, utilizadores e interações através de permissões ao nível do inquilino e controlos de segurança.
Gatilho Um evento ou condição que indica a um agente para começar a executar o fluxo de trabalho. Os acionadores podem ser baseados no tempo (por exemplo, uma agenda semanal para o Agente de Informação sobre Ameaças) ou manual (executado a pedido por um utilizador ou administrador). O acionador é configurado durante a configuração do agente.

Principais funcionalidades ou capacidades

As principais funcionalidades e capacidades na tabela seguinte descrevem o que Microsoft Security Copilot foi concebido para fazer e como funciona em todas as tarefas suportadas.

Funcionalidade ou capacidade Descrição
Investigação e resposta a incidentes Security Copilot ajuda os profissionais de segurança a fazer a triagem e investigar incidentes ao gerar resumos de alertas de segurança complexos, correlacionar sinais em Microsoft Defender XDR, Microsoft Sentinel e outros produtos integrados e fornecer orientações de remediação passo a passo.
Inteligência contra ameaças Security Copilot podem procurar em Microsoft Defender artigos e perfis de informações sobre ameaças, relatórios de análise de ameaças e publicações de divulgação de vulnerabilidades para ver informações relevantes alinhadas com um pedido.
Análise de scripts e geração de consultas KQL Security Copilot podem analisar scripts suspeitos ou software maligno e traduzir linguagem natural para consultas KQL, permitindo que os membros da equipa em todos os níveis de competências efetuem tarefas avançadas de investigação e análise técnica.
Gerenciamento de postura de segurança Security Copilot ajuda os utilizadores a compreender os riscos priorizados em todo o seu ambiente e a identificar oportunidades para melhorar a postura através da integração com Microsoft Defender XDR, Microsoft Entra e Microsoft Intune.
Criação e gestão de políticas de segurança Os utilizadores podem definir novas políticas, cruzá-las com políticas existentes para conflitos e resumir políticas em linguagem simples para gerir contexto organizacional complexo.
Relatórios dos intervenientes Security Copilot podem gerar relatórios que resumem o contexto, problemas abertos e medidas de proteção adaptadas à audiência pretendida, como executivos ou equipas de segurança.
Promptbooks Os promptbooks são sequências de pedidos que são executados para realizar tarefas de segurança específicas. Os utilizadores podem executar promptbooks a partir de uma biblioteca partilhada ou criar e partilhar os seus próprios.
Agentes Security Copilot suporta agentes que automatizam e ajudam com tarefas de operações de SEGURANÇA e TI dentro das permissões concedidas pelos administradores. Um agente executa ações através de identidades configuradas, controlos de acesso e acionadores e opera com supervisão humana como parte dos fluxos de trabalho de segurança.
Os agentes criados pela Microsoft abrangem o portefólio de produtos de segurança, abrangendo operações SOC, investigação de ameaças, informações sobre ameaças, gestão de identidades, gestão de pontos finais e segurança de dados. Os administradores configuram a identidade, as permissões e o acionador de cada agente durante a configuração. Os utilizadores podem rever as permissões de acionadores, acesso a dados, identidade e ação de um agente (como leitura ou escrita) para compreender como o agente funciona no âmbito definido. Para obter detalhes sobre agentes específicos e os respetivos casos de utilização, veja Utilizações pretendidas.
Suporte a vários idiomas Security Copilot suporta pedidos e respostas em vários idiomas. Para obter mais informações, veja Idiomas suportados.

Security Copilot é uma solução de segurança com tecnologia de IA que funciona de forma assistiva e como um sistema agente autónomo. Para compreender a autonomia do agente, considere:

  • Acionadores de ativação – que condições ou ações do utilizador fazem com que o agente seja executado
  • Permissões de acesso – que dados, sistemas ou recursos o agente pode utilizar
  • Direitos de ação – que ações o agente está autorizado a tomar por conta própria

As secções seguintes descrevem as principais capacidades agentes que sustentam a forma como os agentes raciocinam, planeiam, memorizam, adaptam e expandem o seu alcance.

Raciocínio

Security Copilot agentes utilizam o modelo de linguagem grande subjacente para analisar o contexto disponível, avaliar sinais e determinar o curso de ação mais adequado. Por exemplo, o Agente de Triagem de Phishing avalia o conteúdo do e-mail, a reputação do remetente e os sinais comportamentais para produzir um veredicto de classificação com uma lógica de linguagem natural. Os agentes apresentam o seu raciocínio de forma transparente para que os analistas possam rever, validar ou anular conclusões antes de agirem sobre as mesmas.

Planejamento

Os agentes operam em acionadores definidos que instruem o sistema agente a iniciar uma sequência estruturada de ações em direção a um objetivo. Os agentes podem ser configurados para:

  • Execute automaticamente com base numa agenda (por exemplo, o Agente de Informação sobre Ameaças é executado a cada sete dias).
  • Execute manualmente a pedido quando necessário.

Este design fornece aos agentes um modelo de execução direcionado para objetivos, onde o sistema analisa quando e como agir para concluir a tarefa.

Memória

Security Copilot agentes podem reter informações ao longo do tempo, referidas como memória. A memória permite que um agente incorpore entradas anteriores em comportamentos futuros, consoante a forma como o agente é concebido e configurado.

A memória pode incluir comentários fornecidos pelos utilizadores. Os agentes podem utilizar este feedback para ajustar as suas respostas ou ações em interações subsequentes.

Adaptabilidade

Security Copilot agentes foram concebidos para se adaptarem com base no feedback dos utilizadores e no contexto operacional, continuando a funcionar dentro do âmbito definido pela identidade, permissões e acionadores configurados.

  • Ciclo de comentários: Security Copilot Proprietários e Contribuidores podem fornecer feedback sobre as respostas de um agente. Este feedback é armazenado na memória do agente e pode influenciar saídas futuras, consoante a estrutura e configuração do agente.
  • Base contextual: durante o processamento de pedidos, Security Copilot melhora os pedidos através da ligação à terra. Este processo incorpora dados organizacionais relevantes, plug-ins ativados e informações sobre ameaças para que as respostas reflitam o contexto atual.
  • Identidade e permissões configuráveis: os agentes podem ser atualizados após a configuração para modificar a identidade, os acionadores e os parâmetros. Isto permite que os agentes se alinhem com os fluxos de trabalho e requisitos em evolução.

Extensibilidade

  • Plug-ins: os agentes utilizam plug-ins para aceder a serviços externos através de APIs, incluindo pesquisas de reputação, informações sobre ameaças e dados de pontos finais. Os plug-ins criados pela Microsoft e criados por parceiros são suportados. Para obter mais informações, veja Descrição geral dos plug-ins.
  • Conectores: as Aplicações Lógicas e os conectores de Copilot Studio encapsulam a API Security Copilot, permitindo que os programadores e utilizadores chamem para a plataforma a partir de fluxos de trabalho de automatização externa. Para obter mais informações, veja Descrição geral dos conectores.
  • Agentes personalizados: os programadores podem criar agentes personalizados adaptados a casos de utilização específicos e adicioná-los ao ecossistema Security Copilot através da plataforma de programadores. Para obter mais informações, veja Desenvolver agentes personalizados.
  • Arquivo de Segurança: a Microsoft pré-criada e os agentes parceiros podem ser detetados e implementados a partir da biblioteca de agentes incorporada e do Arquivo de Segurança.
  • Experiências incorporadas: os agentes operam não só no portal autónomo Security Copilot, mas também no ecossistema de segurança mais amplo da Microsoft, incluindo Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra e Microsoft Purview.

Utilizações pretendidas

Microsoft Security Copilot agentes foram concebidos para profissionais de segurança e administradores de TI para suportar fluxos de trabalho de segurança, como a recolha e correlação de informações. Os agentes podem operar dentro de permissões definidas pelo administrador e ajudar a simplificar tarefas que, de outra forma, poderiam exigir um esforço manual significativo, mantendo os seres humanos no controlo. Alguns exemplos de casos de utilização do agente pretendido incluem:

  • Informação sobre ameaças: o Agente de Informação sobre Ameaças gera relatórios de informações sobre ameaças oportunos e detalhados ao correlacionar Informações sobre Ameaças do Microsoft Defender dados, Gerenciamento da Superfície de Ataque Externo do Defender (GSAE) sinais e contexto de cliente em tempo real. Os analistas de segurança podem utilizar este agente para substituir horas ou dias de recolha manual de informações e correlação com um relatório gerado em minutos.

  • Análise de dados de segurança (Microsoft Defender XDR): o Agente do Analista de Segurança ajuda os analistas de segurança a identificar, avaliar e priorizar rapidamente os riscos em grandes volumes de dados de segurança. O agente executa tarefas de análise básicas, tais como análise de padrões, análise de tendências e visualização, e tarefas avançadas, como deteção de anomalias, clustering, classificação de riscos e modelação preditiva. Integra dados de Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Data Lake e ficheiros CSV carregados, gerando informações prioritárias com um registo de provas completo numa experiência de chat interativa e sem código.

  • Operações de segurança e resposta a incidentes (Microsoft Defender XDR):

    • O Agente de Triagem de Phishing avalia os e-mails de phishing comunicados pelo utilizador à medida que são submetidos, classifica os veredictos com um raciocínio transparente e incorpora o feedback dos analistas ao longo do tempo.
    • O Agente de Deteção de Ameaças Dinâmicas é executado continuamente em segundo plano para descobrir ameaças e lacunas ocultas em ambientes do Defender e Microsoft Sentinel ao correlacionar alertas, eventos, anomalias e informações sobre ameaças.

  • Investigação de ameaças (Microsoft Defender XDR): o Agente de Investigação de Ameaças permite a investigação de ameaças ponto a ponto através de linguagem natural. Gera consultas KQL, interpreta resultados, apresenta informações e orienta os analistas através de sessões de investigação completas para encontrar ameaças mais rapidamente e com maior confiança.

  • Gestão de identidades e acessos (Microsoft Entra):

    • O Agente de Otimização do Acesso Condicional analisa as políticas de acesso condicional e recomenda melhoramentos com base nas melhores práticas e princípios de Confiança Zero da Microsoft.
    • O Agente de Gestão de Riscos de Identidade ajuda os administradores de identidade a investigar potenciais riscos e a tomar medidas para proteger recursos críticos.

  • Gestão de pontos finais (Microsoft Intune):

    • O Agente de Remediação de Vulnerabilidades utiliza dados do Defender para monitorizar vulnerabilidades e priorizar a remediação com avaliações de riscos orientadas por IA.
    • O Agente de Configuração de Políticas permite que os administradores importem documentos ou escrevam instruções em linguagem simples para encontrar definições correspondentes no catálogo de definições de Intune e criar políticas.
    • O Agente de Revisão de Alterações avalia o efeito dos pedidos de aprovação no Intune e faz recomendações para as ações que os administradores podem tomar.

  • Investigação de segurança de dados (Microsoft Purview):

    • O Agente de Triagem na Gestão de Riscos Internos avalia os alertas com base no risco de utilizador, ficheiro e atividade, ordenando-os automaticamente em categorias prioritárias para ajudar as equipas de segurança a concentrarem-se nos casos de maior risco.
    • O Agente de Triagem do Purview na Prevenção de Perda de Dados avalia alertas DLP com base no risco de confidencialidade, risco de exfiltração e risco de política, ajudando os administradores de segurança de dados a agir sobre os incidentes mais críticos.

  • Fluxos de trabalho agentes personalizados: os programadores podem criar e implementar agentes personalizados através do processamento de linguagem natural, carregar o manifesto do agente ou utilizar as ferramentas MCP adaptadas aos casos de utilização de segurança específicos da sua organização, expandindo as capacidades do agente através de plug-ins e conectores para serviços Microsoft e não Microsoft. Para obter mais informações, veja Agentes personalizados.

    Também pode criar um agente de chat interativo quando os agentes e os utilizadores precisarem de colaborar para uma experiência orientada para resolver algo. Para obter mais informações, veja Interactive Agent (Agente Interativo).

Modelos e dados de preparação

Microsoft Security Copilot utiliza Azure modelos de linguagem grandes (LLMs) openAI dos Modelos Foundry vendidos por Azure para potenciar experiências de linguagem natural. Estes modelos não são preparados para Security Copilot Dados do Cliente. As capacidades dos modelos variam em cenários suportados, velocidade, limitações e raciocínio.

Security Copilot também incorpora conhecimento e contexto específicos de segurança através de plug-ins e de base, que fornecem ao LLM dados organizacionais relevantes, informações sobre ameaças e conteúdos autoritativos no momento da inferência e não através da preparação de modelos.

Desempenho

Security Copilot foi concebido para funcionar em ambientes de segurança empresariais onde são gerados grandes volumes de sinais de segurança em tempo real em produtos de Segurança da Microsoft e outras origens de dados configuradas pela organização. Integra sinais destas origens, combinando o processamento em tempo real de dados de registo estruturados com o raciocínio de investigação. Isto foi concebido para ajudar a detetar, analisar e rastrear a origem e o impacto de incidentes de segurança em várias origens de dados.

Security Copilot é executada na infraestrutura de hiperescala da Microsoft e numa camada de orquestração específica de segurança, que se destina a suportar um desempenho dimensionável e resiliente em cenários de investigação e deteção de ameaças repetidos.

Os agentes expandem a capacidade do Security Copilot de agir em sinais de segurança ao executar tarefas de segurança definidas através de permissões configuradas pelo administrador. Os agentes justificam os sinais disponíveis, planeiam e executam ações estruturadas e produzem saídas como decisões de triagem, relatórios de inteligência e orientações de remediação baseadas em dados organizacionais e de informações sobre ameaças em tempo real. A execução do agente é transparente através de mapas de nós passo a passo, permitindo que os analistas revejam os passos gerados (não um resumo aprofundado das ações específicas realizadas em cada nó) e validem os resultados entre execuções.

A fiabilidade do desempenho é ainda suportada através de agentes pré-configurados criados pela Microsoft, que são testados em fluxos de trabalho representativos e agentes personalizados, onde um ficheiro YAML de manifesto pode ajudar a promover um comportamento mais consistente ao especificar capacidades, ferramentas, acionadores e limites operacionais. Quando as instruções de manifesto estiverem claramente definidas, o agente poderá ser mais capaz de interpretar a tarefa, selecionar as ações adequadas e operar dentro do âmbito pretendido. Para obter mais informações, veja Agentes personalizados.

Para agentes interativos, o desempenho é moldado principalmente através da troca iterativa entre o agente e o utilizador. O agente produz uma resposta inicial e o utilizador refina o contexto através de pedidos de seguimento com base no que o agente apresenta. Esta interação de trás para a frente permite ao utilizador orientar incrementalmente o agente para resultados mais precisos e direcionados do que uma única execução autónoma produziria. Para obter mais informações, veja Agentes interativos.

Limitações

Compreender Security Copilot limitações são importantes para garantir que é utilizada dentro de limites seguros e eficazes. Embora os clientes sejam encorajados a utilizar Security Copilot nos seus fluxos de trabalho de segurança, é importante ter em atenção que Security Copilot não foi concebido para todos os cenários possíveis. Veja o Código de Conduta dos Serviços de IA do Microsoft Enterprise , bem como as seguintes considerações ao escolher um caso de utilização:

  • Pré-visualização pública status: alguns agentes estão em pré-visualização pública e podem ser substancialmente modificados antes da disponibilidade geral. A Microsoft não concede garantias, expressas ou implícitas, relativamente a estas capacidades. Tal como acontece com qualquer saída de IA, os clientes têm de rever a tomada de decisões do agente antes de agirem sobre os seus resultados.
  • Precisão e preenchimento: como qualquer tecnologia com tecnologia de IA, Security Copilot não acerta tudo. As respostas podem ser imprecisas, incompletas ou desatualizadas, especialmente se os plug-ins relevantes não estiverem ativados ou se os dados mais atuais não estiverem disponíveis através da entrada do utilizador ou do contexto organizacional. Os utilizadores devem sempre exercer o juízo humano e verificar as saídas críticas em vez de dependerem apenas da resposta gerada pela IA.
  • Âmbito específico do domínio: Security Copilot foi concebido para responder a pedidos relacionados com o domínio de segurança, como a investigação de incidentes e as informações sobre ameaças. Prompts fora do âmbito de segurança pode resultar em respostas que não têm precisão e abrangente.
  • Geração de scripts e código: Security Copilot podem gerar código ou incluir código em respostas. As respostas podem parecer válidas, mas podem não ser semanticamente ou sintaticamente corretas, ou podem não refletir com precisão a intenção do requerente. O código gerado não deve ser implementado em ambientes de produção sem os procedimentos de validação, teste e revisão adequados. Os utilizadores também têm de verificar se os parâmetros utilizados pelo código gerado estão alinhados com o pedido original. Por exemplo, se um agente operar em alertas dentro de um intervalo de tempo específico, confirme que o intervalo de tempo no código gerado corresponde ao intervalo de tempo especificado no pedido de linguagem natural.
  • Restrições de comprimento do pedido: o sistema pode não conseguir processar pedidos longos, como os que contêm centenas de milhares de carateres. O LLM subjacente tem um limite de tokens e consultas excessivamente verbosas ou sessões expandidas podem exceder o espaço do token. Quando este cenário acontece, Security Copilot tenta aplicar mitigações para garantir que uma saída está sempre disponível, mesmo que o conteúdo não seja o ideal. No entanto, essas mitigações nem sempre são eficazes e poderá ser necessário experimentar um pedido ou plug-in diferente.
  • Limites de utilização e latência: a utilização da plataforma pode estar sujeita a limites de utilização ou limitação de capacidade. Gerar respostas, incluindo fazer chamadas à API através de plug-ins e verificar respostas antes de as apresentar, pode demorar algum tempo e exigir uma capacidade de GPU elevada. As organizações devem monitorizar o consumo de SCU e ajustar a capacidade aprovisionada conforme necessário para evitar interrupções inesperadas do serviço.
  • Preconceito, estereotipagem e conteúdo não encalhada: apesar da implementação de controlos de IA responsáveis em pedidos de utilizador e saídas LLM, os serviços de IA são falíveis e probabilísticos. Isto torna difícil bloquear de forma abrangente todo o conteúdo inapropriado, o que pode levar a potenciais preconceitos, estereótipos ou conteúdo não encalhado na saída gerada pela IA.
  • Government e Microsoft Sovereign Public/Private Cloud: Security Copilot não são suportados nestes ambientes neste momento.
  • Limites do agente específico da tarefa: os agentes são adequados apenas para a tarefa específica que foram concebidos para executar. Para obter mais informações, veja a secção casos de utilização pretendidos . Não são adequados para qualquer outra tarefa e não devem ser reutilizados para além do âmbito definido.
  • Detalhes do mapa de nós: o mapa do nó do agente fornece uma vista de alto nível dos passos realizados durante um fluxo de trabalho do agente. Cada nó representa um passo no processo e apresenta o título da competência utilizada, juntamente com metadados básicos, como status de conclusão, duração e carimbo de data/hora. O mapa do nó foi concebido para mostrar a sequência de ações, mas não fornece informações detalhadas sobre as operações ou decisões específicas tomadas em cada passo. Uma vez que o mapa de nós apresenta apenas informações resumidas, pode não capturar totalmente o contexto ou a complexidade de cada ação.
  • Feedback do agente e transparência da memória: quando os utilizadores submetem comentários a um agente para armazenamento na memória, o agente não fornece um resumo da interpretação dos comentários. Para aumentar a precisão das saídas futuras, os utilizadores devem fornecer comentários claros, concisos e específicos. Os comentários submetidos a um agente podem ser armazenados e utilizados para influenciar saídas futuras. No entanto, a visibilidade deste feedback armazenado pode variar consoante a experiência do agente e a função de utilizador. Para obter mais informações, consulte Fornecer feedback.

Avaliações

As avaliações de desempenho e segurança avaliam se as aplicações de IA estão a funcionar de forma fiável e segura ao examinar fatores como a fundamentação, a relevância e a coerência, ao mesmo tempo que identificam os riscos de gerar conteúdo prejudicial. As seguintes avaliações foram realizadas com componentes de segurança já em vigor, que também estão descritos em Componentes de Segurança e Mitigações.

Dados de avaliação para qualidade e segurança

Os nossos dados de avaliação são personalizados para avaliar o desempenho da aplicação de IA em áreas-chave de segurança e qualidade, simulando cenários e riscos do mundo real. Começamos por identificar aspectos de avaliação relevantes de preocupação com base na investigação multidisciplinar e no contributo de especialistas. Estas preocupações traduzem-se em objetivos de avaliação direcionados e formulação de guias de métricas de avaliação.

Por motivos de segurança, criamos pedidos adversos para obter respostas indesejáveis ou de casos edge, que são pontuadas com anotadores assistidos por IA preparados para avaliar o alinhamento com as normas de segurança da Microsoft. Para qualidade, criamos pedidos baseados em rubricas relevantes para cenários, incluindo a avaliação de aplicações e agentes de geração aumentada de obtenção (RAG).

Os conjuntos de dados são organizados a partir de diversas origens, incluindo conjuntos de dados sintéticos e públicos, para simular cenários de utilizador do mundo real. Com os conjuntos de dados organizados, ambas as avaliações são submetidas a refinamento iterativo e alinhamento humano para melhorar a eficácia e fiabilidade das métricas. Esta metodologia constitui a base de avaliações repetíveis e rigorosas que refletem a forma como os clientes utilizam as avaliações para criar uma IA melhor e mais segura.

Avaliações personalizadas

Foram realizadas avaliações personalizadas para validar o desempenho do modelo em cenários de base, robustez adversa e conteúdo prejudicial com testes de regressão, conjuntos de dados de pedidos organizados e exemplos alinhados com a produção. A avaliação comparou as saídas entre modelos de GPT, utilizando ferramentas internas para avaliar a fundamentação e Azure filtragem de conteúdo OpenAI para validar proteções contra jailbreak, injeção rápida e violações de propriedade intelectual. Os resultados mostram um desempenho consistente ou melhorado, incluindo taxas de proteção fortes em cenários adversos e uma maior precisão de terra.

O processamento de conteúdos nocivos permanece consistente entre modelos e funciona no modo de anotação para suportar casos de utilização focados na segurança, com testes adicionais em grande escala que confirmam taxas de proteção elevadas entre categorias. Os testes de regressão são realizados para verificar se o conteúdo, que não é prejudicial, não está a ser classificado como prejudicial.

Security Copilot agentes foram avaliados pela equipa de produtos e pesquisas com casos de utilização e entradas de design de clientes. A segurança do sistema de agentes também foi avaliada através de um exercício de agrupamento vermelho dedicado. A Microsoft também concluiu testes de penetração no serviço Security Copilot para validar a proteção contra o acesso não autorizado.

Agora que Security Copilot foi lançado, o feedback dos utilizadores é fundamental para ajudar a Microsoft a melhorar o sistema. Os utilizadores têm a opção de fornecer feedback sobre a resposta do agente de Security Copilot. Este feedback vai diretamente para a Microsoft e é utilizado para melhorar o desempenho da plataforma através do aperfeiçoamento iterativo contínuo. Para obter mais informações, consulte Fornecer feedback.

Componentes de segurança e mitigações

À medida que identificámos potenciais riscos e utilização indevida através de processos como testes da equipa vermelha e medimo-los, desenvolvemos mitigações para reduzir o potencial de danos. Continuaremos a avaliar a experiência Microsoft Security Copilot para melhorar o desempenho e as mitigações do produto. A lista seguinte descreve algumas dessas mitigações:

  • Filtragem e proteção de conteúdos prejudiciais: Security Copilot integra proteções desenvolvidas pela Microsoft (filtros de conteúdo) e modelos de deteção de abuso como parte da base do Serviço OpenAI Azure. Estes modelos de classificação neural detetam e filtram conteúdo prejudicial entre categorias, incluindo ódio, sexo, violência e auto-dano a vários níveis de gravidade. Os modelos de classificação opcionais também detetam riscos de jailbreak, material de texto ou código conhecidos e ataques de injeção de pedidos indiretos. Estes controlos em camadas ajudam a impedir que a IA produza respostas que violem as normas de segurança da Microsoft.
  • Concebidos para minimizar ações irreversíveis: os cenários de agentes concebidos pela Microsoft destinam-se a minimizar as ações irreversíveis e a manter os utilizadores no controlo de decisões críticas. Para agentes personalizados, os agentes não concebidos pela Microsoft podem modificar o comportamento do agente para garantir que as ações irreversíveis são minimizadas.
  • Design do sistema de segurança: a Microsoft desenvolveu um sistema de segurança para Security Copilot que foi concebido para mitigar falhas e evitar utilizações indevidas, incluindo anotação de conteúdo prejudicial, monitorização operacional e outras salvaguardas. Os Azure Requisitos de Mitigação de IA Responsável do Serviço OpenAI não se aplicam diretamente aos clientes Security Copilot porque Security Copilot implementa estas mitigações em nome do cliente.
  • Ciclo de comentários do utilizador: depois de um agente devolver uma resposta, os utilizadores podem fornecer feedback. Dependendo da configuração, os utilizadores também podem submeter comentários escritos adicionais para fornecer contexto sobre a sua experiência. Os comentários submetidos são recolhidos e utilizados pela Microsoft para melhorar a qualidade do produto, identificar problemas e atribuir prioridades a melhorias às experiências Security Copilot.
  • Governação de identidade do agente e Controlo de acesso baseado em funções (RBAC): cada agente Security Copilot é executado numa identidade gerida ou numa conta de utilizador, permitindo ao administrador governar os dados aos quais tem acesso. Cada agente tem controlos RBAC e os agentes podem ficar ainda mais restritos quanto aos dados que processam. Ao limitar as permissões de cada agente, o sistema mitiga os riscos de exposição de dados não autorizados e garante que todas as ações automatizadas são auditáveis e rastreáveis.
  • Encriptação de dados e proteção de acesso: os dados dos clientes processados por Security Copilot são encriptados em trânsito e inativos, conforme descrito na Adenda de Proteção de Dados dos Produtos e Serviços microsoft. Por predefinição, nenhum utilizador humano tem acesso à base de dados e o acesso à rede está restrito à rede privada onde a aplicação Security Copilot é implementada; se for necessário acesso humano (para resposta a incidentes), o acesso elevado e o acesso à rede têm de ser aprovados por funcionários autorizados da Microsoft. Veja Conformidade.
  • Abordagem de implementação faseada: Security Copilot lança funcionalidades através de um programa de acesso antecipado apenas para convites, permitindo à Microsoft recolher feedback e refinar funcionalidades antes de uma disponibilidade mais ampla.

A nossa abordagem de mapeamento, medição e gestão de riscos continua a evoluir à medida que aprendemos mais e melhoramos com base nos comentários recebidos dos clientes.

Melhores práticas para implementar e adotar Microsoft Security Copilot

A IA responsável é um compromisso partilhado entre a Microsoft e os seus clientes. Embora a Microsoft crie sistemas de IA com segurança, justiça e transparência no centro, os clientes desempenham um papel fundamental na implementação e utilização destas tecnologias de forma responsável nos seus próprios contextos.

Security Copilot agentes são concebidos para aumentar os conhecimentos humanos, não para substituir. Os clientes continuam a ser responsáveis por rever saídas, validar decisões e garantir a conformidade com as leis, regulamentos e políticas organizacionais aplicáveis.

Os implementadores e os utilizadores finais devem:

  • Tenha cuidado e avalie os resultados ao utilizar Security Copilot para decisões consequentes ou em domínios confidenciais: as decisões consequentes são aquelas que podem ter um impacto legal ou significativo no acesso de uma pessoa ao emprego, aos serviços jurídicos, aos cuidados de saúde ou que possam resultar em danos físicos, psicológicos ou financeiros. Os domínios confidenciais, como os serviços financeiros, os cuidados de saúde e os serviços jurídicos, necessitam de cuidados específicos devido ao potencial de impacto desproporcionado em diferentes grupos de pessoas. Ao utilizar a IA para decisões nestas áreas, os clientes devem garantir que os intervenientes afetados possam compreender como as decisões são tomadas, tomar decisões de recurso e atualizar quaisquer dados de entrada relevantes.

  • Avaliar considerações legais e regulamentares: os clientes têm de avaliar potenciais obrigações legais e regulamentares específicas ao utilizar quaisquer serviços e soluções de IA, que podem não ser adequados para utilização em todos os setores ou cenários. Além disso, os serviços ou soluções de IA não foram concebidos para e não podem ser utilizados de formas proibidas nos termos de serviço aplicáveis e códigos de conduta relevantes.

  • Ativar e manter plug-ins relevantes: a qualidade e a precisão das respostas Security Copilot dependem significativamente dos plug-ins que estão ativados. Os administradores devem garantir que os plug-ins adequados da Microsoft e de terceiros são configurados e mantidos para que os utilizadores recebam respostas fundamentadas e contextualmente relevantes.

Os utilizadores finais devem:

  • Escrever pedidos eficazes: escrever pedidos claros e específicos é fundamental para obter melhores resultados com Security Copilot. Inclua contexto relevante, como IDs de incidentes, nomes de recursos ou intervalos de tempo. Iterar e regenerar pedidos conforme necessário e rever e verificar sempre as respostas geradas pela IA. Para obter mais informações, consulte Sugestões de aviso para Security Copilot.

  • Exercer a supervisão humana quando adequado: a supervisão humana é uma salvaguarda importante ao interagir com sistemas de IA. Embora melhoremos continuamente Security Copilot, os sistemas de IA podem cometer erros. O resultado gerado pode ser impreciso, incompleto, tendencioso ou totalmente alinhado com os objetivos pretendidos devido à ambiguidade nas entradas ou limitações dos modelos subjacentes. Os utilizadores devem rever as respostas geradas pelo Security Copilot e verificar se correspondem às suas expetativas e requisitos antes de efetuarem ações.

  • Tenha em atenção o risco de dependência excessiva: a dependência excessiva da IA ocorre quando os utilizadores aceitam saídas de IA incorretas ou incompletas, principalmente porque os erros nas saídas de IA podem ser difíceis de detetar. Para os profissionais de segurança, a sobre-confiança pode resultar em ameaças perdidas, conclusões incorretas de incidentes ou alterações de política com base em recomendações imperfeitas. Security Copilot inclui a divulgação de IA e cita materiais de origem para ajudar a mitigar este risco, mas os utilizadores devem continuar a certificar-se de que verificam a precisão das respostas. Os utilizadores podem rever o mapa do nó do agente que fornece uma vista de alto nível dos passos realizados durante o fluxo de trabalho de um agente.

  • Tenha cuidado ao implementar ou estruturar IA agente em domínios confidenciais: os utilizadores têm de implementar a supervisão humana adequada ao configurar e implementar sistemas de IA agente em domínios onde as ações do agente são irreversíveis ou altamente consequentes. Devem ser tomadas precauções adicionais ao criar IA agente autónoma, conforme descrito no Código de Conduta dos Serviços de IA do Microsoft Enterprise.

Os implementadores devem:

  • Configurar cuidadosamente as permissões RBAC e de agente: os administradores são responsáveis por configurar controlos de acesso baseados em funções para utilizadores e agentes. As permissões devem seguir o princípio do menor privilégio. Os agentes só devem ter acesso aos dados e às ações necessárias para a tarefa designada.

  • Monitorizar a utilização e rever a atividade: os administradores (proprietários) podem utilizar o Security Copilot dashboard de monitorização de utilização para rever os dados ao nível da sessão, como a utilização ao longo do tempo, iniciadores de sessão e plug-ins utilizados durante as sessões. Esta visibilidade ajuda as organizações a compreender como Security Copilot é utilizado em pedidos, promptbooks e agentes. Para obter mais informações, veja Gerir a utilização.

  • Gerir definições de partilha de dados: os proprietários podem configurar as preferências de partilha de Dados do Cliente em qualquer altura e têm de rever e atualizar estas definições de acordo com os requisitos de privacidade e conformidade da organização. Para obter mais informações, veja Privacidade e segurança de dados no Microsoft Security Copilot.

  • Informar os utilizadores sobre as capacidades e limitações: a utilização eficaz e responsável de Security Copilot exige que os utilizadores compreendam o que o sistema pode e não pode fazer. Os implementadores devem fornecer formação e orientação para ajudar os utilizadores a interagir com Security Copilot eficazmente, incluindo a importância de verificar saídas geradas por IA antes de tomar medidas.

Saiba mais sobre os agentes de Security Copilot

Para obter mais informações sobre a utilização responsável do Microsoft Security Copilot, veja a seguinte documentação:

Saiba mais sobre a IA responsável

  • Last updated on