Revisão humana para automatização com um pedido
Este artigo realça a função crítica de revisão humana na implementação da caraterística Criar texto com GPT no Power Automate. Esta caraterística utiliza o modelo de geração de texto a partir do AI Builder, com tecnologia do Azure OpenAI Service. Embora estes modelos sejam altamente eficazes, podem, por vezes, gerar informações enganadoras ou fabricadas e suscetíveis para avisar sobre a ataques de injeção.
Importante
- AI Builder os prompts estão sendo executados nos modelos GPT-3.5 Turbo e GPT-4 (pré-visualização) com tecnologia do Serviço do Azure OpenAI .
- Esta capacidade é limitada a algumas regiões.
- Esta capacidade poderá estar sujeita a limitações de utilização ou a uma limitação de capacidade.
Avisar sobre ataques de injeção
Um aviso de ataque de injeção ocorre quando um terceiro tira partido da confiança inerente do modelo em todas as fontes de entrada. O atacante injeta um aviso no conteúdo com que um utilizador legítimo pede para interagir à solução de IA, o que causa uma alteração nos resultados da solução de IA e, potencialmente, nas respetivas ações.
Por exemplo, considere um cenário no qual um cidadão programador utiliza a ação Criar texto com GPT para responder às reclamações de clientes recolhidas a partir de várias plataformas, como mensagens e-mails, redes sociais ou fóruns. Uma atacante poderia inserir um aviso neste conteúdo a partir de uma destas origens. Este cenário pode transformar o modelo na geração de uma resposta que difere do pretendido. A resposta pode ser inadequada, incorreta ou prejudicial. O envio de informações incorretas aos clientes pode afetar negativamente a reputação da empresa e a relação com os clientes.
Fabrico em modelos de IA
O fabrico, também conhecido como alucinação, é outro desafio encarado pelos modelos de IA, incluindo o modelo de geração de texto. O fabrico ocorre quando o modelo de IA gera informações que não se baseiam em dados fornecidos ou em dados pré-existentes, essencialmente informação inventada ou alucinada.
Por exemplo, se pedir ao modelo de IA para gerar um resumo de um evento histórico com base num determinado texto, pode incluir detalhes ou eventos que não foram mencionados no texto de origem. Por exemplo, um fluxo cria uma sinopse de uma reunião com base na transcrição da gravação. Os dados de entrada incluem detalhes sobre os participantes, os artigos debatidos e as decisões tomadas. No entanto, o modelo pode gerar um resumo que inclui um item de ação ou uma decisão que nunca foi debatida na reunião. Esta situação é uma instância de fabrico, em que o modelo alucinou sobre uma peça de informação que não existe nos dados de entrada.
Para mitigar o risco de fabrico, é crucial implementar práticas de IA responsável. Isto inclui testes rigorosos do aviso e do fluxo, fornecendo ao modelo o máximo de informações de base possível e, por fim, implementando um robusto sistema de vigilância humana.
Abordar riscos através de práticas de IA responsável
Defendemos práticas de IA responsável como um meio para reduzir os riscos. Apesar de terem estratégias em vigor para moderar o conteúdo produzido pelo modelo, a gestão da propensão do modelo para gerar respostas fabricadas ou sucumbirem a um aviso de ataques de injeção continua a ser um desafio complexo. Reconhecemos estes riscos e reafirmamos o nosso compromisso para com o controlo e a vigilância humanos.
Reconhecendo a necessidade de uma automatização simplificada, estamos a melhorar proativamente os nossos sistemas de segurança e a promover uma compreensão mais profunda destes desafios. O nosso objetivo é refinar ainda mais o modelo de geração de texto com medidas de segurança adequadas, em linha com os nossos princípios de IA responsável por design, devolvendo o controlo aos programadores, sempre que exequível.