Compartilhar via

Nota de transparência para a linguagem de IA do Azure

Importante

Traduções não em inglês são fornecidas apenas para conveniência. Consulte a EN-US versão deste documento para a versão v.

O que é uma nota de transparência?

Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usarão, que serão afetadas por ele e o ambiente em que ele é implantado. Criar um sistema adequado para sua finalidade pretendida requer uma compreensão de como a tecnologia funciona, suas funcionalidades e limitações e como obter o melhor desempenho. As notas de transparência da Microsoft se destinam a ajudar você a entender como funciona a nossa tecnologia de IA, as escolhas que os responsáveis pelo sistema podem fazer que influenciam o desempenho e o comportamento do sistema e a importância de pensar no sistema como um todo, incluindo a tecnologia, as pessoas e o ambiente. Você pode usar notas de transparência ao desenvolver ou implantar seu sistema ou compartilhá-las com as pessoas que usarão ou serão afetadas pelo seu sistema.

As Notas de Transparência da Microsoft fazem parte de um esforço mais amplo da Microsoft para colocar nossos princípios de IA em prática. Para saber mais, consulte Princípios de IA da Microsoft.

As noções básicas da Linguagem de IA do Azure

Introdução

A Linguagem de IA do Azure é um serviço baseado em nuvem que fornece recursos de NLP (Processamento de Linguagem Natural) para análise de texto e mineração de texto, incluindo os seguintes recursos:

Leia a visão geral para obter uma introdução a cada recurso e examinar os casos de uso de exemplo. Consulte os guias de instruções e a referência à API para entender mais detalhes sobre o que cada recurso faz e o que é retornado pelo sistema.

Este artigo contém diretrizes básicas sobre como usar os recursos da Linguagem de IA do Azure de forma responsável. Leia as informações gerais primeiro e, em seguida, vá para o artigo específico se você estiver usando um dos recursos abaixo.

Capacidades

Casos de uso

Os serviços de Linguagem de IA do Azure podem ser usados em vários cenários em vários setores. Alguns exemplos listados por recurso são:

  • Use o reconhecimento de entidade nomeada personalizada para mineração de conhecimento para aprimorar a pesquisa semântica. A pesquisa é fundamental para qualquer aplicativo que mostra conteúdo de texto para os usuários. Cenários comuns incluem pesquisa de catálogos ou documentos, pesquisa de produtos de varejo ou mineração de conhecimento para ciência de dados. Muitas empresas em vários setores desejam criar uma experiência de pesquisa avançada em conteúdos privados e diversificados, que incluem documentos estruturados e não estruturados. Como parte do pipeline, os desenvolvedores podem usar o NER personalizado para extrair entidades do texto que são relevantes para o setor. As entidades previstas podem ser usadas para enriquecer a indexação do arquivo para obter uma experiência de pesquisa mais personalizada.

  • Use o Reconhecimento de Entidade Nomeada para aprimorar ou automatizar processos de negócios. Por exemplo, ao revisar as declarações de seguro, entidades reconhecidas como nome e local podem ser realçadas para facilitar a revisão. Ou um tíquete de suporte pode ser gerado automaticamente com o nome do cliente e a empresa a partir de um email.

  • Use informações de identificação pessoal para redatar algumas categorias de informações pessoais de documentos a fim de proteger a privacidade. Por exemplo, se os registros de contato do cliente estiverem acessíveis para representantes de suporte de primeira linha, talvez a empresa queira redigir informações pessoais desnecessárias do cliente do histórico do cliente para preservar a privacidade do cliente.

  • Use a Detecção de Idiomas para detectar idiomas para o fluxo de trabalho de negócios. Por exemplo, se uma empresa receber emails em vários idiomas de clientes, ela poderá usar a detecção de idiomas para rotear os emails por idioma para falantes nativos para facilitar a comunicação com esses clientes.

  • Use a Análise de Sentimento para monitorar tendências de comentários positivos e negativos na agregação. Após a introdução de um novo produto, um varejista poderia usar o serviço de sentimento para monitorar vários meios de comunicação sociais para menções do produto com seu sentimento. Eles poderiam revisar a tendência de opinião em suas reuniões semanais de produto.

  • Use o Resumo para extrair informações importantes de artigos de notícias públicas. Para produzir insights como tendências e destaques de notícias.

  • Use a Extração de Frases-Chave para exibir tendências de agregação em dados de texto. Por exemplo, uma nuvem de palavras pode ser gerada com frases-chave para ajudar a visualizar conceitos importantes em comentários de texto ou feedback. Por exemplo, um hotel pode gerar uma nuvem de palavras com base em frases-chave identificadas em seus comentários e pode ver que as pessoas estão comentando com mais frequência sobre o local, a limpeza e a equipe útil.

  • Use Análise de Texto para Saúde para extração de informações e estatísticas. Identifique entidades médicas como sintomas, medicamentos e diagnósticos em notas clínicas e diversos documentos clínicos. Use essas informações para produzir insights e estatísticas sobre populações de pacientes, pesquisar documentos clínicos, documentos de pesquisa e publicações.

  • Use a classificação de textos personalizada para a triagem automática de email ou tíquete. Os centros de suporte de todos os tipos recebem um grande volume de emails ou tíquetes que contêm textos e anexos não estruturados e de forma livre. É essencial atender aos prazos de revisão, confirmação e encaminhamento para especialistas no assunto das equipes internas. A triagem de emails nessa escala exige que as pessoas revisem e encaminhem para os departamentos adequados, o que toma tempo e recursos. A classificação de textos personalizada pode ser usada para analisar textos de entrada, triar e categorizar o conteúdo para ser encaminhado automaticamente aos departamentos relevantes para ações adicionais.

  • Use o Conversational Language Understanding para criar bots de conversa de ponta a ponta. Use a CLU para compilar e treinar um modelo de compreensão de linguagem natural personalizado com base em um domínio específico e nos enunciados dos usuários esperados. Integre-a a qualquer bot de conversa de ponta a ponta para processar e analisar o texto de entrada em tempo real para identificar a intenção do texto e extrair informações importantes. Faça com que o bot execute a ação desejada com base na intenção e nas informações extraídas. Um exemplo seria um bot de varejo personalizado para compras online ou pedidos de comida.

  • Use a resposta a perguntas para o suporte ao cliente. Na maioria dos cenários de suporte ao cliente, perguntas comuns são feitas com frequência. A Resposta a Perguntas permite criar instantaneamente um chat bot com base no conteúdo de suporte existente, e esse bot pode atuar como o sistema de linha de frente para lidar com consultas de clientes. Se as perguntas não puderem ser respondidas pelo bot, componentes adicionais poderão ajudar a identificar e sinalizar a questão da intervenção humana.

Limitações

A qualidade do texto de entrada para o sistema afetará seus resultados.

Os recursos da Linguagem de IA do Azure processam apenas o texto. A fidelidade e a formatação do texto de entrada afetarão o desempenho do sistema. Considere o seguinte:

  • A qualidade da transcrição de fala pode afetar a qualidade dos resultados. Se os dados de origem forem de voz, use a combinação de alta qualidade de transcrição automática e humana para garantir o melhor desempenho. Considere usar modelos de fala personalizados para obter resultados de melhor qualidade.

  • A falta de pontuação padrão ou maiúsculas de minúsculas pode afetar a qualidade dos resultados. Se estiver usando um sistema de fala, como a Conversão de Fala em Texto de IA do Azure, selecione a opção para incluir pontuação.

  • A qualidade do OCR (reconhecimento óptico de caracteres) pode afetar a qualidade do sistema. Se os dados de origem forem imagens e você usar a tecnologia OCR para gerar o texto, o texto gerado incorretamente poderá afetar o desempenho do sistema. Considere usar modelos OCR personalizados para ajudar a melhorar a qualidade dos resultados.

  • Se seus dados incluirem erros ortográficos frequentes, considere usar a Verificação Ortográfica do Bing para corrigir erros ortográficos.

  • Os dados tabulares podem não ser identificados corretamente dependendo de como você envia o texto da tabela para o sistema. Avalie como enviar texto de tabelas em documentos de origem para o serviço. Para tabelas em documentos, considere usar o Azure AI Document Intelligence ou um serviço semelhante. Isso permitirá que você obtenha as chaves e os valores apropriados para enviar à Linguagem de IA do Azure com chaves contextuais próximas o suficiente dos valores para o sistema reconhecer corretamente as entidades.

  • A Microsoft treinou seus modelos de recursos da Linguagem de IA do Azure (com exceção da detecção de idioma) usando dados de texto de linguagem natural que são compostos principalmente por frases e parágrafos totalmente formados. Portanto, usar esse serviço para dados que mais se assemelham a esse tipo de texto produzirá o melhor desempenho. Recomendamos evitar o uso desse serviço para avaliar frases e frases incompletas sempre que possível, pois o desempenho pode ser reduzido.

  • O serviço só dá suporte a texto de idioma único. Se o texto incluir vários idiomas, por exemplo, "o sanduíche foi bueno", a saída pode não ser precisa.

  • O código de idioma deve corresponder ao idioma de texto de entrada para obter resultados precisos. Se você não tiver certeza sobre o idioma de entrada, poderá usar o recurso de detecção de idioma.

Melhores práticas para melhorar o desempenho do sistema

Alguns recursos da Linguagem de IA do Azure retornam pontuações de confiança e podem ser avaliados usando a abordagem descrita nas seções a seguir. Outros recursos que não retornam uma pontuação de confiança (como extração e resumo de palavras-chave) precisarão ser avaliados usando métodos diferentes.

Entender as pontuações de confiança para análise de sentimento, reconhecimento de entidade nomeada, detecção de idioma e funções de integridade

O sentimento, o reconhecimento de entidade nomeada, a detecção de idiomas e as funções de integridade retornam uma pontuação de confiança como parte da resposta do sistema. Esse é um indicador de quão confiante o serviço está com a resposta do sistema. Um valor mais alto indica que o serviço está mais confiante de que o resultado é preciso. Por exemplo, o sistema reconhece a entidade da categoria EUA. Número da carteira de motorista no texto 555 555 555 quando dado o texto "Meu número de carteira de motorista de NY é 555 555 555" com uma pontuação de 0,75 e pode reconhecer a categoria EUA. Número da carteira de motorista no texto 555 555 555 com uma pontuação de 0,65 quando o texto "Meu número de DL de NY é 555 555 555". Dado o contexto mais específico no primeiro exemplo, o sistema está mais confiante em sua resposta. Em muitos casos, a resposta do sistema pode ser usada sem examinar a pontuação de confiança. Em outros casos, você pode optar por usar uma resposta somente se sua pontuação de confiança estiver acima de um limite de pontuação de confiança especificado.

Entender e medir o desempenho

O desempenho dos recursos da Linguagem de IA do Azure é medido examinando o quão bem o sistema reconhece os conceitos de NLP com suporte (com um determinado valor de limite em comparação com um juiz humano).) Para NER (extração de entidade nomeada), por exemplo, pode-se contar o número verdadeiro de entidades de número de telefone em algum texto com base no julgamento humano e, em seguida, comparar com a saída do sistema do processamento do mesmo texto. Comparar o julgamento humano com as entidades reconhecidas pelo sistema permitiria classificar os eventos em dois tipos de eventos corretos (ou "true") e dois tipos de eventos incorretos (ou "false")..

Resultado Correto/incorreto Definição Exemplo
Verdadeiro positivo Correto O sistema retorna o mesmo resultado que seria esperado de um juiz humano. O sistema reconhece corretamente a entidade PII da categoria Número de Telefone no texto 1-234-567-8910 quando dado o texto: "Você pode me contatar no meu número de escritório 1-234-567-9810."
Verdadeiro negativo Correto O sistema não retorna um resultado, e isso se alinha com o que seria esperado do juiz humano. O sistema não reconhece nenhuma entidade PII quando recebe o texto: "Você pode me alcançar no número do meu escritório".
Falso positivo Incorreto O sistema retorna um resultado onde um juiz humano não o faria. O sistema reconhece incorretamente a entidade PII da categoria Número de Telefone para o número do escritório de texto quando o texto é dado: "Você pode me contatar no meu número do escritório".
Falso negativo Incorreto O sistema não retorna um resultado quando um juiz humano o faria. O sistema perde incorretamente uma entidade PII de Número de Telefone no texto 1-234-567-8910 quando dado o texto: "Você pode me contatar no meu número do escritório 1-234-567-9810."

Os recursos da Linguagem de IA do Azure nem sempre estarão corretos. Você provavelmente experimentará erros falsos negativos e falsos positivos. É importante considerar como cada tipo de erro afetará seu sistema. Pense cuidadosamente em cenários em que eventos verdadeiros não serão reconhecidos e onde eventos incorretos serão reconhecidos e quais efeitos downstream podem estar em sua implementação. Crie maneiras de identificar, relatar e responder a cada tipo de erro. Planeje revisar periodicamente o desempenho do sistema implantado para garantir que os erros estejam sendo tratados adequadamente.

Como definir limites de pontuação de confiança

Você pode optar por tomar decisões em seu sistema com base na pontuação de confiança retornada pelo sistema. Você pode ajustar o limite de pontuação de confiança que seu sistema usa para atender às suas necessidades. Se for mais importante identificar todas as instâncias potenciais dos conceitos nlp desejados, você poderá usar um limite inferior. Isso significa que você pode obter mais falsos positivos, mas menos falsos negativos. Se for mais importante para o sistema reconhecer apenas instâncias verdadeiras do recurso que você está chamando, você poderá usar um limite mais alto. Se você usar um limite mais alto, poderá obter menos falsos positivos, mas mais falsos negativos. Cenários diferentes exigem abordagens diferentes. Além disso, os valores de limite podem não ter um comportamento consistente entre recursos individuais da Linguagem de IA do Azure e categorias de entidades. Por exemplo, não faça suposições de que o uso de um determinado limite para o número de telefone da categoria NER seria suficiente para outra categoria de NER ou que um limite usado no NER funcionaria de forma semelhante para a Análise de Sentimento. Portanto, é fundamental que você teste seu sistema com quaisquer limites que esteja considerando usar com dados reais para determinar os efeitos de vários valores de limite do seu sistema no contexto em que ele será usado.

Imparcialidade

Na Microsoft, nos esforçamos para capacitar cada pessoa do planeta a conseguir mais. Uma parte essencial desse objetivo é trabalhar para criar tecnologias e produtos que sejam justos e inclusivos. A imparcialidade é um tópico sociotécnico multidimensional e afeta muitos aspectos diferentes do nosso desenvolvimento de produtos. Você pode saber mais sobre a abordagem da Microsoft para a imparcialidade aqui.

Uma dimensão que precisamos considerar é o desempenho do sistema para diferentes grupos de pessoas. Isso pode incluir examinar a precisão do modelo, bem como medir o desempenho do sistema completo. Pesquisas mostraram que, sem esforço consciente focado na melhoria do desempenho de todos os grupos, muitas vezes é possível que o desempenho de um sistema de IA varie entre grupos com base em fatores como raça, etnia, linguagem, gênero e idade.

Cada serviço e recurso é diferente, e nossos testes podem não corresponder perfeitamente ao contexto ou abranger todos os cenários necessários para seu caso de uso. Incentivamos os desenvolvedores a avaliar minuciosamente as taxas de erro do serviço com dados do mundo real que refletem seu caso de uso, incluindo testes com usuários de diferentes grupos demográficos.

Para a Azure Linguagem de IA, certos dialetos e variedades linguísticas entre nossos idiomas suportados e textos de alguns grupos demográficos talvez ainda não tenham representação suficiente em nossos conjuntos de dados de treinamento atuais. Recomendamos que você examine nossas diretrizes de uso responsável e, se encontrar diferenças de desempenho, recomendamos que você nos informe.

O desempenho varia entre recursos e idiomas

Há suporte para vários idiomas para cada recurso de Linguagem de IA do Azure. Você pode achar que o desempenho de um recurso específico não é consistente com outro recurso. Além disso, você pode achar que, para um recurso específico, o desempenho não é consistente em vários idiomas.

Próximas etapas

Se você estiver usando qualquer um dos recursos abaixo, examine as informações específicas desse recurso.

Consulte também

Além disso, certifique-se de examinar: