Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Na Pesquisa de IA do Azure, o classificador semântico é um recurso que melhora a relevância da pesquisa de maneira mensurável, usando os modelos de compreensão de linguagem da Microsoft para reclassificar os resultados da pesquisa. Este artigo traz uma introdução de alto nível para ajudar você a entender melhor sobre os comportamentos e benefícios do classificador semântico.
O classificador semântico é um recurso Premium cobrado pelo uso. Recomendamos a leitura deste artigo para obter mais contexto, mas se preferir começar agora mesmo, siga estas etapas.
Observação
O classificador semântico não usa IA gerativa ou vetores para classificação de nível secundário 2 (L2). Se você estiver procurando vetores e pesquisa de similaridade, consulte a pesquisa de vetor no Azure AI Search.
O que é a classificação semântica?
O classificador semântico é uma coleção de funcionalidades do lado da consulta que melhoram a qualidade de um resultado de pesquisa inicial classificado em BM25 ou RRF para consultas baseadas em texto, a parte de texto de consultas vetoriais e consultas híbridas. A classificação semântica estende o pipeline de execução de consulta de três maneiras:
Primeiro, ele sempre adiciona uma classificação secundária sobre um conjunto de resultados inicial que foi pontuado usando BM25 ou Reciprocal Rank Fusion (RRF). Esta classificação secundária usa modelos de aprendizado detalhados e multilíngues adaptados do Microsoft Bing para promover os resultados mais semanticamente relevantes.
Em segundo lugar, ele retorna legendas e, opcionalmente, extrai respostas na resposta, que você pode renderizar em uma página de pesquisa para melhorar a experiência de pesquisa do usuário.
Terceiro, se você habilitar a reescrita de consulta, ela expandirá uma cadeia de caracteres de consulta inicial em várias cadeias de caracteres de consulta semanticamente semelhantes.
A classificação secundária e as "respostas" se aplicam à resposta da consulta. A reescrita da consulta faz parte da solicitação da consulta.
Aqui estão os recursos do reclassificador semântico.
| Capacidade | Descrição |
|---|---|
| Classificação L2 | Usa o contexto ou o significado semântico de uma consulta para calcular uma nova pontuação de relevância sobre os resultados pré-classificados. |
| Legendas semânticas e destaques | Extrai frases e expressões literais de campos que melhor resumem o conteúdo, com destaques sobre as passagens principais para facilitar a leitura. As legendas que resumem um resultado são úteis quando campos de conteúdo individuais são muito densos para a página de resultados da pesquisa. O texto realçado destaca os termos e frases mais relevantes para que os usuários possam determinar rapidamente por que uma correspondência foi considerada relevante. |
| Respostas semânticas | Uma subestrutura opcional e adicional retornada de uma consulta semântica. Ela oferece uma resposta direta para uma consulta que se parece com uma pergunta. Ela requer que um documento tenha um texto com as características de uma resposta. |
| Reescrita de consulta | Usando consultas de texto ou a parte de texto de uma consulta vetor, o classificador semântico cria até 10 variantes da consulta, talvez corrigindo erros de digitação ou ortografia ou reformulando uma consulta usando sinônimos gerados. A consulta reescrita é executada no mecanismo de pesquisa. Os resultados são avaliados usando a pontuação BM25 ou RRF e, em seguida, reavaliados pelo ranqueador semântico. |
Como funciona o classificador semântico
O classificador semântico alimenta uma consulta e os resultados em modelos de reconhecimento de linguagem hospedados pela Microsoft, buscando correspondências melhores.
A ilustração a seguir explica o conceito. Considere o termo "capital". Tem significados diferentes dependendo de se o contexto é sobre finanças, direito, geografia ou gramática. Por meio do reconhecimento de linguagem, o classificador semântico pode detectar o contexto e promover resultados que se ajustem à intenção de consulta.
A classificação semântica é demorada tando em recurso quanto em tempo. Para concluir o processamento dentro da latência esperada de uma operação de consulta, as entradas para o classificador semântico são consolidadas e reduzidas para que a etapa de reclassificação possa ser concluída o mais rápido possível.
O processo de classificação semântica envolve três etapas:
- Coletar e resumir entradas
- Pontuar resultados usando o classificador semântico
- Saída de resultados repontuados, legendas e respostas
Como as entradas são coletadas e resumidas
Na classificação semântica, o subsistema de consulta passa os resultados da pesquisa como uma entrada para resumir e classificar modelos. Como os modelos de classificação têm restrições de tamanho de entrada e exigem muito processamento, os resultados da pesquisa devem ser dimensionados e estruturados (resumidos) para fins de manipulação eficiente.
O classificador semântico começa com um resultado classificado por BM25 de uma consulta de texto ou um resultado classificado por RRF de uma consulta vetorial ou híbrida. Somente texto é usado no exercício de reclassificação, e apenas os 50 melhores resultados progridem para a classificação semântica, mesmo que os resultados incluam mais de 50. Normalmente, os campos usados na classificação semântica são informativos e descritivos.
Para cada documento no resultado da pesquisa, o modelo de resumo aceita até 2.000 tokens, em que um token tem aproximadamente 10 caracteres. As entradas são montadas a partir dos campos "title", "keyword" e "content" listados na configuração semântica.
Aas cadeias de caracteres excessivamente longas são cortadas para garantir que o comprimento geral atenda aos requisitos de entrada da etapa de resumo. Esse exercício de corte é o motivo pelo qual é importante adicionar campos à sua configuração semântica em ordem de prioridade. Se você tiver documentos muito grandes com campos cheios de texto, qualquer coisa além do limite máximo será ignorada.
Campo semântico Limite de token "título" 128 tokens "keywords" 128 tokens "conteúdo" tokens restantes A saída do resumo é uma sequência de resumo para cada documento, composta pelas informações mais relevantes de cada campo. As sequências de resumo são enviadas ao classificador para pontuação e aos modelos de compreensão de leitura de máquina para legendas e respostas.
A partir de novembro de 2024, o comprimento máximo de cada resumo gerado, passado para o classificador semântico, é de 2.048 tokens. Anteriormente, eram 256 tokens.
Como a classificação é pontuada
A pontuação é feita sobre a legenda e qualquer outro conteúdo da sequência de resumo que preencha o comprimento do token 2.048.
As legendas são avaliadas quanto à relevância conceitual e semântica, em relação à consulta fornecida.
O @search.rerankerScore é atribuído para cada documento com base na relevância semântica do documento para a consulta determinada. As pontuações variam de 4 a 0 (alta a baixa), em que uma pontuação mais alta indica maior relevância.
Pontuação Significado 4,0 O documento é altamente relevante e responde completamente à pergunta, mesmo que o trecho inclua textos adicionais que não estejam relacionados à pergunta. 3.0 O documento é relevante, mas falta detalhes para deixá-lo completo. 2,0 O documento é parcialmente relevante, respondendo de forma incompleta ou abordando apenas alguns aspectos da pergunta. 1,0 O documento está relacionado à pergunta, mas só responde uma pequena parte dela. 0,0 O documento é irrelevante. As correspondências são listadas em ordem decrescente por pontuação e incluídas na carga útil da resposta da consulta. A carga útil inclui respostas, texto simples e legendas destacadas, além de quaisquer campos que você marcou como recuperáveis ou especificou em uma cláusula selecionada.
Observação
Para qualquer consulta específica, as distribuições de @search.rerankerScore podem apresentar pequenas variações devido às condições no nível da infraestrutura. As atualizações do modelo de classificação também são conhecidas por afetar a distribuição. Por esses motivos, se estiver escrevendo um código personalizado para limites mínimos ou definindo a propriedade de limite para consultas de vetores e híbridas, não torne os limites muito granulares.
Saídas de classificador semântico
Em cada cadeia de caracteres de resumo, os modelos de compreensão de leitura do computador encontram passagens que são as mais representativas.
As saídas são:
Uma legenda semântica para o documento. Cada legenda está disponível em uma versão de texto sem formatação e uma versão realçada, e ela geralmente tem menos de 200 palavras por documento.
Uma resposta semântica opcional, supondo que você especificou o parâmetro
answers, a consulta foi colocada como uma pergunta e uma passagem é encontrada na cadeia de caracteres longa que fornece uma resposta provável para a pergunta.
As legendas e respostas são sempre textos integrais do seu índice. Não há modelos de IA generativa neste fluxo de trabalho que crie ou componha o novo conteúdo.
Funcionalidades semânticas e limitações
O que o classificador semântico pode fazer:
Promova correspondências que sejam semanticamente mais próximas da intenção da consulta original.
Encontrar cadeias de caracteres a serem usadas como legendas e respostas. As legendas e respostas são retornadas na resposta e podem ser renderizadas em uma página de resultados da pesquisa.
O que o classificador semântico não pode fazer é executar novamente a consulta em todo o corpus para encontrar resultados semanticamente relevantes. A classificação semântica reclassifica o conjunto de resultados existentes, que consiste nos primeiros 50 resultados, conforme pontuado pelo algoritmo de classificação padrão. Além disso, o classificador semântico não pode criar novas informações ou cadeias de caracteres. As legendas e as respostas são extraídas literalmente do seu conteúdo, portanto, se os resultados não incluírem conteúdo parecido com respostas, os modelos de linguagem não produzirão um.
Embora a classificação semântica não seja benéfica em todos os cenários, alguns conteúdos podem ter grandes benefícios com os seus recursos. Os modelos de linguagem no classificador semântico funcionam melhor em conteúdos pesquisáveis, que sejam ricos em informações e estruturado como prosa. Bases de conhecimento, documentações online ou documentos que contêm conteúdo descritivo são os que mais se beneficiam das capacidades de classificadores semânticos.
A tecnologia subjacente é do Bing e do Microsoft Research e se integra à infraestrutura do Azure AI Search como um recurso complementar. Para obter mais informações sobre os investimentos em pesquisa e IA que respaldam o classificador semântico, confira o artigo: Como a IA do Bing está capacitando a Pesquisa de IA do Azure (blog Microsoft Research).
O seguinte vídeo apresenta uma visão geral dos recursos.
Como o classificador semântico usa mapas de sinônimos
Se você já tiver habilitado o suporte para mapas de sinônimos associados a um campo em seu índice de pesquisa e esse campo estiver incluído na configuração do ranker semântico, o classificador semântico aplicará automaticamente os sinônimos configurados durante o processo de reclassificação.
Disponibilidade e preços
O classificador semântico está disponível nos serviços de pesquisa nas camadas Básica e superior, sujeita à disponibilidade regional.
Ao configurar o classificador semântico, escolha um plano de preços para o recurso:
- Em volumes de consulta inferiores (menos de 1.000 mensais), a classificação semântica é gratuita.
- Em volumes de consulta mais altos, escolha o plano de preços padrão.
A página de preços do Azure AI Search mostra a taxa de cobrança em diferentes moedas e intervalos.
Os encargos pelo uso classificador semântico são cobrados quando as solicitações de consulta incluírem queryType=semantic e a cadeia de caracteres de pesquisa não estiver vazia (por exemplo, search=pet friendly hotels in New York). Se a cadeia de caracteres de pesquisa estiver vazia (search=*), você não será cobrado, mesmo que o queryType esteja definido como semantic.
Como começar a usar o classificador semântico
Entre no portal do Azure para verificar se o serviço de pesquisa é Básico ou superior.
Configure o classificador semântico para o serviço de pesquisa, escolhendo um plano de preços.
Configure o classificador semântico em um índice de pesquisa.
Defina consultas para retornar legendas e destaques semânticos.