Criar uma consulta semântica na Pesquisa de IA do Azure

Neste artigo, aprenda a invocar uma classificação semântica em um conjunto de resultados, promovendo os resultados semanticamente mais relevantes para a parte superior da pilha. Você também pode obter legendas semânticas, com destaques sobre os termos e frases mais relevantes e respostas semânticas.

Pré-requisitos

• Um serviço de pesquisa, de nível Básico ou superior, com classificação semântica.

• Um índice de pesquisa existente com uma configuração semântica e conteúdo de rich text.

• Examine a classificação semântica se você precisar de uma introdução ao recurso.

Observação

As legendas e as respostas são extraídas literalmente do texto no documento de pesquisa. O subsistema semântico usa a compreensão de leitura de computador para reconhecer o conteúdo que tem as características de uma legenda ou resposta, mas não compõe novas frases ou orações. Por isso, o conteúdo que inclui explicações ou definições funciona melhor para a classificação semântica. Se você deseja ter uma interação no estilo chat com respostas geradas, confira RAG (Geração Aumentada de Recuperação).

Selecione um cliente

Escolha um cliente de pesquisa que dê suporte à classificação semântica. Estas são algumas opções:

• Portal do Azure, usando o designer de índice para adicionar uma configuração semântica.
• Visual Studio Code com um cliente REST
• SDK do Azure para .NET
• SDK do Azure para Python
• SDK do Azure para Java
• SDK do Azure para JavaScript

Evitar recursos que ignoram a pontuação de relevância

Vários recursos de consulta no Azure AI Search ignoram a pontuação de relevância ou são incompatíveis com a classificação semântica. Se a lógica de consulta incluir os seguintes recursos, você não poderá classificar os resultados semanticamente:

• Uma consulta com search=* ou uma cadeia de caracteres de pesquisa vazia, como consulta pura somente de filtro, não irá funcionar porque não há nada para medir a relevância semântica. A consulta deve fornecer termos ou frases que possam ser avaliados durante o processamento.

• Uma consulta composta na sintaxe completa de Lucene (queryType=full) é incompatível com a classificação semântica (queryType=semantic). O modelo semântico não dá suporte à sintaxe de Lucene completa.

• A classificação (cláusulas orderBy) em campos específicos substitui as pontuações de pesquisa e uma pontuação semântica. Considerando que a pontuação semântica deve fornecer a classificação, adicionar uma cláusula orderby resultará em um erro HTTP 400, se você aplicar a classificação semântica sobre os resultados ordenados.

Configurar a consulta

Nesta etapa, adicione parâmetros à solicitação de consulta. Para ser bem-sucedida, sua consulta deve ser uma pesquisa de texto completo (usando o parâmetro search para passar uma cadeia de caracteres) e o índice deve conter campos de texto com conteúdo semântico avançado e uma configuração semântica.

Portal do Azure

O Gerenciador de Pesquisa inclui opções de classificação semântica.

1. Entre no portal do Azure.

2. Abra o índice de pesquisa e selecione Gerenciador de pesquisa.

3. Selecione Opções de Consulta. Se você já definiu uma configuração semântica, ela será selecionada por padrão. Se você não tiver uma, crie uma configuração semântica para o índice.

   

4. Insira uma consulta, como "hotel histórico com boa comida" e selecione Pesquisar.

5. Como alternativa, selecione o modo de exibição JSON e cole as definições no editor de consultas:

   

   Aqui está um texto JSON que você pode colar na exibição:

    {
        "queryType": "semantic",
        "search": "historic hotel with good food",
        "semanticConfiguration": "my-semantic-config",
        "answers": "extractive|count-3",
        "captions": "extractive|highlight-true",
        "highlightPreTag": "<strong>",
        "highlightPostTag": "</strong>",
        "select": "HotelId,HotelName,Description,Category",
        "count": true
    }
   

REST API

Use Documentos de Pesquisa para formular a solicitação.

A resposta inclui um @search.rerankerScore automaticamente. Se você quiser legendas ou respostas na resposta, adicione legendas e respostas à solicitação.

O exemplo a seguir nesta seção usa o hotels-sample-index para demonstrar a classificação semântica com respostas semânticas e legendas.

1. Cole a solicitação a seguir em um cliente Web como um modelo. Substitua o nome do serviço e o nome do índice por valores válidos.

   POST https://[service name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2023-11-01      
   {
       "queryType": "semantic",
       "search": "newer hotel near the water with a great restaurant",
       "semanticConfiguration": "my-semantic-config",
       "answers": "extractive|count-3",
       "captions": "extractive|highlight-true",
       "highlightPreTag": "<strong>",
       "highlightPostTag": "</strong>",
       "select": "HotelId,HotelName,Description,Category",
       "count": true
   }
   

2. Defina "queryType" como "semantic".

   Em outras consultas, o "queryType" é usado para especificar o analisador de consulta. Na classificação semântica, ela é definida como "semantic". Para o campo "search", você pode especificar consultas que estão em conformidade com a sintaxe simples.

3. Defina "search" como uma consulta de pesquisa de texto completo com base na sintaxe simples. A classificação semântica é uma extensão da pesquisa de texto completo; portanto, embora esse parâmetro não seja necessário, você não obterá um resultado esperado se for nulo.

4. Defina "semanticConfiguration" como uma configuração semântica predefinida inserida no índice.

5. Defina "answers" para especificar se as respostas semânticas são incluídas no resultado. Atualmente, o único valor válido para esse parâmetro é extractive. É possível configurar o retorno de no máximo 10 respostas. O padrão é um. Este exemplo mostra uma contagem de três respostas: extractive|count-3.

   As respostas não são garantidas em todas as solicitações. Para obter uma resposta, a consulta deve ser semelhante a uma pergunta e o conteúdo deve incluir um texto parecido com uma resposta.

6. Defina "captions" para especificar se as legendas semânticas são incluídas no resultado. Atualmente, o único valor válido para esse parâmetro é extractive. As legendas podem ser configuradas para retornar resultados com ou sem realces. O padrão é que os realces sejam retornados. Este exemplo retorna legendas sem realces: extractive|highlight-false.

   A base para legendas e respostas são os campos referenciados no "semanticConfiguration". Esses campos estão em um limite combinado no intervalo de 2.000 tokens ou aproximadamente 20.000 caracteres. Se você previr uma contagem de tokens que exceda esse limite, considere uma etapa de agrupamento de dados usando a habilidade Divisão de texto. Essa abordagem introduz uma dependência de um pipeline de enriquecimento de IA e indexadores.

7. Defina "highlightPreTag" e "highlightPostTag" se quiser substituir a formatação de realce padrão aplicada às legendas.

   As legendas aplicam formatação de realce sobre as passagens relevantes no documento que resumem a resposta. O padrão é <em>. Se desejar especificar o tipo de formatação (por exemplo, plano de fundo amarelo), defina as highlightPreTag e highlightPostTag.

8. Defina "select" para especificar quais campos são retornados na resposta e "count" para retornar o número de correspondências no índice. Esses parâmetros melhoram a qualidade da solicitação e a legibilidade da resposta.

9. Envie a solicitação para executar a consulta e retornar os resultados.

SDK .NET

Use QueryType ou SemanticQuery para invocar classificação semântica em uma consulta semântica. O exemplo a seguir é da equipe do SDK do Azure.

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "Is there any hotel located on the main commercial artery of the city in the heart of New York?",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive)
        },
        QueryLanguage = QueryLanguage.EnUs,
        QueryType = SearchQueryType.Semantic
    });

int count = 0;
Console.WriteLine($"Semantic Search Results:");

Console.WriteLine($"\nQuery Answer:");
foreach (QueryAnswerResult result in response.SemanticSearch.Answers)
{
    Console.WriteLine($"Answer Highlights: {result.Highlights}");
    Console.WriteLine($"Answer Text: {result.Text}");
}

await foreach (SearchResult<Hotel> result in response.GetResultsAsync())
{
    count++;
    Hotel doc = result.Document;
    Console.WriteLine($"{doc.HotelId}: {doc.HotelName}");

    if (result.SemanticSearch.Captions != null)
    {
        var caption = result.SemanticSearch.Captions.FirstOrDefault();
        if (caption.Highlights != null && caption.Highlights != "")
        {
            Console.WriteLine($"Caption Highlights: {caption.Highlights}");
        }
        else
        {
            Console.WriteLine($"Caption Text: {caption.Text}");
        }
    }
}
Console.WriteLine($"Total number of search results:{count}");

Avaliar a resposta

Somente as principais 50 correspondências dos resultados iniciais podem ser classificadas semanticamente. Assim como acontece com todas as consultas, uma resposta é composta por todos os campos marcados como recuperáveis ou apenas pelos campos listados no parâmetro de seleção. Uma resposta inclui a pontuação de relevância original e também pode incluir uma contagem ou resultados em lote, dependendo de como a solicitação foi formulada.

Em uma classificação semântica, a resposta tem mais elementos: uma nova pontuação de relevância classificada semanticamente, uma legenda opcional em texto sem formatação e com destaques e uma resposta opcional. Se os resultados não incluírem esses elementos extras, sua consulta poderá estar configurada incorretamente. Como uma primeira etapa para solucionar o problema, verifique a configuração semântica para garantir que ela seja especificada na definição de índice e na consulta.

Em um aplicativo cliente, você pode estruturar a página de pesquisa para incluir uma legenda como descrição da correspondência, em vez de todo o conteúdo de um campo específico. Essa abordagem é útil quando campos individuais são muito densos para a página de resultados da pesquisa.

A resposta da consulta de exemplo acima retorna a correspondência exibida abaixo como a seleção superior. As legendas são retornadas porque a propriedade "captions" está definida, com texto sem formatação e versões realçadas. As respostas foram omitidas do exemplo porque não foi possível encontrar uma para esta consulta e corpus em especial.

"@odata.count": 35,
"@search.answers": [],
"value": [
    {
        "@search.score": 1.8810667,
        "@search.rerankerScore": 1.1446577133610845,
        "@search.captions": [
            {
                "text": "Oceanside Resort. Luxury. New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
                "highlights": "<strong>Oceanside Resort.</strong> Luxury. New Luxury Hotel. Be the first to stay.<strong> Bay</strong> views from every room, location near the pier, rooftop pool, waterfront dining & more."
            }
        ],
        "HotelName": "Oceanside Resort",
        "Description": "New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
        "Category": "Luxury"
    },
  ...
]

Próximas etapas

A classificação semântica pode ser usada em consultas híbridas que combinam busca de palavra-chave e busca em vetores em uma única solicitação e uma resposta unificada.

Consulta híbrida com classificação semântica