Adición de clasificación semántica a consultas en Azure AI Search

En este artículo se explica cómo invocar el clasificador semántico en las consultas. Puede aplicar la clasificación semántica a consultas de texto, consultas híbridas y consultas vectoriales si los documentos de búsqueda contienen campos de cadena y la consulta vectorial tiene una representación de texto.

La clasificación semántica recorre en iteración un conjunto de resultados inicial, aplicando una metodología de clasificación L2 que promueve los resultados más semánticamente relevantes en la parte superior de la pila. También puede obtener leyendas semánticas, con los términos y las frases más relevantes resaltados, además de respuestas semánticas.

Requisitos previos

• Un servicio de búsqueda, nivel básico o superior, con clasificación semántica habilitada.

• Un índice de búsqueda existente con una configuración semántica y contenido de texto enriquecido.

• Revisa el artículo Clasificación semántica si necesitas conocer los aspectos generales de esta característica.

Nota:

Las leyendas y las respuestas se extraen literalmente del texto del documento de búsqueda. El subsistema semántico recurre a la comprensión de lectura mecánica para determinar qué parte del contenido tiene las características de un título o respuesta, pero no crea oraciones ni frases. Por esta razón, el contenido que incluye explicaciones o definiciones funciona mejor para la clasificación semántica. Si quieres la interacción de estilo de chat con las respuestas generadas, consulta Generación aumentada de recuperación (RAG).

Elija un cliente

Puede usar cualquiera de las siguientes herramientas y SDK para crear una consulta que use la clasificación semántica:

• Azure Portal, mediante el diseñador de índices para agregar una configuración semántica.
• Visual Studio Code con un cliente REST
• SDK de Azure para .NET
• SDK de Azure para Python
• SDK de Azure para Java
• Azure SDK para JavaScript

Evitar características que omiten la puntuación de relevancia

Varias funcionalidades de consulta de Azure AI Search omiten la puntuación de relevancia o no son incompatibles con la clasificación semántica. Si la lógica de consulta incluye las siguientes características, no se puede clasificar semánticamente los resultados:

• Una consulta con search=* o una cadena de búsqueda vacía, como una consulta pura de solo filtro, no funcionará porque no hay nada con lo que medir la relevancia semántica. La consulta debe proporcionar términos o frases que se pueden evaluar durante el procesamiento.

• Una consulta compuesta en la sintaxis completa de Lucene (queryType=full) no es compatible con la clasificación semántica (queryType=semantic). El modelo semántico no admite la sintaxis completa de Lucene.

• La clasificación (cláusulas orderBy) en campos específicos invalida las puntuaciones de búsqueda y la puntuación semántica. Dado que se supone que la puntuación semántica proporciona la clasificación, agregar una cláusula orderby produce un error HTTP 400 si aplica la clasificación semántica sobre los resultados de orden.

Configurar la consulta

En este paso, añade parámetros a la solicitud de consulta. Para que se realice correctamente, la consulta debe ser una búsqueda de texto completo (con el parámetro search para pasar una cadena) y el índice debe contener campos de texto con contenido semántico enriquecido y una configuración semántica.

Azure Portal

El explorador de búsqueda incluye opciones para la clasificación semántica.

1. Inicie sesión en Azure Portal.

2. Abre un índice de búsqueda y selecciona Explorador de búsqueda.

3. Seleccione Opciones de consulta. Si ya ha definido una configuración semántica, se selecciona de forma predeterminada. Si no tiene una, crear una configuración semántica para el índice.

   

4. Escriba una consulta, como "hotel histórico con buena comida" y seleccione Buscar.

5. También puede seleccionar vista JSON y pegar definiciones en el editor de consultas:

   

   Este es un texto JSON que puede pegar en la vista:

    {
        "queryType": "semantic",
        "search": "historic hotel with good food",
        "semanticConfiguration": "my-semantic-config",
        "answers": "extractive|count-3",
        "captions": "extractive|highlight-true",
        "highlightPreTag": "<strong>",
        "highlightPostTag": "</strong>",
        "select": "HotelId,HotelName,Description,Category",
        "count": true
    }
   

REST API

Utiliza Buscar en documentos para formular la solicitud.

Una respuesta incluye automáticamente una matriz @search.rerankerScore. Si quieres agregar títulos o respuestas, agrega "captions" o "answers" en la solicitud.

En el ejemplo siguiente de esta sección, se usa hotels-sample-index para mostrar la clasificación semántica con títulos y respuestas semánticas.

1. Pegue la solicitud siguiente en un cliente web como plantilla. Reemplace el nombre del servicio y el nombre del índice por valores válidos.

   POST https://[service name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2023-11-01      
   {
       "queryType": "semantic",
       "search": "newer hotel near the water with a great restaurant",
       "semanticConfiguration": "my-semantic-config",
       "answers": "extractive|count-3",
       "captions": "extractive|highlight-true",
       "highlightPreTag": "<strong>",
       "highlightPostTag": "</strong>",
       "select": "HotelId,HotelName,Description,Category",
       "count": true
   }
   

2. Establezca "queryType" en "semantic".

   En otras consultas, se usa "queryType" para especificar el analizador de consultas. En la clasificación semántica, se establece en "semantic". Para el campo "search", puede especificar consultas que cumplan con la sintaxis simple.

3. Establezca "search" en una consulta de búsqueda de texto completo en la sintaxis simple. La clasificación semántica es una extensión de la búsqueda de texto completo, por lo que, aunque este parámetro no es necesario, no obtendrá un resultado esperado si es null.

4. Establece "semanticConfiguration" en una configuración semántica predefinida que está insertada en el índice.

5. Establezca "answers" para especificar si las respuestas semánticas se incluyen en el resultado. Actualmente el único valor válido para este parámetro es extractive. Se puede configurar que se devuelva un máximo de 10 respuestas. El valor predeterminado es uno. En este ejemplo se muestra un recuento de tres respuestas: extractive|count-3.

   No se garantizan respuestas en cada solicitud. Para obtener una respuesta, la consulta debe parecerse a una pregunta y el contenido debe incluir texto similar a una respuesta.

6. Establezca "captions" para especificar si las leyendas semánticas se incluyen en el resultado. Actualmente el único valor válido para este parámetro es extractive. Los subtítulos se pueden configurar para devolver resultados con o sin resaltados. El valor predeterminado es que se devuelvan los resaltados. En este ejemplo se devuelven subtítulos sin resaltados: extractive|highlight-false.

   La base de los títulos y respuestas son los campos a los que se hace referencia en "semanticConfiguration". Estos campos están bajo un límite combinado en el intervalo de 2000 tokens o aproximadamente 20 000 caracteres. Si prevés que un recuento de tokens supere este límite, considera la posibilidad de realizar un paso de fragmentación de datos mediante la aptitud división de texto. Este enfoque presenta una dependencia de una canalización de enriquecimiento con IA e indexadores.

7. Establezca "highlightPreTag" y "highlightPostTag" si desea invalidar el formato de resaltado predeterminado que se aplica a las leyendas.

   Los subtítulos aplican el formato de resaltado sobre los pasajes principales del documento que resumen la respuesta. El valor predeterminado es <em>. Si quiere especificar el tipo de formato (por ejemplo, fondo amarillo), puede establecer los parámetros highlightPreTag y highlightPostTag.

8. Establezca "select" para especificar los campos que se devuelven en la respuesta y "count" para devolver el número de coincidencias en el índice. Estos parámetros mejoran la calidad de la solicitud y la legibilidad de la respuesta.

9. Envíe la solicitud para ejecutar la consulta y devolver los resultados.

SDK de .NET

Use QueryType o SemanticQuery para invocar la clasificación semántica en una consulta semántica. El ejemplo siguiente es del equipo del SDK de Azure.

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "Is there any hotel located on the main commercial artery of the city in the heart of New York?",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive)
        },
        QueryLanguage = QueryLanguage.EnUs,
        QueryType = SearchQueryType.Semantic
    });

int count = 0;
Console.WriteLine($"Semantic Search Results:");

Console.WriteLine($"\nQuery Answer:");
foreach (QueryAnswerResult result in response.SemanticSearch.Answers)
{
    Console.WriteLine($"Answer Highlights: {result.Highlights}");
    Console.WriteLine($"Answer Text: {result.Text}");
}

await foreach (SearchResult<Hotel> result in response.GetResultsAsync())
{
    count++;
    Hotel doc = result.Document;
    Console.WriteLine($"{doc.HotelId}: {doc.HotelName}");

    if (result.SemanticSearch.Captions != null)
    {
        var caption = result.SemanticSearch.Captions.FirstOrDefault();
        if (caption.Highlights != null && caption.Highlights != "")
        {
            Console.WriteLine($"Caption Highlights: {caption.Highlights}");
        }
        else
        {
            Console.WriteLine($"Caption Text: {caption.Text}");
        }
    }
}
Console.WriteLine($"Total number of search results:{count}");

Evaluación de la respuesta

Solo las 50 primeras coincidencias de los resultados iniciales se pueden clasificar semánticamente. Al igual que con todas las consultas, una respuesta consta de todos los campos marcados como recuperables, o solo de los campos enumerados en el parámetro SELECT. Una respuesta incluye la puntuación de relevancia original y también puede incluir un recuento o resultados por lotes, en función de cómo haya formulado la solicitud.

En una clasificación semántica, la respuesta tiene más elementos: una nueva puntuación de relevancia clasificada semánticamente, una leyenda opcional en texto sin formato y resaltado y una respuesta opcional. Si los resultados no incluyen estos elementos adicionales, es posible que la consulta esté mal configurada. Como primer paso para solucionar el problema, compruebe la configuración semántica para asegurarse de que se especifica en la definición de índice y en la consulta.

En una aplicación cliente puede estructurar la página de búsqueda para incluir un subtítulo como la descripción de la coincidencia, en lugar de todo el contenido de un campo específico. Este enfoque resulta útil cuando los campos individuales son demasiado densos para la página de resultados de la búsqueda.

La respuesta de la consulta de ejemplo anterior devuelve la siguiente coincidencia como elección principal. Las leyendas se devuelven porque la propiedad "captions" está establecida, con texto sin formato y versiones resaltadas. Las respuestas se omiten del ejemplo porque no se pudo determinar ninguna para este corpus y consulta en particular.

"@odata.count": 35,
"@search.answers": [],
"value": [
    {
        "@search.score": 1.8810667,
        "@search.rerankerScore": 1.1446577133610845,
        "@search.captions": [
            {
                "text": "Oceanside Resort. Luxury. New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
                "highlights": "<strong>Oceanside Resort.</strong> Luxury. New Luxury Hotel. Be the first to stay.<strong> Bay</strong> views from every room, location near the pier, rooftop pool, waterfront dining & more."
            }
        ],
        "HotelName": "Oceanside Resort",
        "Description": "New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
        "Category": "Luxury"
    },
  ...
]

Cargas de trabajo esperadas

Para la clasificación semántica, debe esperar que un servicio de búsqueda admita hasta 10 consultas simultáneas por réplica.

El servicio limita las solicitudes de clasificación semántica si los volúmenes son demasiado altos. Un mensaje de error que incluye estas frases indica que el servicio alcanzó su límite para la clasificación semántica:

Error in search query: Operation returned an invalid status 'Partial Content'`
@search.semanticPartialResponseReason`
CapacityOverloaded

Si prevé requisitos de rendimiento uniformes a corto plazo (en este nivel o uno superior) envíe una incidencia de soporte técnico para que podamos aprovisionar la carga de trabajo.

Pasos siguientes

La clasificación semántica se puede usar en consultas híbridas que combinan la búsqueda de palabras clave y el vector de búsqueda en una sola solicitud y una respuesta unificada.

Consulta híbrida con clasificación semántica