Configurare la classificazione semantica e restituire didascalia nei risultati della ricerca

Articolo
11/15/2023

Questo articolo illustra come richiamare una classificazione semantica su un set di risultati, promuovendo i risultati più pertinenti semanticamente all'inizio dello stack. È anche possibile ottenere didascalia semantiche, con evidenziazioni sui termini e le frasi più rilevanti e risposte semantiche.

Per usare la classificazione semantica:

Aggiungere una configurazione semantica a un indice
Aggiungere parametri a una richiesta di query

Prerequisiti

Un servizio di ricerca nel livello Basic, Standard (S1, S2, S3) o Archiviazione livello Ottimizzato (L1, L2), soggetto alla disponibilità dell'area.
Classificazione semantica abilitata nel servizio di ricerca.
Indice di ricerca esistente con contenuto RTF. La classificazione semantica si applica ai campi di testo (non vettoriali) e funziona meglio sul contenuto informativo o descrittivo.
Esaminare la classificazione semantica se è necessaria un'introduzione alla funzionalità.

Nota

I sottotitoli e le risposte vengono estratti verbatim dal testo nel documento di ricerca. Il sottosistema semantico usa la comprensione della lettura automatica per riconoscere il contenuto con le caratteristiche di un didascalia o di una risposta, ma non compone nuove frasi o frasi. Per questo motivo, il contenuto che include spiegazioni o definizioni funziona meglio per la classificazione semantica. Per l'interazione in stile chat con le risposte generate, vedere Recupero della generazione aumentata (RAG).

1 - Scegliere un client

Scegliere un client di ricerca che supporti la classificazione semantica. Di seguito sono riportate alcuni opzioni:

portale di Azure (Esplora ricerche) consigliato per l'esplorazione iniziale.
App Postman che usa le API REST. Per informazioni sulla configurazione delle chiamate REST, vedere questa guida introduttiva .
Azure.Search.Documents in Azure SDK per .NET.
Azure.Search.Documents in Azure SDK per Python.
azure-search-documents in Azure SDK per Java.
@azure/search-documents in Azure SDK per JavaScript.

2 - Creare una configurazione semantica

Una configurazione semantica è una sezione dell'indice che stabilisce gli input dei campi per la classificazione semantica. È possibile aggiungere o aggiornare una configurazione semantica in qualsiasi momento, senza alcuna ricompilazione necessaria. Se si creano più configurazioni, è possibile specificare un valore predefinito. In fase di query specificare una configurazione semantica in una richiesta di query o lasciarla vuota per usare l'impostazione predefinita.

Una configurazione semantica ha un nome e le proprietà seguenti:

Proprietà	Caratteristiche
Campo Titolo	Stringa breve, idealmente sotto 25 parole. Questo campo può essere il titolo di un documento, il nome di un prodotto o un identificatore univoco. Se non si dispone di un campo appropriato, lasciarlo vuoto.
Campi contenuto	Blocchi di testo più lunghi in formato in linguaggio naturale, soggetti ai limiti massimi di input dei token nei modelli di Machine Learning. Esempi comuni includono il corpo di un documento, la descrizione di un prodotto o un altro testo in formato libero.
Campi parola chiave	Elenco di parole chiave, ad esempio i tag di un documento o un termine descrittivo, ad esempio la categoria di un elemento.

È possibile specificare un solo campo titolo, ma è possibile avere il numero di campi di contenuto e parola chiave desiderati. Per i campi contenuto e parola chiave, elencare i campi in ordine di priorità perché i campi con priorità inferiore potrebbero essere troncati.

In tutte le proprietà di configurazione semantica, i campi assegnati devono essere:

Attributi come searchable e retrievable
Stringhe di tipo Edm.String, Collection(Edm.String), sottocampi stringa di Collection(Edm.ComplexType)

Accedere al portale di Azure e passare a un servizio di ricerca con classificazione semantica abilitata.
Aprire un indice.
Selezionare Configurazioni semantiche e quindi Aggiungi configurazione semantica.

Viene visualizzata la pagina Nuova configurazione semantica con le opzioni per la selezione di un campo titolo, campi di contenuto e campi di parole chiave. Assicurarsi di elencare i campi del contenuto e i campi delle parole chiave in ordine di priorità.

Selezionare OK per salvare le modifiche.

Formulare una richiesta di creazione o aggiornamento dell'indice .

Aggiungere una configurazione semantica alla definizione dell'indice, ad esempio dopo scoringProfiles o suggesters. Specificare un valore predefinito è facoltativo, ma utile se sono presenti più configurazioni.

"semantic": {
    "defaultConfiguration": "my-semantic-config-default",
    "configurations": [
        {
            "name": "my-semantic-config-default",
            "prioritizedFields": {
                "titleField": {
                    "fieldName": "HotelName"
                },
                "prioritizedContentFields": [
                    {
                        "fieldName": "Description"
                    }
                ],
                "prioritizedKeywordsFields": [
                    {
                        "fieldName": "Tags"
                    }
                ]
            }
        },
                    {
            "name": "my-semantic-config-desc-only",
            "prioritizedFields": {
                "prioritizedContentFields": [
                    {
                        "fieldName": "Description"
                    }
                ]
            }
        }
    ]
}

Usare la classe SemanticConfiguration in Azure SDK per .NET.

var definition = new SearchIndex(indexName, searchFields);

SemanticSettings semanticSettings = new SemanticSettings();
semanticSettings.Configurations.Add(new SemanticConfiguration
    (
        "my-semantic-config",
        new PrioritizedFields()
        {
            TitleField = new SemanticField { FieldName = "HotelName" },
            ContentFields = {
            new SemanticField { FieldName = "Description" },
            new SemanticField { FieldName = "Description_fr" }
            },
            KeywordFields = {
            new SemanticField { FieldName = "Tags" },
            new SemanticField { FieldName = "Category" }
            }
        }
    )
);

definition.SemanticSettings = semanticSettings;

adminClient.CreateOrUpdateIndex(definition);

Suggerimento

Per un esempio di creazione di una configurazione semantica e dell'uso per eseguire una query semantica, vedere l'esempio postman di classificazione semantica.

3 - Evitare funzionalità che ignorano l'assegnazione dei punteggi per pertinenza

Diverse funzionalità di query in Ricerca intelligenza artificiale di Azure ignorano il punteggio di pertinenza o sono altrimenti incompatibili con la classificazione semantica. Se la logica di query include le funzionalità seguenti, non è possibile classificare semanticamente i risultati:

Una query con search=* o una stringa di ricerca vuota, ad esempio una query pura di solo filtro, non funzionerà perché non esiste nulla per misurare la pertinenza semantica. La query deve fornire termini o frasi che possono essere valutate durante l'elaborazione.
Una query composta nella sintassi Lucene completa (queryType=full) non è compatibile con la classificazione semantica (queryType=semantic). Il modello semantico non supporta la sintassi Lucene completa.
L'ordinamento (clausole orderBy) in campi specifici sostituisce i punteggi di ricerca e un punteggio semantico. Dato che il punteggio semantico dovrebbe fornire la classificazione, l'aggiunta di una clausola orderby genera un errore HTTP 400 se si applica la classificazione semantica sui risultati ordinati.

4 - Configurare la query

In questo passaggio aggiungere parametri alla richiesta di query. Per avere esito positivo, la query deve essere una ricerca full-text (usando il search parametro per passare una stringa) e l'indice deve contenere campi di testo con contenuto semantico avanzato e una configurazione semantica.

Esplora ricerche è stato aggiornato per includere le opzioni per la classificazione semantica.

Accedi al portale di Azure.
Aprire l'indice di ricerca e selezionare Esplora ricerche.
Esistono due modi per specificare la query, JSON o le opzioni. Usando JSON, è possibile incollare le definizioni nell'editor di query:
Usando le opzioni, specificare che si vuole usare la classificazione semantica e per creare una configurazione. Se queste opzioni non vengono visualizzate, assicurarsi che la classificazione semantica sia abilitata e aggiornare anche il browser.

Usare Cerca documenti per formulare la richiesta.

Una risposta include automaticamente.@search.rerankerScore Se si desidera didascalia o risposte nella risposta, aggiungere didascalia e risposte alla richiesta.

L'esempio seguente in questa sezione usa hotels-sample-index per illustrare la classificazione semantica con risposte semantiche e didascalia.

Incollare la richiesta seguente in un client Web come modello. Sostituire il nome del servizio e il nome dell'indice con valori validi.

POST https://[service name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2023-11-01      
{
    "queryType": "semantic",
    "search": "newer hotel near the water with a great restaurant",
    "semanticConfiguration": "my-semantic-config",
    "answers": "extractive|count-3",
    "captions": "extractive|highlight-true",
    "highlightPreTag": "<strong>",
    "highlightPostTag": "</strong>",
    "select": "HotelId,HotelName,Description,Category",
    "count": true
}

Impostare "queryType" su "semantico".

In altre query viene usato "queryType" per specificare il parser di query. Nella classificazione semantica, è impostata su "semantica". Per il campo "ricerca", è possibile specificare query conformi alla sintassi semplice.
Impostare "search" su una query di ricerca full-text basata sulla sintassi semplice. La classificazione semantica è un'estensione della ricerca full-text, pertanto, mentre questo parametro non è obbligatorio, non si otterrà un risultato previsto se è Null.
Impostare "semanticConfiguration" su una configurazione semantica predefinita incorporata nell'indice.
Impostare "answers" per specificare se le risposte semantiche vengono incluse nel risultato. Attualmente, l'unico valore valido per questo parametro è extractive. Le risposte possono essere configurate per restituire un massimo di 10. Il valore predefinito è uno. Questo esempio mostra un conteggio di tre risposte: extractive|count-3.

Le risposte non sono garantite per ogni richiesta. Per ottenere una risposta, la query deve essere simile a una domanda e il contenuto deve includere testo simile a una risposta.
Impostare "didascalia s" per specificare se i didascalia semantici vengono inclusi nel risultato. Attualmente, l'unico valore valido per questo parametro è extractive. Le didascalie possono essere configurate per restituire risultati con o senza evidenziazioni. Il valore predefinito è per le evidenziazioni da restituire. Questo esempio restituisce didascalia senza evidenziazioni: extractive|highlight-false.

La base per le didascalia e le risposte sono i campi a cui si fa riferimento in "semanticConfiguration". Questi campi sono sotto un limite combinato nell'intervallo di 2.000 token o circa 20.000 caratteri. Se si prevede che un numero di token superi questo limite, prendere in considerazione un passaggio di suddivisione dei dati usando la competenza Suddivisione testo. Questo approccio introduce una dipendenza da una pipeline di arricchimento tramite intelligenza artificiale e indicizzatori.
Impostare "highlightPreTag" e "highlightPostTag" se si vuole eseguire l'override della formattazione di evidenziazione predefinita applicata alle didascalia.

Le didascalie applicano la formattazione dell'evidenziazione sui passaggi chiave del documento che riepilogano la risposta. Il valore predefinito è <em>. Se vuoi specificare il tipo di formattazione (ad esempio, sfondo giallo), puoi impostare l'evidenziazionePreTag e l'evidenziazionePostTag.
Impostare "select" per specificare i campi restituiti nella risposta e "count" per restituire il numero di corrispondenze nell'indice. Questi parametri migliorano la qualità della richiesta e la leggibilità della risposta.
Inviare la richiesta per eseguire la query e restituire i risultati.

Gli SDK di Azure si trovano in cicli di rilascio indipendenti e implementano le funzionalità di ricerca nella propria sequenza temporale. Controllare il log delle modifiche per ogni pacchetto per verificare la disponibilità generale per la classificazione semantica.

Azure SDK	Pacchetto
.NET	Pacchetto Azure.Search.Documents
Java	azure-search-documents
JavaScript	azure/search-documents
Python	azure-search-document

5 - Valutare la risposta

Solo le prime 50 corrispondenze dei risultati iniziali possono essere classificate semanticamente. Come per tutte le query, una risposta è costituita da tutti i campi contrassegnati come recuperabili o solo da tali campi elencati nel parametro select. Una risposta include il punteggio di pertinenza originale e può includere anche un conteggio o risultati in batch, a seconda del modo in cui è stata formulata la richiesta.

Nella classificazione semantica, la risposta ha più elementi: un nuovo punteggio di pertinenza classificato semanticamente, un didascalia facoltativo in testo normale e con evidenziazioni e una risposta facoltativa. Se i risultati non includono questi elementi aggiuntivi, la query potrebbe non essere configurata correttamente. Come primo passaggio per la risoluzione del problema, controllare la configurazione semantica per assicurarsi che sia specificata sia nella definizione dell'indice che nella query.

In un'app client è possibile strutturare la pagina di ricerca in modo da includere un didascalia come descrizione della corrispondenza, anziché l'intero contenuto di un campo specifico. Questo approccio è utile quando i singoli campi sono troppo densi per la pagina dei risultati della ricerca.

La risposta per la query di esempio precedente restituisce la corrispondenza seguente come selezione superiore. Le didascalie vengono restituite perché la proprietà "didascalia s" è impostata, con testo normale e versioni evidenziate. Le risposte vengono omesse dall'esempio perché non è stato possibile determinare per questa particolare query e corpus.

"@odata.count": 35,
"@search.answers": [],
"value": [
    {
        "@search.score": 1.8810667,
        "@search.rerankerScore": 1.1446577133610845,
        "@search.captions": [
            {
                "text": "Oceanside Resort. Luxury. New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
                "highlights": "<strong>Oceanside Resort.</strong> Luxury. New Luxury Hotel. Be the first to stay.<strong> Bay</strong> views from every room, location near the pier, rooftop pool, waterfront dining & more."
            }
        ],
        "HotelName": "Oceanside Resort",
        "Description": "New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
        "Category": "Luxury"
    },
  ...
]

Eseguire la migrazione dalle versioni di anteprima

Se il codice di classificazione semantica usa le API di anteprima, questa sezione illustra come eseguire la migrazione a versioni stabili. Le versioni disponibili a livello generale includono:

Modifiche al comportamento:

A partire dal 14 luglio 2023, la classificazione semantica è indipendente dalla lingua. Può rieseguire risultati composti da contenuti multilingue, senza pregiudizi verso una lingua specifica. Nelle versioni di anteprima, la classificazione semantica deprezza i risultati in modo diverso dalla lingua specificata dall'analizzatore di campi.
Nel 2021-04-30-Preview e in tutte le versioni successive( semanticConfiguration in una definizione di indice) definisce i campi di ricerca usati nella classificazione semantica. Nell'API REST 2020-06-30-Preview è searchFields stato usato (in una richiesta di query) per specificare il campo e definire la priorità. Questo approccio funzionava solo nel 2020-06-30-Preview ed è obsoleto in tutte le altre versioni.

Passaggio 1: Rimuovere queryLanguage

Il motore di classificazione semantica è ora indipendente dal linguaggio. Se queryLanguage è specificato nella logica di query, non viene più usato per la classificazione semantica, ma si applica comunque alla correzione ortografica.

Usare Post di ricerca e rimuovere queryLanguage per scopi di classificazione semantica.

Passaggio 2: Aggiungere semanticConfiguration

Se il codice chiama l'API REST 2020-06-30-Preview o i pacchetti BETA SDK destinati a tale versione dell'API REST, è possibile usare searchFields in una richiesta di query per specificare campi semantici e priorità. Questo codice deve ora essere aggiornato per l'uso semanticConfiguration .

Creare o aggiornare l'indice per aggiungere semanticConfiguration.

Passaggi successivi

Tenere presente che la classificazione semantica e le risposte vengono compilate su un set di risultati iniziale. Qualsiasi logica che migliora la qualità dei risultati iniziali porta avanti alla classificazione semantica. Come passaggio successivo, esaminare le funzionalità che contribuiscono ai risultati iniziali, inclusi gli analizzatori che influiscono sul modo in cui le stringhe vengono tokenizzate, i profili di punteggio che possono ottimizzare i risultati e l'algoritmo di pertinenza predefinito.