Condividi tramite


Guida introduttiva: Cercare contenuto multifunzionale nel portale di Azure

In questa guida introduttiva si userà la procedura guidata Importa e vettorializza i dati nel portale di Azure per iniziare con la ricerca multimodale. La procedura guidata semplifica il processo di estrazione, suddivisione in blocchi, vettorizzazione e caricamento di testo e immagini in un indice ricercabile.

A differenza di Avvio rapido: La ricerca vettoriale nel portale di Azure, che elabora immagini semplici contenenti testo, questo avvio rapido supporta l'elaborazione avanzata delle immagini per scenari RAG multimodali.

Questo avvio rapido usa un PDF multimodale dal repository azure-search-sample-data. Tuttavia, è possibile usare file diversi e completare comunque questa guida introduttiva.

Prerequisiti

Metodi di estrazione supportati

Per l'estrazione di contenuto, è possibile scegliere l'estrazione predefinita tramite Ricerca di intelligenza artificiale di Azure o l'estrazione avanzata tramite Intelligence per i documenti di Intelligenza artificiale di Azure. Nella tabella seguente vengono descritti entrambi i metodi di estrazione.

Metodo Descrizione
Estrazione predefinita Estrae solo i metadati della posizione dalle immagini PDF. Non richiede un'altra risorsa di Intelligenza artificiale di Azure.
Estrazione avanzata Estrae i metadati della posizione dal testo e dalle immagini per più tipi di documento. Richiede una risorsa multiservizio dei Servizi di Intelligenza Artificiale di Azure1 in un'area supportata.

1 Ai fini della fatturazione, è necessario collegare la risorsa multiservizio di Intelligenza artificiale di Azure al set di competenze nel servizio Ricerca intelligenza artificiale di Azure. A meno che non si usi una connessione senza chiave per creare il set di competenze, entrambe le risorse devono trovarsi nella stessa area.

Metodi di incorporamento supportati

Per l'incorporamento del contenuto, è possibile scegliere la descrizione verbale dell'immagine (seguita da vettorizzazione del testo) o incorporamenti multimodali. Le istruzioni di distribuzione per i modelli vengono fornite in una sezione successiva. Nella tabella seguente vengono descritti entrambi i metodi di incorporamento.

Metodo Descrizione Modelli supportati
Verbalizzazione delle immagini Usa un LLM per generare descrizioni in linguaggio naturale delle immagini e quindi usa un modello di incorporamento per vettorizzare testo normale e immagini verbalizzate.

Richiede una risorsa OpenAI di Azure1, 2 o un progetto Azure AI Foundry.

Per la vettorizzazione del testo, è anche possibile usare una risorsa multiservizio di Servizi di intelligenza artificiale di Azure3 in un'area supportata.
LLMs:
GPT-4o
GPT-4o-mini
phi-4 4

Incorporamento di modelli:
text-embedding-ada-002
text-embedding-3-small
text-embedding-3-large
Incorporamenti multimodali Usa un modello di incorporamento per vettorizzare direttamente sia testo che immagini.

Richiede un progetto di Azure AI Foundry o una risorsa multiservizio di servizi Azure AI3 in un'area supportata.
Cohere-embed-v3-english
Cohere-embed-v3-multilingual

1 L'endpoint della risorsa OpenAI di Azure deve avere un sottodominio personalizzato, ad esempio https://my-unique-name.openai.azure.com. Se la risorsa è stata creata nel portale di Azure, questo sottodominio viene generato automaticamente durante l'installazione delle risorse.

2 Le risorse OpenAI di Azure (con accesso ai modelli di incorporamento) create nel portale di Azure AI Foundry non sono supportate. È necessario creare una risorsa OpenAI di Azure nel portale di Azure.

3 Ai fini della fatturazione, è necessario collegare la risorsa multiservizio di Intelligenza artificiale di Azure al set di competenze nel servizio Ricerca intelligenza artificiale di Azure. A meno che non si usi una connessione senza chiave (anteprima) per creare il set di competenze, entrambe le risorse devono trovarsi nella stessa area.

4phi-4 è disponibile solo per i progetti Azure AI Foundry.

Requisiti dell'endpoint pubblico

Tutte le risorse precedenti devono avere l'accesso pubblico abilitato in modo che i nodi portale di Azure possano accedervi. In caso contrario, la procedura guidata ha esito negativo. Dopo l'esecuzione della procedura guidata, è possibile abilitare i firewall e gli endpoint privati nei componenti di integrazione per la sicurezza. Per altre informazioni, vedere Proteggere le connessioni nelle procedure guidate di importazione.

Se gli endpoint privati sono già presenti e non è possibile disabilitarli, l'alternativa consiste nell'eseguire il rispettivo flusso end-to-end da uno script o programma in una macchina virtuale. La macchina virtuale deve appartenere alla stessa rete virtuale dell’endpoint privato. Di seguito è riportato un esempio di codice Python per la vettorizzazione integrata. Nello stesso Archivio GitHub sono disponibili esempi in altri linguaggi di programmazione.

Verificare lo spazio

Se si inizia con il servizio gratuito, sono limitati a tre indici, tre origini dati, tre set di competenze e tre indicizzatori. Assicurarsi di avere spazio per gli elementi aggiuntivi prima di iniziare, Questo avvio rapido crea uno di ogni oggetto.

Configurare l'accesso

Prima di iniziare, assicurarsi di disporre delle autorizzazioni per accedere al contenuto e alle operazioni. Per l'autorizzazione, è consigliabile usare l'autenticazione e l'accesso basato sui ruoli di Microsoft Entra ID. Per assegnare i ruoli, è necessario essere proprietario o amministratore accesso utenti . Se i ruoli non sono fattibili, è possibile usare invece l'autenticazione basata su chiave .

Configurare i ruoli obbligatori e i ruoli condizionali identificati in questa sezione.

Ruoli richiesti

Ricerca di intelligenza artificiale di Azure e Archiviazione di Azure sono necessari per tutti gli scenari di ricerca multifunzionali.

Ricerca AI di Azure fornisce la pipeline multimodale. Configurare l'accesso per se stessi e il servizio di ricerca per leggere i dati, eseguire la pipeline e interagire con altre risorse di Azure.

Nel servizio Ricerca intelligenza artificiale di Azure:

  1. Abilitare l'accesso in base al ruolo.

  2. Configurare un'identità gestita assegnata dal sistema.

  3. Assegnare i ruoli seguenti a se stessi:

    • Collaboratore servizi di ricerca

    • Collaboratore ai dati dell'indice di ricerca

    • Lettore di dati dell'indice di ricerca

Ruoli condizionali

Le schede seguenti illustrano tutte le risorse compatibili con la procedura guidata per la ricerca bidirezionale. Selezionare solo le schede che si applicano al metodo di estrazione scelto e al metodo di incorporamento.

Azure OpenAI fornisce moduli LLM per la verbalizzazione delle immagini e i modelli di incorporamento per la vettorializzazione di testo e immagine. Il servizio di ricerca richiede l'accesso per chiamare la competenza GenAI Prompt e la competenza di incorporamento di Azure OpenAI.

Nella risorsa OpenAI di Azure:

  • Assegna l'utente di Servizi cognitivi OpenAI all'identità del servizio di ricerca.

Preparare i dati di esempio

In questa guida rapida viene utilizzato un file PDF di esempio, ma è anche possibile utilizzare i propri file. Se si usa un servizio di ricerca gratuito, usare meno di 20 file per rimanere entro la quota gratuita per l'elaborazione dell'arricchimento dei dati.

Per preparare i dati di esempio per questa guida introduttiva:

  1. Accedere al portale di Azure e selezionare l'account di archiviazione di Azure.

  2. Nel riquadro sinistro selezionareContenitori>.

  3. Creare un contenitore e quindi caricare il PDF di esempio nel contenitore.

  4. Creare un altro contenitore per archiviare le immagini estratte dal PDF.

Distribuire modelli

La procedura guidata offre diverse opzioni per l'integrazione dei contenuti. La verbalizzazione delle immagini richiede un LLM per descrivere le immagini e un modello di incorporamento per vettorizzare il contenuto di testo e immagine, mentre gli incorporamenti multimodali diretti richiedono solo un modello di incorporamento. Questi modelli sono disponibili tramite Azure OpenAI e Azure AI Foundry.

Annotazioni

Se si usa Visione artificiale di Azure, ignorare questo passaggio. Gli incorporamenti multimodali sono integrati nella tua risorsa multiservizio di Intelligenza Artificiale di Azure e non richiedono la distribuzione del modello.

Per distribuire i modelli per questa guida introduttiva:

  1. Accedere al portale di Azure AI Foundry.

  2. Selezionare la risorsa OpenAI di Azure o il progetto Azure AI Foundry.

  3. Nel riquadro sinistro selezionare Catalogo modelli.

  4. Distribuire i modelli necessari per il metodo di incorporamento scelto.

Avviare la procedura guidata

Per avviare la procedura guidata per la ricerca multimodale:

  1. Accedere al portale di Azure e selezionare il servizio Ricerca intelligenza artificiale di Azure.

  2. Nella pagina Panoramica selezionare Importa e vettorizza dati.

    Screenshot che mostra il comando per aprire la procedura guidata per l'importazione e la vettorizzazione dei dati.

  3. Seleziona la tua origine dati: Azure Blob Storage o Azure Data Lake Storage Gen2.

    Screenshot delle opzioni per la selezione di un'origine dati nella procedura guidata.

  4. Selezionare RAG multimodale.

    Screenshot del riquadro Multimodal RAG nella procedura guidata.

Connettersi ai dati

Ricerca di intelligenza artificiale di Azure richiede una connessione a un'origine dati per l'inserimento e l'indicizzazione del contenuto. In questo caso, l'origine dati è l'account di archiviazione di Azure.

Per connettersi ai dati:

  1. Nella pagina Connetti ai dati specificare la sottoscrizione di Azure.

  2. Selezionare l'account di archiviazione e il contenitore in cui sono stati caricati i dati di esempio.

  3. Selezionare la casella di controllo Autentica con identità gestita . Lasciare il tipo di identità assegnato dal sistema.

    Screenshot della pagina della procedura guidata per la configurazione di una connessione dati.

  4. Selezionare Avanti.

Estrai il tuo contenuto

A seconda del metodo di estrazione scelto, la procedura guidata fornisce opzioni di configurazione per la creazione di documenti e la suddivisione in blocchi.

Il metodo predefinito chiama la competenza Estrazione documenti per estrarre il contenuto di testo e generare immagini normalizzate dai documenti. Viene quindi chiamata l'abilità Text Split per suddividere il contenuto di testo estratto in pagine.

Per usare la competenza Estrazione documenti:

  1. Nella pagina Estrazione contenuto selezionare Predefinito.

    Screenshot della pagina della procedura guidata con il metodo predefinito selezionato per l'estrazione del contenuto.

  2. Selezionare Avanti.

Incorporare il contenuto

Durante questo passaggio, la procedura guidata usa il metodo di incorporamento scelto per generare rappresentazioni vettoriali di testo e immagini.

L'assistente chiama un'abilità per creare testo descrittivo per le immagini (verbalizzazione delle immagini) e un'altra abilità per creare rappresentazioni vettoriali per testo e immagini.

Per la verbalizzazione delle immagini, la funzionalità Prompt GenAI utilizza il tuo LLM distribuito per analizzare ogni immagine estratta e produrre una descrizione in linguaggio naturale.

Per gli embedding, la skill di embedding di Azure OpenAI, skill AML o la skill di embedding multimodale di Azure AI Vision usa il tuo modello di embedding distribuito per convertire blocchi di testo e descrizioni verbalizzate in vettori altamente dimensionali. Questi vettori consentono la somiglianza e il recupero ibrido.

Per usare le competenze per la verbalizzazione delle immagini:

  1. Nella pagina Incorporamento del contenuto, seleziona Verbalizzazione immagine.

    Screenshot del riquadro Image Verbalization nella procedura guidata.

  2. Nella scheda Image Verbalization (Verbalizzazione immagine ):

    1. Per selezionare il tipo, scegli il tuo fornitore di LLM: Azure OpenAI o i modelli del catalogo di AI Foundry Hub.

    2. Specificare la sottoscrizione, la risorsa e la distribuzione LLM di Azure.

    3. Per il tipo di autenticazione selezionare Identità assegnata dal sistema.

    4. Selezionare la casella di controllo che riconosce gli effetti di fatturazione dell'uso di queste risorse.

      Screenshot della pagina del wizard per la descrizione delle immagini.

  3. Nella scheda Vettorializzazione testo :

    1. Per il tipo, selezionare il provider di modelli: Azure OpenAI, i modelli di catalogo dell'hub di AI Foundry o la vettorizzazione di Visione artificiale.

    2. Specificare l'abbonamento, la risorsa e la distribuzione del modello di embedding di Azure.

    3. Per il tipo di autenticazione selezionare Identità assegnata dal sistema.

    4. Selezionare la casella di controllo che riconosce gli effetti di fatturazione dell'uso di queste risorse.

      Screenshot della pagina della procedura guidata per la vettorizzazione di testo e immagini.

  4. Selezionare Avanti.

Archiviare le immagini estratte

Il passaggio successivo consiste nell'inviare immagini estratte dai documenti ad Archiviazione di Azure. In Ricerca di intelligenza artificiale di Azure questa risorsa di archiviazione secondaria è nota come archivio conoscenze.

Per archiviare le immagini estratte:

  1. Nella pagina Output immagine specificare la sottoscrizione di Azure.

  2. Selezionare l'account di archiviazione e il contenitore blob creati per archiviare le immagini.

  3. Selezionare la casella di controllo Autentica con identità gestita . Lasciare il tipo di identità assegnato dal sistema.

    Screenshot della pagina della procedura guidata per l'archiviazione delle immagini di estrazione.

  4. Selezionare Avanti.

Eseguire il mapping di nuovi campi

Nella pagina Impostazioni avanzate è possibile aggiungere facoltativamente campi allo schema dell'indice. Per impostazione predefinita, la procedura guidata genera i campi descritti nella tabella seguente.

Campo Si applica a Descrizione Attributi
ID contenuto Vettori di testo e immagine Campo stringa. Chiave del documento per l'indice. Recuperabile, ordinabile e ricercabile.
titolo_del_documento Vettori di testo e immagine Campo stringa. Titolo di un documento leggibile all'uomo. Recuperabile e ricercabile.
id_documento_testo Vettori di testo Campo stringa. Identifica il documento padre da cui ha origine il blocco di testo. Recuperabile e filtrabile.
id_documento_immagine Vettori di immagine Campo stringa. Identifica il documento padre da cui ha origine l'immagine. Recuperabile e filtrabile.
[Testo_contenuto] Vettori di testo Campo stringa. Versione leggibile del blocco di testo. Recuperabile e ricercabile.
incorporazione del contenuto Vettori di testo e immagine Collection(Edm.Single). Rappresentazione vettoriale di testo e immagini. Recuperabile e ricercabile.
percorso_contenuto Vettori di testo e immagine Campo stringa. Percorso del contenuto nel contenitore di archiviazione. Recuperabile e ricercabile.
metadati sulla posizione Vettori di immagine Edm.ComplexType. Contiene i metadati relativi alla posizione dell'immagine nei documenti. Varia in base al campo.

Non è possibile modificare i campi generati o i relativi attributi, ma è possibile aggiungere campi se l'origine dati li fornisce. Ad esempio, Archiviazione BLOB di Azure fornisce una raccolta di campi di metadati.

Per aggiungere campi allo schema dell'indice:

  1. In Campi indice selezionare Anteprima e modifica.

  2. Seleziona Aggiungi campo.

  3. Selezionare un campo di origine nei campi disponibili, immettere un nome di campo per l'indice e accettare (o eseguire l'override) del tipo di dati predefinito.

  4. Se si vuole ripristinare lo schema nella versione originale, selezionare Reimposta.

Pianificare l'indicizzazione

Per le origini dati in cui i dati sottostanti sono volatili, è possibile pianificare l'indicizzazione per acquisire le modifiche a intervalli specifici o date e ore specifiche.

Per pianificare l'indicizzazione:

  1. Nella pagina Impostazioni avanzate , in Pianificazione dell'indicizzazione, specificare una pianificazione di esecuzione per l'indicizzatore. Raccomandiamo Once per questa guida introduttiva.

    Screenshot della pagina della procedura guidata per la pianificazione dell'indicizzazione.

  2. Selezionare Avanti.

Completare la procedura guidata

Il passaggio finale consiste nell'esaminare la configurazione e creare gli oggetti necessari per la ricerca multimodale. Se necessario, tornare alle pagine precedenti della procedura guidata per modificare la configurazione.

Per completare la procedura guidata:

  1. Nella pagina Rivedi e crea specificare un prefisso per gli oggetti creati dalla procedura guidata. Un prefisso comune consente di rimanere organizzati.

    Screenshot della pagina della procedura guidata per la revisione e il completamento della configurazione.

  2. Seleziona Crea.

Al termine della configurazione, la procedura guidata crea gli oggetti seguenti:

Suggerimento

Gli oggetti creati dalla procedura guidata hanno definizioni JSON configurabili. Per visualizzare o modificare queste definizioni, selezionare Gestione ricerche nel riquadro sinistro, in cui è possibile visualizzare gli indici, gli indicizzatori, le origini dati e i set di competenze.

Controllare i risultati

Questa guida introduttiva crea un indice multifunzionale che supporta la ricerca ibrida su testo e immagini. A meno che non si usino incorporamenti multimodali diretti, l'indice non accetta immagini come input di query, il che richiede la competenza AML o la competenza di incorporamenti multimodali di Azure AI Vision con un vettore equivalente. Per altre informazioni, vedere Configurare un vettore in un indice di ricerca.

La ricerca ibrida combina query full-text e query vettoriali. Quando si esegue una query ibrida, il motore di ricerca calcola la somiglianza semantica tra la query e i vettori indicizzati e classifica i risultati di conseguenza. Per l'indice creato in questa guida introduttiva, i risultati offrono contenuti dal campo content_text strettamente allineati alla tua query.

Per interrogare il tuo indice multimodale:

  1. Accedere al portale di Azure e selezionare il servizio Ricerca intelligenza artificiale di Azure.

  2. Nel riquadro sinistro, selezionare Gestione della ricerca>Indici.

  3. Seleziona l'indice.

  4. Selezionare Opzioni query e quindi selezionare Nascondi valori vettoriali nei risultati della ricerca. Questo passaggio rende i risultati più leggibili.

    Screenshot del menu Opzioni di query in Esplora ricerca.

  5. Immettere il testo per il quale si desidera eseguire la ricerca. Il nostro esempio utilizza energy.

  6. Per eseguire la query, selezionare Cerca.

    Screenshot del pulsante Cerca in Esplora ricerca.

    I risultati JSON devono includere il testo e il contenuto dell'immagine correlati all'indice energy . Se è stato abilitato il ranker semantico, la @search.answers matrice fornisce risposte semantiche concise e con attendibilità elevata per identificare rapidamente le corrispondenze pertinenti.

    "@search.answers": [
       {
          "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
          "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
          "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
          "score": 0.9950000047683716
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
          "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "score": 0.9890000224113464
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
          "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
          "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
           "score": 0.9869999885559082
       }
    ]
    

Pulire le risorse

Questa guida di avvio rapido utilizza risorse Azure fatturabili. Se le risorse non sono più necessarie, eliminarle dalla sottoscrizione per evitare addebiti.

Passaggi successivi

In questa guida introduttiva è stata presentata la procedura guidata Importa e vettorizza dati, che crea tutti gli oggetti necessari per la ricerca multimodale. Per esplorare in dettaglio ogni passaggio, vedere le esercitazioni seguenti: