Condividi tramite

Incorporamenti in .NET

Gli incorporamenti sono il modo in cui i llms acquisiscono il significato semantico. Sono rappresentazioni numeriche di dati non numerici che un LLM può usare per determinare le relazioni tra i concetti. È possibile usare gli incorporamenti per aiutare un modello di intelligenza artificiale a comprendere il significato degli input in modo da poter eseguire confronti e trasformazioni, ad esempio riepilogando il testo o creando immagini da descrizioni di testo. Gli LLM possono usare immediatamente gli embedding ed è possibile archiviare gli embedding in database vettoriali per fornire memoria semantica per gli LLM secondo necessità.

Casi d'uso per gli incorporamenti

Questa sezione elenca i principali casi d'uso per gli incorporamenti.

Usare i propri dati per migliorare la pertinenza del completamento

Usare i propri database per generare incorporamenti per i dati e integrarli con un LLM per renderli disponibili per i completamenti. Questo uso di incorporamenti è un componente importante della generazione aumentata del recupero.

Aumentare la quantità di testo che è possibile inserire in un prompt

Usare gli incorporamenti per aumentare la quantità di contesto che è possibile inserire in una richiesta senza aumentare il numero di token necessari.

Si supponga, ad esempio, di voler includere 500 pagine di testo in un prompt. Il numero di token per tale testo non elaborato supererà il limite di token di input, rendendo impossibile includere direttamente in una richiesta. È possibile usare gli incorporamenti per riepilogare e suddividere grandi quantità di testo in parti sufficientemente piccole da adattarsi a un input e quindi valutare la somiglianza di ogni parte con l'intero testo non elaborato. È quindi possibile scegliere un pezzo che mantenga al meglio il significato semantico del testo non elaborato e usarlo nella richiesta senza raggiungere il limite di token.

Eseguire la classificazione del testo, il riepilogo o la traduzione

Usare gli incorporamenti per aiutare un modello a comprendere il significato e il contesto del testo, quindi classificare, riepilogare o tradurre il testo. Ad esempio, è possibile usare incorporamenti per aiutare i modelli a classificare i testi come positivi o negativi, spam o non spam, notizie o opinioni.

Generare e trascrivere audio

Usa incorporamenti audio per elaborare i file audio o gli input nella tua app.

Ad esempio, Riconoscimento vocale di Intelligenza artificiale di Azure supporta una gamma di incorporamenti audio, tra cui riconoscimento vocale e sintesi vocale. È possibile elaborare l'audio in tempo reale o in batch.

Trasformare il testo in immagini o immagini in testo

L'elaborazione semantica delle immagini richiede incorporazioni di immagini, che la maggior parte dei modelli linguistici di grandi dimensioni non può generare. Usare un modello di incorporamento delle immagini, ad esempio ViT , per creare incorporamenti vettoriali per le immagini. È quindi possibile usare tali incorporamenti con un modello di generazione di immagini per creare o modificare immagini usando testo o viceversa. Ad esempio, è possibile utilizzare IL DALL· Modello E per generare immagini come logo, volti, animali e paesaggi.

Generare o documentare il codice

Usare gli incorporamenti per consentire a un modello di creare codice da testo o viceversa, convertendo codice o espressioni di testo diverse in una rappresentazione comune. Ad esempio, è possibile usare gli incorporamenti per consentire a un modello di generare o documentare codice in C# o Python.

Scegliere un modello di incorporamento

È possibile generare incorporamenti per i dati non elaborati usando un modello di incorporamento di intelligenza artificiale, che può codificare dati non numerici in un vettore (una matrice lunga di numeri). Il modello può anche decodificare un incorporamento in dati non numerici con lo stesso significato o simile a quello dei dati non elaborati originali. Sono disponibili molti modelli di incorporamento che è possibile usare, con il modello OpenAI text-embedding-ada-002 che è uno dei modelli comuni usati. Per altri esempi, vedere l'elenco dei modelli di incorporamento disponibili in Azure OpenAI.

Archiviare ed elaborare incorporamenti in un database vettoriale

Dopo aver generato gli incorporamenti, è necessario un modo per archiviarli in modo da poterli recuperare in un secondo momento con chiamate a un LLM. I database vettoriali sono progettati per archiviare ed elaborare vettori, quindi sono una casa naturale per gli incorporamenti. Database vettoriali diversi offrono funzionalità di elaborazione diverse, quindi è consigliabile sceglierne una in base ai dati non elaborati e agli obiettivi. Per informazioni sulle opzioni, vedere soluzioni di database vettoriali disponibili.

Uso degli incorporamenti nella soluzione LLM

Quando si creano applicazioni basate su LLM, è possibile usare il kernel semantico per integrare modelli di incorporamento e archivi vettoriali, in modo da poter eseguire rapidamente il pull dei dati di testo e generare e archiviare incorporamenti. In questo modo è possibile usare una soluzione di database vettoriale per archiviare e recuperare memorie semantiche.

Contenuto correlato