Sistemi di raccomandazione basati su Deep Learning

Importante

Questa funzionalità è in versione beta.

Questa pagina fornisce esempi di notebook per la creazione di sistemi di raccomandazione con calcolo GPU serverless. Questi esempi illustrano come creare modelli di raccomandazione efficienti usando approcci moderni di Deep Learning.

Modello di raccomandazione a due torre

Questi notebook illustrano come convertire i dati di raccomandazione in formato MDS (Mosaic Data Shard) e quindi usare tali dati per creare un modello di raccomandazione a due torre. Questo approccio è particolarmente efficace per i sistemi di raccomandazione su larga scala.

Preparazione dei dati: convertire il set di dati del modello di raccomandazione in formato MDS

Prima di tutto, convertire il set di dati delle raccomandazioni nel formato MDS per un caricamento efficiente dei dati:

Convertire i dati

Ottieni il notebook

Addestramento del modello: Modello di raccomandazione a due torri con PyTorch Lightning

Eseguire il training del modello di raccomandazione a due torre usando il set di dati preparato e l'API PyTorch Lightning Trainer su più nodi GPU (GPU A10 o H100).

Sistema di raccomandazione con PyTorch

Ottieni il notebook

Esempio: Ottimizzare i modelli di incorporamento con llm-foundry nel calcolo GPU serverless

L'incorporamento dei modelli è un componente fondamentale dei sistemi di raccomandazione moderni, in particolare nella fase di recupero in cui consentono una ricerca efficiente di somiglianza in milioni di elementi. Mentre il modello a due torre genera incorporamenti specifici dell'attività, i modelli di incorporamento con training preliminare possono essere ottimizzati per applicazioni specifiche del dominio per migliorare la qualità del recupero.

Il notebook di esempio seguente illustra come usare l'apprendimento contrastivo per ottimizzare un modello di incorporamento in stile BERT in un ambiente di calcolo GPU serverless (SGC). Usa il framework llm-foundry con il formatore di Composer per ottimizzare modelli come gte-large-en-v1.5, usando i dati archiviati nelle tabelle Delta. Questo esempio usa Mosaic Streaming per convertire i dati in formato MDS (Mosaic Data Shard) per il caricamento dei dati distribuiti e MLflow per il rilevamento e la registrazione dei modelli.

Ottimizzare il notebook del modello di incorporamento

Ottieni il notebook

Annotazioni

• Il modello di incorporamento prevede dati con colonne per query_text, positive_passagee facoltativamente negative_passages.
• Gli incorporamenti ottimizzati possono essere usati negli archivi vettoriali per operazioni di ricerca di somiglianza, consentendo un recupero efficiente degli elementi pertinenti per i sistemi di raccomandazione.
• Questo approccio è particolarmente utile quando è necessario adattare un modello di incorporamento per utilizzo generico al dominio o al caso d'uso specifico.