Caratteristiche e limitazioni di Personalizza esperienze

Articolo
01/19/2024

Importante

A partire dal 20 settembre 2023 non sarà possibile creare nuove risorse di Personalizza esperienze. Il servizio Personalizza esperienze viene ritirato il 1° ottobre 2026.

Personalizza esperienze di intelligenza artificiale di Azure può funzionare in molti scenari. Per comprendere dove è possibile applicare Personalizza esperienze, assicurarsi che i requisiti dello scenario soddisfino le aspettative per il funzionamento di Personalizza esperienze. Per comprendere se Personalizza esperienze deve essere usato e come integrarlo nelle applicazioni, vedere Casi d'uso per Personalizza esperienze. Sono disponibili criteri e linee guida per la scelta di casi d'uso, la progettazione di funzionalità e funzioni di ricompensa per gli usi di Personalizza esperienze.

Prima di leggere questo articolo, è utile comprendere alcune informazioni generali sul funzionamento di Personalizza esperienze.

Selezionare le funzionalità per Personalizza esperienze

La personalizzazione del contenuto dipende dalla disponibilità di informazioni utili sul contenuto e sull'utente. Per alcune applicazioni e settori, alcune caratteristiche utente possono essere direttamente o indirettamente considerate discriminatorie e potenzialmente illegali. Vedere le linee guida per l'integrazione di Personalizza esperienze e l'uso responsabile sulla valutazione delle funzionalità da usare con Personalizza esperienze.

Calcolo delle ricompense per Personalizza esperienze

Personalizza esperienze apprende per migliorare le scelte di azione in base al punteggio di ricompensa fornito dalla logica di business dell'applicazione. Un punteggio di ricompensa ben costruito fungerà da proxy a breve termine a un obiettivo aziendale legato alla missione di un'organizzazione. Ad esempio, premiando i clic sui clic, Personalizza esperienze cercherà clic a scapito di tutto il resto, anche se ciò che si fa clic è distratto all'utente o non è associato a un risultato aziendale. Al contrario, un sito di notizie potrebbe voler impostare premi legati a qualcosa di più significativo rispetto ai clic, ad esempio "L'utente ha trascorso abbastanza tempo per leggere il contenuto?" o "L'utente ha fatto clic su articoli o riferimenti pertinenti?" Con Personalizza esperienze, è facile associare le metriche da vicino ai premi. Tuttavia, è necessario prestare attenzione a non confondere il coinvolgimento degli utenti a breve termine con i risultati desiderati.

Conseguenze impreviste dei punteggi di ricompensa

Anche se compilati con i migliori punteggi di ricompensa delle intenzioni possono creare conseguenze impreviste o risultati imprevisti a causa del modo in cui Personalizza esperienze classifica il contenuto.

Vedi gli esempi seguenti:

L'appagamento della personalizzazione dei contenuti video sulla percentuale di video guardata tenderà probabilmente a classificare video più brevi rispetto ai video più lunghi.
Premiando le condivisioni di social media, senza analisi del sentiment su come è condiviso o il contenuto stesso, potrebbe portare a classificazione offensiva, non modificata o infiammatoria. Questo tipo di contenuto tende a incitare un sacco di coinvolgimento, ma è spesso dannoso.
Premiando l'azione sugli elementi dell'interfaccia utente che gli utenti non si aspettano di modificare potrebbero interferire con l'usabilità e la prevedibilità dell'interfaccia utente. Ad esempio, i pulsanti che cambiano posizione o scopo senza avviso potrebbero rendere più difficile per determinati gruppi di utenti rimanere produttivi.

Implementare queste procedure consigliate:

Eseguire esperimenti offline con il sistema usando diversi approcci di ricompensa per comprendere l'impatto e gli effetti collaterali.
Valutare le funzioni di ricompensa e chiedersi come una persona ingenua possa modificare la sua interpretazione, che può causare risultati involontari o indesiderati.
Archiviare informazioni e asset, ad esempio modelli, criteri di apprendimento e altri dati, usati da Personalizza esperienze per funzionare, in modo che i risultati possano essere riproducibili.

Linee guida generali per comprendere e migliorare le prestazioni

Poiché Personalizza esperienze si basa sull'apprendimento per rinforzo e apprende dai premi per fare scelte migliori nel tempo, le prestazioni non vengono misurate in termini di apprendimento supervisionato tradizionali usati nei classificatori, ad esempio precisione e richiamo. Le prestazioni di Personalizza esperienze vengono misurate direttamente come somma dei punteggi di ricompensa ricevuti dall'applicazione tramite l'API Reward.

Quando si usa Personalizza esperienze, l'interfaccia utente del prodotto nella portale di Azure fornisce informazioni sulle prestazioni in modo da poter monitorare e agire su di esso. Le prestazioni possono essere visualizzate nei modi seguenti:

Se Personalizza esperienze è in modalità di apprendimento online, è possibile eseguire valutazioni offline.
Se Personalizza esperienze è in modalità Apprendista, è possibile visualizzare le metriche delle prestazioni (eventi imitati e ricompensa imitati) nel riquadro Valutazione nel portale di Azure.

È consigliabile eseguire frequenti valutazioni offline per mantenere la supervisione. Questa attività consente di monitorare le tendenze e garantire l'efficacia. Ad esempio, è possibile decidere di inserire temporaneamente Personalizza esperienze in modalità apprendista se le prestazioni dei premi hanno una riduzione.

Stime delle prestazioni di Personalizza esperienze illustrate in Valutazioni offline: limitazioni

Definiamo le "prestazioni" di Personalizza esperienze come premi totali ottenuti durante l'uso. Le stime delle prestazioni di Personalizza esperienze visualizzate nelle valutazioni offline vengono calcolate anziché misurate. È importante comprendere le limitazioni di queste stime:

Le stime sono basate su dati passati, quindi le prestazioni future possono variare a seconda del mondo e degli utenti cambiano.
Le stime per le prestazioni di base vengono calcolate probabilisticamente. Per questo motivo, la banda di attendibilità per la ricompensa media prevista è importante. La stima otterrà più precisa con più eventi. Se si usa un numero minore di azioni in ogni chiamata rank, la stima delle prestazioni può aumentare la probabilità che Personalizza esperienze possa scegliere uno qualsiasi di essi (inclusa l'azione di base) per ogni evento.
Personalizza esperienze esegue costantemente il training di un modello quasi in tempo reale per migliorare le azioni scelte per ogni evento e, di conseguenza, influirà sui premi totali ottenuti. Le prestazioni del modello variano nel tempo, a seconda dei dati di training precedenti recenti.
L'esplorazione e la scelta dell'azione sono processi stocastici guidati dal modello di Personalizza esperienze. I numeri casuali usati per questi processi stocastici vengono seedati dall'ID evento. Per garantire la riproducibilità di esplora-exploit e altri processi stocastici, usare lo stesso ID evento.
Le prestazioni online possono essere limitate dall'esplorazione. L'abbassamento delle impostazioni di esplorazione limiterà la quantità di informazioni raccolte per rimanere al di sopra delle tendenze e dei modelli di utilizzo mutevoli, quindi l'equilibrio dipende da ogni caso d'uso. Alcuni casi d'uso meritano di iniziare con impostazioni di esplorazione più elevate e di ridurle nel tempo (ad esempio, iniziare con il 30% e ridurre al 10%).

Controllare i modelli esistenti che potrebbero influire accidentalmente su Personalizza esperienze

Le raccomandazioni esistenti, la segmentazione dei clienti e gli output del modello di propensione possono essere usati dall'applicazione come input per Personalizza esperienze. Personalizza esperienze impara a ignorare le funzionalità che non contribuiscono ai premi. Esaminare e valutare i modelli di propensione per determinare se sono bravi a prevedere i premi e contenere forti distorsioni che potrebbero generare danni come effetto collaterale. Ad esempio, cercare raccomandazioni che potrebbero essere basate su stereotipi dannosi. Prendere in considerazione l'uso di strumenti come FairLearn per facilitare il processo.

Valutazioni proattive durante il ciclo di vita del progetto

Prendere in considerazione la creazione di metodi per i membri del team, gli utenti e i proprietari aziendali per segnalare problemi relativi all'uso responsabile e a un processo che assegna priorità alla risoluzione. Considerare le attività per l'uso responsabile proprio come altre attività di crosscutting nel ciclo di vita dell'applicazione, ad esempio attività correlate all'esperienza utente, alla sicurezza o a DevOps. Le attività correlate all'uso responsabile e ai relativi requisiti non devono essere superate. L'uso responsabile deve essere discusso e implementato in tutto il ciclo di vita dell'applicazione.