Valutare l'importanza della caratteristica

Importante

A partire dal 20 settembre 2023 non sarà possibile creare nuove risorse di Personalizza esperienze. Il servizio Personalizza esperienze verrà ritirato il 1° ottobre 2026.

È possibile valutare quanto sia importante ogni caratteristica del modello di Machine Learning di Personalizza esperienze eseguendo una valutazione delle caratteristiche sui dati cronologici dei log. Le valutazioni delle caratteristiche sono utili per:

• Comprendere quali caratteristiche sono più o meno importanti per il modello.
• Pensa ad altre caratteristiche che possono essere utili per l'apprendimento, derivando ispirazione da quali caratteristiche sono attualmente importanti nel modello.
• Identificare le caratteristiche potenzialmente non importanti o non utili che devono essere considerate per ulteriori analisi o rimozione.
• Risolvere i problemi e gli errori comuni che possono verificarsi durante la progettazione di caratteristiche e l'invio a Personalizza esperienze. Ad esempio, l'uso di GUID, timestamp o altre caratteristiche in genere di tipo sparse può essere problematico. Altre informazioni sul miglioramento delle caratteristiche.

Che cos'è una valutazione delle caratteristiche?

Le valutazioni delle caratteristiche vengono eseguite tramite training ed eseguendo una copia della configurazione del modello corrente sui dati di log raccolti storicamente in un periodo di tempo specificato. Le caratteristiche vengono ignorate una alla volta per misurare la differenza nelle prestazioni del modello con e senza ciascuna di esse. Poiché le valutazioni delle caratteristiche vengono eseguite sui dati cronologici, non esiste alcuna garanzia che questi modelli verranno osservati nei dati futuri. Tuttavia, queste informazioni potrebbero essere rilevanti per i dati futuri se i dati registrati hanno acquisito una variabilità sufficiente o proprietà non fisse dei dati. Le prestazioni del modello corrente non sono interessate dall'esecuzione di una valutazione delle caratteristiche.

Un punteggio di importanza della caratteristica è una misura dell'impatto relativo della caratteristica sulla ricompensa, nel periodo di valutazione. I punteggi di importanza delle caratteristiche sono un numero compreso tra 0 (meno importante) e 100 (più importante) e vengono visualizzati nella valutazione delle caratteristiche. Poiché la valutazione viene eseguita in un periodo di tempo specifico, l'importanza delle caratteristiche può cambiare man mano che vengono inviati dati aggiuntivi a Personalizza esperienze e a seconda di come cambiano utenti, scenari e dati nel tempo.

Creazione di una valutazione della caratteristica

Per ottenere i punteggi di importanza delle caratteristiche, è necessario creare una valutazione della caratteristica in un periodo di dati registrati e generare un report contenente i punteggi di importanza di tale caratteristica. Questo report è visualizzabile nel portale di Azure. Per creare una valutazione della caratteristica:

1. Passare al sito Web del portale di Azure
2. Selezionare la risorsa di Personalizza esperienze
3. Selezionare la sezione Monitoraggio, nel riquadro di spostamento laterale
4. Selezionare la scheda Caratteristiche
5. Selezionare "Crea report" e verrà visualizzata una nuova schermata
6. Scegliere un nome per il report
7. Scegliere l'ora di inizio e di fine per il periodo di valutazione
8. Selezionare "Crea report"

Il nome del report verrà quindi visualizzato nella tabella dei report seguente. La creazione di una valutazione della caratteristica è un processo a esecuzione prolungata, in cui il tempo di completamento dipende dal volume di dati inviati a Personalizza esperienze durante il periodo di valutazione. Durante la generazione del report, la colonna Stato indicherà "In esecuzione" per la valutazione e verrà aggiornata a "Completata" una volta terminata. Controllare periodicamente se la valutazione è stata completata.

È possibile eseguire più valutazioni delle caratteristiche in vari periodi di tempo in cui la risorsa di Personalizza esperienze dispone di dati di log. Assicurarsi che il periodo di conservazione dei dati sia impostato su un tempo sufficientemente lungo per consentire di eseguire valutazioni sui dati meno recenti.

Interpretazione dei punteggi di importanza della caratteristica

Caratteristiche con un punteggio di importanza elevato

Le caratteristiche con punteggi di importanza più elevati sono state più influenti per il modello, durante il periodo di valutazione, rispetto alle altre. Le caratteristiche importanti possono fornire ispirazione per la progettazione di caratteristiche aggiuntive da includere nel modello. Ad esempio, se viene mostrato che le caratteristiche di contesto "IsWeekend" o "IsWeekday" hanno un'importanza elevata per la spesa, potrebbe essere che anche le festività o i fine settimana lunghi possano essere fattori importanti, quindi è consigliabile prendere in considerazione l'aggiunta di caratteristiche che incorporino anche queste informazioni.

Caratteristiche con un punteggio di importanza basso

Le caratteristiche con punteggi di importanza bassi sono buone candidate per un'ulteriore analisi. Non tutte le caratteristiche con punteggio basso sono necessariamente negative o non utili, perché i punteggi bassi possono verificarsi per uno o più motivi. L'elenco seguente consente di iniziare ad analizzare i motivi per cui le caratteristiche possono avere punteggi bassi:

• La caratteristica è stata raramente osservata nei dati durante il periodo di valutazione.

  • Se il numero di occorrenze di questa caratteristica è basso rispetto ad altre, ciò potrebbe indicare che non era presente abbastanza spesso nel modello per poter determinare se è utile o meno.

• I valori delle caratteristiche non mostrano una grande diversità o variazione.

  • Se il numero di valori univoci per questa caratteristica è inferiore a quello previsto, ciò potrebbe indicare che non è variata molto durante il periodo di valutazione e non fornirà informazioni dettagliate significative.

• I valori delle caratteristiche erano troppo rumorosi (casuali) o troppo distinti ed erano di basso valore.

  • Controllare il numero di valori univoci nella valutazione della caratteristica. Se il numero di valori univoci per questa caratteristica è superiore al previsto o elevato rispetto ad altre, ciò potrebbe indicare che era troppo rumorosa durante il periodo di valutazione.

• Si è verificato un problema di dati o di formattazione.

  • Verificare che le caratteristiche siano formattate e inviate a Personalizza esperienze nel modo previsto.

• La caratteristica potrebbe non essere utile per modellare l'apprendimento e le prestazioni se il punteggio è basso e i motivi precedenti per giustificare questo valore non si applicano.

  • Provare a rimuovere la caratteristica perché non aiuta il modello a massimizzare la ricompensa media.

La rimozione di caratteristiche con punteggi di importanza bassi consente di velocizzare il training del modello riducendo la quantità di dati necessari per l'apprendimento. Può anche migliorare potenzialmente le prestazioni del modello. Tuttavia, questo non è garantito e potrebbe essere necessaria un'ulteriore analisi. Altre informazioni sulla progettazione di caratteristiche di contesto e azione.

Problemi e procedure comuni per migliorare le caratteristiche

• Invio di caratteristiche con cardinalità elevata. Le caratteristiche con cardinalità elevata sono quelle con molti valori distinti che non sono probabilmente ripetuti in molti eventi. Ad esempio, le informazioni personali specifiche di un singolo utente (come nome, numero di telefono, numero di carta di credito, indirizzo IP), non devono essere usate con Personalizza esperienze.

• Invio di ID utente Con un numero elevato di utenti, è improbabile che queste informazioni siano rilevanti per Personalizza esperienze, per imparare a ottimizzare il punteggio medio di ricompensa. L'invio di ID utente (anche senza informazioni personali) aggiungerà probabilmente più rumore al modello e non è consigliato.

• Le caratteristiche sono troppo sparse. I valori sono distinti e raramente si verificano più volte. I timestamp precisi al secondo possono essere molto sparsi. Un timestamp può essere reso più denso (e quindi efficace) raggruppando i tempi in "mattina", "mezzogiorno" o "pomeriggio", ad esempio.

Le informazioni sulla posizione in genere traggono vantaggio dalla creazione di classificazioni più ampie. Ad esempio, coordinate di latitudine-longitudine come Lat: 47.67402° N, Long: 122.12154° W sono troppo precise e forzano il modello a imparare la latitudine e longitudine come dimensioni distinte. Quando si tenta di personalizzare in base alle informazioni sulla posizione, raggruppare le informazioni sulla posizione in settori più grandi è più efficace. Un modo semplice per eseguire questa operazione consiste nello scegliere una precisione di arrotondamento appropriata per i numeri lat-long e combinare latitudine e longitudine in "aree" rendendole una stringa. Ad esempio, un buon modo per rappresentare Lat: 47,67402° N, Long: 122.12154° W in aree di circa pochi chilometri di larghezza sarebbe "location":"34.3 , 12.1".

• Espandere i set di caratteristiche con informazioni estrapolate È anche possibile ottenere altre caratteristiche pensando a attributi non esplorati che possono essere derivati dalle informazioni già presenti. Ad esempio, nella personalizzazione di un elenco di film di fantasia, è possibile che i weekend generino comportamenti diversi degli utenti rispetto ai giorni feriali? La caratteristica temporale potrebbe essere espansa per includere un attributo "weekend" o "giorno feriale". Le festività nazionali/regionali di tipo culturale attirano l'attenzione verso determinati tipi di film? Ad esempio, l'attributo "Halloween" è utile nelle località in cui questa festa è rilevante. È possibile che per molte persone la pioggia abbia un impatto significativo sulla scelta del film da guardare? Con una data e un luogo, un servizio meteo potrebbe fornire questa informazione ed è possibile includerla come caratteristica aggiuntiva.

Passaggi successivi

Analizzare le prestazioni dei criteri con una valutazione offline con Personalizza esperienze.