Generare informazioni dettagliate sull'intelligenza artificiale responsabile nell'interfaccia utente di Studio

In questo articolo viene creato un dashboard di intelligenza artificiale responsabile e scorecard (anteprima) con un'esperienza senza codice nell'interfaccia utente di studio di Azure Machine Learning.

Per accedere alla creazione guidata dashboard e generare un dashboard di intelligenza artificiale responsabile, eseguire le operazioni seguenti:

  1. Registrare il modello in Azure Machine Learning in modo che sia possibile accedere all'esperienza no-code.

  2. Nel riquadro sinistro di studio di Azure Machine Learning selezionare la scheda Modelli.

  3. Selezionare il modello registrato per cui si desidera creare informazioni dettagliate sull'intelligenza artificiale responsabile e quindi selezionare la scheda Dettagli .

  4. Selezionare Crea dashboard di intelligenza artificiale responsabile (anteprima).

    Screenshot del riquadro dei dettagli della procedura guidata con la scheda

Per altre informazioni sui tipi di modello e le limitazioni supportati nel dashboard di Intelligenza artificiale responsabile, vedere Scenari e limitazioni supportati.

La procedura guidata fornisce un'interfaccia per immettere tutti i parametri necessari per creare il dashboard di intelligenza artificiale responsabile senza dover toccare il codice. L'esperienza si svolge interamente nell'interfaccia utente studio di Azure Machine Learning. Lo studio presenta un flusso guidato e un testo informativo per contestualizzare l'ampia gamma di scelte sui componenti di intelligenza artificiale responsabile con cui si vuole popolare il dashboard.

La procedura guidata è suddivisa in cinque sezioni:

  1. Set di dati di training
  2. Set di dati di test
  3. Attività di modellazione
  4. Componenti del dashboard
  5. Parametri del componente
  6. Configurazione dell'esperimento

Selezionare i set di dati

Nelle prime due sezioni si selezionano i set di dati di training e test usati quando si esegue il training del modello per generare informazioni dettagliate sul debug del modello. Per i componenti come l'analisi causale, che non richiede un modello, usare il set di dati di training per eseguire il training del modello causale per generare le informazioni dettagliate causali.

Nota

Sono supportati solo i formati di set di dati tabulari nella tabella ML.

  1. Selezionare un set di dati per il training: nell'elenco dei set di dati registrati nell'area di lavoro di Azure Machine Learning selezionare il set di dati da usare per generare informazioni di intelligenza artificiale responsabili per i componenti, ad esempio spiegazioni dei modelli e analisi degli errori.

    Screenshot della scheda del set di dati di training.

  2. Selezionare un set di dati per il test: nell'elenco dei set di dati registrati selezionare il set di dati da usare per popolare le visualizzazioni del dashboard di intelligenza artificiale responsabile.

    Screenshot della scheda del set di dati di test.

  3. Se il set di dati di training o test da usare non è elencato, selezionare Crea per caricarlo.

Selezionare l'attività di modellazione

Dopo aver selezionato i set di dati, selezionare il tipo di attività di modellazione, come illustrato nell'immagine seguente:

Screenshot della scheda attività di modellazione.

Selezionare i componenti del dashboard

Il dashboard di Intelligenza artificiale responsabile offre due profili per set consigliati di strumenti che è possibile generare:

  • Debug del modello: comprendere ed eseguire il debug di coorti di dati errati nel modello di Machine Learning usando l'analisi degli errori, gli esempi di simulazione degli errori e la spiegazione del modello.

  • Interventi reali: comprendere e eseguire il debug di coorti di dati errati nel modello di Machine Learning usando l'analisi causale.

    Nota

    La classificazione multiclasse non supporta il profilo di analisi degli interventi reali.

Screenshot della scheda componenti del dashboard, che mostra i profili

  1. Selezionare il profilo da usare.
  2. Selezionare Avanti.

Configurare i parametri per i componenti del dashboard

Dopo aver selezionato un profilo, vengono visualizzati i parametri componente per il riquadro di configurazione del debug del modello per i componenti corrispondenti.

Screenshot della scheda dei parametri del componente che mostra il riquadro di configurazione

Parametri del componente per il debug del modello:

  1. Funzionalità di destinazione (obbligatoria): specificare la funzionalità di cui è stato eseguito il training del modello per stimare.

  2. Funzionalità categoriche: indicare quali funzionalità sono categoriche per eseguirne correttamente il rendering come valori categorici nell'interfaccia utente del dashboard. Questo campo viene precaricati in base ai metadati del set di dati.

  3. Generare un albero degli errori e una mappa termica: attivare e disattivare per generare un componente di analisi degli errori per il dashboard di intelligenza artificiale responsabile.

  4. Funzionalità per la mappa termica degli errori: selezionare fino a due funzionalità per cui si vuole pre-generare una mappa termica degli errori.

  5. Configurazione avanzata: specificare parametri aggiuntivi, ad esempio Profondità massima dell'albero degli errori, Numero di foglie nell'albero degli errori e Numero minimo di campioni in ogni nodo foglia.

  6. Generare esempi di simulazione contatore: Attiva e disattiva per generare un componente antifattuale per il dashboard di intelligenza artificiale responsabile.

  7. Numero di controfactuali (obbligatorio): specificare il numero di esempi controfactuali che si desidera generare per ogni punto dati. Per ottenere la stima desiderata, è necessario generare almeno 10 elementi per abilitare una visualizzazione a barre delle funzionalità più inturbate, in media, per ottenere la stima desiderata.

  8. Intervallo di stime dei valori (obbligatorio): specificare gli scenari di regressione nell'intervallo in cui si desiderano esempi controfattuali in cui sono presenti valori di stima. Per gli scenari di classificazione binaria, l'intervallo verrà impostato automaticamente per generare contatori per la classe opposta di ogni punto dati. Per gli scenari di classificazione multipla, usare l'elenco a discesa per specificare quale classe si vuole che ogni punto dati venga stimato come.

  9. Specificare le funzionalità da perturbare: per impostazione predefinita, tutte le funzionalità verranno perturbate. Tuttavia, se si desidera che siano perturbate solo le funzionalità specifiche, selezionare Specificare le funzionalità da perturbare per generare spiegazioni controfactuali per visualizzare un riquadro con un elenco di funzionalità da selezionare.

    Quando si seleziona Specificare le funzionalità da perturb, è possibile specificare l'intervallo in cui si desidera consentire le perturbazioni. Ad esempio, per la funzionalità YOE (anni di esperienza), specificare che i valori di funzionalità devono essere compresi tra solo 10 e 21 anziché i valori predefiniti da 5 a 21.

    Screenshot della procedura guidata, che mostra un riquadro di funzionalità che è possibile specificare per la perturb.

  10. Generare spiegazioni: Attiva e disattiva per generare un componente di spiegazione del modello per il dashboard di intelligenza artificiale responsabile. Non è necessaria alcuna configurazione, perché verrà usata una spiegazione simulata di una casella opaca predefinita per generare le importanza delle funzionalità.

In alternativa, se si seleziona il profilo interventi real-life , verrà visualizzata la schermata seguente che genera un'analisi causale. Questo ti aiuterà a comprendere gli effetti causali delle funzionalità che vuoi "trattare" su un determinato risultato che vuoi ottimizzare.

Screenshot della procedura guidata, che mostra il riquadro

I parametri dei componenti per gli interventi in vita reale usano l'analisi causale. Eseguire le operazioni seguenti:

  1. Funzionalità di destinazione (obbligatoria) : scegliere il risultato per cui si desidera calcolare gli effetti causali.
  2. Funzionalità di trattamento (necessarie) : scegliere una o più funzionalità che si è interessati a modificare ("trattamento") per ottimizzare il risultato di destinazione.
  3. Funzionalità categoriche: indicare quali funzionalità sono categoriche per eseguirne correttamente il rendering come valori categorici nell'interfaccia utente del dashboard. Questo campo viene precaricati in base ai metadati del set di dati.
  4. Impostazioni avanzate: specificare parametri aggiuntivi per l'analisi causale, ad esempio funzionalità eterogene (ovvero funzionalità aggiuntive per comprendere la segmentazione causale nell'analisi, oltre alle funzionalità di trattamento) e quale modello causale si vuole usare.

Configurare l'esperimento

Infine, configurare l'esperimento per avviare un processo per generare il dashboard di intelligenza artificiale responsabile.

Screenshot della scheda Configurazione esperimento che mostra il riquadro

Nel riquadro Configurazione del processo di training o dell'esperimento eseguire le operazioni seguenti:

  1. Nome: Assegnare al dashboard un nome univoco in modo che sia possibile differenziarlo quando si visualizza l'elenco di dashboard per un determinato modello.
  2. Nome esperimento: selezionare un esperimento esistente in cui eseguire il processo oppure creare un nuovo esperimento.
  3. Esperimento esistente: nell'elenco a discesa selezionare un esperimento esistente.
  4. Selezionare tipo di calcolo: specificare il tipo di calcolo da usare per eseguire il processo.
  5. Selezionare calcolo: nell'elenco a discesa selezionare il calcolo che si vuole usare. Se non sono presenti risorse di calcolo esistenti, selezionare il segno più (+), creare una nuova risorsa di calcolo e quindi aggiornare l'elenco.
  6. Descrizione: aggiungere una descrizione più lunga del dashboard di Intelligenza artificiale responsabile.
  7. Tag: aggiungere tag a questo dashboard di intelligenza artificiale responsabile.

Dopo aver completato la configurazione dell'esperimento, selezionare Crea per iniziare a generare il dashboard di intelligenza artificiale responsabile. Si verrà reindirizzati alla pagina dell'esperimento per tenere traccia dello stato di avanzamento del processo con un collegamento al dashboard di intelligenza artificiale responsabile risultante dalla pagina del processo al termine.

Per informazioni su come visualizzare e usare il dashboard di intelligenza artificiale responsabile, vedere Usare il dashboard di intelligenza artificiale responsabile in studio di Azure Machine Learning.

Come generare la scorecard di intelligenza artificiale responsabile (anteprima)

Dopo aver creato un dashboard, è possibile usare un'interfaccia utente senza codice in studio di Azure Machine Learning per personalizzare e generare una scorecard di intelligenza artificiale responsabile. Ciò consente di condividere informazioni dettagliate chiave per la distribuzione responsabile del modello, ad esempio l'equità e l'importanza delle funzionalità, con stakeholder non tecnici e tecnici. Analogamente alla creazione di un dashboard, è possibile seguire questa procedura per accedere alla creazione guidata di scorecard:

  • Passare alla scheda Modelli dalla barra di spostamento sinistra in studio di Azure Machine Learning.
  • Selezionare il modello registrato per cui si vuole creare una scorecard e selezionare la scheda Intelligenza artificiale responsabile .
  • Nel pannello superiore selezionare Create Responsible AI insights (anteprima) e quindi Genera nuova scorecard PDF.

La procedura guidata consente di personalizzare la scorecard PDF senza dover toccare il codice. L'esperienza si svolge interamente nell'studio di Azure Machine Learning per facilitare la contestualizzazione della varietà di scelte dell'interfaccia utente con un flusso guidato e un testo informativo che consente di scegliere i componenti con cui si vuole popolare la scorecard. La procedura guidata è suddivisa in sette passaggi, con un ottavo passaggio (valutazione dell'equità) che verrà visualizzato solo per i modelli con funzionalità categorica:

  1. Riepilogo scorecard PDF
  2. Prestazioni del modello
  3. Selezione degli strumenti
  4. Analisi dei dati (precedentemente denominata Esplora dati)
  5. Analisi causale
  6. Interpretabilità
  7. Configurazione dell'esperimento
  8. Valutazione dell'equità (solo se esistono funzionalità categorica)

Configurazione della scorecard

  1. Immettere prima di tutto un titolo descrittivo per la scorecard. È anche possibile immettere una descrizione facoltativa delle funzionalità del modello, i dati di cui è stato eseguito il training e la valutazione, il tipo di architettura e altro ancora.

    Screenshot della procedura guidata nella configurazione di riepilogo scorecard.

  2. La sezione Prestazioni modello consente di incorporare nelle metriche di valutazione del modello standard del settore scorecard, consentendo di impostare i valori di destinazione desiderati per le metriche selezionate. Selezionare le metriche delle prestazioni desiderate (fino a tre) e i valori di destinazione usando gli elenchi a discesa.

    Screenshot della procedura guidata nella configurazione delle prestazioni del modello scorecard.

  3. Il passaggio Selezione strumento consente di scegliere quali componenti successivi includere nella scorecard. Selezionare Includi nella scorecard per includere tutti i componenti oppure selezionare/deselezionare singolarmente ogni componente. Selezionare l'icona delle informazioni ("i" in un cerchio) accanto ai componenti per saperne di più su di essi.

    Screenshot della procedura guidata nella configurazione della selezione dello strumento scorecard.

  4. La sezione Analisi dei dati (precedentemente denominata Esplora dati) abilita l'analisi della coorte. In questo caso, è possibile identificare i problemi di sovra-rappresentazione ed esplorare il modo in cui i dati vengono raggruppati nel set di dati e il modo in cui le stime del modello influisce sulle coorti di dati specifiche. Usare le caselle di controllo nell'elenco a discesa per selezionare le funzionalità di interesse riportate di seguito per identificare le prestazioni del modello nelle coorti sottostanti.

    Screenshot della procedura guidata nella configurazione dell'analisi dei dati scorecard.

  5. La sezione Valutazione equità può essere utile per valutare quali gruppi di persone potrebbero essere interessati negativamente dalle stime di un modello di Machine Learning. In questa sezione sono disponibili due campi.

    • Caratteristiche sensibili: identificare gli attributi sensibili scelti (ad esempio età, sesso) assegnando priorità a un massimo di 20 sottogruppi da esplorare e confrontare.

    • Metrica di equità: selezionare una metrica di equità appropriata per l'impostazione,ad esempio la differenza nell'accuratezza, il tasso di errore, e identificare i valori di destinazione desiderati nelle metriche di equità selezionate. La metrica di equità selezionata (abbinata alla selezione della differenza o del rapporto tramite l'interruttore) acquisirà la differenza o il rapporto tra i valori estremi tra i sottogruppi. (max - min o max/min).

    Screenshot della procedura guidata sulla configurazione della valutazione dell'equità della scorecard.

    Nota

    La valutazione dell'equità è attualmente disponibile solo per attributi sensibili categorici, ad esempio il sesso.

  6. La sezione Analisi causale risponde alle domande "what if" reali su come i cambiamenti dei trattamenti influisce su un risultato reale. Se il componente causale viene attivato nel dashboard di intelligenza artificiale responsabile per cui si sta generando una scorecard, non è necessaria alcuna configurazione.

    Screenshot della procedura guidata nella configurazione dell'analisi causale della scorecard.

  7. La sezione Interpretabilità genera descrizioni comprensibili per le stime effettuate dal modello di Machine Learning. Usando le spiegazioni del modello, è possibile comprendere il ragionamento delle decisioni prese dal modello. Selezionare un numero (K) di seguito per visualizzare le principali funzionalità importanti che influisce sulle stime complessive del modello. Il valore predefinito per K è 10.

    Screenshot della procedura guidata nella configurazione dell'importanza della funzionalità scorecard.

  8. Infine, configurare l'esperimento per avviare un processo per generare la scorecard. Queste configurazioni sono identiche a quelle per il dashboard di intelligenza artificiale responsabile.

    Screenshot della procedura guidata nella configurazione dell'esperimento scorecard.

  9. Esaminare infine le configurazioni e selezionare Crea per avviare il processo.

    Screenshot della procedura guidata nella verifica della configurazione della scorecard.

    Si verrà reindirizzati alla pagina dell'esperimento per tenere traccia dello stato di avanzamento del processo dopo averlo avviato. Per informazioni su come visualizzare e usare la scorecard di intelligenza artificiale responsabile, vedere Use Responsible AI scorecard (preview) (Usare la scorecard di intelligenza artificiale responsabile (anteprima).

Passaggi successivi