Risolvere i problemi relativi al modello Copilot Tuning Expert Q&A

Questo articolo descrive alcuni dei problemi più comuni con l'esperto di ottimizzazione Microsoft 365 Copilot Q&un'attività di ottimizzazione e come risolverli.

Nota

L'ottimizzazione copilot è attualmente disponibile per i primi Access Preview (EAP). Per informazioni dettagliate sui requisiti e su come eseguire la registrazione, vedere la guida per l'amministratore.

Viene visualizzato un errore di autorizzazione o accesso durante la connessione all'origine del contenuto

Un errore di accesso o autorizzazione negata indica in genere che l'account non dispone dei diritti per tale origine dati. Assicurarsi di disporre delle autorizzazioni appropriate per il repository di contenuto. Ad esempio, se si aggiunge un sito di SharePoint, verificare con l'amministratore di SharePoint che l'account (o un gruppo a cui si appartiene) abbia accesso a tale sito o raccolta documenti. Se il processo di ottimizzazione usa un gruppo di sicurezza per il controllo di accesso, assicurarsi che il gruppo di sicurezza corretto sia configurato e che l'account utente sia incluso in esso prima di ripetere l'operazione.

Ho creato un modello Q&A ottimizzato, ma non viene visualizzato quando si tenta di aggiungerlo all'agente Copilot

Se il modello appena sottoposto a training non è elencato nell'elenco a discesa di selezione quando si configura l'agente dichiarativo, potrebbe verificarsi un problema di autorizzazioni. Il modello è associato a un gruppo di sicurezza o a criteri di accesso e l'account potrebbe non essere incluso. Assicurarsi che il gruppo di sicurezza usato durante la creazione del modello includa l'account (o l'account della persona che compila l'agente). Potrebbe essere necessario chiedere all'amministratore IT di aggiungersi a tale gruppo o ricreare il modello con un gruppo di cui si fa parte. Quando le autorizzazioni sono fisse, il modello ottimizzato dovrebbe essere visualizzato per la selezione.

Quando si fa clic su "Preparare i dati per il training", non vengono visualizzati dati o interfacce di etichettatura

Alcuni scenari di ottimizzazione non richiedono l'etichettatura manuale dei dati. Nel Q&Una pipeline di ottimizzazione fine, se il sistema non presenta dati da etichettare dopo la preparazione, significa che il passaggio viene ignorato automaticamente per lo scenario. In altre parole, non tutte le ricette richiedono una fase di etichettatura. È possibile procedere al passaggio successivo del processo. Se si prevede un passaggio di etichettatura ma non ne è stato ottenuto uno, il sistema potrebbe aver determinato che non c'è nulla da etichettare, il che è normale per determinate attività Q&A.

La fase di elaborazione dei dati richiede molto tempo

La fase di preparazione o training dei dati può richiedere molto tempo, a seconda delle dimensioni del contenuto. È normale che questa fase impiega diverse ore, soprattutto se è stata fornita una raccolta di documenti di grandi dimensioni. Al termine dell'elaborazione, è necessario ricevere una notifica, ad esempio un messaggio di posta elettronica. Se non è ancora stata ricevuta una notifica, sii paziente: probabilmente significa che il processo è ancora in esecuzione. Se sono passate più di poche ore, controllare la cartella posta indesiderata o posta indesiderata per assicurarsi che la notifica non sia stata archiviata in modo errato. È anche possibile aggiornare o rivedere manualmente la pagina di ottimizzazione. Al termine dell'elaborazione, lo stato nel sito indica che i dati sono pronti o che il passaggio successivo è disponibile.

Non è stata visualizzata una notifica tramite posta elettronica che indica che l'elaborazione dei dati è stata completata

Controllare di nuovo la cartella posta indesiderata o posta indesiderata per un messaggio relativo al processo di ottimizzazione completato. In alcuni casi, le notifiche automatizzate possono essere filtrate. Se non trovi un messaggio di posta elettronica, non preoccuparti: non hai bisogno del messaggio di posta elettronica per continuare. Indietro all'interfaccia di ottimizzazione e controllare lo stato del modello. Se il passaggio di preparazione è completato, l'interfaccia mostrerà che i dati sono pronti per il passaggio successivo(ad esempio, pronti per la valutazione o pronti per il training). A quel punto, è possibile continuare con il flusso di lavoro di ottimizzazione anche senza il messaggio di posta elettronica.

Il processo di ottimizzazione fine si è bloccato o ha avuto esito negativo (con o senza stato di errore)

Se il processo di training/ottimizzazione ha esito negativo o si blocca senza un messaggio di errore chiaro, il sistema potrebbe non aver fornito commenti e suggerimenti. Il sistema corrente ha una gestione degli errori limitata, quindi a volte potrebbe arrestarsi senza un codice di errore specifico o una spiegazione specifica.

Per risolvere i problemi:

1. Ripetere il processo: in alcuni casi, l'esecuzione del processo di ottimizzazione o il riavvio dall'ultimo passaggio può risolvere un problema temporaneo.
2. Verificare che tutte le configurazioni siano impostate correttamente e riprovare.
3. Verificare la presenza di problemi noti: verificare se è stato registrato o visualizzato un messaggio di errore. Se si trova un codice di errore, seguire le indicazioni associate a tale codice di errore. La documentazione o i forum potrebbero avere informazioni aggiuntive per errori specifici.

Contattare il supporto tecnico se il problema persiste.

Il set di dati di valutazione (test) è tornato vuoto oppure vengono visualizzate le coppie 0 Q&A generate per la valutazione

Un file di valutazione vuoto indica in genere che il sistema non è riuscito a generare esempi di Q&A dal contenuto. Un motivo comune è che la raccolta di contenuto specificata era troppo piccola o non aveva dati utilizzabili. Il modello non aveva abbastanza materiale per creare esempi di Q&A.

Per risolvere questo aspetto:

1. Verificare il contenuto dell'origine conoscenze: verificare che i documenti o l'origine dati selezionati contengano le informazioni previste. Se il repository di contenuto era vuoto o troppo limitato, aggiungere altri documenti pertinenti ed eseguire nuovamente il processo di ottimizzazione.
2. Eseguire di nuovo il processo: dopo aver verificato che il contenuto sia disponibile, provare di nuovo a preparare i dati o a ottimizzare il passaggio. Questa volta, potrebbe produrre un set di coppie Q&A per la valutazione.
3. Se è ancora vuoto, cercare la Guida: se si riceve ancora una valutazione vuota o un set di training vuoto, potrebbe esserci un problema sottostante. Contattare il supporto tecnico per assistenza. Potrebbero controllare se eventuali regole di filtro o errori hanno causato l'eliminazione dei dati. In rari casi, l'applicazione di filtri rigorosi o il fatto che tutto il contenuto non sia incluso nell'ambito può comportare l'assenza di dati; supporto può aiutare a identificare se ciò è accaduto.

Il training del modello è terminato, ma le risposte che dà sembrano strane o irrilevanti ("strane")

Se la Q ottimizzata&le risposte di un modello non hanno senso o sembrano non correlate al dominio, il responsabile è spesso la qualità o la quantità dei dati di training. Un modello può eseguire solo i dati su cui è stato eseguito il training. Di seguito sono riportati i passaggi per risolvere i problemi relativi a un output del modello "strano" o di bassa qualità:

1. Assicurarsi che i dati di training siano sufficienti: verificare che l'origine conoscenze specificata disponga di contenuto utile sufficiente. Se la raccolta di contenuti era molto piccola o vuota, il modello potrebbe aver eseguito essenzialmente il training su nulla, generando in effetti un modello "vanilla" o nonsense[1]. Assicurarsi di includere documenti sufficienti o Q&coppie A che coprono l'oggetto che si prevede che il modello gestisca.
2. Fornire dati rilevanti: se le risposte del modello sono fuori argomento, alcuni documenti di training potrebbero non corrispondere al dominio previsto. Ad esempio, se si sta creando un Q finanziario&un bot, ma il contenuto inserito in era per lo più generico o non correlato, il modello non avrà le conoscenze corrette. Ottimizzare il contenuto in modo che sia più pertinente alle domande previste.
3. Ripetere il training dopo i miglioramenti: dopo aver aggiunto più o migliori dati, eseguire di nuovo il processo di ottimizzazione. Il miglioramento del set di dati comporta spesso un miglioramento diretto della qualità delle risposte.

Se sono state eseguite le operazioni precedenti e le risposte del modello sono ancora errate o incoerenti, provare a contattare il supporto. Potrebbe verificarsi un problema relativo al caso perimetrale della pipeline di ottimizzazione. Nella maggior parte dei casi, tuttavia, il rafforzamento dei dati di training (o la modifica delle istruzioni per le attività) dovrebbe migliorare notevolmente le risposte del modello.

Le risposte di valutazione del modello sembravano buone, ma le risposte dell'agente non sono buone

Si tratta di un comportamento noto. Il modello ottimizzato potrebbe avere buone prestazioni nella valutazione isolata, ma il comportamento dell'agente distribuito può variare se la configurazione dell'agente non esegue completamente le sfumature del modello. In particolare, l'agente potrebbe avere bisogno di istruzioni aggiuntive per usare il modello in modo efficace. Per risolvere questo errore:

1. Confronto tra gli output di valutazione e quelli dell'agente: identificare gli elementi mancanti o diversi. Ad esempio, forse le risposte di valutazione avevano un tono amichevole ed empatico che ti piaceva, ma le risposte dell'agente si sentono più generiche o concise.
2. Modificare le istruzioni dell'agente: nel generatore di agenti aggiungere o perfezionare le istruzioni di sistema o le richieste per l'agente. Rafforzare le qualità desiderate nella fase di valutazione. Ad esempio, aggiungere le istruzioni "Rispondi in un tono empatico" o "Includi i passaggi dettagliati, se disponibili".
3. Test di nuovo: dopo aver aggiornato le istruzioni, testare l'agente con le stesse domande. Le risposte devono essere più allineate al comportamento previsto del modello ottimizzato. Questa ottimizzazione iterativa dell'agente è talvolta necessaria per ottenere i risultati migliori. Il modello ottimizzato fornisce le conoscenze e le istruzioni dell'agente modellano il modo in cui tale conoscenza viene espressa.

Le risposte dal mio Q&un agente non sono ancora quello che mi aspettavo

Se la qualità complessiva della risposta non è soddisfacente, potrebbe essere necessario perfezionare ulteriormente la configurazione di ottimizzazione. Prendere in considerazione questi passaggi:

1. Migliorare o aumentare i dati di training: assicurarsi che il set di dati usato per l'ottimizzazione sia di alta qualità, pertinente e completo per il dominio delle domande. Se possibile, aggiungere altri esempi o documenti che coprono l'ambito delle query previste. Un set di dati più completo può migliorare significativamente l'accuratezza del modello.
2. Perfezionare la configurazione iniziale: durante l'installazione del modello, è probabile che siano state fornite alcune istruzioni iniziali o sia stato compilato un modulo (talvolta definito questionario sul dominio e sull'attività). Rivisitare gli input. Modificare o perfezionare la descrizione e le impostazioni dell'attività per guidare meglio il modello. Ad esempio, se ci si rende conto che il modello risponde a un livello troppo alto, assicurarsi che le istruzioni specifichino la profondità o il contesto desiderato.
3. Fornire esempi chiari: se il sistema lo consente, fornire l'esempio Q&coppie A o altre indicazioni. Alcuni processi di ottimizzazione consentono di esaminare o etichettare i dati. Usare questa opportunità per insegnare al modello l'aspetto delle risposte corrette.
4. Iterazione e test: l'ottimizzazione è spesso un processo iterativo. Dopo aver apportato modifiche, ripetere il training (o eseguire parzialmente il training se supportato) e quindi testare di nuovo l'agente Q&A. A poco a poco, è possibile convergere su prestazioni migliori. Tenere presente che domande aperte o estremamente complesse potrebbero essere sempre complesse, ma l'obiettivo è ottenere una risposta ottimale alla maggior parte delle query previste.

Alcune risposte dal Q&A Copilot non hanno citazioni

Nella versione corrente del sistema, non tutte le risposte includeranno una citazione, anche se estrae informazioni dal contenuto. Q&Una pipeline di ottimizzazione funziona con il recupero: quando la risposta proviene direttamente dai documenti recuperati (usando il componente di recupero RAG), il sistema mostrerà i collegamenti di citazione. Tuttavia, se la risposta proviene dalle conoscenze specifiche del modello ottimizzato(ad esempio, un elemento appreso durante il training che non è una citazione diretta da un documento), potrebbe rispondere senza allegare una citazione di origine. Questo comportamento è previsto.

La presenza di citazioni è in genere un buon segno che la risposta ha usato i documenti forniti in fase di esecuzione. La mancanza di una citazione non significa necessariamente che la risposta sia sbagliata; potrebbe significare solo che la risposta è stata generata dalle conoscenze interne del modello o che la domanda non richiedeva il recupero di un documento.

Se si ritiene che una risposta debba avere una citazione (ad esempio, sembra citare un documento fornito), ma non viene visualizzata alcuna citazione, verificare che le origini conoscenze siano state connesse correttamente durante l'esecuzione dell'agente. È possibile che l'agente abbia risposto dal modello ottimizzato anziché dal documento reale.

Tenere presente che una risposta senza citazione non è insolita in alcuni casi. È sempre possibile verificare le informazioni critiche eseguendo manualmente la ricerca nel contenuto di origine e, se si ritiene che manca una citazione o non sia corretto, usare i meccanismi di feedback nello strumento per comunicare agli sviluppatori (ad esempio, segnalando una risposta errata).

Contenuto correlato

• panoramica dell'ottimizzazione Microsoft 365 Copilot (anteprima)

Se è necessario il supporto o si vuole fornire commenti e suggerimenti, vedere Domande frequenti sull'ottimizzazione di Copilot.