Revisione da parte di un essere umano per l'automazione con una richiesta
Questo articolo sottolinea il ruolo fondamentale della revisione umana nell'implementazione della funzionalità Crea testo con GPT in Power Automate. Questa funzionalità utilizza il modello di generazione del testo di AI Builder, basato sul Servizio OpenAI di Azure. Sebbene questi modelli siano altamente efficaci, a volte possono generare informazioni fuorvianti o inventate e sono suscettibili di attacchi di inserimento delle richieste.
Importante
- Le richieste di AI Builder vengono eseguite sui modelli GPT 4o Mini e GPT 4o basati sul Servizio OpenAI di Azure.
- Questa capacità è limitata ad alcune regioni.
- Questa funzionalità potrebbe essere soggetta a limiti di utilizzo o limitazione della larghezza di banda della rete della capacità.
Attacchi di inserimento delle richieste
Un attacco di inserimento delle richieste si verifica quando una terza parte sfrutta la fiducia intrinseca del modello in tutte le fonti di input. L'utente malintenzionato inserisce una richiesta nel contenuto con cui un utente legittimo chiede alla soluzione di intelligenza artificiale di interagire, portando a una modifica nell'output della soluzione di intelligenza artificiale e, potenzialmente, nelle sue azioni.
Ad esempio, considera uno scenario in cui un citizen developer utilizza l'azione Crea testo con GPT per formulare risposte ai reclami dei clienti raccolti da varie piattaforme come e-mail, social media o forum. Un utente malintenzionato potrebbe inserire un messaggio nel contenuto da una di queste fonti. Questo scenario potrebbe ingannare il modello inducendolo a generare una risposta che si discosta da quella prevista. La risposta potrebbe essere inappropriata, errata o dannosa. Informazioni errate inviate ai clienti potrebbero influire negativamente sulla reputazione dell'azienda e sui clienti Relazioni.
Creazione di modelli di intelligenza artificiale
La fabbricazione, nota anche come allucinazione, è un'altra sfida affrontata dai modelli di intelligenza artificiale, incluso il modello di generazione del testo. Questa fabbricazione si verifica quando il modello di intelligenza artificiale genera informazioni che non si basano su input forniti o dati preesistenti, essenzialmente inventando o allucinando informazioni.
Ad esempio, se al modello di intelligenza artificiale viene chiesto di generare un riepilogo di un evento storico basato su un determinato testo, potrebbe includere dettagli o eventi che non sono stati menzionati nel testo originale. Ad esempio, un flusso crea una sinossi di una riunione basata sulla trascrizione della registrazione. I dati di input includono dettagli sui partecipanti, sugli articoli discussi e sulle decisioni prese. Tuttavia, il modello potrebbe generare un riepilogo che include un'azione o una decisione che non è mai stata discussa durante la riunione. Questa situazione è un esempio di fabbricazione, in cui il modello ha allucinato un'informazione che non esiste nei dati di input.
Per ridurre il rischio di fabbricazione, è fondamentale implementare pratiche di intelligenza artificiale responsabili. Ciò include test rigorosi del prompt e del flusso, fornendo al modello quante più informazioni fondamentali possibili e infine implementando un solido sistema di supervisione umana.
Affrontare i rischi attraverso pratiche di intelligenza artificiale responsabile
Sosteniamo procedure di intelligenza artificiale responsabili come mezzo per ridurre i rischi. Nonostante siano in atto strategie per moderare il contenuto prodotto dal modello, gestire la propensione del modello a generare risposte inventate o a soccombere ad attacchi di inserimento tempestivi rimane una sfida complessa. Riconosciamo questi rischi e riaffermiamo il nostro impegno alla supervisione e al controllo umano.
Riconoscendo la necessità di un'automazione senza soluzione di continuità, stiamo migliorando in modo proattivo i nostri sistemi di sicurezza e cercando una comprensione più profonda di queste sfide. Il nostro obiettivo è perfezionare ulteriormente il modello di generazione del testo con misure di sicurezza adeguate, in linea con i nostri principi di intelligenza artificiale responsabile fin dalla progettazione, restituendo il controllo agli sviluppatori ove possibile.