Condividi tramite

Revisione da parte di un essere umano per l'automazione con una richiesta

In questo articolo viene descritto il ruolo fondamentale della revisione umana quando si esegue una richiesta in Power Automate. Le richieste usano i modelli di IA generativa basati sul Servizio OpenAI di Azure. Sebbene questi modelli siano altamente efficaci, a volte possono generare informazioni fuorvianti o inventate e sono suscettibili di attacchi di inserimento delle richieste.

Importante

  • Le richieste AI Builder vengono eseguite su modelli GPT basati sul Servizio OpenAI di Azure.
  • Questa capacità è limitata ad alcune regioni.
  • Questa funzionalità potrebbe essere soggetta a limiti di utilizzo o limitazione della larghezza di banda della rete della capacità.

Attacchi di inserimento delle richieste

Un attacco di inserimento delle richieste si verifica quando una terza parte sfrutta la fiducia intrinseca del modello in tutte le fonti di input. L'utente malintenzionato inserisce una richiesta nel contenuto con cui un utente legittimo chiede alla soluzione di intelligenza artificiale di interagire, portando a una modifica nell'output della soluzione di intelligenza artificiale e, potenzialmente, nelle sue azioni.

Prendiamo in considerazione uno scenario in cui un citizen developer utilizza una richiesta per creare risposte ai reclami dei clienti raccolti da varie piattaforme come e-mail, social media o forum. Un utente malintenzionato potrebbe inserire una richiesta nel contenuto di una di queste origini, inducendo il modello a generare una risposta non intenzionale. La risposta può essere inappropriata, errata o dannosa. L'invio di informazioni errate ai clienti potrebbe danneggiare la reputazione dell'azienda e le relazioni con i clienti.

Creazione di modelli di intelligenza artificiale

La fabbricazione, nota anche come allucinazione, è un'altra sfida affrontata dai modelli di intelligenza artificiale, inclusi i modelli IA generativa utilizzati dai prompt. Questa fabbricazione si verifica quando il modello di intelligenza artificiale genera informazioni che non si basano su input forniti o dati preesistenti, essenzialmente inventando o allucinando informazioni.

Ad esempio, se al modello di intelligenza artificiale viene chiesto di generare un riepilogo di un evento storico basato su un determinato testo, potrebbe includere dettagli o eventi che non sono stati menzionati nel testo originale. Ad esempio, un flusso cloud crea una sinossi di una riunione in base alla trascrizione della registrazione. I dati di input includono dettagli sui partecipanti, sugli articoli discussi e sulle decisioni prese. Tuttavia, il modello potrebbe generare un riepilogo che include un'azione o una decisione che non è mai stata discussa durante la riunione. Questa situazione è un esempio di fabbricazione, in cui il modello ha allucinato un'informazione che non esiste nei dati di input.

Per ridurre il rischio di fabbricazione, è fondamentale implementare pratiche di intelligenza artificiale responsabili. Ciò include test rigorosi del prompt e del flusso cloud, fornendo al modello quante più informazioni di base possibili e infine implementando un sistema robusto per la supervisione umana.

Affrontare i rischi attraverso pratiche di intelligenza artificiale responsabile

Sosteniamo procedure di intelligenza artificiale responsabili come mezzo per ridurre i rischi. Nonostante siano in atto strategie per moderare il contenuto prodotto dal modello, gestire la propensione del modello a generare risposte inventate o a soccombere ad attacchi di inserimento tempestivi rimane una sfida complessa. Riconosciamo questi rischi e riaffermiamo il nostro impegno alla supervisione e al controllo umano.

Riconoscendo la necessità di un'automazione senza soluzione di continuità, stiamo migliorando in modo proattivo i nostri sistemi di sicurezza e cercando una comprensione più profonda di queste sfide. Il nostro obiettivo è quello di perfezionare ulteriormente i modelli di IA generativa utilizzati dalle richieste con misure di sicurezza adeguate, in linea con i nostri principi di IA responsabile a livello di progettazione, restituendo il controllo agli sviluppatori ove possibile.

Domande frequenti sulle richieste e sulle funzionalità di generazione di testo