Domande frequenti sullo strumento per l'uso del computer

Queste domande frequenti forniscono informazioni dettagliate sulle funzionalità, l'utilizzo, le limitazioni e le misure di sicurezza da tenere presenti quando si aggiunge lo strumento per l'uso del computer agli agenti di Copilot Studio.

Che cos'è lo strumento per l'uso del computer?

L'uso del computer è uno strumento che è possibile aggiungere agli agenti di Copilot Studio progettati per automatizzare le attività nei siti Web e nelle applicazioni. Le descrizioni delle attività vengono fornite in linguaggio naturale e lo strumento automatizza i clic del mouse e le azioni da tastiera di conseguenza. Ad esempio, potresti indicare allo strumento di aprire un PDF e usare il suo contenuto per compilare un modulo web. Lo strumento interpreta visivamente lo schermo ed esegue i clic e le sequenze di tasti necessari, simulando interazioni umane.

Avviso

L'uso del computer è uno strumento potente che automatizza le interazioni tra siti Web e applicazioni desktop, ma include anche importanti considerazioni sulla sicurezza. In alcuni casi, l'intelligenza artificiale potrebbe eseguire azioni impreviste a causa di istruzioni ambigue o contenuto imprevisto sullo schermo. Queste azioni possono influire sulla sicurezza del dispositivo, dei dati o degli account connessi, inclusi l'accesso a sistemi personali, finanziari o aziendali.

Cosa può fare lo strumento per l'uso del computer?

Lo strumento per l'uso del computer elabora i dati pixel dello schermo per comprendere il contenuto visualizzato ed esegue attività utilizzando click del mouse virtuali e input della tastiera. Lo strumento può gestire flussi di lavoro a più passi, gestire scenari imprevisti e adattarsi dinamicamente ai cambiamenti dello schermo. Può svolgere vari compiti digitali come navigare nei siti web e compilare moduli senza necessità di API specializzate.

Lo strumento per l'uso del computer segue un ciclo iterativo basato su tre passaggi:

• Percezione: acquisisce screenshot per comprendere visivamente lo stato corrente dello schermo del computer.

• Ragionamento: valuta lo stato corrente, le azioni precedenti e gli screenshot tramite un approccio basato sulla catena di pensieri, che consente di adattare le azioni in modo efficace.

• Azione: esegue azioni come clic, digitazione o scorrimento fino al completamento dell'attività o richiede un ulteriore input dell'utente.

Quali sono gli scopi previsti dello strumento per l'uso del computer?

Lo strumento per l'uso del computer è progettato per automatizzare le interazioni degli utenti con siti Web e applicazioni tramite un mouse virtuale e una tastiera. È particolarmente utile negli scenari in cui le API non sono disponibili.

Come è stato valutato lo strumento di utilizzo del computer? Quali metriche vengono usate per misurare le prestazioni?

Lo strumento per l'uso del computer è stato valutato rigorosamente usando scenari reali durante le fasi di progettazione, sviluppo e distribuzione. I metodi di valutazione includevano ricerca, studi d'impatto e test in diversi scenari per misurare accuratezza, fiducia degli utenti e utilità. Per mantenere alte prestazioni e un'esperienza utente positiva, il team monitora regolarmente sia metriche qualitative che quantitative. Il team garantisce inoltre la disponibilità dello strumento rispettando gli SLA stabiliti.

Quali sono le limitazioni dello strumento per l'uso del computer? Come possono gli utenti ridurre l'impatto delle limitazioni dello strumento di utilizzo del computer durante l'uso del sistema?

L'uso del computer è una nuova tecnologia con rischi di sicurezza noti e limitazioni funzionali. Il team ti dà il potere di sperimentare con essa. Questa funzionalità in fase iniziale consente l'automazione di determinate attività basate su computer, anche se le prestazioni variano notevolmente a seconda del caso d'uso. Per usarlo in modo efficace e responsabile, comprendi i suoi limiti attuali.

Limitazioni note

• Le prestazioni variano in base al compito e all'applicazione. L'affidabilità dipende dalla complessità del compito, dal design dell'interfaccia e dal comportamento delle applicazioni.

• Sensibile ai cambiamenti di interfaccia e di tempismo. Cambiamenti nel layout, ritardi di caricamento o dialoghi inaspettati possono produrre risultati diversi per lo stesso compito.

• Difficoltà con alcuni controlli. Elementi di interfaccia non standard o dinamici, come menu a tendina, selezionatori di date e widget personalizzati, possono essere difficili da utilizzare.

• Potrebbe ripetere le azioni o rimanere bloccato. Stati di schermo inattesi possono far sì che l'agente si ripeta o smetta di fare progressi.

• Sfide con compiti complessi. I compiti che coinvolgono interfacce grafiche dettagliate o manipolazioni di testo intricate potrebbero essere meno affidabili delle semplici azioni.

• Non per casi d'uso sensibili o ad alto rischio. Ad esempio, lo strumento non è pensato per:

  • Raccomandare o valutare in ambiti sensibili, come assunzioni, sanità o finanza.
  • Effettuare transazioni finanziarie.
  • Azioni dannose, come spam o disinformazione.
  • Condivisione di dati al di fuori della tua organizzazione senza la dovuta autorizzazione.

Come ridurre al minimo le limitazioni

Per migliorare l'affidabilità, fornisci istruzioni chiare e dettagliate durante la configurazione dei compiti per ridurre gli errori e aumentare i tassi di successo.

Qual è la caratteristica di supervisione umana?

Importante

Gli agenti che utilizzano il computer potrebbero imbattersi in istruzioni dannose o dannose, spesso denominate attacchi di iniezione rapida, in cui i comandi nascosti in screenshot, pagine Web o altri input tentano di influenzare le azioni in modi non intenzionali. Per ridurre questi rischi, è necessario utilizzare il computer in ambienti affidabili e isolati e applicare controlli di convalida rigorosi prima di eseguire qualsiasi istruzione.

Le esecuzioni di utilizzo del computer possono presentare ambiguità o informazioni mancanti. Ad esempio, un valore obbligatorio non è presente o più interpretazioni sono plausibili. In questi casi, la funzionalità di supervisione umana consente all'agente che utilizza il computer di sospendere l'esecuzione e inviare una richiesta di chiarimento a un revisore umano autorizzato e configurato. I revisori possono rispondere tramite posta elettronica o all'interno di Copilot Studio usando la mappa delle attività di esecuzione dell'agente. Quando l'agente che utilizza il computer riceve una risposta, riprende l'esecuzione dalla fase messa in pausa nella mappa.

Affidabilità e limiti

Le valutazioni guidate dal prodotto indicano che la funzionalità di supervisione umana funziona generalmente come previsto, ma può non riuscire o comportarsi in modi in cui gli utenti potrebbero non prevedere. Poiché le richieste di chiarimento vengono attivate dal comportamento probabilistico del modello, potrebbero non attivarsi in ogni situazione in cui una persona desidera una pausa. Possono anche essere attivati quando non è necessaria una pausa. Non è consigliabile fare affidamento sulle richieste di chiarimento come meccanismo di sicurezza o come garanzia che il sistema chiederà sempre l'input umano prima di procedere.

Non un meccanismo di imposizione delle regole personalizzate

Le richieste di supervisione umana non garantiscono l'applicazione delle regole, dei criteri o dei vincoli definiti. È consigliabile applicare più controlli appropriati per ogni possibile scenario (ad esempio, istruzioni chiare, ambienti con restrizioni, account con privilegi minimi, elenchi consentiti e altre misure di sicurezza operative) anziché basarsi su richieste di chiarimento per fornire informazioni o impedire azioni indesiderate.

Quali fattori operativi e impostazioni consentono un uso efficace e responsabile dello strumento di utilizzo del computer?

Lo strumento di utilizzo del computer offre prestazioni ottimali quando vengono fornite istruzioni utente chiare e dettagliate. Gli utenti devono fornire suggerimenti precisi sulle interazioni tra siti Web o applicazioni per migliorare l'affidabilità e l'accuratezza durante l'esecuzione dell'attività. Per una maggiore visibilità e controllo, abilitare la supervisione umana assegnando uno o più revisori autorizzati nella pagina di configurazione degli strumenti. Quando il modello rileva istruzioni potenzialmente dannose, questi revisori ricevono notifiche per convalidare e decidere se continuare o interrompere l'esecuzione.

Come si forniscono commenti e suggerimenti sullo strumento per l'uso del computer?

Inviare commenti e suggerimenti sullo strumento per l'uso del computer? Indirizzo di posta elettronica computeruse-feedback@microsoft.com.