Automatizzare le app Web e desktop con utilizzo computer (anteprima)

[Questo articolo fa parte della documentazione non definitiva, pertanto è soggetto a modifiche.]

L'uso del computer è uno strumento in Copilot Studio che consente all'agente di interagire e automatizzare le attività in un computer Windows. Funziona con siti Web e app desktop selezionando pulsanti, scegliendo menu e inserendo testo nei campi sullo schermo. Descrivi in linguaggio naturale ciò che desideri che il computer usi e esegue l'attività in un computer configurato usando un mouse virtuale e una tastiera. Con l'uso del computer, gli agenti possono completare le attività anche quando non è disponibile alcuna API per connettersi direttamente al sistema. Un'app o un sito Web possono essere utilizzati da utilizzo computer se anche una persona può utilizzarli. Puoi utilizzare il computer per attività come l'immissione automatica dei dati, l'elaborazione delle fatture e l'estrazione dei dati.

Importante

Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.

Le funzionalità di anteprima non sono destinate a essere utilizzate per la produzione e sono soggette a restrizioni. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.

Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.

L'uso del computer è basato su Computer-Using Agents (CUA), un modello di intelligenza artificiale che combina capacità di visione con ragionamento avanzato per interagire con le interfacce utente grafiche (GUI). Poiché è basato sull'intelligenza artificiale, si adatta ai cambiamenti dell'interfaccia. Ad esempio, quando i pulsanti o le schermate cambiano, lo strumento continua a funzionare senza interrompere il flusso. È semplice da usare. Descrivi semplicemente ciò che vuoi in linguaggio naturale. Non dovrai scrivere il codice.

Guarda questo video per scoprire in che modo lo strumento per l'uso del computer consente a un agente di interagire con un'applicazione Web.

Requisiti

La funzionalità è disponibile per gli ambienti in cui l'area è impostata su Stati Uniti.
Assicurati che l'agente abbia l'orchestratore generativo abilitato per usare utilizzo computer.

Aggiungi utilizzo computer all'agente

In un nuovo agente o in un agente esistente in Copilot Studio aggiungi l'uso del computer come strumento seguendo questa procedura:

Vai alla sezione Strumenti nel tuo agente e seleziona Aggiungi strumento.
Nella finestra di dialogo Aggiungi strumento, seleziona Nuovo strumento.
Seleziona Utilizzo computer.
Specifica le istruzioni che descrivono l'attività che lo strumento deve eseguire nel computer. Vengono visualizzati alcuni modelli di istruzioni per iniziare. Per altre informazioni su come scrivere le istruzioni migliori per l'uso del computer, vedi le procedure consigliate per istruzioni per l'uso del computer.
Selezionare Aggiungi e configura.
- Nella pagina di configurazione, configura questi quattro campi:
  - Nome: immetti il nome visualizzato per lo strumento utilizzo computer. Questo nome ti aiuta a differenziarlo dagli altri strumenti che aggiungi al tuo agente.
  - Descrizione: immetti una breve descrizione di cosa fa questo strumento e quando usarlo. Questo testo consente all'agente di sapere quando utilizzare questo strumento.
  - Modello: Seleziona il modello utilizzato per eseguire lo strumento di utilizzo del computer. I modelli attualmente supportati includono Computer-Using Agent di OpenAI e Claude Sonnet 4.5 di Anthropic.
    
    Nota
    
    Claude Sonnet 4.5 di Anthropic è attualmente in fase di distribuzione nelle regioni supportate e potrebbe non essere ancora disponibile nella tua regione. Assicurati che il tuo amministratore abbia abilitato modelli esterni.
  - Istruzioni: elenca i passaggi che lo strumento deve eseguire, inclusi URL e nomi delle applicazioni. Per suggerimenti, vedi Procedure consigliate per le istruzioni sull'uso del computer.
Esamina questi altri campi e impostazioni nella pagina di configurazione che potrebbero essere rilevanti:
- Input: utilizza gli input per definire valori dinamici che cambiano ogni volta che viene eseguito utilizzo del computer. Ad esempio, se vuoi compilare un modulo con un valore diverso a ogni esecuzione, crea un input per quel campo. Al momento dell'esecuzione, Utilizzo computer combina le istruzioni con i valori di input per completare l'attività.
- Computer: seleziona il computer di destinazione usato dall'agente per eseguire l'uso del computer. Fai riferimento a Configurare la posizione in cui viene eseguito l'uso del computer per altri dettagli sulla scelta del tipo di computer appropriato in base alle esigenze.
  - Utilizza Aggiorna per aggiornare l'elenco dei computer.
  - Scegli Gestisci computer per aprire la pagina di gestione dei computer nel portale di Power Automate.
  - Seleziona Visualizza dettagli computer per aprire la pagina dei dettagli del computer nel portale di Power Automate.
- Connessione: connessione usata per questo strumento. Aggiorna o crea una nuova connessione per modificare le credenziali usate.
- Credenziali da usare: specifica la modalità di autenticazione del computer durante l'esecuzione:
  - Credenziali fornite dal creatore (predefinite): Questa opzione utilizza le credenziali del creatore ed è adatta per agenti autonomi.
  Avviso
  
  Se condividi un agente con questa impostazione, chiunque lo utilizzi può agire con l'accesso dell'autore originale sulla macchina configurata.
  - Credenziali dell'utente finale: questa opzione usa le credenziali della persona che interagisce con l'agente. Ogni utente deve disporre delle credenziali di accesso al computer.
- Supervisione umana: specifica chi deve essere contattato tramite posta elettronica (Outlook) se l'agente di utilizzo del computer rileva istruzioni potenzialmente dannose che potrebbero modificare il comportamento del modello. Ogni agente viene eseguito e l'attività è associata all'utente che l'ha avviata. Se scegli un revisore diverso dalla persona che gestisce l'agente di uso del computer, probabilmente non vedrà l'attività perché non ha avviato l'esecuzione. Pertanto, non possono verificare o agire correttamente sulla richiesta. Verifica inoltre che il destinatario sia autorizzato e abbia il contesto necessario per gestire tali richieste. Il limite di tempo di risposta definisce per quanto tempo la richiesta rimane attiva. Dopo questo periodo, la richiesta scade e l'esecuzione del computer viene arrestata se non viene ricevuta alcuna risposta. Per altre informazioni, vedi Supervisione umana.
- Credenziali archiviate: definisci le credenziali usate dal computer per accedere a siti Web e applicazioni. Durante l'esecuzione, se viene visualizzata una richiesta di accesso, il computer usa in modo sicuro tutte le credenziali definite in questa sezione per tale sito o applicazione. I valori delle password di queste credenziali sono memorizzati o nella memoria interna di Power Platform (senza bisogno di configurazione) oppure in un Azure Key Vault che fornisci tu. Informazioni su come creare un Azure Key Vault in Creare un Key Vault usando il portale di Azure.
  - Opzione di archiviazione interna: con questa opzione, puoi configurare le credenziali nello strumento senza alcuna preconfigurazione. I segreti sono criptati e memorizzati internamente nella Power Platform. Per ogni abilitazione, fornisci i seguenti dettagli:
    - Tipo: scegli tra Sito web e app desktop a seconda della superficie che intendi usare per questa credenziali
    - Nome utente: il nome utente che usi per accedere al sito web o all'applicazione di destinazione.
    - Password: il valore della password utilizzato per accedere al sito web o all'applicazione di destinazione.
    Nota
    
    I campi password sono supportati in tutti i siti Web e nella maggior parte delle applicazioni Windows (WinForms, WPF, UWP, WinUI, Win32), che copre la maggior parte degli scenari dei clienti. Alcuni tipi di app, ad esempio Electron, Java, Unity, giochi, interfacce della riga di comando, Citrix o altri ambienti virtualizzati, potrebbero non essere supportati.
    - Dominio di accesso o nome dell'app desktop: il dominio o il nome dell'applicazione dove inserisci le credenziali (ad esempio, login.microsoft.com o Excel). Per il dominio di login, assicurati di verificare questo dominio, poiché potrebbe differire dall'URL principale del sito.
  - Opzione Azure Key Vault: con questa opzione, puoi configurare le credenziali nello strumento inserendo prima l'ID abbonamento, il nome del gruppo risorse e il nome del Key Vault. Tutte queste informazioni sono disponibili nella pagina Panoramica del Key Vault.
    - Per usare i segreti di Azure Key Vault con Power Platform:
      - L'abbonamento Azure che contiene il vault deve avere registrato il fornitore di risorse PowerPlatform .
      - L'utente che crea la variabile di ambiente deve disporre delle autorizzazioni appropriate per la risorsa Azure Key Vault.
    - Se non l'hai già fatto, segui i passaggi in Configura Azure Key Vault e fornisci i seguenti dettagli:
      - Nome utente: il nome utente che usi per accedere al sito web o all'applicazione di destinazione.
      - Nome del segreto di Azure: nome del segreto nel Key Vault che archivia la password per il sito Web o l'applicazione.
      Nota
      
      I campi password sono supportati in tutti i siti Web e nella maggior parte delle applicazioni Windows (WinForms, WPF, UWP, WinUI, Win32), che copre la maggior parte degli scenari dei clienti. Alcuni tipi di app, ad esempio Electron, Java, Unity, giochi, interfacce della riga di comando, Citrix o altri ambienti virtualizzati, potrebbero non essere supportati.
      - Dominio di accesso o nome dell'app desktop: il dominio o il nome dell'applicazione dove inserisci le credenziali (ad esempio, login.microsoft.com o Excel). Per il dominio di login, assicurati di verificare questo dominio, poiché potrebbe differire dall'URL principale del sito.
- Controllo di accesso: per impostazione predefinita, l'uso del computer può funzionare su qualsiasi sito Web o applicazione. Se vuoi limitare l'accesso, abilita il controllo di accesso per definire gli URL e le applicazioni desktop specifici usati dal computer devono essere limitati. È possibile configurare sia i siti Web che le applicazioni:
  - Siti Web: immetti l'indirizzo principale del sito Web (ad esempio, example.com). Tutte le pagine del sito Web vengono incluse automaticamente. È anche possibile usare caratteri jolly (*) per i sottodomini.
    - Esempi: www.contoso.com, *.contoso.com, contoso.com
  - Applicazioni desktop: immetti il nome del prodotto o il nome del processo dell'applicazione. Per trovarlo, premi CTRL+MAIUSC+ESC per aprire Gestione attività. Seleziona quindi la scheda Processi.
    - Esempi: Microsoft Edge, msedge, Notepad.
  Nota
  
  Il controllo degli accessi impedisce solo al modello di agire su siti web o applicazioni che non sono nella lista dei permessi. Non impedisce al modello di aprirli. Ad esempio, se solo microsoft.com e Microsoft Edge sono presenti nella lista di permessi, il modello può comunque usare la barra di ricerca di Edge per aprire Bing. Tuttavia, una volta aperto Bing, qualsiasi tentativo di interagire fallisce perché non è nella lista di permessi.
Seleziona Salva.

Test di utilizzo computer

Il test dell'uso del computer è un passaggio chiave nel percorso di creazione. Dopo aver immesso un nome, una descrizione e le istruzioni e aver salvato lo strumento, seleziona Test per avviare l'esperienza di test.

Dopo un breve periodo di caricamento, viene visualizzata l'esperienza di test:

Il pannello di sinistra mostra le tue istruzioni e un registro passo dopo passo delle motivazioni e delle azioni dello strumento.
Il pannello di destra mostra un'anteprima delle azioni sul computer configurato per utilizzo computer.

Al termine dell'attività, viene visualizzato il messaggio Test completato. Mentre il test è in corso, puoi selezionare Interrompi test per arrestare immediatamente tutte le azioni sul computer.

Se il risultato non è quello previsto, vai alla pagina di configurazione e perfeziona le istruzioni. Aggiungi più dettagli per migliorare la precisione. Per ulteriori informazioni, vedi le procedure consigliate per scrivere istruzioni efficaci.

Pubblica un agente con Utilizzo computer

Imposta l'uso del computer e poi pubblica il tuo agente. La modalità di esecuzione dell'agente dipende dallo scenario. Può essere autonomo o conversazionale:

Gli agenti autonomi vengono eseguiti automaticamente ed eseguono attività in background.
Gli agenti di conversazione consentono agli utenti di interagire tramite canali come Microsoft Teams.

L'uso del computer funziona meglio per gli agenti autonomi, che eseguono attività in background senza l'interazione dell'utente.

È anche possibile applicare l'uso del computer nelle esperienze di conversazione, ma tieni presenti queste considerazioni:

Se selezioni Autenticazione utente come impostazione di autenticazione, ogni utente che interagisce con l'agente in una conversazione necessita di credenziali valide per utilizzo del computer.
Quando lo strumento viene eseguito, condivide messaggi di ragionamento e screenshot dell'attività del computer nella chat.

Procedure consigliate

Per rimanere produttivi e sicuri negli ambienti digitali odierni, è necessario seguire le procedure consigliate per l'uso del computer, in particolare quando si scrivono istruzioni chiare e si proteggono le macchine.

Procedure consigliate per la messa in sicurezza delle macchine

Quando si configurano computer per l'uso di computer che consentono all'intelligenza artificiale di eseguire attività usando il linguaggio naturale, prendi in considerazione questi consigli sulla sicurezza:

Raccomandazione sulla sicurezza	Informazioni aggiuntive
Utilizzare macchine dedicate per l'uso del computer	Assegna macchine specifiche e isolate esclusivamente per le attività che comportano l'uso del computer. Questo approccio riduce il rischio di contaminazione incrociata da software, malware o accesso non autorizzato non correlato. Consente di controllare in modo più efficace le configurazioni, gli aggiornamenti e il monitoraggio.
Limitare le autorizzazioni all'account utente che si sta usando per l'uso del computer	Configura l'account utente per utilizzo computer in base al principio del privilegio minimo, ovvero concedi solo le autorizzazioni necessarie per eseguire gli strumenti richiesti.
Limita l'accesso web a una lista di permessi di siti web affidabili specifici	Consenti l'accesso Web solo a un elenco predefinito di domini controllati e attendibili. Ad esempio, è possibile configurare le impostazioni dei criteri di Microsoft Edge con Microsoft Intune destinate ai computer usati per l'uso del computer.
Limitare la disponibilità di app desktop specifiche	Installa e consenti l'esecuzione solo delle applicazioni essenziali per i flussi di lavoro di intelligenza artificiale previsti. Rimuovere o disabilitare l'accesso al software non necessario. Ad esempio, è possibile configurare Controllo delle applicazioni per limitare le applicazioni che possono essere eseguite nel computer.

Procedure consigliate per le istruzioni su utilizzo del computer

Le istruzioni che scrivi determinano il funzionamento dell'uso del computer. Istruzioni specifiche e dettagliate aiutano a completare le attività con precisione. Immaginalo come spiegare un'attività a un collega. Indicazioni chiare e dettagliate aiutano a garantire il successo.

Suggerimenti per scrivere istruzioni efficaci:

Si specifico riguardo ai siti Web e alle applicazioni. Includi sempre l'URL completo di qualsiasi sito Web e il nome esatto di qualsiasi applicazione che lo strumento dovrebbe utilizzare. Esempio: apri https://www.microsoft.com e vai su 'Notizie aziendali'.
Indicare chiaramente le azioni pertinenti. Se vuoi che qualcosa venga fatto, dillo esplicitamente—soprattutto azioni come inviare un modulo o inviare un'email. Esempio: una volta compilato il modulo, seleziona Invia. Non c'è bisogno di chiedere il permesso.
Analizza le interazioni complesse. Per le aree in cui l'interfaccia utente potrebbe essere più complessa da esplorare, spiega ogni passaggio in dettaglio. Esempio: seleziona l'icona Altro nell'angolo in alto a destra. Appare un menu a tendina. Una volta aperto, seleziona l'ultimo elemento della lista.
Usa la formattazione dettagliata per le attività più lunghe. Le istruzioni lunghe sono più facili da seguire quando le formatti come elenco.

Istruzioni di esempio

Esplora queste istruzioni di esempio per provare l'uso del computer o usale come riferimento per scrivere le tue.

Scenario	Nome	Descrizione	Istruzioni
Elaborazione fatture	Trasferire e inviare i dettagli della fattura	Trasferisci i dati della fattura da un PDF e inviali a un altro modulo.	1. Vai a https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, imposta il filtro Data su Ultime 24 ore e apri il PDF della fattura. 2. In una nuova scheda, apri https://computerusedemos.blob.core.windows.net/web/Contoso/index.html e compila il modulo con i dati di quel PDF. Invia il modulo di fattura, non è necessaria alcuna conferma.
Immissione dati	Invia articoli in magazzino	Aggiungi i prodotti al sistema di inventario.	1. Vai a https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Invia una nuova voce per ciascuno dei seguenti elementi: Deragliatore posteriore, RD-4821, 50, 42.75, Tailspin Toys Pedaliera, PD-1738, 80, 19.99, Northwind Traders Leva del freno, BL-2975, 35, 14.50, Trey Research Set di bulloni della corona, CB-6640, 100, 5.25, VanArsdel, Ltd. Movimento centrale, BB-9320, 60, 24.90, Tailwind Traders
Estrazione dati	Cercare il gestore di portafoglio e il valore	Ottieni il nome e il valore del gestore per un portafoglio.	1. Vai a https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Individua la riga relativa a Fourth Coffee e registra il nome del responsabile del portafoglio e il valore corrente del portafoglio esattamente come mostrato. 3. Restituisci questi due valori come output finale.

Procedure consigliate per l'estrazione dei dati

È possibile usare il computer per estrarre dati da siti Web o applicazioni e quindi passare tali dati all'agente o ad altri strumenti nell'agente. A tale scopo, è sufficiente descrivere le informazioni da estrarre direttamente nelle istruzioni per l'uso del compute.

Se si vogliono usare i dati estratti con un altro strumento (ad esempio, inviarli tramite posta elettronica), specifica che è necessario nelle istruzioni dell'agente e verifica che entrambi gli strumenti vengano aggiunti all'agente.

Esempio: Usa l'uso del computer per estrarre le informazioni del cliente per la dashboard del portafoglio finanziario e inviare via email i dati estratti. In questo caso, il tuo agente deve includere sia lo strumento di utilizzo del computer che quello per l'email.

Estrarre valori come testo

È possibile indicare l'utilizzo del computer per estrarre valori specifici e restituirli come testo normale. Ad esempio, il seguente prompt estrae il gestore del portafoglio e il valore del portafoglio per il cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

L'agente restituisce solo i due valori richiesti come testo.

Estrarre valori come JSON

È anche possibile chiedere l'utilizzo del computer per restituire informazioni estratte in formato JSON. Questo formato è utile quando si desidera passare dati strutturati a un altro strumento. L'esempio seguente estrae tutte le righe del portafoglio correlate a Contoso e le restituisce come JSON formattato correttamente:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Questo approccio garantisce che l'output sia strutturato.

Licenze

Mentre l'uso del computer è in anteprima, viene fatturato usando la funzionalità Azione agente con una tariffa di fatturazione di cinque Crediti Copilot. Per altre informazioni, vedi Fatturazione e gestione di Microsoft Copilot Studio.

Ogni esecuzione di utilizzo del computer si basa su un modello AI che esegue una sequenza di passaggi. Un passaggio può coinvolgere una o più azioni di basso livello (ad esempio, cliccare, digitare o navigare). Ogni passaggio consuma 5 Crediti Copilota.

Ad esempio, se configuri l'uso del computer per compilare un modulo di foglio orario web, la run potrebbe eseguire i seguenti passaggi:

Avvia il browser e accedi al portale dei fogli orari.
Seleziona Crea nuovo foglio presenze.
Compila i campi Orario di Inizio, Ora di Fine e Codice del Progetto.
Selezionare il pulsante Invia.

In questo esempio, l'esecuzione computerizzata esegue 4 passaggi, consumando un totale di 20 Crediti Copilota.

Hai commenti sull'uso del computer? Inviaceli all'indirizzo computeruse-feedback@microsoft.com.

Domande frequenti sullo strumento Utilizzo computer

Commenti e suggerimenti

Questa pagina è stata utile?

Last updated on 2026-01-28