Usein kysytyt kysymykset tietokoneen käyttötyökalusta

Mikä on tietokoneen käyttötyökalu

Tietokoneen käyttö on työkalu, jonka voit lisätä Copilot Studio -agentteihin ja joka on suunniteltu automatisoimaan verkkosivustojen ja sovellusten tehtäviä. Käyttäjät antavat tehtävän kuvaukset luonnollisella kielellä, ja työkalu automatisoi hiiren napsautukset ja näppäimistötoiminnot vastaavasti. Voit esimerkiksi ohjeistaa työkalun avaamaan PDF-tiedoston ja täyttämään verkkolomakkeen sen sisällön avulla. Työkalu tulkitsee näytön visuaalisesti ja suorittaa tarvittavat napsautukset ja näppäinpainallukset jäljitellen ihmisen toimia.

Varoitus

Tietokoneen käyttö on tehokas työkalu, joka automatisoi verkkosivustojen ja työpöytäsovellusten vuorovaikutukset, mutta siihen liittyy myös tärkeitä suojausnäkökohtia. Joissakin tapauksissa tekoäly voi suorittaa tahattomia toimintoja moniselitteisten ohjeiden tai näytön odottamattoman sisällön vuoksi. Nämä toiminnot voivat vaikuttaa laitteesi, tietojesi tai yhdistettyjen tiliesi suojaukseen, mukaan lukien henkilökohtaisten, rahoitus- tai yritysjärjestelmien käyttöoikeus.

Mitä työkalun avulla tietokone voi tehdä?

Tietokone käyttää työkalua näytön kuvapistetietojen ymmärtämiseen näytössä näkyvän sisällön ymmärtämiseksi, ja se suorittaa tehtäviä käyttämällä virtuaalisia hiiren napsautuksia ja näppäimistön syötteitä. Työkalu pystyy hallitsemaan monivaiheisia työnkulkuja, käsittelemään odottamattomia tilanteita ja mukautumaan dynaamisesti näytön muutoksiin, mahdollistaen erilaisten digitaalisten tehtävien suorittamisen, kuten verkkosivujen selaamisen ja lomakkeiden täyttämisen ilman erikoistuneita API-rajapintoja.

Tietokoneen käyttötyökalu noudattaa toistuvaa silmukkaa, joka perustuu kolmeen vaiheeseen:

• Näkemys: Se tallentaa näyttökuvia ymmärtääkseen visuaalisesti tietokoneen näytön nykyisen tilan.

• Perustelut: Se arvioi nykyisen tilan, edelliset toiminnot ja näyttökuvat ajatusketjun kautta, minkä ansiosta se voi mukauttaa toimintojaan tehokkaasti.

• Toiminto: Se suorittaa toimintoja, kuten napsauttamista, kirjoittamista tai vierittämistä, kunnes tehtävä on valmis tai edellyttää käyttäjän lisäsyötettä.

Mihin tietokoneen käyttövälineen käyttötarkoitukset ovat tarkoitettu?

Tietokoneen käyttötyökalun tarkoituksena on automatisoida käyttäjien toimia sivustojen ja sovellusten kanssa virtuaalihiirellä ja näppäimistöllä. Se on erityisen hyödyllistä tilanteissa, joissa ohjelmointirajapintoja ei ole käytettävissä.

Miten tietokoneen käyttötyökalua arvioitiin? Mitä mittareita suorituskyvyn mittaamiseen käytetään?

Tietokoneen käyttötyökalua arvioitiin tiukasti käyttämällä todellisia skenaarioita sen koko suunnittelu-, kehitys- ja käyttöönottovaiheen ajan. Arviointimenetelmiin sisältyi tutkimusta, vaikutustutkimuksia ja testausta eri skenaarioissa tarkkuuden, käyttäjien luottamuksen ja hyödyllisyyden mittaamiseksi. Sekä kvantitatiivisia että kvantitatiivisia mittareita seurataan säännöllisesti korkean suorituskyvyn ja positiivisen käyttökokemuksen takaamiseksi. Työkalun saatavuus varmistetaan myös noudattamalla vakiintuneita SLA-sääntöjä.

Mitä rajoituksia tietokoneen käyttötyökaluun liittyy? Miten käyttäjät voivat minimoida tietokoneen käyttötyökalun rajoitusten vaikutuksen järjestelmän käytössä?

Tietokoneen käyttö on uusi tekniikka, jolla on tunnetut suojausriskit ja toiminnalliset rajoitukset. Annamme sinulle mahdollisuuden kokeilla sitä. Tämä varhaisen vaiheen ominaisuus mahdollistaa tiettyjen tietokonepohjaisten tehtävien automatisoinnin, vaikka sen suorituskyky vaihtelee suuresti käyttötapauksen mukaan. Jotta voit käyttää sitä tehokkaasti ja vastuullisesti, ymmärrä sen nykyiset rajoitukset.

Tunnetut rajoitukset

• Onnistumisprosentti vaihtelee tehtävän mukaan: Työkalu suoriutuu parhaiten verkkopohjaisissa tehtävissä (noin 80% onnistumisesta), mutta laskee huomattavasti työpöytäsovelluksissa (noin 35% onnistumista).
• Epäyhtenäinen suorituskyky: Sama tehtävä voi tuottaa erilaisia tuloksia visualisoinnin tai ajoituksen muutosten mukaan.
• Ongelmat tietyissä käyttöliittymän ohjausobjekteissa: Tietokoneen käytössä voi olla vaikeuksia käsitellä epänormaalia tai dynaamista käyttöliittymän elementtiä, kuten avattavia luetteloita, päivämäärävalitsimia tai mukautettuja pienoissopioita.
• Silmukat ja jumittuneen tilat: Joissakin tapauksissa agentti syöttää silmukan tai jumittuu, kun näyttö ei vastaa odotuksia tai muuttaa arvaamattomasti.
• Monimutkaisten tehtävien haasteet: Vaikka työkalu on tehokas yksinkertaisissa toiminnoissa, sillä voi olla vaikeuksia yksityiskohtaisten graafisten liittymien tai tehtävien kanssa, joihin liittyy monimutkaista tekstinkäsittelyä.
• Ei arkaluontoisissa tai suuren riskin käyttötapauksissa: Työkalua ei ole tarkoitettu
  • Suosittelu tai pisteytys herkillä toimialueilla, kuten palkkaamisessa, terveydenhuollossa tai rahoituksessa
  • Rahoitustapahtumien tekeminen
  • Haitalliset teot, kuten roskaposti tai väärät tiedot
  • Tietojen jakaminen organisaatiosi ulkopuolelle ilman asianmukaista valtuutusta

Rajoitusten pienentäminen

Luotettavuuden parantamiseksi käyttäjien tulee antaa selkeät ja yksityiskohtaiset ohjeet tehtävien määrittämisen aikana. Tämä auttaa vähentämään virheitä ja parantamaan tehtävien onnistumisprosentteja.

Ihmisen suorittama valvonta

Ihmisen valvonta parantaa näkyvyyttä ja hallintaa. Valtuutettu tarkastaja, jonka olet määrittänyt työkalun ihmisen valvontaosiossa, voi vahvistaa toimenpiteet tai antaa tietoa mallin pyynnöstä. Jos vahvistusta tai palautetta tarvitaan, järjestelmä keskeyttää suorituksen ja ilmoittaa määrätyille tarkastajille, jotka voivat sitten päättää, miten edetään.

Tärkeää

Tietokonetta käyttävät agentit saattavat kohdata haitallisia tai haitallisia ohjeita, joita kutsutaan usein pikainjektiohyökkäyksiksi, joissa näyttökuvien, verkkosivujen tai muiden syötteiden piilotetut komennot yrittävät vaikuttaa toimintaan tahattomilla tavoilla. Voit vähentää näitä riskejä käyttämällä tietokonetta luotetuissa, eristetyissä ympäristöissä ja suorittamalla perusteelliset validointitarkistukset ennen ohjeiden suorittamista.

Mitkä toiminnalliset tekijät ja asetukset mahdollistavat tietokoneen käyttötyökalun tehokkaan ja vastuullisen käytön?

Tietokoneen käyttötyökalu toimii parhaiten, kun tarjolla on selkeät ja yksityiskohtaiset käyttöohjeet. Käyttäjien tulisi antaa tarkkoja vihjeitä sivuston tai sovelluksen vuorovaikutuksista luotettavuuden ja tarkkuuden parantamiseksi tehtävän suorittamisen aikana. Lisää näkyvyyttä ja hallintaa ottamalla käyttöön ihmisen valvonta määrittämällä yksi tai useampi valtuutettu tarkistaja työkalujen määrityssivulla. Kun malli havaitsee mahdollisesti haitallisia ohjeita, nämä tarkistajat saavat ilmoituksia, joiden avulla he voivat vahvistaa ja päättää, jatketaanko vai lopetetaanko suoritus.

Miten voin antaa palautetta tietokoneen käyttötyökalusta?

Haluatko antaa palautetta tietokoneen käyttötyökalusta? Sähköposti computeruse-feedback@microsoft.com.