Usein kysytyt kysymykset tietokoneen käyttötyökalusta

Mikä on tietokoneen käyttötyökalu

Tietokoneen käyttö on työkalu, jonka voit lisätä Copilot Studio -agentteihin ja joka on suunniteltu automatisoimaan verkkosivustojen ja sovellusten tehtäviä. Käyttäjät antavat tehtävän kuvaukset luonnollisella kielellä, ja työkalu automatisoi hiiren napsautukset ja näppäimistötoiminnot vastaavasti. Voit esimerkiksi ohjeistaa työkalun avaamaan PDF-tiedoston ja täyttämään verkkolomakkeen sen sisällön avulla. Työkalu tulkitsee näytön visuaalisesti ja suorittaa tarvittavat napsautukset ja näppäinpainallukset jäljitellen ihmisen toimia.

Varoitus

Tietokoneen käyttö on tehokas työkalu, joka automatisoi verkkosivustojen ja työpöytäsovellusten vuorovaikutukset, mutta siihen liittyy myös tärkeitä suojausnäkökohtia. Joissakin tapauksissa tekoäly voi suorittaa tahattomia toimintoja moniselitteisten ohjeiden tai näytön odottamattoman sisällön vuoksi. Nämä toiminnot voivat vaikuttaa laitteesi, tietojesi tai yhdistettyjen tiliesi suojaukseen, mukaan lukien henkilökohtaisten, rahoitus- tai yritysjärjestelmien käyttöoikeus.

Mitä työkalun avulla tietokone voi tehdä?

Tietokone käyttää työkalua näytön kuvapistetietojen ymmärtämiseen näytössä näkyvän sisällön ymmärtämiseksi, ja se suorittaa tehtäviä käyttämällä virtuaalisia hiiren napsautuksia ja näppäimistön syötteitä. Työkalulla voidaan hallita monivaiheisia työnkulkuja, käsitellä odottamattomia skenaarioita ja mukautua dynaamisesti näytön muutoksiin, jolloin se voi suorittaa erilaisia digitaalisia tehtäviä, kuten siirtyä verkkosivustoissa ja täyttää lomakkeita ilman erityisiä ohjelmointirajapintoja.

Tietokoneen käyttötyökalu noudattaa toistuvaa silmukkaa, joka perustuu kolmeen vaiheeseen:

• Näkemys: Se tallentaa näyttökuvia ymmärtääkseen visuaalisesti tietokoneen näytön nykyisen tilan.

• Perustelut: Se arvioi nykyisen tilan, edelliset toiminnot ja näyttökuvat ajatusketjun kautta, minkä ansiosta se voi mukauttaa toimintojaan tehokkaasti.

• Toiminto: Se suorittaa toimintoja, kuten napsauttamista, kirjoittamista tai vierittämistä, kunnes tehtävä on valmis tai edellyttää käyttäjän lisäsyötettä.

Mitkä ovat tietokoneen käytön työkalun aiotut käyttötarkoitukset?

Tietokoneen käyttötyökalun tarkoituksena on automatisoida käyttäjien toimia sivustojen ja sovellusten kanssa virtuaalihiirellä ja näppäimistöllä. Se on erityisen hyödyllistä tilanteissa, joissa ohjelmointirajapintoja ei ole käytettävissä.

Miten tietokoneen käyttötyökalua arvioitiin? Mitä mittareita suorituskyvyn mittaamiseen käytetään?

Tietokoneen käyttötyökalua arvioitiin tiukasti käyttämällä todellisia skenaarioita sen koko suunnittelu-, kehitys- ja käyttöönottovaiheen ajan. Arviointimenetelmiin sisältyi tutkimusta, vaikutustutkimuksia ja testausta eri skenaarioissa tarkkuuden, käyttäjien luottamuksen ja hyödyllisyyden mittaamiseksi. Sekä kvantitatiivisia että kvantitatiivisia mittareita seurataan säännöllisesti korkean suorituskyvyn ja positiivisen käyttökokemuksen takaamiseksi. Työkalun käytettävyys varmistetaan myös noudattamalla vakiintuneita palvelutasosopimuksia.

Mitä rajoituksia tietokoneen käyttötyökaluun liittyy? Miten käyttäjät voivat minimoida tietokoneen käyttörajoitusten vaikutuksen käyttäessään järjestelmää?

Tietokoneen käyttö on uusi tekniikka, jolla on tunnetut suojausriskit ja toiminnalliset rajoitukset. Annamme sinulle mahdollisuuden kokeilla sitä. Tämä varhaisen vaiheen ominaisuus mahdollistaa tiettyjen tietokonepohjaisten tehtävien automatisoinnin, vaikka sen suorituskyky vaihtelee suuresti käyttötapauksen mukaan. Jotta voit käyttää sitä tehokkaasti ja vastuullisesti, tutustu sen nykyisiin rajoituksiin:

Tunnetut rajoitukset

• Onnistumisprosentti vaihtelee tehtävän mukaan: Työkalu suoriutuu parhaiten verkkopohjaisissa tehtävissä (noin 80% onnistumisesta), mutta laskee huomattavasti työpöytäsovelluksissa (noin 35% onnistumista).
• Epäyhtenäinen suorituskyky: Sama tehtävä voi tuottaa erilaisia tuloksia visualisoinnin tai ajoituksen muutosten mukaan.
• Ongelmat tietyissä käyttöliittymän ohjausobjekteissa: Tietokoneen käytössä voi olla vaikeuksia käsitellä epänormaalia tai dynaamista käyttöliittymän elementtiä, kuten avattavia luetteloita, päivämäärävalitsimia tai mukautettuja pienoissopioita.
• Silmukat ja jumittuneen tilat: Joissakin tapauksissa agentti syöttää silmukan tai jumittuu, kun näyttö ei vastaa odotuksia tai muuttaa arvaamattomasti.
• Monimutkaisten tehtävien haasteet: Vaikka työkalu on tehokas yksinkertaisissa toiminnoissa, sillä voi olla vaikeuksia yksityiskohtaisten graafisten liittymien tai tehtävien kanssa, joihin liittyy monimutkaista tekstinkäsittelyä.
• Ei arkaluontoisissa tai suuren riskin käyttötapauksissa: Työkalua ei ole tarkoitettu
  • Suosittelu tai pisteytys herkillä toimialueilla, kuten palkkaamisessa, terveydenhuollossa tai rahoituksessa
  • Rahoitustapahtumien tekeminen
  • Haitalliset teot, kuten roskaposti tai väärät tiedot
  • Tietojen jakaminen organisaatiosi ulkopuolelle ilman asianmukaista valtuutusta

Rajoitusten pienentäminen

Luotettavuuden parantamiseksi käyttäjien tulee antaa selkeät ja yksityiskohtaiset ohjeet tehtävien määrittämisen aikana. Tämä auttaa vähentämään virheitä ja parantamaan tehtävien onnistumisprosentteja.

Ihmisen valvonta mahdollisesti haitallisten ohjeiden varalta

Tietokonetta käyttävät agentit saattavat kohdata haitallisia tai haitallisia ohjeita, joita kutsutaan usein pikainjektiohyökkäyksiksi, joissa näyttökuvien, verkkosivujen tai muiden syötteiden piilotetut komennot yrittävät vaikuttaa toimintaan tahattomilla tavoilla. Voit vähentää näitä riskejä käyttämällä tietokonetta luotetuissa, eristetyissä ympäristöissä ja suorittamalla perusteelliset validointitarkistukset ennen ohjeiden suorittamista.

Ihmisen valvonta lisää näkyvyyttä ja hallintaa, koska valtuutetut tarkistajat voivat vahvistaa mahdollisesti haitallisiksi tai haitallisiksi merkityt toiminnot. Kun tällaisia riskejä havaitaan, tietokoneen käyttö keskeyttää suorituksen ja ilmoittaa määrätyille tarkastajille, jotka voivat päättää, jatkavatko tai keskeyttävätkö suorituksen. Tietokoneen käyttäjäagentin tekemät turvallisuustarkastukset voivat käynnistyä yhdestä vastauksesta, syötteestä tai kuvakaappauksesta tai useista vastaavista kontekstin osista. Turvallisuustarkastusten tarkoituksena on saada ihmisen tarkastus ennen kuin tietokoneen käyttäjä ryhtyy mahdollisesti peruuttamattomiin tai luvattomia toimiin, mutta tietokoneen käyttäjä voi tehdä virheitä tarkastuksissa. Esimerkiksi tietokoneen käyttäjä ei välttämättä havaitse tiettyjä toimintoja, tai se voi pyytää tarkistusta silloin, kun turvallisuus ei ole huolenaihe. Turvallisuustarkastukset eivät korvaa vastuullista suunnittelua ja agentin ohjausta.

Tämä ominaisuus kehottaa tarkistamaan mahdollisesti peruuttamattomia tai luvattomia toimintoja, mutta se ei tällä hetkellä tue yleisiä vahvistuspyyntöjä, puuttuvien tietojen pyyntöjä tai muita turvatarkistuksia.

Mitkä toiminnalliset tekijät ja asetukset mahdollistavat tietokoneen käyttötyökalun tehokkaan ja vastuullisen käytön?

Tietokoneen käyttötyökalu toimii parhaiten, kun tarjolla on selkeät ja yksityiskohtaiset käyttöohjeet. Käyttäjien tulisi antaa tarkkoja vihjeitä sivuston tai sovelluksen vuorovaikutuksista luotettavuuden ja tarkkuuden parantamiseksi tehtävän suorittamisen aikana. Lisää näkyvyyttä ja hallintaa ottamalla käyttöön ihmisen valvonta määrittämällä yksi tai useampi valtuutettu tarkistaja työkalujen määrityssivulla. Kun malli havaitsee mahdollisesti haitallisia ohjeita, nämä tarkistajat saavat ilmoituksia, joiden avulla he voivat vahvistaa ja päättää, jatketaanko vai lopetetaanko suoritus.

Miten voin antaa palautetta tietokoneen käyttötyökalusta?

Haluatko antaa palautetta tietokoneen käyttötyökalusta? Sähköposti computeruse-feedback@microsoft.com.