Usein kysytyt kysymykset tietokoneen käyttötyökalusta

Usein kysytyt kysymykset tarjoavat merkityksellisiä tietoja ominaisuuksista, käytöstä, rajoituksista ja suojauksista, jotka sinun tulee tietää, kun lisäät tietokoneen käyttötyökalun Copilot Studio -agentteihisi.

Mikä on tietokoneen käyttötyökalu?

Tietokoneen käyttö on työkalu, jonka voit lisätä Copilot Studio -agentteihin, jotka on suunniteltu automatisoimaan verkkosivustojen ja sovellusten tehtäviä. Annat tehtävän kuvaukset luonnollisella kielellä, ja työkalu automatisoi hiiren napsautukset ja näppäimistötoiminnot vastaavasti. Voisit esimerkiksi ohjeistaa työkalua avaamaan PDF:n ja käyttämään sen sisältöä täyttääksesi verkkolomakkeen. Työkalu tulkitsee näytön visuaalisesti ja suorittaa tarvittavat napsautukset ja näppäinpainallukset jäljitellen ihmisen toimia.

Varoitus

Tietokoneen käyttö on tehokas työkalu, joka automatisoi verkkosivustojen ja työpöytäsovellusten vuorovaikutukset, mutta siihen liittyy myös tärkeitä suojausnäkökohtia. Joissakin tapauksissa tekoäly voi suorittaa tahattomia toimintoja moniselitteisten ohjeiden tai näytön odottamattoman sisällön vuoksi. Nämä toiminnot voivat vaikuttaa laitteesi, tietojesi tai yhdistettyjen tiliesi suojaukseen, mukaan lukien henkilökohtaisten, rahoitus- tai yritysjärjestelmien käyttöoikeus.

Mitä työkalun avulla tietokone voi tehdä?

Tietokone käyttää työkalua näytön kuvapistetietojen ymmärtämiseen näytössä näkyvän sisällön ymmärtämiseksi, ja se suorittaa tehtäviä käyttämällä virtuaalisia hiiren napsautuksia ja näppäimistön syötteitä. Työkalu pystyy hallitsemaan monivaiheisia työnkulkuja, käsittelemään odottamattomia tilanteita ja mukautumaan dynaamisesti näytön muutoksiin. Se pystyy suorittamaan erilaisia digitaalisia tehtäviä, kuten verkkosivujen selaamista ja lomakkeiden täyttämistä ilman erityisiä API-rajapintoja.

Tietokoneen käyttötyökalu noudattaa toistuvaa silmukkaa, joka perustuu kolmeen vaiheeseen:

• Näkemys: Se tallentaa näyttökuvia ymmärtääkseen visuaalisesti tietokoneen näytön nykyisen tilan.

• Perustelut: Se arvioi nykyisen tilan, edelliset toiminnot ja näyttökuvat ajatusketjun kautta, minkä ansiosta se voi mukauttaa toimintojaan tehokkaasti.

• Toiminto: Se suorittaa toimintoja, kuten napsauttamista, kirjoittamista tai vierittämistä, kunnes tehtävä on valmis tai edellyttää käyttäjän lisäsyötettä.

Mihin tietokoneen käyttövälineen käyttötarkoitukset ovat tarkoitettu?

Tietokoneen käyttötyökalun tarkoituksena on automatisoida käyttäjien toimia sivustojen ja sovellusten kanssa virtuaalihiirellä ja näppäimistöllä. Se on erityisen hyödyllinen tilanteissa, joissa ohjelmointirajapintoja ei ole käytettävissä.

Miten tietokoneen käyttötyökalua arvioitiin? Mitä mittareita käytetään tulosten mittaamiseen?

Tietokoneen käyttötyökalua arvioitiin tiukasti käyttämällä todellisia skenaarioita sen koko suunnittelu-, kehitys- ja käyttöönottovaiheen ajan. Arviointimenetelmiin kuului tutkimusta, vaikutustutkimuksia ja testauksia eri skenaarioissa tarkkuuden, käyttäjien luottamuksen ja hyödyllisyyden mittaamiseksi. Korkean suorituskyvyn ja positiivisen käyttäjäkokemuksen ylläpitämiseksi tiimi seuraa säännöllisesti sekä laadullisia että määrällisiä mittareita. Tiimi varmistaa myös työkalun saatavuuden noudattamalla vakiintuneita SLA-ehtoja.

Mitä rajoituksia tietokoneen käyttötyökaluun liittyy? Miten käyttäjät voivat minimoida tietokoneen käyttötyökalun rajoitusten vaikutuksen järjestelmän käytössä?

Tietokoneen käyttö on uusi tekniikka, jolla on tunnetut suojausriskit ja toiminnalliset rajoitukset. Tiimi antaa sinulle mahdollisuuden kokeilla sitä. Tämä varhaisen vaiheen ominaisuus mahdollistaa tiettyjen tietokonepohjaisten tehtävien automatisoinnin, vaikka sen suorituskyky vaihtelee suuresti käyttötapauksen mukaan. Jotta voit käyttää sitä tehokkaasti ja vastuullisesti, ymmärrä sen nykyiset rajoitukset.

Tunnetut rajoitukset

• Suorituskyky vaihtelee tehtävän ja sovelluksen mukaan. Luotettavuus riippuu tehtävien monimutkaisuudesta, käyttöliittymäsuunnittelusta ja sovelluksen käyttäytymisestä.

• Herkkä käyttöliittymän ja ajoituksen muutoksille. Asettelun muutokset, latausviiveet tai odottamattomat dialogit voivat tuottaa erilaisia tuloksia samalle tehtävälle.

• Vaikeuksia tiettyjen ohjainten kanssa. Ei-standardit tai dynaamiset käyttöliittymäelementit, kuten pudotusvalikot, päivämäärävalitsimet ja mukautetut widgetit, voivat olla haastavia käyttää.

• Saatat toistaa toimintoja tai jäädä jumiin. Odottamattomat näyttötilat voivat saada agentin kiertämään tai lopettamaan etenemisen.

• Haasteita monimutkaisten tehtävien kanssa. Yksityiskohtaisia graafisia käyttöliittymiä tai monimutkaista tekstin käsittelyä koskevat tehtävät voivat olla vähemmän luotettavia kuin yksinkertaiset toiminnot.

• Ei herkkiin tai korkean riskin käyttötarkoituksiin. Esimerkiksi työkalua ei ole tarkoitettu:

  • Suositukset tai pisteytys arkaluontoisilla aloilla, kuten rekrytoinnissa, terveydenhuollossa tai rahoituksessa.
  • Teen taloudellisia tapahtumia.
  • Haitallisia tekoja, kuten roskapostia tai väärää tietoa.
  • Tietojen jakaminen organisaatiosi ulkopuolella ilman asianmukaista lupaa.

Rajoitusten pienentäminen

Luotettavuuden parantamiseksi anna selkeät ja yksityiskohtaiset ohjeet tehtävien konfigurointiin virheiden vähentämiseksi ja tehtävien onnistumisprosentin parantamiseksi.

Mikä on ihmisen valvontaominaisuus?

Tärkeää

Tietokonetta käyttävät agentit saattavat kohdata haitallisia tai haitallisia ohjeita, joita kutsutaan usein pikainjektiohyökkäyksiksi, joissa näyttökuvien, verkkosivujen tai muiden syötteiden piilotetut komennot yrittävät vaikuttaa toimintaan tahattomilla tavoilla. Voit vähentää näitä riskejä käyttämällä tietokonetta luotetuissa, eristetyissä ympäristöissä ja suorittamalla perusteelliset validointitarkistukset ennen ohjeiden suorittamista.

Tietokoneen suoritukset voivat kohdata moniselitteisyyttä tai puuttuvia tietoja. Esimerkiksi pakollinen arvo ei ole olemassa tai useat tulkinnat ovat uskottavia. Näissä tapauksissa ihmisen valvontaominaisuus mahdollistaa sen, että tietokonetta käyttävä agentti keskeyttää suorituksen ja antaa selvennyspyynnön valtuutetulle ja määritetylle ihmistarkastajalle. Tarkistajat voivat vastata sähköpostitse tai Copilot Studio sisällä käyttämällä agentin suoritustoimintokarttaa. Kun tietokonetta käyttävä agentti saa vastauksen, se jatkaa suorittamistaan kartan keskeytetyn vaiheen kautta.

Luotettavuus ja rajoitukset

Tuotepohjaiset arvioinnit osoittavat, että ihmisen valvontatoiminto toimii yleensä odotetulla tavalla, mutta se voi epäonnistua tai käyttäytyä tavalla, jota käyttäjät eivät ehkä odota. Koska selvennyspyynnöt käynnistetään todennäköisyysperusteisen mallin toiminnan avulla, ne eivät ehkä käynnisty kaikissa tilanteissa, joissa henkilö haluaa keskeyttää. Ne saattavat käynnistyä myös silloin, kun tauko ei ole tarpeen. Sinun ei kannata luottaa selvityspyyntöihin, koska turvallisuus ei ole vikasietoinen tai takuu siitä, että järjestelmä pyytää aina ihmisten panosta ennen jatkamista.

Ei mukautettujen sääntöjen käyttöönottoon liittyvä mekanismi

Ihmisen valvontaa koskevat pyynnöt eivät takaa määritettyjen sääntöjen, käytäntöjen tai rajoitusten toteuttamista. Sinun tulisi soveltaa useampia soveltuvia ohjausobjekteja jokaiseen mahdolliseen skenaarioon (esimerkiksi selkeisiin ohjeisiin, rajoitettuihin ympäristöihin, vähiten etuoikeutettuihin tileihin, sallittuihin luetteloihin ja muihin toiminnallisiin suojatoimiin) sen sijaan, että luottaisit selvityspyyntöihin tietojen antamiseen tai ei-vastaamattomien toimien estämiseen.

Mitkä toiminnalliset tekijät ja asetukset mahdollistavat tietokoneen käyttötyökalun tehokkaan ja vastuullisen käytön?

Tietokoneen käyttötyökalu toimii parhaiten, kun tarjolla on selkeät ja yksityiskohtaiset käyttöohjeet. Käyttäjien tulisi antaa tarkkoja vihjeitä sivuston tai sovelluksen vuorovaikutuksista luotettavuuden ja tarkkuuden parantamiseksi tehtävän suorittamisen aikana. Lisää näkyvyyttä ja hallintaa ottamalla käyttöön ihmisen valvonta määrittämällä yksi tai useampi valtuutettu tarkistaja työkalujen määrityssivulla. Kun malli havaitsee mahdollisesti haitallisia ohjeita, nämä tarkistajat saavat ilmoituksia, joiden avulla he voivat vahvistaa ja päättää, jatketaanko vai lopetetaanko suoritus.

Miten voin antaa palautetta tietokoneen käyttötyökalusta?

Haluatko antaa palautetta tietokoneen käyttötyökalusta? Sähköposti computeruse-feedback@microsoft.com.