Tietokoneen käyttö -työkalun usein kysytyt kysymykset

Nämä usein kysytyt kysymykset (UKK) tarjoavat tietoa ominaisuuksista, käytöstä, rajoituksista ja turvatoimista, jotka kannattaa huomioida, kun lisäät tietokoneen käyttö -työkalun Copilot Studio -agentteihin.

Mikä on tietokoneen käyttö -työkalu?

Tietokoneen käyttö on työkalu, jonka voi lisätä Copilot Studio -agentteihin, jotka on suunniteltu tehtävien automatisoimiseen sivustoissa ja sovelluksissa. Voit antaa tehtäväkuvaukset luonnollisella kielellä, ja työkalu automatisoi hiiren klikkaukset ja näppäimistötoiminnot niiden perusteella. Voit esimerkiksi ohjeistaa työkalua avaamaan PDF-tiedoston ja käyttämään sen sisältöä verkkolomakkeen täyttämiseen. Työkalu tulkitsee näytön visuaalisesti ja suorittaa tarvittavat klikkaukset sekä näppäinpainallukset käyttäjän toimintaa jäljitellen.

Varoitus

Tietokoneen käyttö on tehokas työkalu, joka automatisoi vuorovaikutukset sivustojen ja työpöytäsovellusten kanssa, mutta siihen liittyy myös tärkeitä turvallisuusnäkökohtia. Joissakin tapauksissa tekoäly voi tehdä tahattomia toimintoja epäselvien ohjeiden tai näytön odottamattoman sisällön vuoksi. Nämä toiminnot voivat vaarantaa laitteen, tietojen tai yhdistettyjen tilien turvallisuuden, mukaan lukien henkilökohtaisen ja taloushallinnon järjestelmien tai yritysjärjestelmien käyttö.

Mitä tietokoneen käyttö -työkalu voi tehdä?

Tietokoneen käyttö -työkalu käsittelee näytön pikselidataa ymmärtääkseen ruudulla näkyvää sisältöä, ja suorittaa tehtäviä virtuaalisilla hiiren klikkauksilla ja näppäimistön painalluksilla. Työkalu pystyy hallitsemaan monivaiheisia työnkulkuja, käsittelemään odottamattomia tilanteita ja sopeutumaan dynaamisesti näytön muutoksiin. Se voi suorittaa erilaisia digitaalisia tehtäviä, kuten sivustojen selaaminen ja lomakkeiden täyttäminen, ilman erikoistuneita ohjelmointirajapintoja.

Tietokoneen käyttö -työkalu noudattaa iteratiivista silmukkaa, joka perustuu seuraaviin kolmeen vaiheeseen:

• Havainto: Se kaappaa näyttökuvia ymmärtääkseen visuaalisesti tietokoneen näytön kulloisenkin tilan.

• Päättely: Se arvioi kulloistakin tilaa, aiempia toimintoja ja näyttökuvia ajatusketjun lähestymistavan avulla, mikä mahdollistaa sille sen toimintojen tehokkaan sopeuttamisen.

• Toiminto: Se suorittaa toimintoja, kuten napsauttamista, kirjoittamista tai vierittämistä, kunnes tehtävä on valmis tai edellyttää lisää käyttäjäsyötteitä.

Mihin tietokoneen käyttö -työkalua on tarkoitus käyttää?

Tietokoneen käyttö -työkalu on suunniteltu automatisoimaan käyttäjän toiminnot sivustoissa ja sovelluksissa virtuaalisen hiiren ja näppäimistön avulla. Se on erityisen hyödyllinen tilanteissa, joissa ohjelmointirajapinnat eivät ole käytettävissä.

Miten tietokoneen käyttö -työkalua arvioitiin? Mitä mittareita suorituskyvyn mittaamiseen käytetään?

Tietokoneen käyttö -työkalua arvioitiin perusteellisesti käytännön skenaarioiden avulla sen suunnittelu-, kehitys- ja käyttöönottovaiheiden aikana. Arviointimenetelmiä olivat tutkimus, vaikutustutkimukset ja testaus eri skenaarioissa tarkkuuden, käyttäjien luottamuksen ja hyödyllisyyden mittaamiseksi. Sekä laadullisia että määrällisiä mittareita seurataan säännöllisesti korkean suorituskyvyn ja positiivisen käyttäjäkokemuksen ylläpitämiseksi. Työkalun saatavuus varmistetaan noudattamalla vakiintuneita SLA-palvelutasosopimuksia.

Mitkä ovat tietokoneen käyttö -työkalun rajoitukset? Miten käyttäjät voivat pitää tietokoneen käyttö -työkalun rajoitusten vaikutukset mahdollisimman pieninä käyttäessään järjestelmää?

Tietokoneen käyttö on uudenlainen teknologia, jolla on tunnettuja tietoturvariskejä ja toiminnallisia rajoituksia. Voit nyt kokeilla sitä. Tämä varhaisen vaiheen ominaisuus mahdollistaa tiettyjen tietokonepohjaisten tehtävien automatisoinnin, vaikka suorituskyky vaihtelee suuresti käyttötapauksen mukaan. Jotta voit käyttää sitä tehokkaasti ja vastuullisesti, on hyvä tuntea sen nykyiset rajoitukset.

Tunnetut rajoitukset

• Onnistumisprosentti vaihtelee tehtävän mukaan: Työkalu toimii parhaiten verkkopohjaisissa tehtävissä (noin 80 %:n onnistuminen), mutta laskee huomattavasti työpöytäsovelluksissa (noin 35 %:n onnistuminen).
• Epäjohdonmukainen suorituskyky: Sama tehtävä voi antaa eri tuloksia riippuen visuaalisista tai ajoitukseen liittyvistä muutoksista.
• Vaikeudet tietyissä käyttöliittymäelementeissä: Tietokoneen käyttö voi kohdata haasteita ollessaan vuorovaikutuksessa muiden kuin standarditasoisten tai dynaamisten käyttöliittymäelementtien, kuten avattavien valikoiden, päivämääränvalitsimien tai mukautettujen pienoissovellusten, kanssa.
• Silmukat ja jumittuneet tilat: Agentti voi joissain tilanteissa joutua silmukkaan tai jäädä jumiin, jos näyttö ei vastaa odotuksia tai muuttuu ennakoimattomasti.
• Haasteita monimutkaisissa tehtävissä: Vaikka työkalu toimii tehokkaasti yksinkertaisissa toiminnoissa, se voi kohdata haasteita yksityiskohtaisten graafisten käyttöliittymien tai monimutkaisten tekstinkäsittelytehtävien kanssa.
• Ei arkaluonteisiin tai riskialttiisiin käyttötapauksiin: Työkalu ei ole tarkoitettu seuraavien tapausten hoitamiseen:
  • suositteleminen tai pisteyttäminen arkaluonteisilla toimialueilla, kuten rekrytoinnissa, terveydenhuollossa tai taloushallinnossa
  • taloushallinnon tapahtumien suorittaminen
  • haitalliset toiminnot, kuten roskaposti tai harhaanjohtava tieto
  • tietojen jakaminen organisaation ulkopuolelle ilman asianmukaista valtuutusta.

Rajoitusten vähentäminen minimiin

Voit parantaa luotettavuutta antamalla selkeitä ja yksityiskohtaisia ohjeita tehtävien määrityksen yhteydessä. Näin vähennetään virheitä ja parannetaan onnistumisastetta.

Mikä on ihmisen tekemän valvonnan ominaisuus?

Tärkeää

Tietokoneen käyttö -agentit saattavat kohdata haitallisia tai pahantahtoisia ohjeita, joita usein kutsutaan kehotteiden lisäyshyökkäyksiä, joissa näyttökuviin, verkkosivuille ja muihin syötteisiin piilotetut komennot yrittävät vaikuttaa toimintaan ei-toivotuilla tavoilla. Tätä riskiä voi minimoida käyttämällä tietokoneen käyttö -työkalua luotetuissa, eristetyissä ympäristöissä ja käyttämällä tehokkaita oikeellisuustarkistuksia ennen minkään ohjeen suorittamista.

Tietokoneen käyttö voi kohdata epäselvyyksiä tai puuttuvia tietoja. Esimerkiksi vaadittu arvo puuttuu, tai tulkintamahdollisuuksia on useita. Näissä tapauksissa ihmisen tekemän valvonnan ominaisuus antaa tietokoneetta käyttävälle agentille mahdollisuuden keskeyttää suoritus ja lähettää täsmennyspyyntö valtuutetulle, määritetylle ihmistarkastajalle. Tarkastajat voivat vastata sähköpostitse tai Copilot Studiossa käyttäen agentin suorituksen aktiviteettikarttaa. Kun tietokonetta käyttävä agentti saa vastauksen, se jatkaa suoritusta tauotetusta vaiheesta suorituskartalla.

Luotettavuus ja rajoitukset

Tuotepohjaiset arvioinnit osoittavat, että ihmisen tekemän valvonnan ominaisuus toimii yleensä odotetusti, mutta se voi epäonnistua tai käyttäytyä odottamattomasti. Koska tarkennuspyynnöt perustuvat todennäköisyysmallin toimintaan, ne eivät välttämättä käynnisty kaikissa tilanteissa, joissa käyttäjä haluaisi keskeytyksen. Ne voivat myös käynnistyä silloin, kun keskeytystä ei tarvita. Älä luota tarkennuspyyntöihin suojauksen varatoimintona tai siihen, että järjestelmä aina pyytää ihmisen syötettä ennen jatkamista.

Muiden kuin mukautettujen sääntöjen valvontamekanismi

Ihmisen tekemän valvonnan pyynnöt eivät takaa määriteltyjen sääntöjen, käytäntöjen tai rajoitteiden valvontaa. Ota käyttöön lisää hallintatoimia, jotka sopivat kuhunkin mahdolliseen skenaarioon (esimerkiksi selkeät ohjeet, rajoitetut ympäristöt, vähimmän oikeuden tilit, sallittujen kohteiden luettelot ja muut operatiiviset turvatoimet) sen sijaan, että luotat selvennyspyyntöihin tiedon saamiseksi tai ei-toivottujen toimintojen estämiseksi.

Mitkä operatiiviset tekijät ja asetukset mahdollistavat Tietokoneen käyttö -työkalun tehokkaan ja vastuullisen käytön?

Tietokoneen käyttö -työkalu toimii parhaiten, kun käyttäjän antaa selkeät ja yksityiskohtaiset ohjeet. Käyttäjien tulee antaa tarkkoja ohjeita sivustojen ja sovellusten käytöstä, jotta tehtävien suorittaminen on aiempaa luotettavampaa ja tarkempaa. Lisänäkyvyyden ja hallinnan mahdollistamiseksi kannattaa ottaa käyttöön ihmisen tekemä valvonta määrittämällä vähintään yksi valtuutettu tarkastaja työkalujen määrityssivulla. Kun malli havaitsee mahdollisesti haitallisia ohjeita, nämä tarkastajat saavat ilmoituksen. He voivat vahvistaa ohjeet ja päättää, jatketaanko suoritusta vai keskeytetäänkö se.

Miten voin antaa palautetta tietokoneen käyttö -työkalusta?

Haluatko antaa palautetta tietokoneen käyttö -työkalusta? Lähetä sähköpostia osoitteeseen computeruse-feedback@microsoft.com.