Jaa

Ihmisen suorittama tarkistus automatisoinnille kehotteen avulla

Tässä artikkelissa kerrotaan ihmisten tekemän tarkistuksen tärkeästä roolista, kun kehotteita suoritetaan Power Automatessa. Kehotteet käyttävät Azure OpenAI -palvelun generatiivisia tekoälymalleja. Vaikka nämä mallit ovat erittäin tehokkaita, ne voivat joskus generoida harhaanjohtavia tai keksittyjä tietoja, ja niissä on riski kehotteen lisäyshyökkäyksille.

Tärkeää

Kehotteen lisäyshyökkäykset

Kehote lisäyshyökkäys tapahtuu, kun kolmas osapuoli hyödyntää mallin luontaista luottamusta kaikkiin syötelähteisiin. Hyökkääjä lisää kehotteen sisältöön, jonka kanssa normaali käyttäjä pyytää tekoälyä olemaan vuorovaikutuksessa. Tämä johtaa muutoksiin tekoälyratkaisun tuottamissa tuloksissa ja mahdollisesti myös sen toiminnoissa.

Ajatellaan tilannetta, jossa maallikkokehittäjä luo kehotteen avulla vastauksia asiakkaiden valituksiin, joita kerätään eri alustoilta, kuten sähköposteista, sosiaalisesta mediasta tai keskustelupalstoilta. Hyökkääjä saattaa lisätä kehotteen jostakin näistä lähteistä peräisin olevaan sisältöön ja harhauttaa mallin luomaan tahattoman vastauksen. Vastaus voi olla sopimaton, virheellinen tai haitallinen. Virheellisten tietojen lähettäminen asiakkaille voi vahingoittaa yrityksen mainetta ja asiakassuhteita.

Keksitty sisältö tekoälymalleissa

Keksitty sisältö, jota kutsutaan myös kuvittelemiseksi, on toinen tekoälymallien kohtaama haaste kehotteiden käyttämien generatiivisten tekoälymallien lisäksi. Keskitystä sisällöstä on kyse silloin, kun tekoälymalli luo tietoja, jotka eivät perustu annettuihin syötteisiin tai aiemmin luotuihin tietoihin, vaan tekoälymalli keksii tai kuvittelee tietoja.

Jos esimerkiksi tekoälymallia pyydetään luomaan yhteenveto historiallisesta tapahtumasta tietyn tekstin perusteella, se voi lisätä tietoja tai tapahtumia, joita ei ole mainittu lähdetekstissä. Esimerkiksi pilvityönkulku luo kokouksesta yhteenvedon tallenteen transkription perusteella. Syötetiedot sisältävät tietoja osallistujista, käsitellyistä asioista ja tehdyistä päätöksistä. Malli voi kuitenkin luoda yhteenvedon, joka sisältää toimintokohteen tai päätöksen, josta ei todellisuudessa keskusteltu kokouksessa. Tämä tilanne on esimerkki keksimisestä, jossa malli on hallusinoinut tietoja, joita ei ole syötetiedoissa.

Jotta keksimisen riskiä voidaan vähentää, on tärkeää toteuttaa vastuullisia tekoälykäytäntöjä. Tähän sisältyy kehotteen ja pilvityönkulun tiukka testaus, mahdollisimman suuren pohjatietomäärän antaminen mallille sekä lopulta vankan järjestelmän käyttöönotto ihmisen suorittamaa valvontaa varten.

Riskeihin vastaaminen vastuullisilla tekoälykäytännöillä

Suosittelemme vastuullisia tekoälykäytäntöjä keinona vähentää näitä riskejä. Vaikka mallin tuottaman sisällön moderoimiseksi on käytössä strategiat, mallin taipumus generoida keksittyjä vastauksia tai altistua kehotelisäyshyökkäyksille pysyy monimutkaisena haasteena. Tunnistamme nämä riskit ja vahvistamme sitoumuksemme ihmisen suorittamaan valvontaan ja hallintaan.

Koska automatisointi on tarpeen toteuttaa saumattomasti, tehostamme aktiivisesti turvallisuusjärjestelmiämme ja pyrimme ymmärtämään näitä haasteita tarkemmin. Tavoite on tarkentaa lisää kehotteiden käyttämiä generatiivisia tekoälymalleja soveltuvilla varotoimilla vastuullisen tekoälyn periaatteiden mukaisesti, jolloin hallinta palautetaan kehittäjille aina kun se on mahdollista.

Kehotteiden ja tekstin generoinnin ominaisuuksien usein kysytyt kysymykset