A hang- és avatartehetség felfedése

Fontos

A nem angol nyelvű fordítások csak a kényelem érdekében érhetők el. A végleges verzióhoz tekintse meg EN-US a dokumentum verzióját .

A cikk célja, hogy segítsen a hang- és avatartehetségnek megérteni a szöveg és a beszéd képességei mögött álló technológiát, amelyet a hangjuk és a képek segítenek létrehozni. Emellett fontos adatvédelmi nyilatkozatokat tartalmaz a tehetségek számára arról, hogy Microsoft hogyan dolgozhatja fel, használhatja és őrizheti meg a tehetség rögzített hangját és képeit tartalmazó hang- és videofájlokat, és segít Microsoft megelőzni és/vagy megválaszolni az Öntödei eszközökkel való visszaéléssel kapcsolatos panaszokat.

Microsoft elkötelezett az AI felelős tervezése mellett. Reméljük, hogy ez a megjegyzés elősegíti a technológiai fejlesztők, a hang szinkronhangok, az avatár szinkronhangok és a nagyközönség számára a tervezett és hasznos felhasználás e technológia közös megértését.

Kulcsfontosságú szöveg-beszéd kifejezések

Hangmodell: Szöveg–beszéd számítógépes modell, amely képes a cél hangszóró egyedi hangtulajdonságait utánozni. A hangmodelleket hang betűtípusnak vagy szintetikus hangnak is nevezik. A hangmodell olyan bináris formátumú paraméterek készlete, amelyek nem olvashatók, és nem tartalmaznak hangrögzítéseket. Nem fordítható vissza az emberi beszéd hangfelvételeinek származtatása vagy összeállítása.

Hangtehetség: Azok a személyek vagy cél hangszórók, akiknek a hangját rögzítik, és olyan hangmodellek létrehozására szolgálnak, amelyek a hangtehetség hangjának megfelelően szólnak.

Avatar-modell: Szöveg–beszéd avatar számítógépes modell, amely képes a célszínész egyedi arcvonásait utánozni. Az avatarmodell olyan bináris formátumú paraméterek készlete, amelyek nem olvashatók emberi nyelven, és nem tartalmaznak video- vagy hangrögzítéseket. Nem lehet visszafejtéssel kinyerni vagy konstruálni az emberi cselekvéseket bemutató videofelvételeket.

Avatar tehetség: Az egyéni szöveg-beszéd avatar modell létrehozásához be kell tanítani egy valódi emberi beszéd videofelvételét. Ez a személy az avatar tehetsége. Az ügyfeleknek megfelelő hozzájárulást kell kapniuk minden vonatkozó törvény és szabályozás alapján az avatar tehetségétől ahhoz, hogy a képükkel egyéni avatart hozzanak létre.

A neurális szöveg és a beszéd működése

Hogyan működik: A neurális szöveg a beszédet olyan mély neurális hálózatok használatával szintetizálja, amelyek "megtanulták" a fonetika természetes emberi beszédben való kombinálásának módját a klasszikus programozás vagy statisztikai módszerek használata helyett. Egy adott hangtehetség felvételén kívül a neurális szöveg beszédhez egy forrástárat is használ, amely számos különböző előadó hangfelvételeit tartalmazza.

Mit kell tudni róla: A hangok szintetizálásának módja miatt a neurális szöveg beszédstílusokat hozhat létre, amelyek nem részei voltak az eredeti felvételeknek, például a hang tónusának változásait és az érintettségeket. A neurális szöveg-beszédrendszerek folyékonyan hangzanak, és jól visszaadják a természetes szüneteket, egyediségeket és habozást, amelyeket az emberek a beszélgetés során fejeznek ki. Azok, akik neurális szöveg-beszéd átalakítással készült szintetikus hangokat hallanak, általában közelebbinek értékelik őket az emberi beszédhez, mint a hagyományos szöveg-beszéd hangokat.

A Microsoft felhasználási módja:

  • Az előre összeállított neurális hang a szövegfelolvasás egyik funkciója, amely "polcon kívüli" hangmodelleket kínál az ügyfelek számára. Az előre összeállított neurális hangokat számos Microsoft termékben is használják, például az Edge Browserben, a Narrátorban, az Office-ban és a Teamsben.
  • Az egyéni neurális hang a szövegfelolvasás egyik funkciója, amely lehetővé teszi az egyéni szintetikus hangmodellek létrehozását. Az egyéni neurális hang képességei a következők:
    • A nyelvi átvitel az eredeti hangrögzítéstől eltérő nyelven is kifejezhető.
    • A stílusátvitel az eredeti hangrögzítéstől eltérő beszédstílusban fejezhető ki. Például egy hírcsatorna hangja.
    • A hangátalakítás az eredeti hangrögzítéstől eltérő módon fejezhető ki. Módosíthatja például a hangszínt vagy a hangmagasságot, hogy különböző karakterhangokat hozzon létre.
    • A Microsoft termékeiben és szolgáltatásaiban, például Cortanában használt hangok.

Mi várható a rögzítéskor: Legalább 300 vonallal járul hozzá egy megvalósíthatósági igazolási hangmodellhez, és körülbelül 2000 sornyi új hangmodell létrehozásához éles használatra.

A szöveg-beszéd avatár működése

Hogyan működik: A szöveg–beszéd avatar az előre összeállított neurális hangra és az egyéni neurális hangra építkezik, és az avatár videotartalmakat készíti el szinkronizálva az előre összeállított neurális beszédhanggal vagy egyéni neurális beszédhanggal. A szintézis folyamata mély neurális hálózatokat használ, amelyeket olyan modelleken tanítanak be, amelyeket az avatar tehetségének videofelvételei alapján fejlesztettek ki. A modelleket a felvétel hangelemeiből kinyert akusztikai jellemzőkkel, valamint a felvétel videoelemeiből kinyert fizikai jellemzőkkel, szájmozgásokkal, arckifejezésekkel és kapcsolódó vizuális elemekkel tanítjuk be.

Mire kell figyelni: A szintetizált szöveg-beszéd avatár arca, teste és mozdulatai szorosan hasonlítanak az avatár tehetségére, de a szöveg-beszéd avatár hangját bármelyik, a Microsoft által elérhetővé tett előre összeállított neurális hangból vagy egy egyéni neurális hangból generálhatják, beleértve azt az esetet is, amikor a hangtehetség ugyanaz az egyén, mint az avatár tehetség, ha az egyén engedélyezte az ilyen felhasználást.

A Microsoft felhasználási módja:

  • Előre elkészített szöveg-beszéd avatárok az Azure Speech funkciója a Foundry Tools szövegfelolvasásban, amely készre gyártott szöveg-beszéd avatár modelleket kínál az ügyfelek számára.
  • Egyéni szöveg-beszéd átalakító avatár az Azure Speech szöveg-beszéd átalakítás funkciója, amely lehetővé teszi a különleges, egyedi szintetikus szöveg-beszéd avatármodellek létrehozását.

Mi várható a rögzítéskor: Legalább 10 perc videófelvételt kell készítenie egy megvalósíthatósági igazolást tartalmazó egyéni avatarmodellhez, és körülbelül 20 perc videorögzítéssel kell létrehoznia egy teljes egyéni avatarmodellt éles használatra.

Hangtehetség és szintetikus hangok: fejlődő kapcsolat

Felismerve a hangtehetség és a szintetikus hangok közötti szerves kapcsolatot, Microsoft megkérdezett hangtehetségeket, hogy jobban megértsék a technológia új fejlesztéseire vonatkozó nézeteiket. A 2019-ben végzett kutatások azt mutatták, hogy a hangtehetség kihasználta a neurális szöveg által a beszédbe bevezetett képességek előnyeit, például a stúdióidő megtakarítását a felvételi feladatok elvégzéséhez, és kapacitást adott a hangszínműveleti feladatok elvégzéséhez. Ugyanakkor különböző mértékű volt a tudatosság arról, hogy a szöveg beszédtechnológiai fejlesztései milyen hatással lehetnek a szakmájukra.

Általánosságban elmondható, hogy a hangművészek az átláthatóságra és egyértelműségre irányuló vágyukat fejezték ki.

  • Azon korlátok, hogy a hangjukhoz hasonló megnyilvánulásokat mire lehet és mire nem lehet használni.
  • A hangjukhoz hasonló hangzás megengedett használatának időtartama.
  • Lehetséges hatás a jövőbeli rögzítési lehetőségekre.
  • Az a személy, amely a hangszerűségével lenne társítva.

Szintetikus hang szélesebb körben

Hagyományosan a szövegfelolvasó hangok elterjedése korlátozott volt a robotikus hangzásuk miatt. A legtöbb esetben az akadálymentességet támogatták, például képernyőolvasóként a vakok vagy gyengénlátók számára. A beszédfogyatékos felhasználók is használnak szövegfelolvasási hangokat. Például a néhai Stephen Hawking egy szöveget használt a beszéd által generált hanghoz.

Most, egyre realisztikusabb hangvételű szintetikus hangokkal és a gépek és az emberek közötti ismerősebb, mindennapi interakciók felgyülemlésével a technológia alkalmazásai elszaporodtak és kibővültek. A szövegfelolvasási rendszerek több eszközön és alkalmazásban is támogatják a hangsegédeket. Felolvassák a híreket, a keresési eredményeket, a közszolgálati közleményeket, az oktatási tartalmakat és még sok mást.

A szintetikus avatar szélesebb körben alkalmazva van.

A szöveg beszédhangjaihoz hasonlóan az avatarok most már valósághű megjelenést, mozgást és arckifejezéseket kínálnak élethű hangzással párosítva. Ezek a beszélő avatarok különböző helyzetekben használhatók, például egy online képzés tartalmainak bemutatására, egy vállalat nevében történő beszéd előadására, az ügyfelekkel való interakcióra az ügyfélszolgálati beállításokban és még sok másban.

Microsoft megközelítése a szövegfelolvasás felelősségteljes használatára

Az emberek nap mint nap új módszereket találnak a szöveg beszédtechnológiára való alkalmazására, és nem minden az egyének vagy a társadalom javát szolgálják. Ha az emberi hangzású szöveg-beszédhangokkal vagy a valósághű beszélő avatarokkal visszaélnek, az károkat okozhat. Egy félretájékoztatási kampány például sokkal hatásosabb lehet, ha egy jól ismert nyilvános alak hangját és képét használja.

Felismerjük, hogy nincs tökéletes módja annak, hogy megakadályozza a média módosítását, vagy egyértelműen bizonyítsa, honnan származik. Ezért a felelősségteljes használat megközelítése során arra törekedtünk, hogy átláthatóak legyünk az Azure Speech szövegből beszéddé alakító funkcióival kapcsolatban. Ezt azáltal érjük el, hogy korlátozzuk ezen funkciók egyedi változatainak engedélyezett használatát, és cselekvéssel bizonyítjuk értékeinket.

Fontos

Ha Microsoft termékeket vagy szolgáltatásokat használ a biometrikus adatok feldolgozásához, a következőkért felelős: (i) értesítés küldése az érintettek számára, beleértve a megőrzési időtartamokat és a megsemmisítést; ii. hozzájárulás beszerzése az érintettektől; és (iii) a biometrikus adatok törlése, az alkalmazandó adatvédelmi követelményeknek megfelelően és szükség szerint. A "biometrikus adatok" a GDPR 4. cikkében meghatározott jelentéssel és adott esetben az egyéb adatvédelmi követelményeknek megfelelő kifejezésekkel rendelkeznek.

Az egyéni neurális hang használatához szerződésben követeljük meg az ügyfelektől, hogy tegyenek a következőket:

  • Kérjen kifejezett írásos engedélyt a hangszínésztől, hogy egyéni neurális hang létrehozására használja az adott személy hangját.
  • Adja meg ezt a dokumentumot a hangtehetséghez, hogy megértsék, hogyan működik a szöveg a beszédben, és hogyan használhatók a hangrögzítési folyamat befejezése után.
  • Szerezze be a hangművészek szükséges engedélyeit a Microsoft által a hangfájlok feldolgozásához, felhasználásához és megőrzéséhez azért, hogy a betanítási adatok alapján végezzen beszélő-ellenőrzést, valamint a Microsoft hangmodellek használatára és megőrzésére, ahogy az alább ismertetett.

Azt is javasoljuk, hogy az ügyfelek a következőket tegyenek:

  • Ossza meg a tervezett használati kontextusokat a hangtehetségekkel, így tisztában vannak azzal, hogy ki fogja hallani a hangjukat, milyen forgatókönyvekben, és hogy az emberek képesek lesznek-e interakcióba lépni vele, illetve hogyan.
  • Győződjön meg arról, hogy a hangtehetség tisztában van azzal, hogy a felvételekből készített hangmodellek kimondhatnak olyan dolgokat, amelyeket nem kifejezetten a stúdióban rögzítettek.
  • Beszéljék meg, hogy van-e valami, amit kényelmetlen lenne, ha a hangmodell kimondana.

Microsoft adatainak feldolgozása, használata és megőrzése

Microsoft hangtehetség-hangfájlok használata beszélő-ellenőrzéshez

Az ügyfeleknek engedélyt kell szerezniük a hangtehetségtől, hogy a hangjukkal egyéni hangmodelleket hozzanak létre a szintetikus hanghoz. Ez a technikai védelem célja, hogy segítsen megelőzni a szolgáltatásunkkal való visszaélést, például azzal, hogy megakadályozza, hogy valaki hangmodelleket képezze be hangrögzítéssel, és hogy a modellek segítségével a beszélő tudta vagy beleegyezése nélkül hamisítást hajtson létre.

A Speech Studióban fel kell töltenie egy hangfájlt a hangtehetség rögzített nyugtázási nyilatkozatával. Microsoft fenntartja a jogot arra, hogy Microsoft beszélőfelismerési technológiáját használja ezen a rögzített nyugtázási nyilatkozaton, és ellenőrizze azt a betanítási hangadatokon annak ellenőrzéséhez, hogy a hangok ugyanabból a beszélőből származnak-e, vagy egyéb módon szükséges a Azure Speech helytelen használatának kivizsgálásához.

A rögzített nyugtázási nyilatkozat fájljaiból és a betanítási hangadatokból létrehozott előadói hangaláírásokat a Microsoft kizárólag a fent említett célokra használja fel. Microsoft a rögzített utasításfájlt mindaddig megőrzi, amíg az Microsoft Foundry Tools biztonságának és integritásának megőrzéséhez szükséges. További információ arról, hogyan dolgozzuk fel, használjuk és őrizzük meg az adatokat az adatok, az adatvédelem és a biztonsági dokumentumokban.

Microsoft egyéni modellek használata

Bár az ügyfelek fenntartják az egyéni neurális hangmodell kizárólagos használati jogosultságait, Microsoft a szükséges ideig függetlenül megőrizhetik az egyéni neurális hangmodellek másolatát. Microsoft kizárólag az Öntödei eszközök biztonságának és integritásának védelme érdekében használhatja az egyéni neurális hangmodellt.

Microsoft a hangtehetség rögzített nyugtázási nyilatkozatának és egyéni neurális hangmodelljeinek másolatát ugyanazzal a magas szintű biztonsággal fogja biztosítani és tárolni, amelyet a többi Azure-szolgáltatáshoz használ. További információ: Microsoft Adatvédelmi központ.

Továbbra is azonosítani fogjuk és egyértelműen kifejezzük a szöveg (beszédszintézis) szándékos és előnyös használatát, amelyek a fennálló társadalmi normákra és elvárásokra épülnek, amikor az emberek valósnak vagy hamisnak tekintik azt. A Microsoft megbízhatósági alapelveivel összhangban Microsoft nem figyeli és nem moderálja aktívan az egyéni neurális hang használata által létrehozott hangtartalmat. Az ügyfelek kizárólagos felelőssége annak biztosítása, hogy a használat megfeleljen az összes vonatkozó törvénynek és szabályozásnak, és összhangban legyen az ügyfél és a hangtehetség között létrejött megállapodás feltételeivel.

Microsoft hangtehetség-adatok használata egyéni neurális hanggal

Az egyéni neurális hang lite egy nyilvános előzetes verzióban elérhető projekttípus, amellyel 20-50 hangmintát rögzíthet a Speech Studióban, és egy egyszerűsített egyéni hangmodellt hozhat létre bemutató és kiértékelési célokra. A rögzítési szkriptet és a tesztelési szkriptet is előre definiálja Microsoft. Az egyéni neurális hang lite használatával létrehozott szintetikus hangmodelleket csak akkor lehet üzembe helyezni és szélesebb körben használni, ha kérvényeznie kell és teljes hozzáférést kell kapnia az egyéni neurális hanghoz (a vonatkozó feltételeknek megfelelően).

A Speech Studióban beküldött szintetikus hang- és kapcsolódó hangrögzítés 90 napon belül automatikusan törlődik, kivéve, ha teljes hozzáféréssel rendelkezik az egyéni neurális hanghoz, és a szintetikus hang üzembe helyezését választja, ebben az esetben Ön fogja szabályozni a megőrzés időtartamát. Ha a hangtehetség 90 nap előtt szeretné törölni a szintetikus hangot és a kapcsolódó hangfelvételeket, törölheti őket közvetlenül a portálon, vagy kapcsolatba léphet a vállalatával.

Ezen kívül, mielőtt bármilyen szintetikus hangmodellt üzembe helyezhet egy egyéni neurális hang lite projekt használatával, a hangtehetségnek egy további felvételt kell biztosítania, amelyben elismerik, hogy a szintetikus hang további célokra lesz használva a bemutatón és a kiértékelésen túl.

Útmutató a felelős üzembe helyezéshez

Mivel a szöveg és a beszéd egy adaptálható technológia, szürke területek határozzák meg, hogyan kell vagy nem szabad használni. A navigáláshoz a következő irányelveket fogalmaztuk meg a szintetikus hang- és avatarmodellek használatához:

  • A hangok és képek/hasonlóságok tulajdonosainak védelme a visszaélésektől vagy a személyazonosság-lopástól.
  • A hamis és félrevezető tartalmak elterjedésének megakadályozása.
  • Olyan helyzetekben való használat ösztönzése, ahol a fogyasztók várhatóan szintetikus tartalommal fognak interakcióba lépni.
  • Olyan helyzetekben való használat ösztönzése, ahol a fogyasztók megfigyelik a szintetikus tartalom előállítását.

Példák a nem megfelelő használatra

Azure AI-szöveg beszédre nem használható:

  • Az emberek megtévesztése és/vagy szándékosan félretájékoztatása;
  • Hamis reklámozás céljából, ideértve az élő reklámokat is; Bármely olyan személytől, cégtől, kormányzati szervtől vagy szervezettől származik, aki nem rendelkezik kifejezett engedéllyel a képviseletre;
  • Bármely személy megszemélyesítése kifejezett engedély nélkül, beleértve az információk vagy jogosultságok megszerzését;
  • Gyűlöletbeszéd, megkülönböztetés, becsületsértés, terrorizmus vagy erőszak létrehozása, felbujtása vagy álcázása;
  • Gyermekek kizsákmányolása vagy manipulálása;
  • Kéretlen telefonhívások, tömeges kommunikáció, bejegyzések vagy üzenetek kezdeményezése;
  • Politikai pozíciók vagy politikai ideológiák álcázása;
  • Attribútum nélküli tartalmak terjesztése vagy források félrevezetése.

Példák a megfelelő használatra

A megfelelő használati esetek közé tartozhatnak, de nem korlátozódnak a következőkre:

  • Fiktív személyeken alapuló virtuális ügynökök. Például igény szerinti webes keresés, IoT-vezérlés vagy ügyféltámogatás, amelyet egy vállalat márkás karaktere biztosít.
  • Szórakoztató média fiktív tartalmakban való használatra. Például filmek, videojátékok, TÉVÉ, rögzített zene vagy hangoskönyvek.
  • Akkreditált oktatási intézmények vagy oktatási média. Például interaktív óratervek vagy tárlatvezetések.
  • Kisegítő technológia és valós idejű fordítás. Az ALS által érintett személyek például megőrizték a hangjukat.
  • Nyilvános közlemények fiktív személyek használatával. Például a repülőtér vagy a vonat termináljának közleményei.
  • Reklám/élő streamelés: reklámtartalmak, termék marketingjével vagy értékesítésével kapcsolatos élő streamelés.