Olvasás angol nyelven

Megosztás a következőn keresztül:

Visszaélés ellenőrzése

  • Cikk

Az Azure OpenAI szolgáltatás észleli és enyhíti az ismétlődő tartalmak és/vagy viselkedések olyan előfordulását, amelyek a szolgáltatás olyan használatára utalnak, amely megsértheti a magatartási kódexet vagy más vonatkozó termékfeltételeket. Az adatok kezelésével kapcsolatos részletek az Adatok, az Adatvédelem és a Biztonság oldalon találhatók.

A visszaélések monitorozásának összetevői

A monitorozáshoz több összetevő is szükséges:

  • Tartalombesorolás: Az osztályozó modellek észlelik a káros szöveget és/vagy képeket a felhasználói kérésekben (bemenetek) és befejezésekben (kimenetekben). A rendszer a tartalomkövetelményekben meghatározott kárkategóriákat keresi, és a tartalomszűrési oldalon részletesebben ismertetett súlyossági szinteket rendel hozzá. A tartalombesorolási jelek hozzájárulnak a minták észleléséhez az alábbiak szerint.
  • Visszaélési minta rögzítése: Az Azure OpenAI Szolgáltatás visszaélésfigyelő rendszere megvizsgálja az ügyfelek használati mintáit, és algoritmusokat és heurisztikus megoldásokat alkalmaz a lehetséges visszaélések észlelésére és pontszámára. Az észlelt minták figyelembe veszik például a káros tartalom észlelésének gyakoriságát és súlyosságát (a tartalomosztályozó jelek szerint) az ügyfél kéréseiben és befejezéseiben, valamint a viselkedés szándékosságát. Az észlelt minta trendjei és sürgőssége a lehetséges visszaélések súlyosságának pontozására is hatással lesz. Például a nagyobb súlyosságúként besorolt káros tartalmak nagyobb mennyisége, vagy a szándékosságot jelző ismétlődő magatartás (például ismétlődő jailbreak-kísérletek) nagyobb valószínűséggel kapnak magas pontszámot, ami potenciális visszaélést jelez.
  • Felülvizsgálat és döntés: A tartalombesorolással megjelölt és/vagy egy potenciálisan visszaélésszerű használati minta részeként azonosított kéréseket és kiegészítéseket egy másik felülvizsgálati folyamatnak vetik alá, amely segít megerősíteni a rendszer elemzését, és tájékoztatni a műveleti döntéseket. Az ilyen felülvizsgálat két módszerrel történik: emberi felülvizsgálat & AI felülvizsgálat.
    • Alapértelmezés szerint, ha a kéréseket és a kiegészítéseket a tartalombesorolás károsként jelöli meg, és/vagy egy potenciálisan visszaélésszerű használati minta részeként azonosítja őket, akkor emberi véleményező helyett llM használatával lehet mintát venni az automatikus, szemre vehető felülvizsgálathoz. Az erre a célra használt LLM csak a rendszer elemzésének megerősítésére és a műveleti döntések tájékoztatására kéri és hajtja végre a folyamatokat; az ilyen LLM-felülvizsgálaton átesett kéréseket és kiegészítéseket a rendszer nem tárolja, és nem használja az LLM vagy más rendszerek betanítása gombra.
    • Bizonyos esetekben, ha az automatizált felülvizsgálat nem felel meg a vonatkozó megbízhatósági küszöbértékeknek összetett környezetben, vagy ha az LLM felülvizsgálati rendszerei nem állnak rendelkezésre, emberi szemretekintés is bevezethető, hogy további ítéletet hozzon. Ez segíthet javítani a visszaélések elemzésének általános pontosságát. A Jogosult Microsoft-alkalmazottak értékelhetik a megjelölt tartalmakat, és megerősíthetik vagy kijavíthatják a besorolást vagy a meghatározást előre meghatározott irányelvek és szabályzatok alapján. A kéréseket és kiegészítéseket csak az arra jogosult Microsoft-alkalmazottak érhetik el emberi felülvizsgálat céljából a biztonságos hozzáférésű munkaállomásokon (SAW-k) keresztül, és a csapatvezetők jóváhagyást kérnek. Az Európai Gazdasági Térségben üzembe helyezett Azure OpenAI-szolgáltatási erőforrások esetében az engedélyezett Microsoft-alkalmazottak az Európai Gazdasági Térségben találhatók. Ez az emberi felülvizsgálati folyamat nem történik meg, ha az ügyfelet jóváhagyták a módosított visszaélések monitorozására.
  • Értesítés és művelet: Ha az előző lépések alapján megerősítést nyert a visszaélésszerű viselkedés küszöbértéke, az ügyfél e-mailben értesítést kap a megállapításról. A súlyos vagy ismétlődő visszaélések kivételével az ügyfelek általában lehetőséget kapnak arra, hogy elmagyarázzák vagy orvosolják a visszaélések előfordulását megakadályozó mechanizmusokat. A viselkedés vagy az ismétlődő vagy súlyos visszaélések kezelése meghiúsulása az ügyfél Azure OpenAI-erőforrásokhoz és/vagy képességekhez való hozzáférésének felfüggesztését vagy megszüntetését eredményezheti.

Módosított visszaélések monitorozása

Előfordulhat, hogy egyes ügyfelek az Azure OpenAI szolgáltatást olyan felhasználási esetre kívánják használni, amely rendkívül érzékeny vagy szigorúan bizalmas adatok feldolgozásával jár, vagy más módon arra a következtetésre juthatnak, hogy nem kívánják vagy nem jogosultak engedélyezni a Microsoft számára, hogy a visszaélések felderítése céljából tárolja és emberi ellenőrzésnek vessék alá a felszólításaikat és kitöltéseiket. E problémák megoldása érdekében a Microsoft lehetővé teszi, hogy a korlátozott hozzáférésű jogosultsági feltételeknek megfelelő ügyfelek az űrlap kitöltésével módosíthassák a visszaélések monitorozását. További információ az Azure OpenAI szolgáltatáshoz való korlátozott hozzáférésű módosított visszaélések monitorozásának alkalmazásáról, valamint a módosított visszaélések monitorozásának az Azure OpenAI Service-beli adatfeldolgozásra, adatvédelemre és biztonságra gyakorolt hatásáról.

Megjegyzés

Ha a visszaélések monitorozása módosul, és az emberi felülvizsgálat nem történik meg, a lehetséges visszaélések észlelése kevésbé pontos lehet. Az ügyfelek értesítést kapnak a fent leírt lehetséges visszaélések észleléséről, és készen kell állniuk arra, hogy reagáljanak az ilyen értesítésekre a szolgáltatás megszakadásának elkerülése érdekében, ha lehetséges.

Következő lépések