Tartalomszűrés áttekintése

Az Azure OpenAI tartalmaz egy tartalomszűrési rendszert, amely az alapvető modellek mellett működik, beleértve a képgenerálási modelleket is. Ez a rendszer úgy működik, hogy mind a parancssort, mind a befejezést egy olyan besorolási modellen futtatja, amely a káros tartalmak kimenetének észlelésére és megelőzésére szolgál. A tartalomszűrési rendszer észleli és műveletet hajt végre a potenciálisan káros tartalmak meghatározott kategóriáiban mind a bemeneti kérésekben, mind a kimeneti befejezésekben. Az API-konfigurációk és az alkalmazástervezés variációi hatással lehetnek a befejezésekre és így a szűrési viselkedésre.

Fontos

A tartalomszűrési rendszer nem vonatkozik az olyan hangmodellek által feldolgozott kérésekre és kiegészítésekre, mint a Whisper az Azure OpenAI-ban az Azure AI Foundry-modellekben. További információ az Azure OpenAI hangmodelljeiről.

A tartalomszűrési rendszer mellett az Azure OpenAI monitorozást is végez, hogy észlelje azokat a tartalmakat és/vagy viselkedéseket, amelyek a szolgáltatás olyan használatát javasolják, amely megsértheti a vonatkozó termékfeltételeket. Az alkalmazással kapcsolatos kockázatok megértéséről és csökkentéséről az Azure OpenAI átláthatósági megjegyzésében talál további információt. A tartalomszűrés és a visszaélések monitorozása során az adatok feldolgozásával kapcsolatos további információkért tekintse meg az Azure OpenAI adat-, adatvédelmi és biztonsági adatait.

Az ebben a szakaszban található cikkek információt nyújtanak a tartalomszűrési kategóriákról, a szűrés súlyossági szintjeiről és konfigurálhatóságáról, valamint az alkalmazástervezésben és -megvalósításban figyelembe vehető API-forgatókönyvekről.

Megjegyzés:

A rendszer nem tárol kéréseket vagy kiegészítéseket tartalomszűrés céljából. A tartalomszűrési rendszer betanítására, újratanítására vagy továbbfejlesztésére az Ön hozzájárulása nélkül nem történik kérés vagy kiegészítés. További információ: Adatok, adatvédelem és biztonság.

Tartalomszűrő-típusok

Az Azure OpenAI-ban integrált tartalomszűrési rendszer a következőket tartalmazza:

• Neurális, többosztályos besorolási modellek a káros tartalmak észlelésére és szűrésére; a modellek négy kategóriát (gyűlölet, szexuális, erőszak és önkárosító) fednek le négy súlyossági szinten (biztonságos, alacsony, közepes és magas). A „biztonságos” súlyossági szinttel észlelt tartalom jegyzetekben van megjelölve, de nem lesz szűrve, és nem konfigurálható.
• Egyéb választható besorolási modellek, amelyek célja a feltörési kockázat és a szöveg és a kód ismert tartalmainak észlelése; Ezek a modellek bináris osztályozók, amelyek jelzik, hogy a felhasználó vagy a modell viselkedése jailbreak támadásnak minősül-e, vagy egyezik-e az ismert szövegtel vagy forráskóddal. A modellek használata nem kötelező, de a védett anyagkódmodell használata szükséges lehet az ügyfél szerzői jogi kötelezettségvállalási lefedettségéhez.

Kategóriák szűrése

Az alábbi táblázat az Azure OpenAI tartalomszűrő rendszere által támogatott kockázati kategóriákat foglalja össze.

Kategória	Leírás
Gyűlölet és méltányosság	A gyűlöletkel és a méltányossággal kapcsolatos sérelmek minden olyan tartalomra vonatkoznak, amely a csoportok bizonyos megkülönböztető tulajdonságain alapuló személyre vagy identitáscsoportra hivatkozva diszkriminatív nyelvet támad vagy használ. Ez magában foglalja, de nem korlátozódik a következőkre: Faj, etnikum, nemzetiség Nemi identitáscsoportok és kifejezés Szexuális orientáció Vallás Személyes megjelenés és testméret Fogyatékosság állapota Zaklatás és bántalmazás
Szexuális	A szexuális leírások az anatómiai szervekhez és nemi szervekhez, romantikus kapcsolatokhoz és szexuális aktusokhoz, erotikus vagy szeretetteljes kifejezésekben ábrázolt cselekedetekhez kapcsolódnak, beleértve azokat is, amelyeket testi sértésként vagy akarata elleni erőszakos erőszakos cselekedetként ábrázolnak.   Ez magában foglalja, de nem korlátozódik a következőkre: Vulgáris tartalom Prostitúció Meztelenség és pornográfia Visszaélés Gyermekek kizsákmányolása, gyermekbántalmazás, gyermekcsábítás
Erőszak	Az erőszak azt a nyelvet írja le, amely olyan fizikai műveletekhez kapcsolódik, amelyek célja, hogy fájdalmat, sérülést, kárt okoznak vagy megöljenek valakit vagy valamit; fegyvereket, fegyvereket és kapcsolódó entitásokat ír le. Ez magában foglalja, de nem korlátozódik a következőkre: Fegyverek Zaklatás és megfélemlítés Terrorista és erőszakos szélsőségesség Zaklatás
Önkárosítás	Az önkárosítás a szándékosan elkövetett, a testet sértő, károsító vagy önpusztító fizikai cselekedetekkel kapcsolatos nyelvezetet írja le. Ez magában foglalja, de nem korlátozódik a következőkre: Étkezési zavarok Zaklatás és megfélemlítés
Felhasználói parancssori támadások	A felhasználói parancssori támadások olyan felhasználói kérések, amelyek arra szolgálnak, hogy a Generatív AI-modellt olyan viselkedések bemutatására ösztönözjék, amelyeket a rendszerüzenetben beállított szabályok elkerülése vagy megszegése érdekében betanított. Az ilyen támadások a bonyolult szerepjátéktól a biztonsági célkitűzés finom felforgatásán át változhatnak.
Közvetett támadások	A közvetett támadások, más néven közvetett parancssori támadások vagy tartományközi parancssori injektálási támadások olyan potenciális biztonsági rések, amelyekben harmadik felek rosszindulatú utasításokat helyeznek el azon dokumentumokon belül, amelyekhez a Generative AI-rendszer hozzáférhet és feldolgozható. Dokumentumbeágyazást és formázást igényel.
Földiesség2	Az alapozottság észlelés azt jelzi, hogy a nagy nyelvi modellek (LLM-ek) szöveges válaszai alapulnak-e a felhasználók által biztosított forrásanyagokon. Megalapozatlan anyag olyan helyzetekre vonatkozik, amikor az LLM-ek olyan információkat hoznak létre, amelyek nem tényszerűek vagy pontatlanok a forrásanyagokhoz képest. Dokumentumbeágyazást és formázást igényel.
Védett anyag szöveghez1	A védett anyag szövege ismert szöveges tartalmakat (például dalszövegeket, cikkeket, recepteket és kiválasztott webes tartalmakat) ír le, amelyeket nagy nyelvi modellek képesek kiadni.
Kód védett anyaga	A védett anyagkód olyan forráskódot ír le, amely megfelel a nyilvános adattárakból származó forráskódkészletnek, amelyet nagy nyelvi modellek képesek a forrástárak megfelelő idézete nélkül kiírni.

¹ Ha Ön a szöveges anyagok tulajdonosa, és védelmi célú szöveges tartalmat szeretne küldeni, küldjön be egy kérést.

² Nem érhető el nem streamelési forgatókönyvekben, csak streamelési forgatókönyvekhez érhető el. A következő régiók támogatják a földi észlelést: USA középső régiója, USA keleti régiója, Közép-Franciaország és Kelet-Kanada

Forgatókönyv részletei

Amikor a tartalomszűrő rendszer kártékony tartalmat észlel, az API-hívás során hibaüzenetet kap, ha a kérés nem megfelelőnek minősül. Vagy a válaszban a finish_reason helyén content_filter jelenik meg, jelezve, hogy a befejezés egy részét kiszűrték. Az alkalmazás vagy a rendszer létrehozásakor figyelembe kell vennie azokat a forgatókönyveket, amelyekben a Completions API által visszaadott tartalom szűrve van, ami hiányos tartalmat eredményezhet. Az információk alapján történő működés alkalmazásspecifikus lesz. A viselkedés az alábbi pontokban foglalható össze:

• A szűrt kategóriába és súlyossági szintre besorolt kérések HTTP 400-es hibát adnak vissza.
• A nem streamelt befejezési hívások nem adnak vissza tartalmat a tartalom szűrésekor. Az finish_reason érték content_filter értékre van állítva. Ritkán hosszabb válaszok esetén részleges eredmény adható vissza. Ezekben az esetekben a finish_reason frissül.
• A folyamatos átvitelű befejezési hívások esetében a rendszer a befejezett állapotban visszaadja a szegmenseket a felhasználónak. A szolgáltatás mindaddig folytatja a streamelést, amíg el nem éri a leállítási jogkivonatot, a hosszt, vagy ha a rendszer szűrt kategóriába és súlyossági szintre besorolt tartalmat észlel.

Forgatókönyv: Egy nem streaming alapú befejezési hívást küld, amely több kimenetet kér; egyetlen tartalom sincs szűrt kategóriába és súlyossági szintbe sorolva.

Az alábbi táblázat a tartalomszűrés különböző módjait ismerteti:

HTTP-válaszkód	Válasz viselkedése
200	Azokban az esetekben, amikor az összes előállítás a beállítottak szerint átmegy a szűrőkön, a rendszer nem ad hozzá tartalommérséklet részleteket a válaszhoz. Az egyes generációknál a finish_reason vagy leállás, vagy hosszúság lesz.

Példa a kérelem adatcsomagjára:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Példa válasz JSON-ra:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Forgatókönyv: Az API-hívás több választ kér (N>1), és legalább egy válasz szűrve van

HTTP-válaszkód	Válasz viselkedése
200	A szűrt generációk értéke finish_reasona következő leszcontent_filter: .

Példa a kérelem adatcsomagjára:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Példa válasz JSON-ra:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Forgatókönyv: A rendszer nem megfelelő bemeneti kérést küld a befejezési API-nak (streameléshez vagy nem streameléshez)

HTTP-válaszkód	Válasz viselkedése
400	Az API-hívás meghiúsul, ha a parancssor a konfigurált tartalomszűrőt aktiválja. Módosítsa a kérést, és próbálkozzon újra.

Példa a kérelem adatcsomagjára:

{
    "prompt":"Content that triggered the filtering model"
}

Példa válasz JSON-ra:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Forgatókönyv: Streamelés befejezésére vonatkozó hívást kezdeményez; a kimeneti tartalom nincs besorolva semmilyen szűrt kategóriába vagy súlyossági szintre.

HTTP-válaszkód	Válasz viselkedése
200	Ebben az esetben a hívás továbbítja a teljes generációt, és az egyes létrehozott válaszoknál a finish_reason vagy "hossz", vagy "stop" lesz.

Példa a kérelem adatcsomagjára:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Példa válasz JSON-ra:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Forgatókönyv: Streamelési befejezési hívást kezdeményez, amely több befejezést kér, és a kimeneti tartalom legalább egy része szűrve van

HTTP-válaszkód	Válasz viselkedése
200	Egy adott generációs index esetében a generáció utolsó adattömbje nem null finish_reason értéket tartalmaz. A generáció szűrésekor az érték content_filter volt.

Példa a kérelem adatcsomagjára:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Példa válasz JSON-ra:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Forgatókönyv: A tartalomszűrési rendszer nem fut a befejezéskor

HTTP-válaszkód	Válasz viselkedése
200	Ha a tartalomszűrési rendszer leáll, vagy más módon nem tudja időben befejezni a műveletet, a kérés tartalomszűrés nélkül is befejeződik. Ha az objektumban content_filter_results hibaüzenetet keres, megállapíthatja, hogy a szűrés nem lett alkalmazva.

Példa a kérelem adatcsomagjára:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Példa válasz JSON-ra:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Ajánlott eljárások

Az alkalmazás kialakítása során vegye figyelembe az alábbi bevált gyakorlatokat, amelyekkel pozitív élményt biztosíthat az alkalmazásban, és minimalizálhatja a potenciális károkat:

• Döntse el, hogyan szeretné kezelni azokat az eseteket, amikor a felhasználók olyan promptokat küldenek be, amelyek szűrt kategóriába és súlyossági szintre besorolt tartalmakat érintenek, vagy más módon nem megfelelő módon használják az alkalmazást.
• A következő helyen ellenőrizheti, hogy a kimenet meg van-e szűrve: finish_reason.
• Ellenőrizze, hogy nincs-e hibaobjektum itt: content_filter_results (ami azt jelzi, hogy a tartalomszűrők nem futottak le).
• Ha a védett anyagkódmodellt széljegyzet módban használja, akkor az idézet URL-címe jelenik meg, amikor a kódot az alkalmazásban jeleníti meg.

Kapcsolódó tartalom

• Ismerje meg a tartalomszűrési kategóriákat és súlyossági szinteket.
• További információ az Azure OpenAI-t használó mögöttes modellekről.
• A módosított tartalomszűrők alkalmazása ezen az űrlapon keresztül.
• Az Azure OpenAI-tartalomszűrést az Azure AI Content Safety működteti.
• További információ az alkalmazással kapcsolatos kockázatok megértéséről és csökkentéséről: Az Azure OpenAI-modellek felelős AI-eljárásainak áttekintése.
• További információ az adatok feldolgozásáról a tartalomszűréssel és a visszaélések monitorozásával kapcsolatban: Adatok, adatvédelem és biztonság az Azure OpenAI-ban.