Dela via

Missbruksövervakning

Azure OpenAI i Azure AI Foundry Models identifierar och minimerar instanser av återkommande innehåll och/eller beteenden som föreslår användning av tjänsten på ett sätt som kan bryta mot uppförandekoden. Information om hur data hanteras finns på sidan Data, Sekretess och Säkerhet .

Komponenter i övervakning av missbruk

Det finns flera komponenter för övervakning av missbruk:

  • Innehållsklassificering: Klassificerarmodeller identifierar skadlig text och/eller bilder i användarprompter (indata) och slutföranden (utdata). Systemet söker efter skadekategorier enligt definitionen i innehållskraven och tilldelar allvarlighetsgraderna enligt beskrivningen i detalj på sidan Innehållsfiltrering . Innehållsklassificeringssignalerna bidrar till mönsteridentifiering enligt beskrivningen nedan.
  • Insamling av missbruksmönster: Azure OpenAI:s övervakningssystem för missbruk tittar på kundanvändningsmönster och använder algoritmer och heuristik för att identifiera och poängsätta indikatorer för potentiellt missbruk. Identifierade mönster beaktar till exempel den frekvens och allvarlighetsgrad där skadligt innehåll identifieras (vilket anges i innehållsklassificerarens signaler) i en kunds uppmaningar och slutföranden, samt beteendets avsiktlighet. Trender och hur brådskande det identifierade mönstret är kommer också att påverka bedömningen av potentiell allvarlighetsgrad för missbruk. Till exempel är en högre mängd skadligt innehåll klassificerat som högre allvarlighetsgrad eller återkommande beteende som indikerar avsiktlighet (till exempel återkommande jailbreak-försök) båda mer benägna att få en hög poäng som indikerar potentiellt missbruk.
  • Granskning och beslut: Frågor och slutföranden som flaggas genom innehållsklassificering och/eller identifieras som en del av ett potentiellt missbruksmönster utsätts för en annan granskningsprocess för att bekräfta systemets analys och informera om beslut om missbruksövervakning. En sådan granskning utförs med två metoder: automatiserad granskning och mänsklig granskning.
    • Om uppmaningar och slutföranden som standard flaggas genom innehållsklassificering som skadliga och/eller identifieras som en del av ett potentiellt missbrukande användningsmönster kan de samplas för granskning med hjälp av automatiserade metoder, inklusive AI-modeller som LLMs i stället för en mänsklig granskare. Den modell som används för detta ändamål bearbetar uppmaningar och slutföranden endast för att bekräfta systemets analys och informera om åtgärdsbeslut. uppmaningar och slutföranden som genomgår en sådan granskning lagras inte av systemet för övervakning av missbruk eller används för att träna AI-modellen eller andra system.
    • I vissa fall, när automatiserad granskning inte uppfyller tillämpliga förtroendetrösklar i komplexa sammanhang eller om automatiserade granskningssystem inte är tillgängliga, kan granskning av mänskliga ögon införas för att göra en extra bedömning. Auktoriserade Microsoft-anställda kan bedöma innehåll som flaggas genom innehållsklassificering och/eller identifieras som en del av ett potentiellt missbrukande användningsmönster och antingen bekräfta eller korrigera klassificeringen eller bestämningen baserat på fördefinierade riktlinjer och principer. Sådana uppmaningar och slutföranden kan endast nås för mänsklig granskning av auktoriserade Microsoft-anställda via SAWs (Secure Access Workstations) med JIT-begärandegodkännande (Just-In-Time) som beviljats av teamchefer. För Azure OpenAI-resurser som distribueras i Europeiska ekonomiska samarbetsområdet finns de auktoriserade Microsoft-anställda i Europeiska ekonomiska samarbetsområdet. Den här processen för mänsklig granskning av missbruksövervakning sker inte om en kund har godkänts för modifierad övervakning av missbruk.
  • Meddelande och åtgärd: När ett tröskelvärde för missbruk har bekräftats baserat på föregående steg informeras kunden om beslutet via e-post. Förutom vid allvarliga eller återkommande missbruk har kunderna vanligtvis möjlighet att förklara eller åtgärda – och implementera mekanismer för att förhindra upprepning av – missbruket. Underlåtenhet att hantera beteendet – eller återkommande eller allvarligt missbruk – kan leda till att kundens tillgång till Azure OpenAI-resurser och/eller funktioner suspenderas eller upphör.

Ändrad övervakning av missbruk

Vissa kunder kanske vill använda Azure OpenAI för ett användningsfall som omfattar bearbetning av mycket känsliga eller strikt konfidentiella data, eller på annat sätt kan dra slutsatsen att de inte vill ha eller inte har rätt att tillåta Microsoft att lagra och utföra mänsklig granskning på sina uppmaningar och slutföranden för identifiering av missbruk. För att lösa dessa problem tillåter Microsoft kunder som uppfyller ytterligare kriterier för begränsad åtkomst att tillämpa för att ändra övervakning av missbruk genom att fylla i det härformuläret. Läs mer om att ansöka om övervakning av modifierat missbruk i Begränsad åtkomst till Azure OpenAI.

Anmärkning

När övervakning av missbruk ändras och mänsklig granskning inte utförs kan det hända att identifiering av potentiellt missbruk är mindre korrekt. Kunder meddelas om potentiell missbruksidentifiering enligt beskrivningen ovan och bör vara beredda att svara på sådana meddelanden för att undvika avbrott i tjänsten om möjligt.

Nästa steg