Övervakning av missbruk

Azure OpenAI Service identifierar och minimerar instanser av återkommande innehåll och/eller beteenden som tyder på användning av tjänsten på ett sätt som kan strida mot uppförandekoden eller andra tillämpliga produktvillkor. Information om hur data hanteras finns på sidan Data, Sekretess och säkerhet. Ansöka om övervakning av ändrade missbruk med hjälp av det här formuläret: Azure OpenAI Limited Access Review: Modified Abuse Monitoring.

Komponenter i övervakning av missbruk

Det finns flera komponenter för övervakning av missbruk:

• Innehållsklassificering: Klassificerarmodeller identifierar skadligt språk och/eller bilder i användarprompter (indata) och slutföranden (utdata). Systemet söker efter skadekategorier enligt definitionen i innehållskraven och tilldelar allvarlighetsgraderna enligt beskrivningen i detalj på sidan Innehållsfiltrering.

• Insamling av missbruksmönster: Azure OpenAI-tjänstens missbruksövervakning tittar på kundanvändningsmönster och använder algoritmer och heuristik för att identifiera indikatorer på potentiellt missbruk. Identifierade mönster beaktar till exempel frekvensen och allvarlighetsgraden för skadligt innehåll som identifieras i en kunds uppmaningar och slutföranden.

• Mänsklig granskning och beslut: När frågor och/eller slutföranden flaggas genom innehållsklassificering och borttagning av missbruksmönster enligt beskrivningen ovan kan auktoriserade Microsoft-anställda utvärdera det flaggade innehållet och antingen bekräfta eller korrigera klassificeringen eller bestämningen baserat på fördefinierade riktlinjer och principer. Data kan endast nås för mänsklig granskning av auktoriserade Microsoft-anställda via SAW(Secure Access Workstations) med JIT-begärandegodkännande (Just-In-Time) som beviljats av teamchefer. För Azure OpenAI Service-resurser som distribueras i Europeiska ekonomiska samarbetsområdet finns de auktoriserade Microsoft-anställda i Europeiska ekonomiska samarbetsområdet.

• Meddelande och åtgärd: När ett tröskelvärde för missbruk har bekräftats baserat på föregående tre steg informeras kunden om beslutet via e-post. Förutom vid allvarliga eller återkommande missbruk ges kunderna vanligtvis möjlighet att förklara eller åtgärda – och implementera mekanismer för att förhindra upprepning av – missbruket. Om beteendet – eller återkommande eller allvarligt missbruk – misslyckas kan det leda till att kundens åtkomst till Azure OpenAI-resurser och/eller funktioner avbryts eller avbryts.

Nästa steg

• Läs mer om de underliggande modeller som driver Azure OpenAI.
• Läs mer om att förstå och minimera risker som är kopplade till ditt program: Översikt över ansvarsfulla AI-metoder för Azure OpenAI-modeller.
• Läs mer om hur data bearbetas i samband med innehållsfiltrering och övervakning av missbruk: Data, sekretess och säkerhet för Azure OpenAI Service.