Dela via

Använda risker och säkerhetsövervakning i Azure OpenAI Studio (förhandsversion)

  • Artikel

När du använder en Azure OpenAI-modelldistribution med ett innehållsfilter kanske du vill kontrollera resultatet av filtreringsaktiviteten. Du kan använda den informationen för att ytterligare justera filterkonfigurationen för att uppfylla dina specifika affärsbehov och principer för ansvarsfull AI.

Azure OpenAI Studio tillhandahåller en instrumentpanel för risk- och säkerhetsövervakning för var och en av dina distributioner som använder en konfiguration av innehållsfilter.

Åtkomstrisker och säkerhetsövervakning

För att få åtkomst till risk- och säkerhetsövervakning behöver du en Azure OpenAI-resurs i någon av de Azure-regioner som stöds: USA, östra, Schweiz, norra, Frankrike, centrala, Sverige, centrala, Kanada, östra. Du behöver också en modelldistribution som använder en konfiguration av innehållsfilter.

Gå till Azure OpenAI Studio och logga in med de autentiseringsuppgifter som är associerade med din Azure OpenAI-resurs. Välj fliken Distributioner till vänster och välj sedan modelldistributionen i listan. På distributionssidan väljer du fliken Risker och säkerhet högst upp.

Innehållsidentifiering

Fönstret Innehållsidentifiering visar information om innehållsfilteraktivitet. Din innehållsfilterkonfiguration tillämpas enligt beskrivningen i dokumentationen för innehållsfiltrering.

Rapportbeskrivning

Innehållsfiltreringsdata visas på följande sätt:

  • Totalt antal blockerade begäranden och blockeringsfrekvens: Den här vyn visar en global vy över mängden och andelen innehåll som filtreras över tid. Detta hjälper dig att förstå trender för skadliga begäranden från användare och se oväntade aktiviteter.
  • Blockerade begäranden efter kategori: Den här vyn visar mängden innehåll som blockerats för varje kategori. Det här är en all-up-statistik över skadliga begäranden över det valda tidsintervallet. Det stöder för närvarande skadekategorierna hat, sexuellt, självskadebeteende och våld.
  • Blockera hastighet över tid efter kategori: Den här vyn visar blockeringshastigheten för varje kategori över tid. Det stöder för närvarande skadekategorierna hat, sexuellt, självskadebeteende och våld.
  • Allvarlighetsgradsfördelning efter kategori: Den här vyn visar allvarlighetsgraderna som identifierats för varje skadekategori i hela det valda tidsintervallet. Detta är inte begränsat till blockerat innehåll, utan innehåller i stället allt innehåll som flaggades av innehållsfiltren.
  • Fördelning av allvarlighetsgrad över tid efter kategori: I den här vyn visas antalet identifierade allvarlighetsnivåer över tid för varje skadekategori. Välj flikarna för att växla mellan kategorier som stöds.

Skärmbild av innehållsidentifieringsfönstret på sidan Risk och säkerhetsövervakning.

Justera konfigurationen av innehållsfilter så att den överensstämmer ytterligare med affärsbehov och ansvarsfulla AI-principer.

Potentiellt missbrukande användaridentifiering

Fönstret Potentiellt missbrukande användaridentifiering utnyttjar missbruksrapportering på användarnivå för att visa information om användare vars beteende har resulterat i blockerat innehåll. Målet är att hjälpa dig att få en överblick över källorna till skadligt innehåll så att du kan vidta dynamiska åtgärder för att säkerställa att modellen används på ett ansvarsfullt sätt.

Om du vill använda potentiellt missbrukande användaridentifiering behöver du:

  • En konfiguration av innehållsfilter som tillämpas på distributionen.
  • Du måste skicka användar-ID-information i dina begäranden om chattens slutförande (se till exempel användarparametern för API:et Completions).

    Varning

    Använd GUID-strängar för att identifiera enskilda användare. Inkludera inte känslig personlig information i fältet "användare".

  • En Azure Data Explorer-databas som har konfigurerats för att lagra användaranalysresultatet (instruktioner nedan).

Konfigurera din Azure Data Explorer-databas

För att skydda datasekretessen för användarinformation och hantera behörigheten för data, stöder vi alternativet för våra kunder att ta med sin egen lagring för att få detaljerade potentiellt missbrukande användaridentifieringsinsikter (inklusive användar-GUID och statistik om skadliga begäranden efter kategori) lagrade på ett kompatibelt sätt och med fullständig kontroll. Följ dessa steg för att aktivera det:

  1. I Azure OpenAI Studio navigerar du till modelldistributionen som du vill konfigurera analys av användarmissbruk med och väljer Lägg till ett datalager.
  2. Fyll i nödvändig information och välj Spara. Vi rekommenderar att du skapar en ny databas för att lagra analysresultaten.
  3. När du har anslutit datalagret utför du följande steg för att ge behörighet att skriva analysresultat till den anslutna databasen:
    1. Gå till azure OpenAI-resursens sida i Azure-portalen och välj fliken Identitet .
    2. Aktivera status till På för systemtilldelad identitet och kopiera det ID som genereras.
    3. Gå till din Azure Data Explorer-resurs i Azure-portalen, välj databaser och välj sedan den specifika databas som du skapade för att lagra användaranalysresultat.
    4. Välj behörigheter och lägg till en administratörsroll i databasen.
    5. Klistra in den Azure OpenAI-identitet som genererades i det tidigare steget och välj den som genomsökts. Nu har azure OpenAI-resursens identitet behörighet att läsa/skriva till lagringskontot.
  4. Bevilja åtkomst till den anslutna Azure Data Explorer-databasen till de användare som behöver visa analysresultaten:
    1. Gå till den Azure Data Explorer-resurs som du har anslutit, välj åtkomstkontroll och lägg till en läsarroll i Azure Data Explorer-klustret för de användare som behöver komma åt resultaten.
    2. Välj databaser och välj den specifika databas som är ansluten för att lagra analysresultat för missbruk på användarnivå. Välj behörigheter och lägg till databasens läsarroll för de användare som behöver komma åt resultaten.

Rapportbeskrivning

Den potentiellt missbrukande användaridentifieringen förlitar sig på den användarinformation som kunderna skickar med sina Azure OpenAI API-anrop, tillsammans med begärandeinnehållet. Följande insikter visas:

  • Totalt potentiellt missbrukande användarantal: Den här vyn visar antalet identifierade potentiellt missbrukande användare över tid. Det här är användare för vilka ett mönster av missbruk upptäcktes och som kan medföra hög risk.
  • Lista över potentiellt missbrukande användare: Den här vyn är en detaljerad lista över identifierade potentiellt missbrukande användare. Den ger följande information för varje användare:
    • UserGUID: Detta skickas av kunden via fältet "användare" i Azure OpenAI-API:er.
    • Missbrukspoäng: Det här är en siffra som genereras av modellen som analyserar varje användares begäranden och beteende. Poängen normaliseras till 0-1. En högre poäng indikerar en högre missbruksrisk.
    • Trend för missbrukspoäng: Förändringen i missbrukspoäng under det valda tidsintervallet.
    • Utvärdera datum: Det datum då resultaten analyserades.
    • Totalt antal begäranden om missbruk/antal
    • Missbruksförhållande/antal efter kategori

Skärmbild av fönstret Potentiellt missbrukande användaridentifiering på sidan Risk- och säkerhetsövervakning.

Kombinera dessa data med berikade signaler för att verifiera om de identifierade användarna verkligen är missbrukande eller inte. Om så är fallet vidtar du responsiva åtgärder som att begränsa eller inaktivera användaren för att säkerställa att ditt program används på ett ansvarsfullt sätt.

Nästa steg

Skapa eller redigera sedan en konfiguration av innehållsfilter i Azure OpenAI Studio.