Dela via

Transparensanteckning för Azure AI Language

Viktigt!

Översättningar som inte är engelska tillhandahålls endast för enkelhetens skull. Se versionen EN-US av det här dokumentet för bindningsversionen.

Vad är en transparensanteckning?

Ett AI-system omfattar inte bara tekniken, utan även de personer som ska använda den, de personer som påverkas av den och miljön där den distribueras. Att skapa ett system som är lämpligt för sitt avsedda syfte kräver en förståelse för hur tekniken fungerar, dess funktioner och begränsningar och hur du uppnår bästa prestanda. Microsofts transparensanteckningar är avsedda att hjälpa dig att förstå hur vår AI-teknik fungerar, vilka val systemägare kan göra som påverkar systemets prestanda och beteende samt vikten av att tänka på hela systemet, inklusive teknik, människor och miljö. Du kan använda Transparensanteckningar när du utvecklar eller distribuerar ditt eget system eller delar dem med de personer som kommer att använda eller påverkas av systemet.

Microsofts Transparensanteckningar är en del av ett bredare arbete hos Microsoft för att omsätta våra AI-principer i praktiken. Mer information finns i Microsoft AI-principer.

Grunderna i Azure AI Language

Inledning

Azure AI Language är en molnbaserad tjänst som tillhandahåller NLP-funktioner (Natural Language Processing) för textutvinning och textanalys, inklusive följande funktioner:

Läs översikten för att få en introduktion till varje funktion och granska exempelanvändningsfallen. Se instruktionsguiderna och API-referensen för att förstå mer information om vad varje funktion gör och vad som returneras av systemet.

Den här artikeln innehåller grundläggande riktlinjer för hur du använder Azure AI Language-funktioner på ett ansvarsfullt sätt. Läs den allmänna informationen först och gå sedan till den specifika artikeln om du använder någon av funktionerna nedan.

Förmågor

Användningsfall

Azure AI Language-tjänster kan användas i flera scenarier i olika branscher. Några exempel som listas efter funktion är:

  • Använd Anpassad namngiven entitetsigenkänning för kunskapsutvinning för att förbättra semantisk sökning. Sökningen är grundläggande för alla appar som visar textinnehåll för användarna. Vanliga scenarier är katalog- eller dokumentsökning, produktsökning i detaljhandeln eller kunskapsutvinning för datavetenskap. Många företag i olika branscher vill skapa en omfattande sökupplevelse över privat, heterogent innehåll, som innehåller både strukturerade och ostrukturerade dokument. Som en del av pipelinen kan utvecklare använda anpassad NER för att extrahera entiteter från texten som är relevanta för deras bransch. Dessa entiteter kan användas för att utöka indexeringen av filen för en mer anpassad sökupplevelse.

  • Använd Namngiven entitetsigenkänning för att förbättra eller automatisera affärsprocesser. När du till exempel granskar försäkringsanspråk kan identifierade entiteter som namn och plats markeras för att underlätta granskningen. Eller så kan ett supportärende genereras med kundens namn och företag automatiskt från ett e-postmeddelande.

  • Använd personligt identifierbar information för att redigera vissa kategorier av personlig information från dokument för att skydda sekretessen. Om kundkontaktposter till exempel är tillgängliga för supportrepresentanter på första raden kanske företaget vill redigera onödig kundinformation från kundhistoriken för att bevara kundens sekretess.

  • Använd Språkidentifiering för att identifiera språk för affärsarbetsflöde. Om ett företag till exempel får e-post på olika språk från kunder kan de använda språkidentifiering för att dirigera e-postmeddelandena via språk till infödda talare för att underlätta kommunikationen med dessa kunder.

  • Använd Attitydanalys för att övervaka positiva och negativa feedbacktrender totalt. Efter införandet av en ny produkt kan en återförsäljare använda sentimenttjänsten för att övervaka flera sociala medier för att nämna produkten med deras sentiment. De kan granska den trendiga attityden i sina veckovisa produktmöten.

  • Använd Sammanfattning för att extrahera viktig information från offentliga nyhetsartiklar. För att skapa insikter såsom trender och nyhetsfokus.

  • Använd Extrahering av nyckelfraser för att visa aggregerade trender i textdata. Ett ordmoln kan till exempel genereras med nyckelfraser för att visualisera viktiga begrepp i textkommenterar eller feedback. Till exempel kan ett hotell generera ett ordmoln baserat på nyckelfraser som identifieras i deras kommentarer och kan se att personer kommenterar mest om platsen, renlighet och hjälpsam personal.

  • Använd Textanalys för hälsa för insikter och extrahering av statistik. Identifiera medicinska entiteter som symtom, mediciner och diagnoser i kliniska anteckningar och olika kliniska dokument. Använd den här informationen för att producera insikter och statistik om patientpopulationer, söka i kliniska dokument, forskningsdokument och publikationer.

  • Använd Anpassad textklassificering för automatisk e-post- eller biljetttriaging. Supportcenter av alla slag får en stor mängd e-postmeddelanden eller ärenden som innehåller ostrukturerad friformstext och bifogade filer. Det är viktigt att granska, bekräfta och dirigera ämnesexperter i interna team i tid. E-posttriage i den här skalan kräver att personer granskar och dirigerar till rätt avdelningar, vilket tar tid och resurser. Anpassad textklassificering kan användas för att analysera inkommande text och sortera och kategorisera innehållet som ska dirigeras automatiskt till relevanta avdelningar för ytterligare åtgärder.

  • Använd Conversational Language Understanding för att skapa konversationsrobotar från början till slut. Använd CLU för att skapa och träna en anpassad modell för förståelse av naturligt språk baserat på en specifik domän och de förväntade användarnas yttranden. Integrera den med valfri konversationsrobot från slutpunkt till slutpunkt så att den kan bearbeta och analysera inkommande text i realtid för att identifiera avsikten med texten och extrahera viktig information från den. Låt roboten utföra önskad åtgärd baserat på avsikten och extraherad information. Ett exempel skulle vara en anpassad detaljhandelsrobot för online shopping eller matbeställning.

  • Använd Frågesvar för kundsupport. I de flesta kundsupportscenarier ställs vanliga frågor ofta. Med frågesvar kan du omedelbart skapa en chattrobot från befintligt supportinnehåll, och den här roboten kan fungera som frontlinjesystem för hantering av kundfrågor. Om frågorna inte kan besvaras av roboten kan ytterligare komponenter hjälpa till att identifiera och flagga frågan för mänsklig inblandning.

Begränsningar

Kvaliteten på inkommande text till systemet påverkar dina resultat.

Azure AI Language-funktioner bearbetar endast text. Den inkommande textens återgivning och formatering påverkar systemets prestanda. Tänk på följande:

  • Talranskriptionens kvalitet kan påverka resultatets kvalitet. Om dina källdata är röst kontrollerar du att du använder den högsta kvalitetskombinationen av automatisk och mänsklig transkription för att säkerställa bästa prestanda. Överväg att använda anpassade talmodeller för bättre kvalitetsresultat.

  • Brist på standard skiljetecken eller hölje kan påverka kvaliteten på dina resultat. Om du använder ett talsystem, till exempel Azure AI Speech to Text, måste du välja alternativet att inkludera skiljetecken.

  • Optisk teckenigenkänning (OCR) kvalitet kan påverka systemets kvalitet. Om källdata är bilder och du använder OCR-teknik för att generera texten kan felaktigt genererad text påverka systemets prestanda. Överväg att använda anpassade OCR-modeller för att förbättra resultatkvaliteten.

  • Om dina data innehåller vanliga felstavningar bör du överväga att använda stavningskontroll i Bing för att korrigera felstavningar.

  • Tabelldata kanske inte identifieras korrekt beroende på hur du skickar tabelltexten till systemet. Utvärdera hur du skickar text från tabeller i källdokument till tjänsten. Överväg att använda Azure AI Document Intelligence eller en liknande tjänst för tabeller i dokument. På så sätt kan du hämta lämpliga nycklar och värden som ska skickas till Azure AI Language med kontextuella nycklar som är tillräckligt nära värdena för att systemet ska kunna identifiera entiteterna korrekt.

  • Microsoft har tränat sina azure AI Language-funktionsmodeller (med undantag för språkidentifiering) med textdata på naturligt språk som främst består av fullständigt formade meningar och stycken. Därför ger användning av den här tjänsten för data som närmast liknar den här typen av text bästa prestanda. Vi rekommenderar att du undviker användning av den här tjänsten för att utvärdera ofullständiga meningar och fraser där det är möjligt, eftersom prestandan kan minskas.

  • Tjänsten stöder endast text med ett enda språk. Om texten innehåller flera språk, till exempel "smörgåsen var bueno", kanske utdata inte stämmer.

  • Språkkoden måste matcha indatatextspråket för att få korrekta resultat. Om du är osäker på indataspråket kan du använda funktionen för språkidentifiering.

Metodtips för att förbättra systemprestanda

Vissa funktioner i Azure AI Language returnerar förtroendepoäng och kan utvärderas med den metod som beskrivs i följande avsnitt. Andra funktioner som inte returnerar en konfidenspoäng (till exempel extrahering och sammanfattning av nyckelord) måste utvärderas med olika metoder.

Förstå konfidenspoäng för attitydanalys, namngiven entitetsigenkänning, språkidentifiering och hälsofunktioner

Funktionerna för sentimentanalys, namngiven entitetsigenkänning, språkidentifiering och hälsa returnerar alla en konfidenspoäng som en del av systemsvaret. Detta är en indikator på hur säker tjänsten är på systemets svar. Ett högre värde anger att tjänsten är mer säker på att resultatet är korrekt. Systemet identifierar till exempel entiteten för kategorin USA Körkortsnummer på texten 555 555 555 när den ges texten "My NY driver's license number is 555 555 555" (Mitt NY-körkortsnummer är 555 555 555) med poängen 0,75 och kan identifiera kategorin USA Körkortsnummer på texten 555 555 555 med poängen 0,65 när den ges texten "My NY DL number is 555 555 555" (Mitt NY DL-nummer är 555 555 555). Med tanke på den mer specifika kontexten i det första exemplet är systemet mer säkert i sitt svar. I många fall kan systemsvaret användas utan att undersöka konfidenspoängen. I andra fall kan du välja att endast använda ett svar om dess konfidenspoäng ligger över ett angivet tröskelvärde för konfidenspoäng.

Förstå och mäta prestanda

Prestanda för Azure AI Language-funktioner mäts genom att undersöka hur väl systemet känner igen de NLP-begrepp som stöds (vid ett visst tröskelvärde i jämförelse med en mänsklig domare.) För namngiven entitetsextrahering (NER) kan man till exempel räkna det sanna antalet telefonnummerentiteter i viss text baserat på mänsklig bedömning och sedan jämföra med systemets utdata från bearbetningen av samma text. Genom att jämföra mänsklig bedömning med systemkända entiteter kan du klassificera händelserna i två typer av korrekta (eller "sanna") händelser och två typer av felaktiga (eller "falska") händelser.

Resultat Rätt/fel Definition Exempel
Sann positiv händelse Korrekt Systemet returnerar samma resultat som kan förväntas av en mänsklig domare. Systemet känner igen PII-entiteten av kategorin Telefonnummer på texten 1-234-567-8910 när du får texten: "Du kan nå mig på mitt kontorsnummer 1-234-567-9810."
Sant negativ Korrekt Systemet returnerar inte något resultat, och detta överensstämmer med vad som skulle förväntas av mänsklig domare. Systemet känner inte igen någon PII-entitet när texten anges: "Du kan nå mig på mitt kontorsnummer."
Falsk positiv Felaktig Systemet returnerar ett resultat där en mänsklig domare inte skulle göra det. Systemet identifierar felaktigt PII-entiteten för kategorin Telefonnummer för textkontorets nummer när texten anges: "Du kan nå mig på mitt kontorsnummer."
Falskt negativ Felaktig Systemet returnerar inte ett resultat när en mänsklig domare skulle göra det. Systemet missar felaktigt en PII-entitet för telefonnummer på texten 1-234-567-8910 när texten ges: "Du kan nå mig på mitt kontorsnummer 1-234-567-9810."

Azure AI Language-funktioner kommer inte alltid att vara korrekta. Du kommer sannolikt att uppleva både falska negativa och falska positiva fel. Det är viktigt att tänka på hur varje typ av fel påverkar systemet. Tänk igenom scenarier där sanna händelser inte identifieras och var felaktiga händelser identifieras och vilka nedströmseffekter som kan finnas i implementeringen. Se till att skapa på ett sätt som identifierar, rapporterar och svarar på varje typ av fel. Planera att regelbundet granska prestanda för ditt distribuerade system för att säkerställa att fel hanteras på rätt sätt.

Så här anger du tröskelvärden för konfidenspoäng

Du kan välja att fatta beslut i systemet baserat på den konfidenspoäng som systemet returnerar. Du kan justera tröskelvärdet för konfidenspoäng som systemet använder för att uppfylla dina behov. Om det är viktigare att identifiera alla potentiella instanser av de NLP-begrepp du vill använda kan du använda ett lägre tröskelvärde. Det innebär att du kan få fler falska positiva identifieringar men färre falska negativa identifieringar. Om det är viktigare för systemet att bara identifiera sanna instanser av den funktion som du anropar kan du använda ett högre tröskelvärde. Om du använder ett högre tröskelvärde kan du få färre falska positiva identifieringar men fler falska negativa identifieringar. Olika scenarier kräver olika metoder. Dessutom kanske tröskelvärden inte har konsekvent beteende för enskilda funktioner i Azure AI Language och kategorier av entiteter. Anta till exempel inte att användning av ett visst tröskelvärde för TELEFONNUMMER för NER-kategorin skulle vara tillräckligt för en annan NER-kategori, eller att ett tröskelvärde som du använder i NER fungerar på samma sätt för Attitydanalys. Därför är det viktigt att du testar systemet med alla tröskelvärden som du överväger att använda med verkliga data för att fastställa effekterna av olika tröskelvärden i systemet i den kontext som det kommer att användas.

Rättvisa

På Microsoft strävar vi efter att ge varje person på planeten möjlighet att uppnå mer. En viktig del av detta mål är att skapa tekniker och produkter som är rättvisa och inkluderande. Rättvisa är ett flerdimensionellt, sociotekniskt ämne och påverkar många olika aspekter av vår produktutveckling. Du kan läsa mer om Microsofts rättvisestrategi här.

En dimension som vi måste tänka på är hur bra systemet presterar för olika grupper av människor. Detta kan omfatta att titta på modellens noggrannhet och mäta prestanda för hela systemet. Forskning har visat att utan medveten ansträngning som fokuserar på att förbättra prestanda för alla grupper, är det ofta möjligt för prestanda för ett AI-system att variera mellan grupper baserat på faktorer som ras, etnicitet, språk, kön och ålder.

Varje tjänst och funktion skiljer sig åt, och vår testning kanske inte helt matchar din kontext eller täcker alla scenarier som krävs för ditt användningsfall. Vi uppmuntrar utvecklare att noggrant utvärdera felfrekvenser för tjänsten med verkliga data som återspeglar ditt användningsfall, inklusive testning med användare från olika demografiska grupper.

För Azure AI Language kanske vissa dialekter och språksorter i våra språk som stöds och text från vissa demografiska grupper ännu inte har tillräckligt med representation i våra aktuella träningsdatauppsättningar. Vi rekommenderar att du granskar våra riktlinjer för ansvarsfull användning, och om du stöter på prestandaskillnader rekommenderar vi att du meddelar oss.

Prestanda varierar mellan funktioner och språk

Olika språk stöds för varje Azure AI Language-funktion. Du kanske upptäcker att prestanda för en viss funktion inte överensstämmer med en annan funktion. Du kan också upptäcka att prestanda inte är konsekventa på olika språk för en viss funktion.

Nästa steg

Om du använder någon av funktionerna nedan bör du granska den specifika informationen för den funktionen.

Se även

Se också till att granska: