Udostępnij za pośrednictwem

Nota transparentności dotycząca Azure AI Language

Ważne

Tłumaczenia nieanglojęzyczne są dostępne tylko dla wygody. Aby zapoznać się z wiążącą wersją, sprawdź EN-US wersję tego dokumentu.

Co to jest notatka dotycząca przezroczystości?

System sztucznej inteligencji obejmuje nie tylko technologię, ale także osoby, które będą jej używać, osoby, których to dotyczy, oraz środowisko, w którym jest wdrażana. Utworzenie systemu dopasowanego do zamierzonego celu wymaga zrozumienia, jak działa technologia, jej możliwości i ograniczenia oraz jak osiągnąć najlepszą wydajność. Notatki dotyczące przejrzystości firmy Microsoft mają na celu ułatwienie zrozumienia sposobu działania naszej technologii sztucznej inteligencji, wyborów, jakie właściciele systemów mogą dokonać, aby wpływać na wydajność i zachowanie systemu oraz znaczenie myślenia o całym systemie, w tym o technologii, ludziach i środowisku. Możesz użyć notatek przezroczystości podczas opracowywania lub wdrażania własnego systemu lub udostępniać je osobom, które będą korzystać z systemu lub mają na nie wpływ.

Uwagi dotyczące przejrzystości firmy Microsoft są częścią szerszego wysiłku firmy Microsoft w celu wprowadzenia w życie naszych zasad sztucznej inteligencji. Aby dowiedzieć się więcej, zobacz Zasady działania Microsoft AI..

Podstawy języka sztucznej inteligencji platformy Azure

Wprowadzenie

Azure AI Language to oparta na chmurze usługa, która udostępnia funkcje przetwarzania języka naturalnego (NLP) na potrzeby wyszukiwania tekstu i analizy tekstu, w tym następujące funkcje:

Zapoznaj się z omówieniem, aby zapoznać się z wprowadzeniem do każdej funkcji i przejrzeć przykładowe przypadki użycia. Zapoznaj się z przewodnikami z instrukcjami i dokumentacją interfejsu API, aby dowiedzieć się więcej o tym, co robi każda funkcja i co jest zwracane przez system.

Ten artykuł zawiera podstawowe wskazówki dotyczące odpowiedzialnego używania funkcji języka sztucznej inteligencji platformy Azure. Najpierw przeczytaj ogólne informacje, a następnie przejdź do konkretnego artykułu, jeśli używasz jednej z poniższych funkcji.

Możliwości

Przypadki użycia

Usługi językowe azure AI mogą być używane w wielu scenariuszach w różnych branżach. Oto kilka przykładów wymienionych przez funkcję:

  • Użyj dedykowanego rozpoznawania nazwanych jednostek do wykrywania informacji, aby ulepszyć wyszukiwanie semantyczne. Wyszukiwanie jest podstawą dowolnej aplikacji, która wyświetla zawartość tekstowa dla użytkowników. Typowe scenariusze obejmują wyszukiwanie katalogów lub dokumentów, wyszukiwanie produktów w sprzedaży detalicznej lub wyszukiwanie wiedzy na potrzeby nauki o danych. Wiele przedsiębiorstw w różnych branżach chce utworzyć bogate środowisko wyszukiwania w prywatnej, heterogenicznej zawartości, która obejmuje zarówno dokumenty ustrukturyzowane, jak i nieustrukturyzowane. W ramach swojego procesu deweloperzy mogą używać niestandardowego modułu NER do wyodrębniania jednostek z tekstu, które są istotne dla ich branży. Te jednostki mogą służyć do wzbogacania indeksowania pliku w celu uzyskania bardziej dostosowanego środowiska wyszukiwania.

  • Użyj rozpoznawania nazwanych jednostek, aby ulepszyć lub zautomatyzować procesy biznesowe. Na przykład podczas przeglądania roszczeń ubezpieczeniowych można wyróżnić rozpoznane jednostki, takie jak nazwa i lokalizacja, aby ułatwić przegląd. Możesz też wygenerować bilet pomocy technicznej z nazwą klienta i firmą automatycznie z wiadomości e-mail.

  • Użyj informacji umożliwiających identyfikację osoby, aby usunąć niektóre kategorie informacji osobowych z dokumentów w celu ochrony prywatności. Jeśli na przykład rekordy kontaktów klientów są dostępne dla przedstawicieli pomocy technicznej pierwszej linii, firma może chcieć zredagować niepotrzebne dane osobowe klienta z historii klienta, aby zachować prywatność klienta.

  • Wykrywanie języka służy do wykrywania języków dla biznesowego przepływu pracy. Jeśli na przykład firma odbiera wiadomości e-mail w różnych językach od klientów, może użyć wykrywania języka w celu kierowania wiadomości e-mail według języka do natywnych osób mówiących w celu ułatwienia komunikacji z tymi klientami.

  • Użyj analizy sentymentu, aby monitorować pozytywne i negatywne trendy opinii w ujęciu zbiorczym. Po wprowadzeniu nowego produktu sprzedawca detaliczny może użyć usługi analizy nastrojów, aby monitorować wiele mediów społecznościowych pod kątem wzmianek o produkcie wraz z ich sentymentem. Mogą przeglądać trendy dotyczące nastrojów na cotygodniowych spotkaniach produktowych.

  • Użyj podsumowania, aby wyodrębnić kluczowe informacje z publicznych artykułów z wiadomościami. Aby tworzyć szczegółowe informacje, takie jak trendy i podsumowania wiadomości.

  • Wyodrębnianie kluczowych fraz umożliwia wyświetlanie zagregowanych trendów w danych tekstowych. Na przykład chmura słów może być generowana przy użyciu kluczowych fraz, aby ułatwić wizualizowanie kluczowych pojęć w komentarzach tekstowych lub opiniach. Na przykład hotel może wygenerować chmurę słów na podstawie kluczowych fraz zidentyfikowanych w komentarzach i zobaczyć, że ludzie najczęściej komentują lokalizację, czystość i pomocny personel.

  • Użyj analizy tekstu dla zdrowia, aby uzyskać wgląd i wyodrębnić statystyki. Identyfikowanie jednostek medycznych, takich jak objawy, leki i diagnozy w uwagach klinicznych i różnych dokumentach klinicznych. Te informacje służą do tworzenia szczegółowych informacji i statystyk dotyczących populacji pacjentów, wyszukiwania dokumentów klinicznych, dokumentów badawczych i publikacji.

  • Użyj niestandardowej klasyfikacji tekstu na potrzeby automatycznego klasyfikowania wiadomości e-mail lub biletu. Centra pomocy technicznej wszystkich typów otrzymują dużą liczbę wiadomości e-mail lub zgłoszeń zawierających nieustrukturyzowany, swobodny tekst i załączniki. Terminowe przeglądanie, potwierdzanie i kierowanie do ekspertów wewnętrznych zespołów ma kluczowe znaczenie. Klasyfikacja wiadomości e-mail w tej skali wymaga, aby osoby przeglądały wiadomości e-mail i kierowały je do odpowiednich działów, co zajmuje czas i zasoby. Niestandardowa klasyfikacja tekstu może służyć do analizowania tekstu przychodzącego oraz klasyfikowania i kategoryzowania zawartości, która ma być automatycznie kierowana do odpowiednich działów w celu wykonania dalszych działań.

  • Użyj usługi Conversational Language Understanding, aby utworzyć kompleksowe boty konwersacyjne. Użyj funkcji CLU, aby utworzyć i wytrenować niestandardowy model interpretacji języka naturalnego na podstawie określonej domeny i oczekiwanych wypowiedzi użytkowników. Zintegruj go z dowolnym końcowym botem konwersacyjnym, aby mógł przetwarzać i analizować przychodzący tekst w czasie rzeczywistym, aby zidentyfikować intencję tekstu i wyodrębnić z niego ważne informacje. Aby bot wykonał żądaną akcję na podstawie intencji i wyodrębnionych informacji. Przykładem może być dostosowany bot detaliczny do zakupów online lub zamawiania żywności.

  • Użyj odpowiedzi na pytania do wsparcia obsługi klienta. W większości scenariuszy obsługi klienta często zadawane są często zadawane pytania. Odpowiadanie na pytania pozwala natychmiastowo utworzyć czatbota na podstawie istniejącej bazy wiedzy, a ten bot może pełnić funkcję systemu pierwszego kontaktu do obsługi zapytań klientów. Jeśli nie można odpowiedzieć na pytania bota, dodatkowe składniki mogą pomóc zidentyfikować i oznaczyć pytanie dotyczące interwencji człowieka.

Ograniczenia

Jakość tekstu przychodzącego do systemu będzie mieć wpływ na wyniki.

Funkcje języka sztucznej inteligencji platformy Azure przetwarzają tylko tekst. Wierność i formatowanie tekstu przychodzącego wpłynie na wydajność systemu. Pamiętaj, aby wziąć pod uwagę następujące kwestie:

  • Jakość transkrypcji mowy może mieć wpływ na jakość wyników. Jeśli dane źródłowe są głosem, upewnij się, że używasz najwyższej jakości kombinacji automatycznej i ludzkiej transkrypcji, aby zapewnić najlepszą wydajność. Rozważ użycie niestandardowych modeli mowy w celu uzyskania lepszych wyników.

  • Brak standardowej interpunkcji lub wielkości liter może mieć wpływ na jakość wyników. Jeśli używasz systemu mowy, takiego jak zamiana mowy na tekst w usłudze Azure AI, pamiętaj, aby wybrać opcję dołączenia interpunkcji.

  • Jakość optycznego rozpoznawania znaków (OCR) może mieć wpływ na jakość systemu. Jeśli dane źródłowe są obrazami i używasz technologii OCR do generowania tekstu, niepoprawnie wygenerowany tekst może mieć wpływ na wydajność systemu. Rozważ użycie niestandardowych modeli OCR, aby poprawić jakość wyników.

  • Jeśli dane zawierają częste błędy pisowni, rozważ użycie sprawdzania pisowni Bing, aby poprawić błędy pisowni.

  • Dane tabelaryczne mogą nie być prawidłowo identyfikowane w zależności od sposobu wysyłania tekstu tabeli do systemu. Ocena sposobu wysyłania tekstu z tabel w dokumentach źródłowych do usługi. W przypadku tabel w dokumentach rozważ użycie analizy dokumentów sztucznej inteligencji platformy Azure lub podobnej usługi. Pozwoli to uzyskać odpowiednie klucze i wartości do wysłania do języka AI platformy Azure z kluczami kontekstowymi, które są wystarczająco blisko wartości systemu, aby prawidłowo rozpoznać jednostki.

  • Firma Microsoft wytrenowała modele funkcji języka sztucznej inteligencji platformy Azure (z wyjątkiem wykrywania języka) przy użyciu danych tekstowych języka naturalnego, które składają się głównie z w pełni sformułowanych zdań i akapitów. W związku z tym użycie tej usługi dla danych, które najbardziej przypominają ten typ tekstu, zapewni najlepszą wydajność. Zalecamy unikanie korzystania z tej usługi w celu oceny niekompletnych zdań i fraz tam, gdzie to możliwe, ponieważ wydajność może zostać zmniejszona.

  • Usługa obsługuje tylko tekst w jednym języku. Jeśli tekst zawiera wiele języków, na przykład "kanapka była bueno", dane wyjściowe mogą nie być dokładne.

  • Kod języka musi być zgodny z językiem wejściowym tekstu, aby uzyskać dokładne wyniki. Jeśli nie masz pewności co do języka wejściowego, możesz użyć funkcji wykrywania języka.

Najlepsze rozwiązania dotyczące poprawy wydajności systemu

Niektóre funkcje języka sztucznej inteligencji platformy Azure zwracają współczynniki ufności i można je ocenić przy użyciu podejścia opisanego w poniższych sekcjach. Inne funkcje, które nie zwracają wskaźnika ufności (np. wyodrębnianie słów kluczowych i podsumowywanie), należy ocenić przy użyciu różnych metod.

Omówienie współczynników ufności na potrzeby analizy tonacji, rozpoznawania jednostek nazwanych, wykrywania języka i funkcji kondycji

Analiza sentymentu, rozpoznawanie nazwanych encji, wykrywanie języka i funkcje związane ze zdrowiem, wszystkie te funkcje zwracają wskaźnik ufności jako część odpowiedzi systemu. Jest to wskaźnik tego, jak bardzo usługa ufa odpowiedzi systemu. Wyższa wartość wskazuje, że usługa jest bardziej pewna, że wynik jest dokładny. Na przykład system rozpoznaje jednostkę kategorii Numer Prawa Jazdy USA w tekście 555 555 555, gdy podany jest tekst "Mój numer prawa jazdy NY to 555 555 555" z wynikiem 0,75 i może rozpoznać kategorię Numer Prawa Jazdy USA w tekście 555 555 555 z wynikiem 0,65, jeśli podano tekst "Mój numer NY DL to 555 555 555". Biorąc pod uwagę bardziej szczegółowy kontekst w pierwszym przykładzie, system jest bardziej pewny swojej odpowiedzi. W wielu przypadkach można użyć odpowiedzi systemowej bez sprawdzania wskaźnika ufności. W innych przypadkach można użyć odpowiedzi tylko wtedy, gdy jej współczynnik ufności przekracza określony próg wskaźnika ufności.

Omówienie i mierzenie wydajności

Wydajność funkcji językowych sztucznej inteligencji platformy Azure jest mierzona przez sprawdzenie, jak dobrze system rozpoznaje obsługiwane koncepcje NLP (przy podanej wartości progowej w porównaniu z oceną ludzką). Na przykład, przy wyodrębnianiu nazwanych jednostek (NER) można policzyć rzeczywistą liczbę jednostek numeru telefonu w jakimś tekście na podstawie oceny człowieka, a następnie porównać wyniki systemu z przetwarzania tego samego tekstu. Porównanie osądu ludzkiego z uznanymi jednostkami systemu pozwala sklasyfikować zdarzenia na dwa rodzaje poprawnych zdarzeń (lub "prawda") i dwa rodzaje nieprawidłowych (lub "fałszywych") zdarzeń.

Wynik Odpowiedź prawidłowa/niepoprawna Definicja Przykład
Wynik prawdziwie dodatni Poprawny System zwraca ten sam wynik, który byłby oczekiwany od sędziego ludzkiego. System poprawnie rozpoznaje jednostkę PII kategorii Numer telefonu w tekście 1-234-567-8910 , jeśli podano tekst: "Możesz skontaktować się ze mną pod numerem 1-234-567-9810."
Wyniki prawdziwie ujemne Poprawny System nie zwraca wyniku, a to jest zgodne z oczekiwaniami od sędziego ludzkiego. System nie rozpoznaje żadnej jednostki PII w przypadku podanego tekstu: "Możesz skontaktować się ze mną pod moim numerem biura".
Wynik fałszywie dodatni Błędny System zwraca wynik, którego sędzia ludzki nie byłby w stanie. System niepoprawnie rozpoznaje jednostkę PII kategorii Numer telefonu dla numeru biura tekstowego, gdy zostanie podany tekst: "Możesz skontaktować się ze mną pod moim numerem biura".
Wynik fałszywie ujemny Błędny System nie zwraca wyniku, gdy zrobiłby to sędzia ludzki. System niepoprawnie przegapi jednostkę numer telefonu PII w tekście 1-234-567-8910 , jeśli zostanie podany tekst: "Możesz skontaktować się ze mną pod moim numerem biura 1-234-567-9810."

Funkcje języka sztucznej inteligencji platformy Azure nie zawsze będą poprawne. Prawdopodobnie wystąpią błędy fałszywie ujemne i fałszywie dodatnie. Ważne jest, aby wziąć pod uwagę, jak każdy typ błędu wpłynie na system. Uważnie zastanów się nad scenariuszami, w których prawdziwe zdarzenia nie zostaną rozpoznane i gdzie zostaną rozpoznane nieprawidłowe zdarzenia oraz jakie mogą być skutki podrzędne w implementacji. Pamiętaj, aby utworzyć sposoby identyfikowania, raportowania i reagowania na każdy typ błędu. Zaplanuj okresowe przeglądanie wydajności wdrożonego systemu, aby upewnić się, że błędy są odpowiednio obsługiwane.

Jak ustawić progi wskaźnika ufności

Możesz zdecydować się na podejmowanie decyzji w systemie w oparciu o współczynnik ufności zwracany przez system. Możesz dostosować próg wskaźnika ufności używany przez system do spełnienia Twoich potrzeb. Jeśli ważniejsze jest zidentyfikowanie wszystkich potencjalnych wystąpień żądanych pojęć nlp, możesz użyć niższego progu. Oznacza to, że może wystąpić więcej wyników fałszywie dodatnich, ale mniej wyników fałszywie ujemnych. Jeśli dla systemu ważniejsze jest rozpoznawanie tylko rzeczywistych wystąpień wywoływanej funkcji, możesz użyć wyższego progu. Jeśli używasz wyższego progu, możesz uzyskać mniej wyników fałszywie dodatnich, ale więcej wyników fałszywie ujemnych. Różne scenariusze wymagają różnych podejść. Ponadto wartości progowe mogą nie mieć spójnego zachowania w poszczególnych funkcjach języka AI platformy Azure i kategorii jednostek. Na przykład nie należy zakładać, że użycie określonego progu dla kategorii rozpoznawania nazwanych jednostek (NER) takich jak Numer telefonu, będzie wystarczające dla innej kategorii NER, ani że próg stosowany w rozpoznawaniu nazwanych jednostek (NER) będzie działał podobnie w przypadku analizy sentymentu. W związku z tym ważne jest, aby przetestować system przy użyciu wszelkich progów, które rozważasz za pomocą rzeczywistych danych, aby określić skutki różnych wartości progowych systemu w kontekście, który będzie używany.

Sprawiedliwość

W firmie Microsoft staramy się wspierać każdą osobę na świecie, aby osiągnąć więcej. Istotną częścią tego celu jest stworzenie technologii i produktów, które są sprawiedliwe i inkluzywne. Sprawiedliwość to wielowymiarowy, socjotechniczny temat i ma wpływ na wiele różnych aspektów naszego rozwoju produktu. Więcej informacji na temat podejścia firmy Microsoft do sprawiedliwości można znaleźć tutaj.

Jednym z wymiarów, które musimy wziąć pod uwagę, jest to, jak dobrze działa system dla różnych grup osób. Może to obejmować przyjrzenie się dokładności modelu, a także pomiar wydajności kompletnego systemu. Badania wykazały, że bez świadomego wysiłku skoncentrowanego na poprawie wydajności we wszystkich grupach, często możliwe jest, że wydajność systemu sztucznej inteligencji różni się między grupami na podstawie czynników, takich jak rasa, pochodzenie etniczne, język, płeć i wiek.

Każda usługa i funkcja są inne, a nasze testy mogą nie być idealnie zgodne z kontekstem lub obejmować wszystkie scenariusze wymagane w twoim przypadku użycia. Zachęcamy deweloperów do dokładnej oceny współczynników błędów dla usługi przy użyciu rzeczywistych danych, które odzwierciedlają przypadek użycia, w tym testowanie z użytkownikami z różnych grup demograficznych.

W przypadku języka sztucznej inteligencji platformy Azure niektóre dialekty i odmiany języków w obsługiwanych językach i tekście z niektórych grup demograficznych mogą jeszcze nie mieć wystarczającej reprezentacji w naszych bieżących zestawach danych szkoleniowych. Zachęcamy do zapoznania się z naszymi wytycznymi dotyczącymi odpowiedzialnego używania, a jeśli wystąpią różnice w wydajności, zachęcamy do informowania nas o tym.

Wydajność różni się w zależności od funkcji i języków

Dla każdej funkcji języka sztucznej inteligencji platformy Azure obsługiwane są różne języki. Może się okazać, że wydajność określonej funkcji nie jest zgodna z inną funkcją. Ponadto może się okazać, że w przypadku określonej funkcji wydajność nie jest spójna w różnych językach.

Dalsze kroki

Jeśli używasz dowolnej z poniższych funkcji, zapoznaj się z konkretnymi informacjami dotyczącymi tej funkcji.

Zobacz także

Pamiętaj również, aby przejrzeć następujące elementy: