Udostępnij za pośrednictwem


Analiza liczników i analizy warunkowej

Liczniki warunkowe odnoszą się do pytania, co model będzie przewidywał w przypadku zmiany danych wejściowych akcji. Umożliwiają one zrozumienie i debugowanie modelu uczenia maszynowego pod względem sposobu reagowania na zmiany danych wejściowych (funkcji).

Standardowe techniki interpretacji przybliżają model uczenia maszynowego lub klasyfikują funkcje według ich ważności predykcyjnej. Z kolei analiza przeciwraktowa "przesłuchuje" model w celu określenia, jakie zmiany w określonym punkcie danych przerzucałyby decyzję modelu.

Taka analiza ułatwia oddzielenie wpływu skorelowanych cech w izolacji. Pomaga również lepiej zrozumieć, ile zmian funkcji jest potrzebnych, aby zobaczyć przerzucanie decyzji modelu dla modeli klasyfikacji i zmianę decyzji w przypadku modeli regresji.

Analiza przeciwraktowa i składnik analizy warunkowejpulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji ma dwie funkcje:

  • Wygeneruj zestaw przykładów z minimalnymi zmianami w określonym punkcie, tak aby zmieniały przewidywanie modelu (pokazując najbliższe punkty danych z przeciwległymi przewidywaniami modelu).
  • Umożliwianie użytkownikom generowania własnych perturbacji warunkowych, aby zrozumieć, w jaki sposób model reaguje na zmiany funkcji.

Jednym z najważniejszych wyróżnień składnika analizy counterfactual analysis pulpitu nawigacyjnego odpowiedzialnej sztucznej inteligencji jest fakt, że można zidentyfikować, które funkcje mają się różnić, a ich dopuszczalne zakresy dla prawidłowych i logicznych przykładów przeciwstawnych.

Możliwości tego składnika pochodzą z pakietu DiCE .

W razie potrzeby użyj kontraktów warunkowych:

  • Przeanalizuj kryteria sprawiedliwości i niezawodności jako ewaluatora decyzyjnego, perturbując poufne atrybuty, takie jak płeć i pochodzenie etniczne, a następnie obserwując, czy prognozy modelu zmieniają się.
  • Szczegółowe debugowanie określonych wystąpień wejściowych.
  • Dostarczaj rozwiązania użytkownikom i określ, co mogą zrobić, aby uzyskać pożądany wynik z modelu.

W jaki sposób są generowane alternatywne przykłady?

Aby wygenerować counterfactuals, DiCE implementuje kilka technik gnostycznych modelu. Te metody mają zastosowanie do dowolnego nieprzezroczystego klasyfikatora lub regresji. Są one oparte na próbkowaniu punktów w pobliżu punktu wejściowego, jednocześnie optymalizując funkcję straty w oparciu o bliskość (i opcjonalnie, rozrzedy, różnorodność i wykonalność). Obecnie obsługiwane metody to:

  • Wyszukiwanie losowe: ta metoda losowo wskazuje punkt zapytania w pobliżu punktu zapytania i zwraca liczniki jako punkty, których przewidywana etykieta jest żądaną klasą.
  • Wyszukiwanie genetyczne: Ta metoda próbkuje punkty przy użyciu algorytmu genetycznego, biorąc pod uwagę połączony cel optymalizacji zbliżenia do punktu zapytania, zmiany możliwie najmniejszej liczby cech i poszukiwania różnorodności wśród wygenerowanych kontraktów.
  • Wyszukiwanie drzewa KD: ten algorytm zwraca kontractuals z zestawu danych trenowania. Tworzy drzewo KD na punktach danych treningowych na podstawie funkcji odległości, a następnie zwraca najbliższe punkty do określonego punktu zapytania, który daje żądaną przewidywaną etykietę.

Następne kroki