Cechy i ograniczenia usługi Personalizacja
Ważne
Od 20 września 2023 r. nie będzie można tworzyć nowych zasobów usługi Personalizacja. Usługa Personalizacja jest wycofywana 1 października 2026 r.
Usługa Azure AI Personalizacja może działać w wielu scenariuszach. Aby dowiedzieć się, gdzie można zastosować usługę Personalizacja, upewnij się, że wymagania scenariusza spełniają oczekiwania dotyczące usługi Personalizacja. Aby dowiedzieć się, czy usługa Personalizacja powinna być używana i jak ją zintegrować z aplikacjami, zobacz Przypadki użycia usługi Personalizacja. Znajdziesz kryteria i wskazówki dotyczące wybierania przypadków użycia, projektowania funkcji i funkcji nagradzania na potrzeby korzystania z usługi Personalizacja.
Przed przeczytaniem tego artykułu warto zrozumieć niektóre podstawowe informacje na temat działania usługi Personalizacja.
Wybieranie funkcji usługi Personalizacja
Personalizowanie zawartości zależy od posiadania przydatnych informacji o zawartości i użytkowniku. W przypadku niektórych aplikacji i branż niektóre funkcje użytkownika mogą być bezpośrednio lub pośrednio uznawane za dyskryminujące i potencjalnie nielegalne. Zapoznaj się z wytycznymi dotyczącymi integracji usługi Personalizacja i odpowiedzialnego używania funkcji w celu oceny funkcji do użycia z usługą Personalizacja.
Nagrody za przetwarzanie za usługę Personalizacja
Usługa Personalizacja uczy się ulepszać wybory akcji na podstawie wyniku nagrody zapewnianego przez logikę biznesową aplikacji. Dobrze zbudowany wynik nagrody będzie działać jako krótkoterminowy serwer proxy do celu biznesowego powiązanego z misją organizacji. Na przykład nagradzanie kliknięć spowoduje, że funkcja Personalizacja wyszuka kliknięcia kosztem wszystkiego innego, nawet jeśli kliknięte elementy rozpraszają uwagę użytkownika lub nie są powiązane z wynikiem biznesowym. Z kolei witryna wiadomości może chcieć ustawić nagrody związane z czymś bardziej zrozumiałym niż kliknięcia, na przykład "Czy użytkownik spędził wystarczająco dużo czasu, aby przeczytać zawartość?" lub "Czy użytkownik kliknie odpowiednie artykuły lub odwołania?" Dzięki usłudze Personalizacja łatwo jest ściśle powiązać metryki z nagrodami. Należy jednak zachować ostrożność, aby nie zakłócać krótkoterminowego zaangażowania użytkowników z pożądanymi wynikami.
Niezamierzone konsekwencje wynikające z wyników nagród
Nawet jeśli utworzono wyniki nagród z najlepszymi intencjami, mogą spowodować nieoczekiwane konsekwencje lub niezamierzone wyniki ze względu na to, jak usługa Personalizacja plasuje zawartość.
Rozważ następujące przykłady:
- Nagradzanie personalizacji zawartości wideo w procentach oglądanych wideo prawdopodobnie będzie mieć tendencję do wyższej rangi krótszych filmów niż dłuższe filmy wideo.
- Nagradzanie udziałów w mediach społecznościowych, bez analizy tonacji sposobu udostępniania lub samej zawartości, może prowadzić do klasyfikowania obraźliwych, niemoderowanych lub zapalnych treści. Ten typ zawartości zwykle podżega do dużego zaangażowania, ale często jest szkodliwy.
- Nagradzanie akcji dotyczących elementów interfejsu użytkownika, których użytkownicy nie spodziewają się zmiany, może zakłócać użyteczność i przewidywalność interfejsu użytkownika. Na przykład przyciski, które zmieniają lokalizację lub cel bez ostrzeżenia, mogą utrudnić niektórym grupom użytkowników utrzymanie produktywności.
Zaimplementuj następujące najlepsze rozwiązania:
- Uruchamianie eksperymentów w trybie offline z systemem przy użyciu różnych metod nagradzania w celu zrozumienia wpływu i skutków ubocznych.
- Oceń funkcje nagrody i zadaj sobie pytanie, w jaki sposób naiwna osoba może zmienić swoją interpretację, co może spowodować niezamierzone lub niepożądane wyniki.
- Archiwizowanie informacji i zasobów, takich jak modele, zasady szkoleniowe i inne dane, których usługa Personalizacja używa do działania, dzięki czemu wyniki mogą być powtarzalne.
Ogólne wskazówki dotyczące zrozumienia i poprawy wydajności
Ponieważ usługa Personalizacja opiera się na Edukacja wzmacniania i uczy się od nagród w celu podejmowania lepszych wyborów w czasie, wydajność nie jest mierzona w tradycyjnych nadzorowanych terminach uczenia używanych w klasyfikatorach, takich jak precyzja i kompletność. Wydajność usługi Personalizacja jest mierzona bezpośrednio jako suma wyników nagród, które otrzymuje od aplikacji za pośrednictwem interfejsu API programu Reward.
W przypadku korzystania z usługi Personalizacja interfejs użytkownika produktu w witrynie Azure Portal zawiera informacje o wydajności, dzięki czemu można monitorować i wykonywać na nim działania. Wydajność można zobaczyć na następujące sposoby:
- Jeśli usługa Personalizacja jest w trybie Edukacja online, możesz przeprowadzić oceny w trybie offline.
- Jeśli usługa Personalizacja jest w trybie ucznia, w okienku Ocena w witrynie Azure Portal możesz zobaczyć metryki wydajności (zdarzenia imitowane i nagrody).
Zalecamy częste przeprowadzanie ocen offline w celu utrzymania nadzoru. To zadanie pomoże Ci monitorować trendy i zapewnić skuteczność. Na przykład możesz zdecydować się na tymczasowe umieszczenie usługi Personalizacja w trybie praktykanta, jeśli wydajność nagrody ma spadek.
Szacowanie wydajności usługi Personalizacja pokazane w ocenach offline: ograniczenia
Definiujemy "wydajność" usługi Personalizacja jako łączną liczbę nagród, które uzyskuje podczas korzystania. Oszacowania wydajności personalizacji wyświetlane w ocenach offline są obliczane zamiast mierzone. Ważne jest, aby zrozumieć ograniczenia tych szacunków:
- Oszacowania są oparte na poprzednich danych, więc przyszłe wyniki mogą się różnić w miarę zmian w świecie i użytkownikach.
- Oszacowania wydajności punktu odniesienia są obliczane probabilistycznie. Z tego powodu przedział ufności dla średniej nagrody punktu odniesienia jest ważny. Oszacowanie będzie bardziej precyzyjne w przypadku większej liczby zdarzeń. W przypadku użycia mniejszej liczby akcji w każdym wywołaniu rangi oszacowanie wydajności może zwiększyć zaufanie, ponieważ istnieje większe prawdopodobieństwo, że usługa Personalizacja może wybrać jedną z nich (w tym akcję punktu odniesienia) dla każdego zdarzenia.
- Personalizacja stale trenuje model w czasie niemal rzeczywistym, aby poprawić akcje wybrane dla każdego zdarzenia, a w rezultacie wpłynie to na łączną liczbę uzyskanych nagród. Wydajność modelu będzie się różnić w czasie, w zależności od ostatnich danych treningowych.
- Wybór eksploracji i akcji to stochastyczne procesy sterowane modelem personalizacji. Liczby losowe używane dla tych procesów stochastycznych są rozmieszczane z identyfikatora zdarzenia. Aby zapewnić powtarzalność eksploracyjnych i innych procesów stochastycznych, użyj tego samego identyfikatora zdarzenia.
- Wydajność online może być ograniczona przez eksplorację. Obniżenie ustawień eksploracji ograniczy ilość zbieranych informacji, aby pozostać na bieżąco ze zmieniającymi się trendami i wzorcami użycia, więc równowaga zależy od każdego przypadku użycia. Niektóre przypadki użycia zasługują na rozpoczęcie od wyższych ustawień eksploracji i zmniejszenie ich w czasie (np. rozpoczęcie od 30% i zmniejszenie do 10%).
Sprawdzanie istniejących modeli, które mogą przypadkowo odchylić usługę Personalizacja
Istniejące rekomendacje, segmentacja klientów i dane wyjściowe modelu skłonność mogą być używane przez aplikację jako dane wejściowe do personalizacji. Personalizacja uczy się lekceważyć funkcje, które nie przyczyniają się do nagród. Przejrzyj i oceń wszelkie modele skłonność, aby ustalić, czy są one dobre w przewidywaniu nagród i zawierają silne uprzedzenia, które mogą generować szkody jako efekt uboczny. Na przykład poszukaj zaleceń, które mogą być oparte na szkodliwych stereotypach. Rozważ użycie narzędzi, takich jak FairLearn , aby ułatwić ten proces.
Proaktywne oceny podczas cyklu życia projektu
Rozważ utworzenie metod dla członków zespołu, użytkowników i właścicieli firm, aby zgłosić obawy dotyczące odpowiedzialnego użycia i procesu, który określa priorytety ich rozwiązania. Rozważ traktowanie zadań do odpowiedzialnego użycia, podobnie jak inne zadania krzyżowe w cyklu życia aplikacji, takie jak zadania związane z środowiskiem użytkownika, zabezpieczeniami lub metodykami DevOps. Zadania związane z odpowiedzialnym użyciem i ich wymaganiami nie powinny być wykonywane później. Należy omówić i zaimplementować odpowiedzialne użycie w całym cyklu życia aplikacji.