Merkmale und Einschränkungen der Personalisierung

Artikel
01/19/2024

Wichtig

Ab dem 20. September 2023 können Sie keine neuen Personalisierungsressourcen mehr erstellen. Der Personalisierungsdienst wird am 1. Oktober 2026 eingestellt.

Die Azure KI Personalisierung kann in vielen Szenarien funktionieren. Um zu verstehen, wo Sie die Personalisierung anwenden können, stellen Sie sicher, dass die Anforderungen Ihres Szenarios die Erwartungen für die Personalisierung erfüllen. Informationen dazu, ob die Personalisierung verwendet werden sollte und wie Sie diese in Ihre Anwendungen integrieren, finden Sie unter Anwendungsfälle für die Personalisierung. Dort finden Sie Kriterien und Anleitungen zum Auswählen von Anwendungsfällen, Entwerfen von Features sowie zu Belohnungsfunktionen für Ihre Verwendung der Personalisierung.

Bevor Sie diesen Artikel lesen, sollten Sie einige Hintergrundinformationen zur Funktionsweise der Personalisierung kennen.

Auswählen von Merkmalen für die Personalisierung

Personalisierung von Inhalten ist davon abhängig, dass nützliche Informationen über den Inhalt und den Benutzer vorhanden sind. In einigen Anwendungen und Branchen können manche Benutzermerkmale direkt oder indirekt als diskriminierend und potenziell illegal betrachtet werden. Sehen Sie sich die Richtlinien zur Integration und verantwortungsvollen Verwendung der Personalisierung in Bezug auf die Bewertung von Merkmalen an, die mit der Personalisierung verwendet werden sollen.

Berechnung von Relevanzen für die Personalisierung

Basierend auf dem Bewertungsscore, der von der Geschäftslogik Ihrer Anwendung bereitgestellt wird, lernt die Personalisierung, die Auswahl von Aktionen zu verbessern. Ein gut aufgebauter Bewertungsscore fungiert als kurzfristige Stellvertretung für ein Geschäftsziel, das mit der Mission einer Organisation verknüpft ist. Ein Beispiel: Belohnungen für Klicks veranlassen die Personalisierung, auf Kosten aller anderen Aspekte nach Klicks zu suchen, selbst wenn das, worauf geklickt wird, die Benutzer ablenkt oder nicht mit einem Geschäftsergebnis verknüpft ist. Im Gegensatz dazu könnte eine Nachrichtenwebsite Belohnungen festlegen, die mit etwas Aussagekräftigerem verknüpft sind als Klicks, z. B. mit Aspekten wie „Haben die Benutzer genügend Zeit mit dem Lesen des Inhalts verbracht?“ oder „Haben die Benutzer auf relevante Artikel oder Verweise geklickt?“ Mit der Personalisierung lassen sich Metriken ganz einfach eng mit Belohnungen verknüpfen. Allerdings dürfen Sie eine kurzfristige Kundenbindung nicht mit den gewünschten Ergebnissen verwechseln.

Unbeabsichtigte Folgen von Relevanzbewertungen

Aufgrund der von der Personalisierung erstellten Rangfolge der Inhalte können Belohnungsscores jedoch, auch wenn sie mit den allerbesten Absichten erstellt wurden, zu unerwarteten Folgen oder unbeabsichtigten Ergebnissen führen.

Betrachten Sie die folgenden Beispiele:

Das Belohnen der Personalisierung von Videoinhalten basierend auf dem Prozentsatz der angesehenen Videolänge führt möglicherweise dazu, dass kürzere Videos einen höheren Rang erhalten als längere.
Wenn das Teilen von Inhalten in sozialen Medien belohnt wird, ohne dass eine Stimmungsanalyse der Art des Teilens oder eine Analyse der Inhalte ausgeführt wird, kann dies dazu führen, dass beleidigende, nicht moderierte oder sogar aufrührerische Inhalte einen höheren Rang erhalten. Für solche Inhalte lässt sich oft eine sehr rege Benutzerbeteiligung verzeichnen, aber sie sind häufig schädlich.
Eine Belohnung für eine Aktion für Benutzeroberflächenelemente, für die Benutzer keine Veränderung erwarten, kann die Nutzbarkeit und Vorhersagbarkeit der Benutzeroberfläche beeinträchtigen. Beispielsweise können Schaltflächen, deren Position oder Zweck sich ohne Vorwarnung ändert, die Produktivität bestimmter Gruppen von Benutzern einschränken.

Implementieren Sie diese bewährten Methoden:

Führen Sie Offlineexperimente mit Ihrem System durch, indem Sie verschiedene Belohnungsansätze verwenden, um Auswirkungen und Nebenwirkungen zu verstehen.
Bewerten Sie Ihre Belohnungsfunktionen, und stellen Sie sich die Frage, wie eine ahnungslose Person die Interpretation verändern könnte, was zu unbeabsichtigten oder unerwünschten Ergebnissen führen kann.
Archivieren Sie Informationen und Ressourcen – z. B. Modelle, Lernrichtlinien und andere Daten, die die Personalisierung für ihre Funktion verwendet, damit Ergebnisse reproduziert werden können.

Allgemeine Richtlinien zum Verstehen und Verbessern der Leistung

Da die Personalisierung auf Lernen durch Verstärkung basiert und von Belohnungen lernt, um im Lauf der Zeit bessere Entscheidungen treffen zu können, wird die Leistung nicht in Begriffen des herkömmlichen überwachten Lernens gemessen, die in Klassifizierern verwendet werden, z. B. Genauigkeit und Abruf. Die Leistung der Personalisierung wird direkt als Summe der Belohnungsbewertungen gemessen, die sie von Ihrer Anwendung über die Belohnungs-API erhält.

Wenn Sie die Personalisierung verwenden, bietet die Produktbenutzeroberfläche im Azure-Portal Leistungsinformationen, sodass Sie die Leistung überwachen und entsprechend handeln können. Die Leistung kann auf folgende Weise angezeigt werden:

Wenn sich die Personalisierung im Onlinelernmodus befindet, können Sie Offlineauswertungen ausführen.
Wenn sich die Personalisierung im Ausbildungsmodus befindet, können Sie die Leistungsmetriken (imitierte Ereignisse und Belohnungen) im Auswertungsbereich des Azure-Portals anzeigen.

Es empfiehlt sich, häufig Offlineauswertungen durchzuführen, um den Überblick zu behalten. Diese Aufgabe hilft Ihnen dabei, Trends zu überwachen und die Effektivität sicherzustellen. Sie können beispielsweise entscheiden, die Personalisierung vorübergehend in den Ausbildungsmodus zu versetzen, wenn die Belohnungsleistung einen niedrigen Wert zeigt.

Leistungsschätzungen der Personalisierung, die in Offlineauswertungen gezeigt werden: Einschränkungen

Wir definieren die „Leistung“ der Personalisierung als die Gesamtmenge an Belohnungen, die sie während der Nutzung erhält. Die in Offlineauswertungen gezeigten Leistungsschätzungen der Personalisierung werden nicht gemessen, sondern berechnet. Es ist wichtig, die Einschränkungen dieser Schätzungen zu verstehen:

Die Schätzungen basieren auf Daten der Vergangenheit, daher kann die zukünftige Leistung abweichen, da sich die Welt und Ihre Benutzer verändern.
Die Schätzungen für die Baselineleistung werden probabilistisch berechnet. Aus diesem Grund ist das Konfidenzband für die durchschnittliche Baselinebelohnung wichtig. Schätzungen werden mit einer größeren Anzahl von Ereignissen präziser. Wenn Sie in jedem Rangaufruf eine kleinere Anzahl von Aktionen verwenden, kann die Konfidenz der Leistungsschätzung steigen, da die Wahrscheinlichkeit höher ist, dass die Personalisierung für jedes Ereignis eine der Aktionen auswählt (einschließlich der Baselineaktion).
Die Personalisierung trainiert ein Modell ständig nahezu in Echtzeit, um die für jedes Ereignis ausgewählten Aktionen zu verbessern. Dies wirkt sich auf die Gesamtanzahl von erhaltenen Belohnungen aus. Die Modellleistung variiert im Lauf der Zeit, je nach den Trainingsdaten der jüngsten Vergangenheit.
Erkundung und Aktionsauswahl sind stochastische Verfahren, die vom Personalisierungsmodell gelenkt werden. Die für diese stochastischen Verfahren verwendeten Zufallszahlen werden aus der Ereignis-ID bezogen. Verwenden Sie die gleiche Ereignis-ID, um die Reproduzierbarkeit von Erkundungen/Auswertungen und anderen stochastischen Verfahren zu gewährleisten.
Die Onlineleistung kann durch Erkundung gedeckelt werden. Durch Senken der Erkundungseinstellungen wird begrenzt, wie viel Informationen gesammelt werden, um sich wandelnde Trends und Nutzungsmuster zu erfassen, daher hängt die richtige Balance vom jeweiligen Anwendungsfall ab. Bei einigen Anwendungsfällen ist es sinnvoll, mit höheren Erkundungseinstellungen zu beginnen und sie im Laufe der Zeit zu senken (Sie können z. B. mit 30 % beginnen und später auf 10 % senken).

Überprüfen vorhandener Modelle, die zu einer Voreingenommenheit der Personalisierung führen können

Vorhandene Empfehlungen, Kundensegmentierungen und Ausgaben von Neigungsmodellen können von Ihrer Anwendung als Eingaben für die Personalisierung verwendet werden. Die Personalisierung lernt, Merkmale zu ignorieren, die nicht zu Belohnungen beitragen. Überprüfen und bewerten Sie alle Neigungsmodelle, um festzustellen, ob sie Belohnungen sicher vorhersagen und ein hohes Maß an Voreingenommenheit enthalten, die Schaden anrichten könnte. Suchen Sie beispielsweise nach Empfehlungen, die auf schädlichen Stereotypen basieren können. Erwägen Sie die Verwendung von Tools wie FairLearn, um den Prozess zu erleichtern.

Proaktive Bewertungen während Ihres Projektlebenszyklus

Erwägen Sie, Methoden zu erstellen, mit denen Teammitglieder, Benutzer und Geschäftsinhaber Bedenken hinsichtlich der verantwortungsvollen Verwendung melden können. Sie können zudem einen Prozess entwickeln, der die Auflösung solcher Bedenken priorisiert. Erwägen Sie, Aufgaben der verantwortungsvollen Verwendung wie alle anderen bereichsübergreifenden Aufgaben im Anwendungslebenszyklus zu behandeln, etwa im Zusammenhang mit Benutzererlebnis, Sicherheit oder DevOps. Aufgaben im Zusammenhang mit einer verantwortungsvollen Verwendung und die zugehörigen Anforderungen dürfen nicht erst im Nachhinein hinzugefügt werden. Die verantwortungsvolle Verwendung sollte während des gesamten Lebenszyklus der Anwendung diskutiert und implementiert werden.