Характеристики и ограничения Персонализатора
Важно!
Начиная с 20 сентября 2023 г. вы не сможете создавать новые ресурсы Персонализатора. Служба Персонализатора отменяется 1 октября 2026 года.
Персонализатор ИИ Azure может работать во многих сценариях. Чтобы понять, где применяется Персонализатор, убедитесь, что требования вашего сценария соответствуют ожиданиям работы Персонализатора. Чтобы понять, следует ли использовать Персонализатор и как интегрировать его в приложения, ознакомьтесь с вариантами использования Персонализатора. Вы найдете критерии и рекомендации по выбору вариантов использования, проектированию функций и функций вознаграждения для использования Персонализатора.
Перед чтением этой статьи, ознакомьтесь с некоторыми справочными сведениями о работе Персонализатора.
Выбор признаков для Персонализатора
Персонализация содержимого зависит от полезной информации о содержимом и пользователе. Для некоторых приложений и отраслей определенные признаки могут прямо или косвенно считаться дискриминационными или даже противозаконными. Ознакомьтесь с руководством по интеграции и ответственному использованию Персонализатора, чтобы оценить признаки, которые можно с ним использовать.
Вычисление вознаграждений для Персонализатора
Персонализатор учится улучшать выбор действий на основе оценки вознаграждения, предоставляемой бизнес-логикой вашего приложения. Хорошо продуманные оценки вознаграждений выполняют роль краткосрочных факторов для достижения бизнес-целей, связанных с глобальными задачами организации. Например, получение вознаграждений за переходы по ссылкам сопряжено с тем, что Персонализатор будет учитывать любые переходы, даже если они отвлекают пользователя или не связаны с бизнес-результатами. Напротив, на новостном сайте может потребоваться установить вознаграждение, привязанное к чему-то более значимому, чем клики, например, «Потратил ли пользователь достаточно времени на чтение контента?» или «Нажимал ли пользователь на соответствующие статьи или ссылки?» С Персонализатором легко связать показатели с вознаграждениями. Однако вам нужно быть осторожным, чтобы не спутать краткосрочное взаимодействие пользователей с желаемыми результатами.
Непредвиденные последствия применения оценок вознаграждения
Даже если они созданы с самыми лучшими намерениями, оценки вознаграждений могут привести к неожиданным последствиям или непредвиденным результатам из-за того, как Персонализатор ранжирует контент.
Рассмотрим следующие примеры:
- Вознаграждение в рамках персонализации видеоконтента с учетом длительности просмотренного видео может привести к завышенному рейтингу коротких роликов, а не длинных.
- Вознаграждение репостов в социальных сетях без анализа тональности и самого содержимого может привести к ранжированию оскорбительного, немодерируемого или подстрекательского контента. Такой тип контента, как правило, повышает вовлеченность пользователей, но часто наносит ущерб.
- Вознаграждение за действия, связанные с элементами пользовательского интерфейса, которые пользователи не собираются изменять, может повлиять на удобство использования и предсказуемость пользовательского интерфейса. Например, кнопки, изменяющие расположение или назначение без предупреждения, могут усложнять работу определенных групп пользователей.
Следуйте следующим рекомендациям:
- Протестируйте систему в автономном режиме, используя разные подходы к вознаграждениям, чтобы изучить влияние и побочные эффекты.
- Оцените функции вознаграждения и спросите себя, как неопытный человек может изменить его интерпретацию, которая может привести к непреднамеренным или нежелательным результатам.
- Архивируйте информацию и ресурсы, с которыми работает Персонализатор, включая модели, политики обучения и другие данные, чтобы воспроизвести результаты.
Общие рекомендации по пониманию и повышению производительности
Поскольку Персонализатор основан на обучении с подкреплением сигналами только от среды взаимодействия и учится, основываясь на получении вознаграждений, чтобы со временем делать лучший выбор, производительность не измеряется в традиционных контролируемых терминах обучения, используемых в классификаторах, таких как точность и полнота. Производительность Персонализатора напрямую измеряется в виде суммы оценок вознаграждения, получаемых от приложения через API вознаграждения.
При использовании Персонализатора, пользовательский интерфейс продукта на портале Azure предоставляет информацию о производительности, чтобы вы могли ее отслеживать и действовать в соответствии с ней. Производительность можно увидеть следующими способами:
- Если Персонализатор находится в режиме онлайн-обучения, можно выполнить автономную оценку.
- Если Персонализатор находится в режиме ученика, вы увидите метрики производительности (имитированные события и имитированные награды) в секции оценки на портале Azure.
Мы рекомендуем вам выполнять частые автономные оценивания для поддержания контроля. Это позволит отслеживать тенденции и эффективность. Например, вы можете временно поставить Персонализатор в режим ученика, если производительность вознаграждения падает.
Оценки производительности Персонализатора, показанные в автономных оценках: ограничения
Мы определяем "производительность" Персонализатора в качестве общего вознаграждения, получаемого во время использования. Оценки производительности Персонализатора, показанные в автономных оценках, вычисляются, а не измеряются. Важно понимать ограничения этих оценок:
- оценки основаны на прошлых данных, поэтому будущая производительность может меняться по мере изменения окружающего мира и пользователей.
- оценки базовой производительности вычисляются в вероятностном смысле. По этой причине важна доверительная полоса для базового среднего вознаграждения. Оценка будет точнее с большим количеством событий. Если вы используете меньшее количество действий в каждом вызове ранжирования, оценка производительности может увеличиться, так как существует более высокая вероятность того, что Персонализатор может выбрать любое из них (включая базовое действие) для каждого события.
- Персонализатор постоянно обучает модель практически в режиме реального времени, чтобы улучшить действия, выбранные для каждого события, что в результате повлияет на общее количество полученных вознаграждений. Производительность модели будет меняться с течением времени в зависимости от последних данных режима обучения.
- Поиск и выбор действий — это стохастические процессы, управляемые моделью Персонализатора. Случайные числа, используемые для этих стохастических процессов, заполняются идентификатором события. Чтобы обеспечить воспроизводимость исследований и других стохастических процессов, используйте тот же идентификатор события.
- Производительность в Сети может ограничиваться просмотром. Снижение параметров исследования ограничивает объем собираемых сведений, чтобы оставаться на вершине изменяющихся тенденций и шаблонов использования, поэтому баланс зависит от каждого варианта использования. В некоторых вариантах использования стоит начинать с более высоких параметров исследования и уменьшать их со временем (например, начать с 30% и уменьшить до 10%).
Проверьте существующие модели, которые могут случайно повлиять на Персонализатор.
Существующие рекомендации, сегментация клиентов и выходные данные контрольных групп по индексу соответствия могут использоваться приложением в качестве входных данных для Персонализатора. Персонализатор учится игнорировать функции, которые не способствуют вознаграждениям. Просмотрите и оцените любые контрольные группы по индексу соответствия, чтобы определить, хорошо ли они прогнозируют вознаграждения и содержат сильные предубеждения, которые могут привести к ущербу в качестве побочных эффектов. Например, найдите рекомендации, которые могут быть основаны на вредных стереотипах. Рассмотрите возможность использования таких инструментов, как FairLearn, для упрощения процесса.
Упреждающее оценки на протяжении жизненного цикла проекта
Создайте механизмы, которые позволят сотрудникам, пользователям и владельцам бизнеса сообщать свое мнение об ответственном использовании службы, а также соответствующие процессы для приоритетного устранения таких проблем. Относитесь к задачам по ответственному использованию так же, как к другим задачам, которые затрагивают все смежные области (взаимодействие с пользователями, безопасность, DevOps и т. д.). Задачи, связанные с ответственным использованием, и их требования не должны быть запоздалыми. Ответственное использование должно регулярно обсуждаться и внедряться на протяжении всего жизненного цикла приложения.