Выполнение экспериментов в приложении с использованием A/B-тестирования

  • Статья

Вы можете использовать Центр партнеров для определения удаленных переменных, которые можно получить во время выполнения из приложений универсальная платформа Windows (UWP), и протестировать варианты этих значений с пользователями, чтобы определить наиболее эффективные значения для управления требуемым поведением пользователей. Приложение может использовать удаленные переменные для настройки поведения приложения, например покупок из приложения, процедура входа, заголовки и размещение рекламы.

Целью A/B-теста должно стать выявление варианта значений удаленной переменной, который, скорее всего, обеспечит оптимальные коэффициенты конверсии (например, больше покупок в приложении) благодаря более удобной работе в приложении. Определив успешный вариант, вы можете немедленно завершить эксперимент и включить его для всей аудитории пользователей в Центре партнеров без необходимости повторной публикации приложения.

Создание и выполнение A/B-теста

Чтобы создать и выполнить A/B-тест, выполните следующие действия.

  1. Создайте проект и определите удаленные переменные в Центре партнеров. Этот проект содержит переменные и значения переменных по умолчанию для ваших экспериментов.
  2. Код приложения для экспериментов. Используйте API в Microsoft Store Services SDK для получения значений удаленных переменных из проекта, созданного в Центре партнеров, используйте эти данные для изменения поведения проверяемой функции и отправки событий просмотра и преобразования в Центр партнеров.
  3. Определите эксперимент в Центре партнеров . Создайте в своем проекте эксперимент, определяющий уникальные цели и варианты для вашего A/B-теста.
  4. Запустите эксперимент и управляйте им в Ashboard в Центре партнеров. Активируйте эксперимент и используйте Центр партнеров, чтобы просмотреть результаты эксперимента и завершить эксперимент.

Пошаговое руководство, которое описывает весь процесс, см. в разделе Создание и запуск первого эксперимента с использованием A/B-тестирования.

Требования

A/B-тестирование в Центре партнеров поддерживается только для приложений UWP.

Прежде чем начинать эксперименты с A/B-тестированием, необходимо настроить компьютер, на котором ведется разработка.

  • Следуйте инструкциям, приведенным здесь, для настройки компьютера разработчика для разработки UWP.
  • Установите пакет Microsoft Store Services SDK. Помимо API для экспериментов этот пакет SDK также предоставляет API для других функций, таких как отображение рекламы и направление пользователей в Центр отзывов для сбора отзывов о приложении.

Рекомендации

Для получения оптимальных результатов рекомендуем соблюдать следующие инструкции во время экспериментов с A/B-тестированием.

  • Проведите эксперимент только с двумя вариантами со случайным распределением вариантов 50/50.
  • Эксперимент должен длиться по крайней мере 2–4 недели для сбора достаточного объема статистически значимых и полезных данных.

Термин Определение
Project Коллекция удаленных переменных со значениями по умолчанию, которые доступны вашему приложению с помощью набора инструментов Microsoft Store Services SDK. Проект также может содержать один или несколько экспериментов с общими удаленными переменными.
Эксперимент Набор параметров, определяющих A/B-тест, который получат ваши пользователи. Эксперименты определяются в области проекта, и каждый из них состоит из следующего:эксперимент

  • Событие просмотра, указывающее, когда пользователь начинает просмотр варианта, являющегося частью эксперимента.
  • Одна или несколько целей с событиями конверсии, которые указывают, когда достигнута цель.
  • Один или несколько вариантов, определяющих данные переменных, которые используются в эксперименте. Вариант control использует значения переменных по умолчанию, которые определены в проекте для эксперимента. Помимо варианта control эксперименты, как правило, содержат как минимум один дополнительный вариант с переменными значениями, уникальными для этого эксперимента.
Идентификатор проекта Уникальный идентификатор, который связывает приложение с проектом в учетной записи Центра партнеров. Этот идентификатор необходимо использовать для подключения к службе A/B-тестирования в коде приложения, чтобы получать данные о вариантах, а также сообщать о событиях представления и преобразования в Центре партнеров. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.

Каждый проект и все эксперименты в этом проекте связаны только с одним кодом проекта. Коды проекта можно использовать для разграничения различных наборов экспериментов. Например, у вас может быть один набор экспериментов, который вы предоставляете тестировщикам в своей организации, и другой набор экспериментов, который предоставляется только внешним пользователям приложения. Приложение может ссылаться на несколько кодов проекта, если в нем реализовано несколько экспериментов.
Вариация Коллекция, состоящая из одной или нескольких переменных, которые вы тестируете в эксперименте. Каждый эксперимент должен содержать хотя бы одну переменную и два варианта (включая элемент управления). Эксперимент может включать до пяти вариантов.
Переменная Значение, которое ваше приложение использует для инициализации свойства или некоторых других значений в приложении. Во время эксперимента значение переменной меняется в зависимости от варианта. После завершения эксперимента переменной назначается значение из варианта, который предоставляете всем пользователям вашего приложения. Переменные могут иметь следующие типы: string, Boolean, double и integer.
Событие просмотра Это произвольная строка, которая представляет действия при начале просмотра пользователем варианта, являющегося частью вашего эксперимента. Обычно это имя события в коде. Код приложения отправит эту строку события представления в Центр партнеров, когда пользователь начнет просматривать вариант. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.
Событие преобразования Произвольная строка, представляющая целевой объект для цели эксперимента. Обычно это имя события в коде. Код приложения отправит эту строку события преобразования в Центр партнеров, когда пользователь достигнет цели. Дополнительные сведения см. в разделе Кодирование приложения для экспериментов.