Управление экспериментом в Центре партнеров

  • Статья

После определения эксперимента в Центре партнеров и написания кода приложения для экспериментов вы можете активировать эксперимент и использовать Центр партнеров для просмотра результатов эксперимента. Получив все необходимые данные, вы можете завершить эксперимент и решить, следует ли продолжать использовать значения вариантов в элементах управления для всех приложений или переключиться на значения вариантов в одном из других ваших вариантов.

Примечание

При активации эксперимента Центр партнеров немедленно начинает сбор данных из любых приложений, которые инструментируются для регистрации данных для эксперимента. Однако для отображения данных эксперимента в Центре партнеров может потребоваться несколько часов.

Пошаговое руководство, демонстрирующее весь процесс создания и выполнения эксперимента, можно найти в разделе Создание и проведение первого эксперимента с использованием A/B-тестирования.

Активация эксперимента

Если вы удовлетворены параметрами эксперимента в Центре партнеров и обновили код приложения, вы можете активировать эксперимент, чтобы начать сбор данных эксперимента из приложения. Когда эксперимент активен, приложение может получать значения вариантов, а также сообщать о событиях представления и преобразования в Центре партнеров.

  1. Войдите в Центр партнеров.
  2. В разделе Ваши приложения выберите приложение с экспериментом, который следует активировать.
  3. На панели навигации выберите Службы, затем Эксперимент.
  4. В таблице проектов в разделе Проекты разверните проект, содержащий ваш эксперимент, затем выполните одно из следующих действий.
  • Щелкните на ссылке Активировать для вашего эксперимента. Ваш эксперимент добавляется в раздел Активные эксперименты в верхней части страницы.
  • Нажмите имя эксперимента, перейдите в нижнюю часть страницы эксперимента и нажмите Активировать.

Важно!

После активации эксперимента изменить его параметры будет невозможно, если только это не редактируемый эксперимент (при создании эксперимента вы установили флажок Редактируемый эксперимент). Рекомендуется создать код эксперимента в приложении, прежде чем активировать эксперимент.

Проверка результатов эксперимента

  1. В Центре партнеров вернитесь на страницу Экспериментирование для приложения.
  2. В разделе Активные эксперименты щелкните имя активного эксперимента, чтобы открыть страницу эксперимента.
  3. Для активных и завершенных экспериментов первые два раздела на этой странице содержат результаты экспериментов.
  • В разделе Сводка по результатам перечислены в цели эксперимента и коэффициент конверсии для каждого варианта.
  • Раздел Сведения о результатах содержит более подробные сведения о каждом варианте цели эксперимента, том числе число просмотров, конверсий, уникальных пользователей, коэффициент конверсии, разницу в процентах, а также показатели достоверности и значимости. Достоверность — это статистическая мера надежности оценки, которая позволяет получить погрешность. Значимость — это статистическая мера, основанная на размере выборки и позволяющая определить вероятность того, что результат не является случайным, а вызван определенной причиной.

Примечание

Центр партнеров сообщает только о первом событии преобразования для каждого пользователя за 24-часовой период времени. Если благодаря действиям пользователя срабатывает несколько событий конверсии в вашем приложении в течение 24 часов, регистрируется только первое событие. Это позволяет предотвратить искажение результатов эксперимента для выборки пользователей из-за пользователя со множеством событий конверсии.

Завершение эксперимента

  1. В Центре партнеров вернитесь на страницу эксперимента. Инструкции см. в предыдущем разделе.
  2. В разделе Сводка по результатам выполните одно из следующих действий.
  • Чтобы закончить эксперимент и продолжить использовать эти значения вариантов элементов управления в приложении, нажмите кнопку Сохранить.
  • Чтобы закончить эксперимент и переключиться на использование значений вариантов в другом варианте приложения, нажмите кнопку Переключить под нужным вариантом.
  1. Нажмите кнопку ОК, чтобы подтвердить завершение эксперимента.