Определение эксперимента в Центре партнеров

  • Статья

После создания проекта и определения удаленных переменных в Центре партнеров и написания кода приложения для экспериментов можно приступать к созданию эксперимента в проекте. При создании эксперимента вы определите цели и варианты, которые получат ваши пользователи.

Пошаговое руководство, демонстрирующее весь процесс создания и выполнения эксперимента, можно найти в разделе Создание и проведение первого эксперимента с использованием A/B-тестирования.

Создание эксперимента

  1. Войдите в Центр партнеров.

  2. В разделе Ваши приложения выберите приложение, для которого следует создать эксперимент.

  3. На панели навигации выберите Службы, затем Эксперимент.

  4. На странице Эксперимент в таблице проектов определите проект, в который требуется добавить эксперимент, и щелкните ссылку Добавить эксперимент для этого проекта.

  5. В поле Имя эксперимента введите имя, которое можно использовать для быстрой идентификации эксперимента. После создания эксперимента это имя появится в списке существующих экспериментов на странице Эксперимент для вашего приложения на странице проекта.

  6. Если вам требуется изменять эксперимент во время его проведения, установите флажок Редактируемый эксперимент. Устанавливайте этот флажок только в том случае, если вы создаете эксперимент для проверки всех вариантов в рамках внутреннего тестирования. Подробнее см. в разделе Создание эксперимента для внутреннего тестирования.

    Примечание

    Не устанавливайте этот флажок, если вы создаете эксперимент, который будет предоставлен пользователям (то есть эксперимент, связанный с идентификатором проекта, который используется в версии вашего приложения, доступной пользователям). Если изменить эксперимент во время его проведения, его результаты станут недействительными.

  7. В раскрывающемся списке Имя проекта автоматически выбирается текущий проект. Если вам требуется добавить новый эксперимент в другой проект, вы можете выбрать нужный проект здесь. В противном случае не изменяйте сделанный выбор.

  8. Обратите внимание на значение Project ID. При коде приложения для экспериментов необходимо ссылаться на этот идентификатор в коде, чтобы получать данные вариантов, а также сообщать о событиях представления и преобразования в Центр партнеров.

  9. В разделе Событие просмотра введите имя события просмотра для вашего эксперимента в поле Имя события просмотра.

  10. В разделе Цели и события конверсии определите хотя бы одну цель вашего эксперимента.

  • В поле Имя цели введите описательное имя нужной цели. После выполнения эксперимента это имя будет отображаться в сводных результатах по этому эксперименту.
  • В поле Имя события конверсии введите имя события конверсии для этой цели.
  • В поле Требование выберите значение Увеличить или Уменьшить в зависимости от того, следует ли увеличить или уменьшить возникновение события преобразования. Эта информация используется в сводных результатах эксперимента.

Примечание

Центр партнеров сообщает только о первом событии преобразования для каждого пользовательского представления за 24-часовой период времени. Если благодаря действиям пользователя срабатывает несколько событий конверсии в вашем приложении в течение 24 часов, регистрируется только первое событие. Это позволяет предотвратить искажение одним пользователем результатов эксперимента для выборочной группы пользователей, если целью является увеличение числа пользователей, выполняющих конверсию.

Определение удаленных переменных и вариантов для эксперимента

Теперь определите удаленные переменные и варианты для вашего эксперимента.

  1. В разделе Удаленные переменные и варианты должны отображаться два варианта по умолчанию: Вариант А (элемент управления) и Вариант Б. Если необходимы дополнительные варианты, щелкните Добавить вариант. Дополнительно вы можете переименовать каждый вариант.

  2. По умолчанию варианты распределяются равномерно между пользователями приложения. Если необходимо выбрать определенный процент распределения, снимите флажок Распределять равномерно и введите процентные соотношения в строке Распределение (%).

  3. Добавьте удаленные переменные в варианты. В раскрывающемся элементе управления внизу данного раздела выберите поочередно все переменные, которые требуется добавить, и нажмите Добавить переменную.

    Примечание

    Переменные, указанные в этом элементе управления, наследуются от проекта для эксперимента. Значение по умолчанию для переменной (определяется в проекте) автоматически назначается варианту элемента управления. Если вам требуется добавить новые переменные, не указанные здесь, перейдите на соответствующую страницу проекта и добавьте переменные там.

  4. Измените значения переменных для каждого уникального варианта в эксперименте (подразумеваются варианты, отличные от варианта элемента управления).

Сохранение и активация эксперимента

Завершив заполнение обязательных полей в вашем эксперименте, щелкните Сохранить, чтобы сохранить эксперимент.

Если вы удовлетворены параметрами эксперимента и готовы активировать его для сбора данных эксперимента из вашего приложения, щелкните Активировать. Если эксперимент активен, приложение может получать переменные варианта и сообщать о событиях представления и преобразования в Центре партнеров. Дополнительные сведения см. в статье Запуск эксперимента и управление им в Центре партнеров.

Важно!

Одновременно в проекте может находиться только один активный эксперимент. После активации эксперимента изменить его параметры будет невозможно, если только это не редактируемый эксперимент (при создании эксперимента вы установили флажок Редактируемый эксперимент). Рекомендуется создать код эксперимента в приложении, прежде чем активировать эксперимент.

Создание эксперимента для внутреннего тестирования

Перед активацией эксперимента для клиентов, возможно, стоит протестировать эксперимент в контролируемой аудитории (например, группе внутренних тест-инженеров) и убедиться, что все варианты работают корректно. Для этого можно создать эксперимент с выбранным параметром Редактируемый эксперимент.

Чтобы протестировать эксперимент перед его выпуском для клиентов, сделайте следующее:

  1. Создайте два проекта: один для общедоступной сборки приложения, а второй для частной сборки приложения, доступной только группе тест-инженеров. В следующей инструкции эти проекты именуются общедоступным и тестовым проектом соответственно.
  2. При кодировании приложения для экспериментов сошлитесь на идентификатор проекта из общедоступного проекта в общедоступной сборке приложения. В частной сборке приложения сошлитесь на идентификатор проекта из тестового проекта.
  3. Создайте эксперимент в тестовом проекте и выберите параметр Редактируемый эксперимент для эксперимента.
  4. Активируйте эксперимент в тестовом проекте. Выделите распространение в 100% для одного варианта и убедитесь, что этот вариант работает у тест-инженеров должным образом. Повторите этот процесс с другими вариантами.
  5. Убедившись в корректной работе всех вариантов, внесите окончательные изменения в эксперимент в тестовом проекте. Как только вы будете готовы выпустить эксперимент для клиентов, создайте его клон в общедоступном проекте. На этот раз не выбирайте параметр Редактируемый эксперимент.
  6. Убедитесь, что целевое распространение варианта в клонированном эксперименте верно.
  7. Активируйте клонированный эксперимент, чтобы выпустить его для клиентов.

Дальнейшие действия

После определения эксперимента в Центре партнеров и написания кода эксперимента в приложении можно приступать к запуску эксперимента и управлению им в Центре партнеров.