Примечание: Unity Remote Config теперь доступен как пакет предварительного просмотраПакет предварительного просмотра* находится в разработке и еще не готов к работе . Предварительный просмотр пакета может находиться на любой стадии разработки, от начальных до практически завершенных.
См. в Словарь. Remote Config — это улучшенное предложение, которое позволяет вам изменить поведение и внешний вид вашей игры, не требуя нового двоичного файла. Вы можете удаленно включать или отключать функции, изменять особенности своей игры для целевой аудитории или проводить специальные мероприятия, планируя выпуски нового контента.*
А/Б-тестирование — это контролируемый эксперимент, в ходе которого различные группы игроков знакомятся с вариациями того или иного аспекта вашей игры. Аспект игры, который вы тестируете, может быть фундаментальным, например, схема управления вводом, или косметическим, например, другой цветовой обработкой, или чем-то промежуточным. A/B-тестирование позволяет сравнить ключевые показатели, собранные в ходе эксперимента, и проанализировать, какой вариант работает лучше.
Как работает A/B-тестирование?
Unity AnalyticsСокращение от Unity Analytics
См. в Словарь A/B-тестирование группирует игроков в соответствии с варианты, которые вы определили в своем эксперименте. Каждая группа видит обработку вашей игры, указанную вами для этой группы вариантов. Обработка — это набор из одной или нескольких удаленных настроекудаленных настроек — это игровые переменные, которые вы можете установить удаленно на панели управления Analytics. Подробнее
См. в Словарь, которым вы назначаете уникальные значения для каждой группы вариантов. Во время выполнения служба A/B-тестирования случайным образом назначает игрока в одну из групп на основе вашего процентного распределения вариантов. Игрок получает значения удаленных настроек для назначенной ему группы. Затем ваше приложение использует эти удаленные настройки, чтобы игрок испытал тот аспект вашей игры, который вы хотите протестировать.
Ключевые части A/B-тестирования включают:
Эксперимент — тестовый запуск, демонстрирующий разные способы лечения разным группам игроков.
Вариант — определяет количество групп и распределение игроков по этим группам. Один вариант всегда является контрольной группой.
Обработка — определяет удаленные настройки, используемые для эксперимента, и конкретные значения настроек для каждого варианта.
Цель — показатель Analytics, который вы хотите улучшить с помощью эксперимента. В ходе эксперимента целевые показатели сравниваются в группах вариантов, чтобы вы могли увидеть, какое лечение имеет наиболее желательный эффект.
Вы можете проводить несколько экспериментов одновременно, но будьте осторожны, чтобы разные эксперименты не взаимодействовали друг с другом, поскольку некоторые игроки увидят экспериментальные варианты обоих экспериментов. Например, если вы запустите тест, чтобы сравнить порядок шагов в вашем вводном руководстве в одном эксперименте, и запустите другой тест, чтобы проверить темп обучения, вам будет сложно определить, какой эксперимент вызвал какие-либо изменения в результатах. Хотя этот пример может быть довольно очевидным, даже тесты несвязанных частей вашей игры могут взаимодействовать. Чем более фундаментальную часть игры вы тестируете и чем больше ваши экспериментальные группы, тем больше шансов на экспериментальное взаимодействие.
Создавайте и запускайте A/B-тесты с помощью Unity Analyticsплатформы данных, предоставляющей аналитику для вашей игры Unity. Подробнее
См. в Словарь. Вы также должны реализовать обработку эксперимента в своем приложении с помощью API Remote Settings.
Чтобы создать эксперимент:
Перейдите на панель инструментов Analytics для своего проекта.
Нажмите A/B-тестирование, чтобы открыть страницу A/B-тестирования.
Нажмите кнопку Создать эксперимент.
Откроется диалоговое окно Создать новый эксперимент.
Введите название эксперимента.
Нажмите Создать.
После создания эксперимента необходимо определить цели, варианты и методы лечения.
Выберите цель эксперимента
Цель эксперимента определяет показатель аналитики, на который должны влиять методы эксперимента. Вы можете выбрать:
Удержание в первый деньПроцент игроков, вернувшихся в вашу игру через день после первого запуска. Дополнительная информация
See in Словарь — процент пользователей, которые возвращаются в вашу игру ровно один день. после первой игры.Удержание на 7-й деньПроцент игроков, вернувшихся в вашу игру через семь дней после первого запуска. Дополнительная информация
See in Словарь — процент пользователей, которые возвращаются в вашу игру ровно семь дней. после первой игры.
В отчете, созданном для вашего эксперимента, показана разница показателей в разных вариантах эксперимента. Выбранная цель также влияет на количество времени, которое должен пройти эксперимент для сбора статистически значимых данных. Например, проведение эксперимента по измерению удержания на 7-й день занимает больше времени, чем эксперимент по измерению удержания на 1-й день.
Чтобы выбрать цель эксперимента:
-
Нажмите кнопку Выбрать цель эксперимента.
-
Выберите цель из раскрывающегося списка.
Нажмите Сохранить.
Настройте варианты эксперимента
Используйте раздел Варианты эксперимента, чтобы определить группы игроков для A/B-тестирования и назначить процент игроков, который служба тестирования выделяет каждой группе.
Группа Control существует всегда. Группа управления должна получить текущий или стандартный опыт в вашей игре. Эта группа обеспечивает основу для сравнения результатов других групп.
Чтобы добавить дополнительный вариант, нажмите кнопку ДОБАВИТЬ в верхней части раздела. Назначьте имя и процент распределения для группы. Сумма процентов распределения для всех групп должна составлять 100%. В столбце Оценка отображается количество игроков, которое, как ожидается, будет распределено по каждому варианту в день.
Чтобы удалить вариант, нажмите значок корзины рядом с его названием.
Расчетное время завершения эксперимента основано на том, сколько времени потребуется для получения статистически достоверного количества образцов. Чем больше игроков (DAU) обычно имеет ваше приложение и чем больше игроков распределено между экспериментальными вариантами, тем короче расчетное время.
Нажмите Сохранить, когда ваши варианты настроены так, как нужно.
Настройте методы эксперимента
Используйте раздел Лечение, чтобы определить параметры, используемые в эксперименте, и назначить индивидуальные значения параметров для каждой группы.
Нажмите кнопку ДОБАВИТЬ, чтобы добавить настройку к эксперименту.
Вы можете использовать существующие удаленные настройки из конфигурации Release, если эти настройки не используются ни в каких других активных экспериментах. Обратите внимание, что на странице Remote Settings отображается только значение по умолчанию, используемое для группы управления. Настройки варианта можно просмотреть или изменить только на странице A/B-тестирования.
Новые настройки можно создавать, не переходя на страницу удаленных настроек. Настройки, созданные в ходе A/B-тестирования, не отображаются на странице удаленных настроек. Если вы хотите продолжить использовать настройку после завершения эксперимента, вы можете создать удаленную настройку с тем же именем.
Нажмите Сохранить, когда методы лечения будут определены.
Внедрение лечения
Используйте API удаленных настроек для доступа к значениям, определенным в вашем эксперименте, во время выполнения. Используйте имя настройки, показанное в разделе «Обработка», в качестве ключа при доступе к настройке в вашей игре. Вы можете реализовать удаленные настройки в коде или использовать компонент удаленных настроек для доступа и применения значений настроек в классе Unity ИнспекторОкно Unity, в котором отображается информация о текущем выбранном игровом объекте, активе или настройках проекта, что позволяет вам проверять и редактировать значения. Подробнее
См. в окне Словарь.
После того как вы создадите хотя бы один эксперимент, на странице А/Б-тестирования ваши эксперименты отобразятся в виде списка.
Чтобы начать эксперимент:
Нажмите на название эксперимента в статусе Не начато.
Нажмите кнопку Начать эксперимент.
Примечание. После начала эксперимента вы больше не можете вносить изменения, так как это сделает результаты теста недействительными.
Чтобы остановить эксперимент:
Нажмите на название эксперимента в статусе Выполняется.
Нажмите кнопку Остановить эксперимент.
Примечание. Вы не можете перезапустить эксперимент.
Чтобы просмотреть отчет:
Нажмите на название эксперимента в статусе Завершен.
В разделе "Отчетность" отображаются результаты эксперимента.
Используйте раздел "Отчеты", чтобы просмотреть результаты эксперимента после его завершения.
В отчете перечислены группы вариантов, показатели, зарегистрированные для цели эксперимента, и сравнение каждого варианта с контрольной группой. (Рейтинг значимости использует стандартный уровень статистической значимости 5%.)
