22 вопроса об A/B-тестировании на собеседовании и ответы на них

Мы видели, как кандидаты блестяще справляются с A/B-тестированием на собеседованиях, так же как мы видели, как кандидаты отвечали на вопросы таким образом, что они выглядели менее квалифицированными, чем они были на самом деле. Поэтому мы решили написать эту статью, чтобы помочь вам сделать все правильно, независимо от того, занимаетесь ли вы управлением продуктами или наукой о данных.

Если вы менеджер по найму, вы найдете вдохновение для вопросов для интервью, которые помогут вам понять, насколько хорош кандидат на самом деле. Если вы интервьюируемый, вы найдете то, что вам нужно, чтобы пройти собеседование.

Что такое A/B-тестирование?

A/B-тестирование, также называемое сплит-тестированием, представляет собой метод определения того, какая из двух версий функции продукта, веб-страницы, элемента кампании или другого актива лучше работает для определенной цели. Вы можете использовать A/B-тестирование, чтобы улучшить рабочий процесс разработки продукта, пользовательский интерфейс (UI) или показатели конверсии.

Одним из классических примеров является A/B-тестирование кнопки в нижней части экрана с двумя разными цветами или надписями, отображаемыми случайным образом между экспериментальной и контрольной группой. Тест A/B отслеживал, какая кнопка получила больше кликов. Другим примером может быть A/B-тестирование двух потоков в продукте, где экспериментальная группа видит функцию, отличную от контрольной группы. Цель может заключаться в том, чтобы определить, какая функция приводит к более высоким расходам в приложении в течение двух недель после ее использования.

Как составить вопросы для A/B-тестирования на собеседовании

Сосредоточьтесь на том, что вы пытаетесь понять о знаниях и навыках кандидата.

Вам нужно больше узнать о том, как они будут разрабатывать тест или как они будут анализировать результаты? У вас есть много проблем с данными, которые нужно очистить, или вам нужен кто-то, кто разбирается в определенном программном обеспечении для A/B-тестирования, чтобы он мог взяться за дело?

С ролями управления продуктом сосредоточьтесь на том, как они принимают решения

Узнайте, как кандидат принимает решения на основе данных, комбинирует и использует данные при анализе или как он применяет интуицию. Например, поговорите о том, как кандидат определил бы минимальный обнаруживаемый эффект (MDE), наименьший эффект, который вы могли бы иметь, но который все еще важен для вас как бизнеса.

С ролями в науке о данных сосредоточьтесь на статистических навыках

Специалист по данным в команде должен быть рядом, чтобы убедиться, что эксперименты поставлены правильно. Вопросы должны касаться проверки гипотез, доверительных интервалов или p-значений.

Разработайте вопросы, актуальные для повседневной жизни вашей компании.

Эксперименты и анализ не подходят для всех. У каждой компании разные задачи. Сосредоточение внимания на тех, кто специфичен для вашего собственного контекста тестирования, поможет вам найти кандидатов, которые понимают вашу отрасль. Например, эти конкретные проблемы могут заключаться в том, что ваша компания:

• Имеет небольшой размер выборки, потому что вы работаете в сфере B2B.
• Ориентирован на долгосрочные данные о доходах, которые накапливаются в течение двух месяцев после первого показа новой функции.
• Приходится обходить предположения о независимости, которые нарушаются из-за эффектов социальных сетей.

Используйте тематические исследования

Соедините вопросы методологии с вопросами о бизнес-кейсах. Дела должны быть тесно связаны с вашими повседневными делами. Это также помогает в попытке выяснить, как кандидат сможет применить общие знания A/B-тестирования в конкретном контексте вашей компании.

Задавайте открытые вопросы и делайте вопросы неполными по замыслу

Позволив кандидату свободно говорить во время ответа на вопрос, вы продемонстрируете ход его мыслей. Кроме того, заставив кандидата задуматься о том, какую информацию ему не хватает, можно узнать больше о том, как он решает проблемы в несовершенном мире. Если бы вы в основном задавали вопросы только с одним правильным ответом, вы бы недостаточно узнали об интервьюируемом.

Согласуйте свои вопросы с процессом A/B-тестирования

Задавайте вопросы в том же логическом порядке, что и в A/B-тестировании. Начните с разработки A/B-тестов, прежде чем переходить к измерению, анализу результатов и принятию решений. Такой подход помогает и интервьюеру, и интервьюируемому не сбиться с пути, когда интервью становится длиннее.

Задавайте вопросы, которые фокусируются на способности к обучению

Поиск кандидата, который может адаптироваться и быстро учиться, поможет вам, когда вы изо всех сил пытаетесь найти кого-то, кто может взяться за дело. В условиях конкурентного рынка труда это становится все более и более важным. Итак, спросите о:

• Как они решали задачу, когда у них не было всех необходимых навыков или ресурсов
• Как они исправили ошибку, которую они сделали
• Как они адаптировались к новой тенденции
• Что помогло им освоить новый инструмент

Обсуждать отраслевые тенденции и тенденции A/B-тестирования

Оцените осведомленность ваших кандидатов о том, как A/B-тестирование развивается в вашей отрасли. Вы услышите их уникальные идеи, а также увидите, как они связывают свою работу с общей картиной. Это также помогает раскрыть личность кандидата. Возможно, вы даже заведете разговор, который вас обоих увлечет и заинтересует.

22 реальных примера вопросов для A/B-тестирования на собеседовании — и что искать в ответах

Ниже приведена репрезентативная выборка вопросов, которые мы задавали или нам задавали в интервью с A/B-тестированием. Как компания, занимающаяся цифровой оптимизацией, наши вопросы имеют небольшой уклон в контексте использования A/B-тестирования для создания и развития продукта.

Вы найдете вопросы и советы по ответам как для управления продуктами, так и для специалистов по данным, а также вопросы, которые предполагают, что процесс найма уже подтвердил базовые знания в области A/B-тестирования. Вы также обнаружите, что в вопросах применяются советы из предыдущего раздела.

Дизайн и установка эксперимента

Вы можете начать собеседование с основополагающих вопросов о лучших практиках A/B, таких как:

• Каковы идеальные условия для A/B-тестирования?
• Что вы должны проверить?
• Если A/B-тестирование недоступно, как бы вы вместо этого ответили на вопрос?
• Как долго вы будете проводить эксперимент?

Подобные вопросы заставят способного кандидата разогреться и почувствовать себя более комфортно. Затем ответы должны продемонстрировать, что кандидат обладает как теоретическими, так и практическими знаниями, и подтвердить, что вы говорите на одном языке.

Инструменты A/B-тестирования

Следующая группа вопросов может быть посвящена торговым инструментам:

• Какое программное обеспечение для A/B-тестирования вы рекомендуете и почему, основываясь на собственном опыте?
• Как бы вы подошли к изучению нового инструмента A/B-тестирования, такого как Amplitude Experiment?

Отличные ответы продемонстрируют, что интервьюируемый имеет непосредственный опыт работы с распространенными инструментами. Если у них есть четкий ответ о том, как они обычно изучают новый инструмент, вы будете знать, что они делали это раньше. Наконец, если они задают вопрос в ответ и интересуются вашими собственными инструментами, это может означать, что они готовы взяться за дело.

Решение проблем с экспериментами

Затем рассмотрите возможность задать вопросы о том, как справляться с проблемами, возникающими во время экспериментов:

• Как вы справляетесь с проблемами небольшого размера выборки?
• Какие проблемы могут повлиять на результаты ваших A/B-тестов в циклах разработки нашего продукта?
• Как вы смягчаете проблемы?
• Как разработать тест, чтобы свести к минимуму взаимодействие между контролем и лечением?

Ответы на эти вопросы должны исходить из основных знаний в области науки о данных и демонстрировать, что кандидат понимает такие понятия, как калькулятор размера выборки, время тестирования или создание четких гипотез. Ответы также должны демонстрировать, что кандидат думает о смягчении проблем структурированным и активным образом.

Распространенные сценарии A/B-тестирования

В последней группе наших вопросов о планировании и настройке эксперимента мы рекомендуем вам сосредоточиться на сценариях, распространенных в вашей организации. Например:

• Расскажите нам об успешном A/B-тесте, который вы разработали. Чему вы пытались научиться, чему научились и как этот опыт поможет вам, если вы будете работать на нас?
• Основываясь на своем опыте использования нашего продукта, какие улучшения вы бы предложили и какие эксперименты вы бы поставили для них?
• Допустим, мы хотим сравнить функцию A и функцию B в эксперименте для пользовательского потока. Как бы вы подошли к разработке этого теста, учитывая то, что вы знаете о нашем продукте?
• Как вы справляетесь со сверхдолгосрочными метриками, когда вам нужно ждать два месяца, чтобы получить метрику, например, когда вы пытаетесь проверить, сколько денег люди тратят в течение двух месяцев после просмотра функции?

Анализ данных и принятие решений

Анализ приводит к выводам, которые сильно различаются в зависимости от мыслительного процесса. Поэтому задавайте вопросы, которые помогут вам понять мыслительный процесс кандидата:

• Что бы вы сделали, если бы ваш эксперимент не дал результатов и больше походил на тест АА? Как бы вы проанализировали результаты теста и на что бы вы обратили внимание?
• Когда вы знаете, что существует эффект социальной сети, а предположение о независимости не выполняется, как это влияет на ваш анализ и решения?
• В нашем A/B тесте результаты не были статистически значимыми. Каковы возможные причины этого?
• Что вы делаете, когда тестируете две метрики и хотите увеличить обе, но одна увеличивается со статистической значимостью, а другая уменьшается со статистической значимостью?

Отличные ответы продемонстрируют способность кандидата принимать решения о развертывании тестов, создании новых лечебных и контрольных групп, обработке противоречивых данных или поиске компромисса между показателями. Один жизнеспособный подход, который нам нравится видеть в интервью, состоит в том, чтобы думать об этом как о поиске ошибок в разработке, но только с точки зрения специалиста по данным.

Рабочие процессы и ресурсы

Наш список рекомендуемых вопросов завершается пакетом вопросов о том, как кандидат управляет рабочим процессом и ресурсами:

• Какое программное обеспечение вы рекомендуете для отчетности по результатам эксперимента?
• Какие инструменты вы бы интегрировали с программным обеспечением для A/B-тестирования, чтобы использовать данные эксперимента?
• Каких новых сотрудников вы бы предложили для своей команды A/B-тестирования, если у вас уже есть члены команды на роли X, Y, Z?
• Какие роли в вашей продуктовой команде должны участвовать в ваших тестах, и как бы вы упростили их участие?

Ответы на них должны подтверждать соответствующий опыт продакт-менеджера и показывать, что кандидат организован.

Распространенные ошибки в вопросах A/B-тестирования, которых следует избегать

Если вы дочитали до этого места, значит, вы знакомы с тем, как составлять вопросы для интервью по A/B-тестированию, и у вас есть список примеров вопросов, которые дадут вам фору. Если вы также избежите следующих ошибок, которые мы часто видим на собеседованиях, вы будете на пути к успешному найму или получению найма:

Распространенные ошибки менеджеров по найму при задании вопросов:

• Слишком много внимания уделяется вычислительным вопросам и недостаточному изучению знаний кандидата об отрасли, вариантах использования или процессах.
• Задавать вопросы с одним правильным ответом вместо того, чтобы задавать открытые вопросы, которые позволили бы кандидату выразить себя
• Задавать общие вопросы, которые не дают возможности обсудить контекст вашей организации

Распространенные ошибки кандидатов при ответах на вопросы:

• Демонстрировать свои технические навыки, но не показывать свою творческую сторону или аналитический мыслительный процесс.
• Говорить о своем предыдущем опыте, не увязывая ответы с контекстом компании, которая вас нанимает.
• Сосредоточение внимания только на одном инструменте, который вы использовали, не проявляя интереса к изучению новых инструментов.

Соедините новую позицию A/B-тестирования с лучшими инструментами

Новый сотрудник или новая работа дадут вам возможность делать большую работу, если у вас также есть лучшее программное обеспечение. Мы приглашаем вас продолжить и узнать, как анализировать результаты A/B-тестирования в Amplitude Analytics или как запускать тесты в Amplitude Experiment. Вы также можете ознакомиться с нашим списком из 11 лучших инструментов A/B-тестирования, выпущенных сегодня.

Использованная литература:

• Braze: A/B против многовариантного тестирования: когда использовать каждое из них
• Hubspot: Как проводить A/B-тестирование: 15 шагов для идеального сплит-теста
• Adjust: все, что вам нужно знать об A/B-тестировании мобильных приложений
• Productboard: 7 уроков, извлеченных из 5 лет экспериментов с продуктом
• Школа продукта: Навыки управления продуктом: A/B-тестирование