Что такое A/B-тестирование? Как это работает и когда использовать

Опубликовано: 2022-01-25

Метод A/B-тестирования определяет, какая из двух версий чего-то дает наилучшие результаты. Его часто называют «раздельным тестированием», потому что группы пользователей делятся на две группы (группа «А» и группа «Б») и распределяются по отдельным цифровым средам.

A/B-тестирование может помочь вам разработать более эффективные маркетинговые кампании или настроить рабочие процессы адаптации продукта. Изменения в вашем продукте или функции можно протестировать на небольших сегментированных группах, называемых когортами, чтобы проверить эффективность и свести к минимуму трения.

A/B-тестирование — жизненно важный и надежный инструмент, который можно и нужно использовать в самых разных ситуациях. Менеджеры по продуктам, маркетологи, дизайнеры и другие лица, активно использующие A/B-тестирование, принимают решения на основе данных, которые приводят к реальным, измеримым результатам.

Ключевые выводы

Тест A/B помогает определить, какой из двух разных активов работает лучше.
A/B-тесты используются для оптимизации маркетинговых кампаний, улучшения UI/UX и повышения конверсии.
Существует несколько версий A/B-тестов для тестирования отдельных страниц, нескольких переменных, а также целых рабочих процессов и воронок.
A/B-тесты должны быть сегментированы, проверены и повторяемы для получения максимальных результатов.

Каковы преимущества A/B-тестирования?

A/B-тесты отвечают на основной вопрос: клиенты предпочитают вариант 1 или вариант 2? В мире цифровых продуктов ответ на этот вопрос важен в ряде ситуаций, в том числе в двух основных областях: улучшение качества обслуживания клиентов и усиление маркетинговых кампаний.

Улучшение UI/UX

Благонамеренные изменения пользовательского интерфейса вашего продукта могут иметь непреднамеренные последствия, которые создают трения для пользователей. Вы можете изменить расположение вкладки в своем мобильном приложении, чтобы привлечь новых пользователей, но случайно расстроить существующих пользователей, привыкших к ее прежнему месту.

Выполнение серии A/B-тестов сводит к минимуму риск внесения радикальных изменений, поскольку сначала тестируется меньший сегмент вашей пользовательской базы. Например, вы можете создать небольшой сегмент новых пользователей в Amplitude Experiment и направить их через новую итерацию вашего продукта с перемещенной вкладкой.

В то же время вы можете создать аналогичную группу новых пользователей, но отслеживать их, когда они используют вашу существующую версию. В конце эксперимента вы можете сравнить поведение экспериментальной группы с поведением вашей контрольной группы, чтобы увидеть, какая версия вашего продукта дает наилучшие результаты.

Чтобы понять, как существующие клиенты будут реагировать на изменение по сравнению с новыми пользователями, вам следует повторить эксперимент. На этот раз замените экспериментальную и контрольную группы сегментами существующих пользователей. Проводя эксперимент несколько раз с использованием разных сегментов, вы увеличиваете шансы на то, что ваши изменения будут стимулировать принятие вашего продукта, а не вызывать отток клиентов.

Оптимизация маркетинговых кампаний

A/B-тестирование можно использовать для повышения эффективности ваших маркетинговых усилий. Ваши поведенческие данные, скорее всего, покажут, что конверсионные клиенты, вероятно, имеют сходное поведение или демографические данные. Вы знаете, на кого хотите нацелиться, но более тонкие моменты оказываются неуловимыми:

Какие сообщения оказываются наиболее эффективными для повышения конверсии?
На какое предложение или поощрение лучше всего реагируют потенциальные или существующие клиенты?
Вызывает ли другой дизайн кнопки призыва к действию больше кликов?

Вы можете построить кампанию, основываясь на своем опыте и интуиции, и надеяться на лучшее, но это все равно сопряжено с риском. Вы можете рассылать электронные письма или платные посты в социальных сетях нужным людям, не попадая в цель с вашим сообщением. Кампания может принести много конверсий, но вы никогда не узнаете, принесли ли бы те варианты, которые вы не выбрали, больше конверсий.

Тесты A/B определяют ваши лучшие маркетинговые варианты, предоставляя результаты, подтвержденные данными. Серия A/B-тестов может показать, что пользователи лучше реагируют на зеленые призывы к действию, чем на синие, или что предложение бесплатной пробной версии работает на более высоком уровне, чем разовая скидка. Этот процесс поможет вам свести к минимуму расходы, которые были бы потрачены впустую на менее эффективные объявления.

Эксперимент Amplitude: просмотр последовательности A/B-тестирования — Представление A/B-тестирования на диаграмме анализа воронки отображает движения пользователей по вашей воронке.

Реальные примеры A/B-тестирования

Повышение конверсии целевой страницы

Киберспортивная платформа G-Loot использовала A/B-тестирование для повышения коэффициента конверсии своих целевых страниц и получения потрясающих результатов. Компания G-Loot протестировала изменения своих целевых страниц, ориентированных на рекламу, и определила лучшие модификации с помощью Amplitude Experiment. После изменения страниц, чтобы отразить наиболее эффективный дизайн и переменные предложения, коэффициент конверсии целевой страницы G-Loot подскочил с трех процентов до невероятных 35%.

Увеличение удержания за счет оптимизации клиентского опыта

NBCUniversal использовала A/B-тестирование как средство сокращения оттока клиентов. Медиа-гигант проверил свою существующую домашнюю страницу для телевизоров Vizio на соответствие более новым версиям. С помощью Amplitude компания определила новую домашнюю страницу, которая увеличила количество просмотров в экспериментальной группе на 10%. NBCUniversal приняла новую домашнюю страницу для всех клиентов, что удвоило 7-дневное удержание.

Внедрение инноваций с помощью A/B-тестирования

Правильное аналитическое решение способствует более частым экспериментам, что, в свою очередь, повышает гибкость и стимулирует инновации. Раньше команде GoFundMe требовалось несколько недель для анализа результатов A/B-тестирования. Благодаря способности Amplitude анализировать результаты в режиме реального времени GoFundMe смогла увеличить количество проводимых тестов с двух или трех до 10 в месяц. Вместо того, чтобы выбирать, какие идеи тестировать из-за нехватки времени, теперь команда может проверять гипотезы по мере их развития.

3 различных типа A/B-тестирования — и когда использовать каждый из них

Помимо обычного A/B-тестирования, существует три вида A/B-тестирования, которые можно использовать в зависимости от ситуации:

Разделение URL-тестирования

Настроить кнопку на домашней странице — это одно, но что произойдет, если вы захотите протестировать совершенно новый дизайн страницы? Тестирование с разделенным URL-адресом использует концепцию A/B-тестирования и расширяет ее до более широких масштабов. Этот тип теста создает совершенно отдельный URL-адрес, поэтому вы можете полностью изменить дизайн веб-страницы с нуля. Затем ваша экспериментальная группа может быть перенаправлена на эту новую страницу, чтобы результаты можно было сравнить с существующей.

Сплит-тестирование URL-адресов и традиционное A/B-тестирование можно использовать вместе для оптимизации производительности страницы. Тест с разделенным URL-адресом покажет, какой из двух дизайнов рассматриваемой страницы работает лучше всего. Оттуда серия традиционных A/B-тестов может проверить предпочтения пользователя в отношении более мелких деталей, таких как текст призыва к действию, размер шрифта или изображения.

Многовариантное тестирование

Этот тип эксперимента проверяет параметры, которые содержат более одной переменной. Традиционный A/B-тест может определить, какой из двух размеров кнопки CTA предпочтительнее. Для сравнения, многовариантный тест может включать в себя различные размеры CTA, заголовки и изображения, позволяя вам определить, какой из множества вариантов лучше всего подходит для вашей кампании.

Многовариантное тестирование полезно для подтверждения или опровержения ваших предположений о том, какой актив из многих будет работать лучше всего. Вы можете полагать, что определенная комбинация элементов дизайна лучше всего подходит для вашей целевой аудитории. Создавая версии с альтернативными переменными, вы можете протестировать свой предпочтительный дизайн по сравнению со многими другими, чтобы получить честный отчет о том, что работает лучше всего.

Главный недостаток многовариантного тестирования заключается в том, что каждая дополнительная переменная добавляет еще одну версию актива, который необходимо создать. Если вы хотите протестировать пять разных форм кнопок CTA, четыре цвета кнопок CTA и три разных шрифта, вам потребуется создать 60 (!) различных тестовых ресурсов, чтобы охватить все ваши базы.

Многостраничное тестирование

Многостраничный тест оценивает успешность альтернативной версии рабочего процесса или воронки. Радикальные изменения могут быть внесены в несколько страниц в последовательности, чтобы создать отдельную воронку, которую можно протестировать по сравнению с оригиналом. Многостраничный тест также удобен в ситуациях, когда вы просто хотите добавить или удалить один элемент с каждой страницы потока или воронки и проверить эффект.

Допустим, последовательность оформления заказа на вашем веб-сайте электронной коммерции выглядит следующим образом:

Корзина (A) → Информация об оплате (A) → Информация о доставке (A) → Просмотр заказа (A) → Отправить заказ (A)

Вам интересно, поможет ли перемещение кнопки «Следующий шаг» на первых трех страницах или повредит количеству покупок. Теоретически вы можете протестировать каждую страницу по отдельности, но клиенты не работают с этими страницами изолированно. Они последовательно переходят с одной страницы на другую.

Вы знаете, что результаты вашего эксперимента будут более точными, если вы будете тестировать страницы по порядку. Из-за этого вы создаете варианты своей последовательности покупок, чтобы ваша экспериментальная воронка выглядела так:

Корзина (B) → Информация об оплате (B) → Информация о доставке (B) → Проверить заказ (A) → Отправить заказ (A)

Как и в любом варианте A/B-тестирования, цель состоит в том, чтобы определить, какая воронка лучше всего работает по сравнению с исходной и даже с другими итерациями. После тестирования нескольких мест для кнопки «Следующий шаг» ваша окончательная воронка может выглядеть примерно так:

Корзина (B) → Информация об оплате (D) → Информация о доставке (C) → Проверить заказ (A) → Отправить заказ (A)

Ключ к проведению A/B-тестирования

Какими бы полезными ни были A/B-тесты для UI/UX-дизайна и маркетинга продуктов, их необходимо правильно проводить и оценивать, чтобы раскрыть их истинный потенциал. Ключи к успеху A/B-тестирования включают в себя:

Повторяемость

Иногда A/B-тесты дают настолько впечатляющие результаты, что приводят к импульсивным решениям. Одна компания увидела, что простое изменение цвета кнопки CTA повысило коэффициент конверсии в три раза. Если ваше собственное A/B-тестирование дало аналогичный результат, вы можете немедленно запустить эту версию своего объявления, и вас будет трудно в этом винить.

Однако результаты испытаний считаются действительными только в том случае, если они воспроизводимы. Достижение одних и тех же результатов снова и снова снижает вероятность того, что ваш первоначальный результат был случайностью. Более того, если вы продвигаетесь вперед с кампанией, в которой используются синие кнопки CTA, не тестируя красную версию, вы никогда не узнаете, действительно ли вы используете лучший вариант CTA.

Сегментация пользователей

Сегментация пользователей — это процесс создания подмножества определенных пользователей для ваших A/B-тестов. Эти группы пользователей основаны на клиентах со схожими поведенческими или демографическими характеристиками. Во многих A/B-тестах вы хотите знать, как конкретная группа клиентов реагирует на изменения, которые на них повлияют. В этих случаях тестирование широкого круга клиентов может на самом деле размыть результат от сегмента, на который вы хотите ориентироваться.

Представьте, что вы рассматриваете возможность эстетических изменений в чат-боте вашего продукта. Вы знаете, что клиенты, которые использовали ваш продукт более трех месяцев, вряд ли будут использовать эту функцию, поэтому включать их в A/B-тестирование не имеет смысла. Вместо этого вам следует создать сегмент пользователей, которые использовали ваш продукт менее трех месяцев, чтобы лучше понять, как изменения в вашем дизайне повлияют на тех, кто будет его использовать.

Amplitude Recommend может даже создать когорту клиентов, которые с наибольшей вероятностью выполнят определенное действие в будущем. Это означает, что вы можете создать сегмент, полностью состоящий из новых пользователей, которые, согласно аналитическим прогнозам, будут использовать чат-бот на основе прошлого поведения. A/B-тест с использованием прогностической когорты имеет гораздо более высокую вероятность включения пользователей, на которых вы хотите ориентироваться, и исключения людей, которые не заинтересованы в использовании чат-бота.

Проверка вашего теста

Если вы неправильно построите свой A/B-тест, все ваши тесты будут напрасными. Неправильный тест может привести к результатам, которые не имеют смысла, несмотря на сегментацию пользователей и повторное тестирование. Конечно, время от времени клиенты ведут себя непредсказуемо, но в целом их поведение имеет определенную закономерность.

Вместо того, чтобы создавать две группы и направлять их на два разных опыта, протестируйте свой продукт на себе самом, что иногда называют «А/А-тестированием». Теоретически результаты А/А-тестирования должны быть очень похожими, поскольку между двумя поездками нет различий. Если результаты возвращаются искаженными, пришло время разбить ваш эксперимент на болты и выполнить пошаговый анализ того, где возникает проблема.

3 распространенные ошибки A/B-тестирования (и как их избежать)

A/B-тесты дают ценную информацию, если они выполняются правильно. Неправильные результаты могут исказить результаты и привести к тому, что команды будут принимать важные решения на основе неверных данных. Вот некоторые из наиболее распространенных ошибок A/B-тестирования:

1. Тестирование нескольких переменных в одном A/B-тесте

A/B-тест предназначен для проверки одной переменной за раз. Ограничение выбора A и B одним изменением позволяет вам с уверенностью знать, что это конкретное изменение было ответственно за окончательный результат.

Изменение нескольких переменных открывает результаты теста для интерпретации. Например, изменение трех эстетических характеристик может привести к лучшему результату для объявления А по сравнению с объявлением Б, но невозможно узнать, все ли три изменения привели к повышению эффективности. При индивидуальном тестировании вы можете обнаружить, что два изменения на самом деле снижают производительность, а третье изменение несет исключительную ответственность за более высокий коэффициент конверсии.

Сделайте себе одолжение и будьте проще: ограничьте себя одним вариантом на A/B-тест.

2. Слишком раннее тестирование

Если вы только что создали новую целевую страницу, стоит на некоторое время отложить A/B-тестирование. Сразу же изменяя элементы на новой странице, вы не сможете собрать необходимые показатели производительности исходной итерации. Без установленного базового уровня у вас нет правильных данных для проверки изменений.

3. Преждевременный вызов теста

У вас может возникнуть соблазн объявить об успехе всего через несколько дней, основываясь на многообещающих результатах. Однако лучше всего провести тесты хотя бы пару недель, чтобы получить более надежные данные. Такой простой фактор, как день недели или праздник, может дать искаженные результаты. Тестирование в течение нескольких недель может дать более реалистичную картину того, как клиенты реагируют на ваши изменения с течением времени.

Усильте свои A/B-тесты данными о клиентах

Исторические, демографические и поведенческие данные используются в массовых A/B-тестах некоторыми крупнейшими мировыми компаниями. Amazon использует A/B-тестирование, чтобы определить эффективность своей мощной машины рекомендаций. Netflix использовал A/B-тестирование, чтобы оправдать создание своих списков Top 10. Учитывая успехи Amazon и Netflix в своих отраслях, стоит добавить A/B-тестирование в свой набор инструментов управления продуктами.