Как повысить эффективность экспериментов с помощью сегментации пользователей

Глубоко внутри нового рабочего процесса для вашего внутреннего приложения для обмена сообщениями что-то очень не так. Несмотря на большое количество клиентов, подписавшихся на бесплатную пробную версию вашего программного обеспечения, конверсии намного ниже, чем ожидалось. Вы рассматриваете возможность добавления поощрений для повышения коэффициента конверсии, но не хотите устанавливать слишком низкую цену и не хотите предлагать скидки тем клиентам, которые имеют высокую вероятность конверсии. Когда вы настроены оптимистично, вы копаетесь в данных, чтобы определить правильный курс действий. Когда вы настроены пессимистично, вам может захотеться разорвать весь рабочий процесс и начать сначала.

Эксперименты с A/B-тестированием и изменением рабочего процесса могут иметь большое значение для выявления проблем с конверсией. Однако, если эти эксперименты не нацелены на правильную аудиторию, вы потенциально анализируете результаты, искаженные по когортам, не имеющие отношения к вашей конечной цели.

Сегментация пользователей — организация групп пользователей по общим демографическим характеристикам или поведению — может сфокусировать ваши эксперименты, чтобы ориентироваться только на нужных вам клиентов. Эксперименты, включающие пользовательские сегменты, могут давать результаты, проверенные данными, которым вы можете доверять, позволяя вам вносить изменения с уверенностью в своей миссии по улучшению пользовательского опыта и стимулированию конверсий — и с минимальными затратами для вас и вашей компании.

Нацельтесь на нужных клиентов с помощью сегментации пользователей

Создание экспериментов, направленных не на те сегменты клиентов, приводит к результатам, не соответствующим вашему первоначальному вопросу. В предыдущем гипотетическом примере вы обнаружили проблему с переходом клиентов из пробной версии в платную подписку на вашу услугу. Вы решаете направить выборку пробных участников в отдельный рабочий процесс со скидкой в ​​качестве средства повышения конверсии. Эта тактика гипотетически разумна, но без надлежащей сегментации пользователей она обременена практическими проблемами:

• Проведение эксперимента без надлежащей сегментации пользователей может привести к снижению доходов. Некоторые участники пробной версии используют ваш продукт чаще и более осмысленно, чем другие. Эти клиенты, скорее всего, зарегистрируются, не нуждаясь в поощрении, поэтому отправка им предложения будет стоить вам только денег.
• Проведение эксперимента без надлежащей сегментации пользователей может исказить результаты. Ориентация на тех же самых активных клиентов наряду с минимальными пользователями может привести к ошибочным выводам. Например, ваши эксперименты показывают, что мотивированный рабочий процесс увеличил количество конверсий только на 1,3%. Без сегментации базовая сумма включает, по крайней мере, некоторых клиентов, которые собирались зарегистрироваться в любом случае, что разбавляет результаты.
• Проведение эксперимента без надлежащей сегментации пользователей может вызвать раздражение. Ваше приложение для обмена сообщениями, вероятно, не используется изолированно — оно создано для команд. Если бы вся компания приняла ваш продукт, неправильная сегментация могла бы привести к тому, что половина команды получила бы предложение о скидке, а половину из них попросили бы заплатить полную цену.

Эксперименты, проведенные без сегментации, могут быть как безрезультатными, так и катастрофическими. Даже маркетологи, пытающиеся провести сегментацию, могут обнаружить, что простая группировка по демографическим или географическим данным не создает сверхспецифичной когорты, необходимой для надлежащего тестирования.

Правильно нацеленные эксперименты требуют сегментации по поведению клиентов. Для вашего гипотетического продукта вы можете определить «+/- 10 сообщений, отправляемых в день» как переменную, с помощью которой клиенты направляются в «обычный» рабочий процесс или тот, который заканчивается стимулирующим предложением. Группировка участников пробной версии по этому поведению максимизирует вероятность того, что результаты эксперимента понравятся клиентам, к которым вы изначально стремились обратиться.

Протестируйте (и затем проанализируйте) результаты из того же сегмента

Имея наготове гипотезу и поставив перед собой правильные цели, вы можете начать строить свой эксперимент. К этому моменту сегментация помогла сузить общий пул клиентов до соответствующей группы. Вместо того, чтобы тестировать каждого клиента в новом сегменте, вам нужно создать две группы: экспериментальную и контрольную. Таким образом, вы сможете сравнить результаты экспериментальной группы с результатами тех, кто не испытал никаких изменений.

Вы не хотите направлять каждого подходящего клиента в свой новый рабочий процесс, не зная, какие последствия это может иметь. Создание сегмента позволяет использовать участников того же сегмента, не включенных в эксперимент, в качестве контрольной группы. Это позволяет сравнить результаты вашего эксперимента с аналогичной когортой, используя текущий рабочий процесс.

Такой эксперимент для вашей внутренней платформы обмена сообщениями может выглядеть так:

• Использование Amplitude Experiment для создания сегмента, состоящего из клиентов, отправляющих менее 10 сообщений в день.
• Проталкивание новых клиентов через новый мотивированный рабочий процесс
• Сравнение коэффициентов конверсии клиентов в стимулированном рабочем процессе с сегментом той же когорты, проходящим «обычный» рабочий процесс.

Разделение вашей сегментированной когорты на экспериментальную и контрольную группы помогает обеспечить достоверность результатов, позволяя вам анализировать тех же клиентов, которых вы использовали в своем эксперименте. Например, ваши экспериментальные и контрольные группы можно специально сегментировать, включив в них «людей, которые отправляют менее 10 сообщений в день И также подписались 1 декабря». Это позволяет сравнивать поведение и демографические данные, что позволяет анализировать данные по принципу «яблоки к яблокам» для наилучшего понимания, на котором можно основывать принятие решений в будущем.

Сегментация клиентов на основе одного или двух параметров может сузить более широкий круг клиентов, но чрезмерная сегментация может ограничить размер выборки до ненадежного уровня. Только эксперименты с «людьми, которые отправляют менее 10 сообщений в день, А ТАКЖЕ подписались 1 декабря, И им 40 лет, И идентифицируют себя как женщины», могут дать результаты только у небольшого числа людей. Платформы аналитики предоставляют более точные аналитические данные, а не менее релевантные данные — концепция, о которой следует помнить при разработке следующего эксперимента.

Возьмите то, что вы узнали, и проверьте снова (и снова)

Результаты экспериментов могут дать информацию, которая предложит неожиданные следующие шаги. Может показаться, что данные указывают на фундаментальный недостаток в вашем рабочем процессе, который требует серьезного ремонта. Однако было бы глупо вносить радикальные изменения в свои процедуры или продукты на основе одного эксперимента. Внесение таких масштабных и потенциально дорогостоящих изменений потребует высокого уровня уверенности в результатах, близкой к достоверности, чего не может обеспечить один успешный тест.

Достижение одного и того же результата путем многократного повторения одного и того же эксперимента является важнейшим аспектом научного метода. Таким образом, осторожный руководитель проекта должен провести один и тот же эксперимент на разных сегментах когорты, чтобы проверить их первоначальные выводы. Неоднократное достижение одних и тех же результатов в небольших контролируемых экспериментах может оправдать крупномасштабные изменения, которые в противном случае казались бы слишком рискованными для попыток или слишком дорогостоящими, чтобы ошибиться.

Однако иногда эксперимент можно повторить с небольшими изменениями основных выводов. Например, возможно, новый эксперимент с рабочим процессом вашего приложения для обмена сообщениями дает именно то, что вы ожидаете. После того, как повторные эксперименты подтвердили повышение коэффициента конверсии клиентов, которым предлагалось поощрение за присоединение, вы задаетесь вопросом: какова оптимальная скидка для конверсии?

Итак, вы начинаете заново, сегментируя другую группу клиентов. На этот раз вы предлагаете две разные цены в конце процесса адаптации, пока не найдете лучший вариант. Результаты указывают вам на лучший результат, и поэтому вы проводите еще один эксперимент с новыми ценовыми показателями, а затем еще один, а затем еще один, пока данные не определят ценовой уровень, который приводит к наибольшему количеству конверсий с минимальным влиянием на вашу прибыль. .

Сегментируйте свой путь к успешным экспериментам

Есть ли способ сделать это лучше? В конце концов, именно эта мысль находится в центре внимания каждого менеджера по продукту, когда он думает об успехе своего продукта и процессов. Будучи бесконечно любопытным существом, у вас есть грандиозные идеи или назойливые подозрения, которые вы хотели доказать или опровергнуть, но у вас не было средств сделать это, не нагружая ресурсы компании и не нарушая качество обслуживания клиентов.

Однако теперь ваше любопытство основано на аналитике. Экспериментирование на основе данных может удовлетворить настойчивый голос в вашей голове, призывающий вас делать больше и делать это лучше. Благодаря сегментации пользователей вы можете более безопасно получать надежные результаты небольших экспериментов, которые способствуют более смелым и эффективным изменениям. В «худшем» эксперименте? Вы возвращаетесь к своему первоначальному подходу. Но в лучшем случае? Вы можете просто улучшить качество обслуживания клиентов, увеличить продажи и заложить основу для следующего крупного эксперимента.