Создание культуры самообслуживания данных и экспериментов для лучшего принятия решений

Когда дело доходит до разработки приложения или веб-сайта, лучше всего простота. Перемещение пользователей из точки А в точку Б за наименьшее количество шагов и с самым чистым интерфейсом является признаком выдающегося опыта. Но даже самый простой путь пользователя генерирует строку данных о событии, которую необходимо отсортировать и интерпретировать. С правильными инструментами эти необработанные данные становятся сокровищницей информации, которая может вывести ваш бизнес на новый уровень.

Я старший менеджер по продукту в SmartRecruiters, поставщике программного обеспечения, которое позволяет компаниям управлять своей программой привлечения талантов, как мощной машиной маркетинга и продаж. Наш набор инструментов для поиска талантов в сфере B2B упрощает процесс найма и помогает компаниям находить и нанимать нужных людей.

С правильными инструментами необработанные данные становятся сокровищницей информации, которая может вывести ваш бизнес на новый уровень.

Недавним дополнением к нашему флагманскому продукту B2B стало решение Smartr для B2C. Smartr — это удобная онлайн-платформа, которая помогает соискателям найти работу у более чем 4000 работодателей. У нас есть два миллиона активных пользователей, которые ищут работу в Интернете, генерируя сотни миллионов событий.

Осмыслить пути пользователей было невозможно

Когда я присоединился к компании в 2020 году, понять пути наших пользователей было практически невозможно. Мы напрямую подключались к нашей базе данных событий и пытались визуализировать ситуацию с помощью SQL и Tableau. Мы писали запросы для каждого проанализированного события и загружали результаты в Tableau. Это отнимало много времени, и мы прыгали через обручи, чтобы заставить данные работать, потому что было слишком много движущихся частей.

В то время Smartr был в зачаточном состоянии, и наша команда тоже была новой. По мере того, как мы привлекали к работе над Smartr новых людей, мы одновременно искали новые инструменты, которые могли бы помочь нам стать лучше. Мы хотели анализировать и визуализировать больше событий и создавать отчеты, но наши инструменты визуализации не подходили для анализа отслеживания событий. Я начал искать идеальное решение, которое поможет нам лучше понять поведение пользователей.

Расширение на правильной платформе

Во время некоторых базовых исследований инструментов аналитики я обнаружил, что корпоративная сторона SmartRecruiters использует бесплатную версию Amplitude Analytics. Поскольку он уже был у нас дома, я решил попробовать и записался на несколько семинаров с менеджерами по работе с клиентами Amplitude.

Даже с ограниченными возможностями бесплатного пакета Starter сразу стало очевидно, что Analytics — лучший инструмент на рынке для отслеживания событий. Он легко интегрируется с нашей базой данных, а его интерактивный интерфейс, встроенные инструменты визуализации и шаблоны отчетов позволяют нам преобразовывать необработанные данные в удобную для понимания информацию. Менее чем за минуту мы можем задать и ответить на вопросы, на формулирование, извлечение и интерпретацию которых раньше уходило полдня с использованием SQL-запросов и Tableau.

Я быстро пришел к выводу, что мы не используем Analytics на полную мощность, и выступил за переход на один из платных уровней платформы, чтобы мы могли воспользоваться всеми ее возможностями.

Мониторинг новых функций в режиме реального времени

По мере того, как мы наращивали его использование, Analytics представила мониторинг в реальном времени, который позволяет нам тестировать новую функцию, как только мы добавляем ее на наш веб-сайт или в приложение. С существующим идентификатором пользователя мы можем тестировать проект в режиме реального времени и видеть, какие события активируются, не создавая тестовую среду и не дожидаясь входа пользователей и клиентов.

Данные в режиме реального времени делают команды и пользователей более счастливыми, потому что в циклах разработки и расшифровке пути клиентов меньше камней преткновения.

В течение нескольких минут после запуска новой функции я могу сообщить своим инженерам, запускает ли она нужные события, и они сразу же устранят неполадки и решат проблему. Это более разумный способ работы (извините за каламбур), и моя команда и наши пользователи довольны, потому что в наших циклах разработки и расшифровке пути клиентов меньше камней преткновения.

Вывод экспериментов на новый уровень

Аналитика — это мощное средство, и по мере того, как мы увеличивали команду Smartr, мы начали искать возможности для работы с данными о событиях. Логичным ответом было увеличить наше A/B-тестирование, чтобы мы могли попробовать разные версии нашего веб-сайта и приложения.

Купить отдельную экспериментальную платформу или создать собственную легко обойдется в сто тысяч долларов в год, а затем нам придется найти способ интегрировать новую платформу с нашими данными и событиями.

Вместо того, чтобы искать отдельное решение, мы обратились к Amplitude Experiment, надежному решению для экспериментов и управления функциями, которое позволяет нам тестировать функциональные возможности и улучшать интерфейс. Experiment полностью интегрируется с инструментами Analytics, предлагая полный рабочий процесс для экспериментов.

Одним из самых больших успехов Experiment стал запуск функции закладок Smartr. Когда кандидаты находят интересную вакансию, они могут отметить ее, продолжить поиск работы, а затем вернуться и подать заявку. Мы экспериментировали с двумя новыми версиями значка закладки, звездой и сердечком, в дополнение к существующему значку закладки в качестве элемента управления. и увидел, что пользователи предпочитают сердце.

Мы провели тест, назначив 1/3 нашего трафика каждому из вариантов. Мы были заинтересованы в тестировании коэффициента закладок, который представляет собой коэффициент конверсии пользователей, подвергающихся воздействию различных вариантов, и сколько из них добавили работу в закладки. Скорость закладки для кнопки-сердечка увеличилась по сравнению с контрольным вариантом на 46,6%, а скорость закладки для кнопки-звездочки только на 8,78%. Мы также хотели проверить уровень заявок, который представляет собой процент отмеченных в закладках вакансий, на которые кандидаты в конечном итоге подали заявки. Для кнопки с сердечком этот показатель увеличился на 58% по сравнению с контролем, а для кнопки со звездой улучшение составило всего 23,4%.

Amplitude подтвердил статистическую значимость этих улучшений после шести дней проведения эксперимента, поэтому решение заменить старую кнопку закладки на сердечко было легким.

Конечно, мы тогда задавали дополнительные вопросы. Как отреагируют пользователи, если мы изменим часть нашего онбординга или создадим совершенно новый? Будут ли они больше взаимодействовать с контентом? Подать заявку на дополнительные вакансии? И как это повлияет на наши KPI? Мы обнаружили, что задаем и отвечаем на больше вопросов, актуальных для нашей аудитории.

Растущая культура данных

Приятно видеть, как растет наша культура данных. За последние 12 месяцев мы наблюдаем рост внедрения на 950%. И вместо того, чтобы наблюдать первоначальный всплеск после найма и увольнения, вовлеченность остается высокой. Это положило начало модели данных самообслуживания, в которой люди чувствуют себя более уверенно в отношении данных, которые они видят, и в своей способности принимать решения на их основе.

Я ежедневно использую Analytics для создания новых диаграмм и представляю их команде, подавая личный пример. Все, от разработчиков продуктов до дизайнеров и инженеров, могут создавать диаграммы и копаться в данных, которые им нужны, когда им это нужно. Хотя не все используют Analytics ежедневно, меньше людей обращается ко мне с вопросами или просьбами о запросах, и команда может работать быстрее.

Благодаря этому росту я стал финалистом премии Amplitude Pioneer Awards в категории Data Culture Award. Приятно, что наша работа признана не только внутри, но и снаружи.

Гибкость для усовершенствования Smartr

Любой инструмент аналитики предоставит информацию, которая поможет принимать более обоснованные решения, но гибкость аналитики отличает его. Это упрощает анализ данных. Вместо того, чтобы тратить время, усилия и ресурсы на создание того, что нам нужно, с нуля, все готово к использованию и изменению.

Моя команда усовершенствовала наше предложение продуктов и оптимизировала взаимодействие с пользователем. Мы создали процветающее сообщество соискателей, использующих нашу платформу, чтобы сделать свой следующий или первый карьерный шаг. Мы можем создавать новые события и мгновенно отслеживать и анализировать их с помощью встроенных информационных панелей. Мы начали принимать решения на основе данных и сосредоточились на мониторинге производительности, а не на написании запросов и управлении нашими инструментами аналитики. Легко увидеть, какие функции нужны пользователям, и проследить их путь, когда они переходят с главной страницы на другие страницы нашего сайта.

При создании нового продукта вы должны быстро реагировать и обеспечивать правильность всех сведений о свойствах события. Сочетание аналитики и эксперимента гарантирует, что команда Smartr продолжит создавать продукт, который соответствует нашим корпоративным коллегам.