Datamonster 2021 года: Роббин Бриллантес из ABS-CBN

В качестве руководителя отдела анализа данных ABS-CBN Роббин Брильянтес руководил внедрением Amplitude в организации и пересмотром ее отношений с данными. «Amplitude полностью изменила способ понимания и использования данных даже нетехническими сотрудниками, а также открыла важную информацию о поведении пользователей», — сказала она евангелисту продуктов Amplitude Адаму Греко. Прочтите их беседу, чтобы узнать, как Роббин Брильянтес помог сформировать культуру данных в ABS-CBN.

Адам Греко: Расскажите мне немного о себе. Какова твоя роль? Расскажите мне немного о том, чем занимается ваша организация.

Роббин Брильянтес : В настоящее время я возглавляю отдел анализа данных в ABS-CBN. ABS-CBN — крупнейшая вещательная компания на Филиппинах. А еще это старейшая телекомпания в Юго-Восточной Азии. С этим приходит традиция превосходного качества в создании контента, трансляции новостей и запуске самых популярных и любимых развлекательных программ для филиппинцев на Филиппинах и во всем мире.

ЭГ: А ты в каком отделе или в какой команде?

РБ : Я в команде данных. За последний год мы внедрили Amplitude во множество наших цифровых продуктов. В преддверии 2020 года с развитием пандемии и некоторыми неблагоприятными обстоятельствами для нашей компании ставка наших руководителей на полностью цифровой подход оказалась своевременной. Внедрение Amplitude поставило нас на путь выяснения того, как лучше всего инвестировать наше время, ресурсы, нашу энергию и усилия, чтобы убедиться, что наши продукты остаются актуальными для меняющихся вкусов и поведения наших потребителей. Оглядываясь назад, на то, с чего мы начинали, до Amplitude, и где мы находимся сегодня? Это была отличная поездка.

ЭГ: Чем вы пользовались до того, как начали использовать Amplitude? Какие еще технологии вы использовали, чтобы понять, как люди используют ваш веб-сайт или ваше мобильное приложение?

РБ : Для цифровых продуктов это в основном Google Analytics. В какой-то степени велась и работа с большими данными (инструментирование всех этих сайтов, сбор данных с платформ). Но с точки зрения поиска практических выводов из массивных данных, которые мы собирали, ничто не продвинуло нас так далеко, как Amplitude.

И в том же духе, хотя у нас были все эти данные в Big Data и Google Analytics, в организации всегда была лишь горстка людей, которые знали, как использовать инструменты для доступа к ним и их осмысления. У некоторых людей был доступ, но лишь немногие действительно знали, как читать и интерпретировать отчеты. Amplitude полностью изменила это, поскольку позволяет людям, не обладающим техническими знаниями, просматривать данные, анализировать их значение, понимать, через что проходят пользователи, и дает им действенные шаги, которые необходимо предпринять, чтобы реально улучшить важные для них показатели.

ЭГ: Как вы думаете, в чем была самая большая разница в удобстве использования между Google Analytics и Amplitude? Что повлияло на то, что люди наконец-то смогли работать в Amplitude там, где их не было в Google Analytics?

РБ: Я думаю, что с Google Analytics, где он отслеживает все «из коробки», не было никого из Google, к которому мы могли бы подойти и сказать: «Эй, не могли бы вы сказать мне, правильно ли я читаю этот отчет? Или есть способ улучшить то, как мы фиксируем это, чтобы мы понимали эти новые разработки, которые мы сделали?»

Поскольку Amplitude основан на событиях, инструментарий зависит от важных для вас показателей. И это происходит в моей команде — мы инструментируем все продукты, что, во-первых, предполагает общение с заинтересованными сторонами и понимание их путеводной звезды, чтобы мы знали, что мы должны расставить в приоритете для отслеживания. Как только эти события реализованы, командам становится легче использовать данные, поскольку они знают, что означает каждое событие, что означает для них переход от события А к событию Б, насколько быстро происходит преобразование и т. д.

ЭГ: А сколько людей обычно используют Amplitude на регулярной основе?

РБ: В настоящее время в организации около 350 человек имеют доступ к Amplitude. Среди этих пользователей около половины используют его два-три раза в неделю. С момента использования Amplitude мы более чем в 10 раз увеличили количество сотрудников, самостоятельно получающих доступ к данным. Однако это произошло не за одну ночь. Нам приходилось регулярно тренировать команды. На протяжении большей части четвертого квартала 2020 года до первой половины 2021 года я проводил еженедельные аналитические сессии по пятницам в открытом формате вопросов и ответов. Каждую неделю я откладывал несколько интересных графиков, чтобы делиться ими с командами, выявлять некоторые идеи и вплетать в них истории. У нас была смешанная аудитория из продуктов, маркетинга, разработки, контента, продаж, рекламных технологий, около 60 сотрудников, пришедших на еженедельные вопросы и ответы. Поэтому, когда я рассказываю о том, что мы измеряем сейчас, или выделяю новые области роста, я могу позвать некоторых людей и спросить их: «Эй, я видел это в вашем продукте. Очень интересно! Ожидался ли этот всплеск?» «Можете ли вы рассказать нам об этом маркетинговом усилии?» и т. д. Я думаю, что эта возможность обсудить и задать вопросы помогла сдвинуть дело с мертвой точки, поскольку команды увидели, насколько полезными могут быть данные для разных команд. Это коллективное любопытство — у нас не было этой культуры, когда мы использовали Google Analytics.

ЭГ: Самое интересное, что вы показывали им данные в контексте, что помогает пользователям понять их и мотивирует их научиться их использовать самостоятельно. Выступает ли ваша команда в качестве централизованного центра аналитики, где вы занимаетесь внедрением и обучением?

РБ: Из-за нашей ограниченной численности персонала на данный момент это так. Но по мере масштабирования наших продуктов и расширения инициатив команды по обработке данных я предвижу, что мы перейдем к модели ступицы и луча, в которой контрольно-измерительные приборы по-прежнему будут управляться нашей командой, а у нас будут специальные аналитики, встроенные в другие группы по продуктам, чтобы они могли полный контекст всех планов, текущих усилий, проблем, возможностей и т. д.

Имея в этих группах выделенных аналитиков, мы можем заботиться о командах и следить за тем, чтобы они обращали внимание на значимые показатели, а также на практику. По сути, обеспечение того, чтобы команды использовали данные для информирования действий и принятия решений, отходя от типичной устаревшей ежемесячной отчетности.

ЭГ: Я знаю, что с Amplitude вы делаете, наверное, миллион вещей. Каковы некоторые из лучших вариантов использования для вашей организации?

РБ : Основной продукт, самый большой продукт, который у нас есть, — это стриминговая платформа. Так что в прошлом, без Amplitude, у нас не было данных, связанных с поведением, будь то контент, который увеличивает количество просмотров или какой маркетинговый контент привлекает наиболее ценных пользователей. Все, что у нас было, — это данные о транзакциях, которые давали нам сводные цифры, дающие представление об общем количестве пользователей, общем количестве просмотров и основных параметрах.

Теперь мы можем говорить о том, как ведут себя разные пользователи со всего мира, кто наши самые ценные пользователи и какие действия оказывают наибольшее влияние на их опыт. С точки зрения QOE мы можем использовать данные для оценки качества видео, например, когда видео буферизуется или зависает до того, как клиенты пожалуются, что позволяет нам определить размер и масштаб проблем, чтобы сообщить, над чем мы должны работать сейчас, а в долгосрочной перспективе. исправить, или, если это крайний случай, задокументировать и перейти к чему-то другому. Интересным и недавним примером использования был анализ влияния субтитров на просмотры контента, рост числа пользователей и вовлеченность. Из данных мы смогли наблюдать, как субтитры к небольшому количеству контента на определенном языке повысили их эффективность на многих других территориях. Это вызвало любопытство по поводу того, как субтитры в целом не только укрепляют контент и потенциал роста на своем родном рынке. Субтитры, если они сделаны правильно, могут помочь нам открыть больше рынков, чтобы донести до мира лучшее из филиппинского контента. Это один из примеров того, как данные позволяют нам использовать новые возможности, о которых мы, возможно, даже не подозревали.

ЭГ: Одна из тенденций, которые мы наблюдаем сейчас, заключается в том, что у вас есть возможность увидеть, как вы привлекли людей, и связать это с тем, что они делают в вашем продукте. Много раз в Google Analytics я обнаруживал, что изначально вы можете получить много людей из разных каналов, но вы не можете реально измерить ценность этих людей. Таким образом, вы можете продолжать вкладывать деньги в кампании, которые приносят вам людей, но на самом деле не приносят вам денег.

РБ: Определенно. Одно дело знать, какой канал приносит вам больше всего пользователей, но возможность связать источник трафика с данными о поведении — вот где золото. Что касается рентабельности инвестиций в маркетинг, прямо сейчас мы можем фиксировать рекламные события и обогащать их. Когда пользователь видит рекламу, мы можем определить и зафиксировать это как рекламное событие. Мы обогащаем эти рекламные события данными из Google Ad Manager. Таким образом, даже на рынках, где наш OTT работает по модели AVOD, мы можем отнести доходы от рекламы к определенному сегменту пользователей, группе пользователей с определенного канала или платформы и так далее. Рассматривая эти доходы от рекламы в сравнении с маркетинговым бюджетом для конкретной кампании, мы можем увидеть общий доход, полученный пользователями от этой кампании, даже если он не связан с прямой транзакцией или подпиской. Эта возможность очень актуальна для любого OTT. Возможность измерить рентабельность инвестиций в маркетинг и доходы от рекламы позволяет нам опробовать стратегии, в которых AVOD может работать на некоторых рынках, а модель SVOD может работать в США и Канаде. Это обеспечивает дополнительную линзу, которая помогает маркетологам увидеть возврат своих инвестиций и, в свою очередь, делать лучшие ставки по мере их продвижения.

АГ: Как ты это сделал? Получаете ли вы данные из AdWords в виде событий? Похоже, вы видите показы и клики по объявлениям. Как это работает в Amplitude?

РБ: Мы работаем со сборщиками видео Datazoom, которые отправляются в Amplitude. По сути, есть видеособытия, которые они захватывают с проигрывателя, когда пользователи просматривают контент. Для любого из этих видеособытий мы можем отправлять пользовательские метаданные, а также объявлять настраиваемые события на клиенте. Поэтому, когда мы, пользователь, видим рекламу, Datazoom обогащает данные рекламы различными атрибутами, доступными из свежих данных, полученных из Менеджера рекламы.

ЭГ: Тогда есть ли в этих данных информация о затратах на маркетинг/рекламу?

РБ: Это та часть, которая в данный момент обрабатывается отдельно. Информация о фактических затратах на маркетинг для кампаний находится у наших специалистов по маркетингу. При подсчете рентабельности инвестиций в маркетинг маркетологи должны соответствующим образом вводить данные о расходах.

ЭГ: Собственно, над этим мы и работаем. Мы хотим быть в состоянии помочь вам добавить это и в Amplitude. Еще одна вещь, которую вы, похоже, упомянули, это то, что вы могли экспериментировать и узнавать новое о том, что происходит с опытом. Вы упомянули, что узнали, изучая влияние субтитров. Есть ли у вас процесс или стратегия, чтобы каждую неделю узнавать что-то новое из Amplitude? И как вы это документируете, и как вы делаете это частью своей культуры?

РБ: Помимо сессий вопросов и ответов каждую пятницу, которые я обычно проводил, мы также проводим встречи два раза в месяц с разными командами, в идеале объединяя их с другой командой, чтобы разнообразить точки зрения и стимулировать любопытство в наших дискуссиях. На каждом занятии команды рассказывают о том, над чем они работают, и о том, как они использовали Amplitude, или показывают диаграмму, которую они используют для подготовки к текущей инициативе. Им давали домашнюю работу для следующего занятия, обычно таблицу или тетрадь, и делились ею с группой. Это был хороший способ дать им полезную обратную связь о том, как еще можно собрать данные для более убедительной истории или по-настоящему донести мысль.

В то же время мы бросаем им вызов, учитывая данные, которыми они делятся с нами. Поэтому, если мы, например, видим, что тенденция в маркетинге заключается в том, что они не привлекают пользователей, которые остаются, или пользователи, которые присоединяются, только посещают платформу, но не выполняют никаких просмотров, мы ведем команду по пути узнать, что эти пользователи делают на платформе, и сравнить их поведение с поведением наших опытных пользователей из предыдущих кампаний. Мы пытаемся определить, что работает, в чем их сходство, и исследуем их дальше.

Для маркетологов, занимающихся субтитрами, я думаю, что наличие данных и этих знаний невероятно полезно, когда они запрашивают свой бюджет на субтитры и продвижение доступности контента с субтитрами. Данные собираются вместе, выявляются идеи, и они могут с уверенностью делиться своими рекомендациями, потому что знают, что они подкреплены данными. И как только действие будет предпринято, они смогут измерить влияние своей кампании и увидеть возможности для настройки кампании.

ЭГ: Похоже, они используют некоторые функции совместной работы, которые есть в продукте, такие как блокноты. Помогли ли тетради рассказать истории, когда они проходят через этот процесс?

РБ: Определенно. Это также уменьшило количество цифровых отходов, связанных со скриншотами, размещением их в презентациях PowerPoint и т. д. Используя блокноты, мы можем написать историю и представить диаграммы, которые лучше всего отражают ключевые идеи, которыми мы хотим поделиться. Во многих командах эти блокноты заменили презентации. Поэтому для тех, кто получает эти ссылки на блокноты, а это в основном высшее руководство, мы также проводим занятия, чтобы ознакомить их с этим новым форматом представления идей и идей. Ключевым элементом является то, что они интерактивны. Использование его на собрании, показывая интерактивные элементы, вызывает больше любопытства и интереса у участников и вызывает больше вопросов. Совещания становятся более увлекательными, поскольку мы можем запрашивать данные и получать ответы на лету. У нас никогда не было этого в прошлом. До появления Amplitude вам требовалось от трех дней до двух недель, чтобы получить ответы на дополнительные вопросы. Теперь, используя Amplitude, если вы попросите меня изучить рынок США или Калифорнии, чтобы узнать, сколько у нас там пользователей, я могу показать вам в реальном времени, как это выглядит. Я думаю, что это было зрелищно для всех.

ЭГ: Мне любопытно, в Amplitude есть много автоматических аналитических данных, основанных на ваших данных. Используете ли вы какие-либо функции, которые автоматизируют часть анализа, или те, которые пытаются подтолкнуть ваших аналитиков в определенном направлении?

РБ: В настоящее время мы используем автоматизированную аналитику в основном для обнаружения аномалий.

АГ: И как это используется?

РБ: Для платформы OTT у меня были бы графики мониторинга в режиме реального времени и по часам для ключевых частей воронки пользователей, например, потока регистрации. На почасовых графиках регистрации/входа будут настроены оповещения, которые будут срабатывать в зависимости от конкретного отклонения от среднего значения за прошлые периоды. После настройки этих предупреждений и возможности исследовать их с помощью анализа первопричин я получаю множество разбивок в соответствии с различными, наиболее запрашиваемыми свойствами пользователей и событий. Это быстрый способ определить, что происходит, а затем обсудить с командами, как их решить.

ЭГ: Да, это довольно мощная функция. Это плюс когорты довольно эффективны с точки зрения наблюдения за различными группами ваших пользователей.

Какие еще инструменты есть в вашем стеке данных или MarTech? Какое место в общей картине занимают данные Amplitude? Существуют ли другие системы? Вы берете группы пользователей и отправляете им электронные письма с другим продуктом? Вы отправляете данные Amplitude в озеро данных? Есть ли какие-то другие данные, которые вы используете в Amplitude, кроме рекламных, о которых мы говорили?

РБ: Мы создаем аудитории с помощью когорт и отправляем их в нашу корзину S3. И оттуда мы подготавливаем их и отправляем в нашу DMP, чтобы мы могли ориентироваться на пользователей на основе этой аудитории, собственных интересов и демографических данных, среди прочего.

ЭГ: Что касается самого продукта Amplitude, какие отчеты или функции вы бы назвали наиболее предпочтительными, которые вы используете чаще всего?

РБ: Я думаю, что чаще всего это сегментация событий и воронки. Я думаю, что сегментация событий наиболее удобна для обычного пользователя. Он отвечает на вопрос: что происходит? Сколько пользователей видели это? Сколько пользователей зарегистрировалось? И так далее. Естественный следующий шаг — использовать воронки, чтобы понять, какова конверсия между пользователем, выполняющим это событие A и событие B, или следующее, что мы хотим, чтобы они сделали.

Некоторые из наших команд уже используют диаграммы жизненного цикла, чтобы понять, как пользователи приходят и уходят на платформу. Для тех, кто следит за бесплатным сегментом или платными/подписными пользователями, они хотели бы видеть эту диаграмму жизненного цикла на еженедельной или ежемесячной основе, чтобы найти ответы на такие вопросы, как «Сколько новых пользователей на платформе в этом месяце». ?» «Сколько из нынешних пользователей в этом месяце станут бездействующими в следующем месяце?» И так далее.

ЭГ: Используете ли вы свои тренинги, чтобы рассказать пользователям Amplitude о многих других возможностях, предлагаемых платформой? Мы пытаемся выяснить, как заставить людей чаще использовать другие.

РБ: Абсолютно. На наших тренингах, если у нас есть возможность показать им лучшую диаграмму, чтобы ответить на тот же вопрос или развить их вопрос, мы показываем им альтернативный тип диаграммы, который делает именно это.

ЭГ: Я хотел поговорить о нашем пользовательском профиле. В Google Analytics вы не можете найти конкретного человека и увидеть все события, которые он совершил, или объединить любые разные устройства, которые они использовали. Мне интересно, как профиль пользователя в Amplitude помогает по сравнению с тем, что у вас есть в Google Analytics, и как вы используете профиль пользователя?

РБ: Профиль пользователя является большим отличием Amplitude от Google Analytics. В Google Analytics нет смысла работать с одним пользователем. В то время как для Amplitude вы можете просматривать поток для отдельного пользователя, видеть, на скольких устройствах они работают и какие события они инициировали в течение своего сеанса. Например, у нас есть розничное предложение, в котором пользователи платят за контент, доступный для просмотра только в течение 48 часов. Время от времени мы получаем отзывы от клиентов, говорящих, что они не могут получить доступ к контенту, за который они заплатили, и они беспокоятся, что им придется платить снова. Используя поиск пользователей, наша команда обслуживания клиентов может найти поток конкретного пользователя и проанализировать последовательность событий, которые они сгенерировали. Когда был совершен платеж, какой был платежный шлюз и нажимал ли пользователь на контент и запускались ли последующие видеособытия.

Это очень подробное представление на уровне пользователя дает команде обслуживания клиентов уверенность в том, что она лучше обрабатывает отзывы и управляет типом ответа или действия, которые необходимо предпринять. В конце концов, это также очень хорошо для наших клиентов, потому что сокращение догадок приводит к более быстрому решению проблем.