Datamonster do ano de 2021: Robbin Brillantes da ABS-CBN

Como chefe de análise de dados da ABS-CBN, Robbin Brillantes tem liderado a implementação do Amplitude pela organização – e uma revisão de seu relacionamento com os dados. “A Amplitude mudou completamente” a maneira como até mesmo funcionários não técnicos podem entender e usar dados, e revelou insights importantes sobre o comportamento do usuário, disse ela ao evangelista de produtos da Amplitude, Adam Greco. Leia mais de sua conversa para descobrir como Robbin Brillantes ajudou a forjar uma cultura de dados no ABS-CBN.

Adam Greco: Conte-me um pouco sobre você. Qual é o seu papel? E conte-me um pouco sobre o que sua organização faz.

Robbin Brillantes : Atualmente sou o chefe de análise de dados do ABS-CBN. ABS-CBN é a maior empresa de transmissão de mídia nas Filipinas. E é também a emissora de televisão mais antiga do Sudeste Asiático. Com isso vem uma tradição de excelência na criação de conteúdo, transmissão de notícias e lançamento dos programas de entretenimento mais populares e amados pelos filipinos nas Filipinas e em todo o mundo.

AG: E em qual departamento ou equipe você está?

RB : Estou na equipe de dados. Ao longo do ano passado, integramos o Amplitude a uma série de nossos produtos digitais. Entrando em 2020 com o desenrolar da pandemia e algumas circunstâncias infelizes para nossa empresa, a aposta de nossos líderes em uma abordagem totalmente digital acabou chegando no momento certo. A integração do Amplitude nos colocou no caminho de descobrir a melhor forma de investir nosso tempo, recursos, energia e esforços para garantir que nossos produtos permaneçam relevantes para as mudanças de gostos e comportamentos de nossos consumidores. Olhando para onde começamos, pré-Amplitude, e onde estamos hoje? Tem sido um ótimo passeio.

AG: Antes de começar a usar Amplitude, o que você usava? Que outras tecnologias você estava usando para entender como as pessoas estavam usando seu site ou seu aplicativo para dispositivos móveis?

RB : Para produtos digitais, foi em grande parte o Google Analytics. Até certo ponto, também houve algum trabalho usando big data (instrumentando todos esses sites, coletando os dados das plataformas). Mas em termos de encontrar insights acionáveis ​​a partir dos dados massivos que estávamos capturando, nada nos trouxe tão longe quanto o Amplitude.

E na mesma linha, embora tivéssemos todos esses dados em Big Data e Google Analytics, havia apenas um punhado de pessoas na organização que sabiam como usar ferramentas para acessá-los e entendê-los. Algumas pessoas tinham acesso, mas poucas sabiam realmente ler e interpretar os relatórios. O Amplitude mudou completamente isso, pois permite que pessoas não técnicas analisem os dados, digiram o que eles significam, entendam o que os usuários estão passando e fornecem etapas acionáveis ​​para realmente impulsionar a melhoria nas métricas que importam para eles.

AG: Então, qual você acha que foi a maior diferença de usabilidade entre o Google Analytics e o Amplitude? O que fez a diferença para as pessoas finalmente poderem se autoatender no Amplitude onde não estavam no Google Analytics?

RB: Acho que com o Google Analytics, onde ele rastreia tudo pronto para uso, não há ninguém do Google que possamos abordar e dizer: “Ei, você pode me dizer se estou lendo este relatório certo? Ou existe uma maneira de refinar como estamos capturando isso para que possamos entender esses novos desenvolvimentos que fizemos?”

Com Amplitude, por ser baseado em eventos, sua instrumentação depende das métricas que importam para você. E isso acontece dentro da minha equipe – nós instrumentamos todos os produtos, o que, em primeiro lugar, envolve falar com as partes interessadas e entender qual é a sua Estrela do Norte para sabermos o que devemos priorizar para rastreamento. Depois que esses eventos são implementados, fica mais fácil para as equipes usarem os dados, pois sabem o que cada evento significa, o que o movimento do evento A para o evento B significa para eles ou quão rápido é o tempo de conversão e assim por diante.

AG: E quantas pessoas normalmente usam Amplitude regularmente?

RB: Há cerca de 350 pessoas na organização que têm acesso ao Amplitude no momento. Entre esses usuários, cerca de metade deles o utiliza de duas a três vezes por semana. Desde que usamos o Amplitude, mais de 10 vezes o número de funcionários acessando os dados por conta própria. Isso não aconteceu durante a noite embora. Tínhamos que treinar as equipes regularmente. Durante a maior parte do quarto trimestre de 2020 até o primeiro semestre de 2021, conduzi sessões semanais de análise às sextas-feiras, em um formato aberto de perguntas e respostas. A cada semana eu separava alguns gráficos interessantes para compartilhar com as equipes, chamar a atenção para alguns insights e tecer as histórias por trás deles. Tivemos um público misto de produto, marketing, engenharia, conteúdo, vendas, tecnologia de anúncios, de cerca de 60 funcionários participando desta sessão de perguntas e respostas semanais. Então, quando falo sobre o que estamos medindo agora, ou destaco novas áreas de crescimento, posso chamar algumas pessoas e perguntar: “Ei, vi isso no seu produto. Muito interessante! Esse pico era esperado?” “Você pode nos contar sobre esse esforço de marketing?” etc. Acho que esse caminho para discutir e fazer perguntas ajudou a dar o pontapé inicial, pois as equipes viram como os dados poderiam ser empoderadores entre diferentes equipes. Essa curiosidade coletiva – não tínhamos essa cultura quando usávamos o Google Analytics.

AG: A parte legal é que você estava mostrando os dados no contexto, o que ajuda os usuários a entendê-los e os motiva a aprender a usá-los por conta própria. Sua equipe atua como um hub centralizado para análises onde você faz a implementação e os treinamentos?

RB: Devido ao nosso número limitado de funcionários no momento, é. Mas, à medida que nossos produtos se expandem e as iniciativas da equipe de dados se expandem, prevejo que migraremos para um modelo hub and spoke em que a instrumentação ainda será gerenciada por nossa equipe, e teremos analistas dedicados incorporados em outras equipes de produtos para que eles tenham a contexto completo de todos os planos, esforços contínuos, desafios, oportunidades, etc.

Ao ter analistas dedicados nesses grupos, podemos cuidar das equipes e garantir que elas estejam analisando métricas significativas e que o insight seja praticado. Essencialmente, garantir que as equipes usem dados para informar ações e tomadas de decisão, afastando-se dos relatórios mensais típicos de legado.

AG: Eu sei que provavelmente há um milhão de coisas que você está fazendo com Amplitude. Quais são alguns dos principais casos de uso para sua organização?

RB : O principal produto, o maior produto que temos, é uma plataforma de streaming. Então, no passado, sem Amplitude, não tínhamos dados vinculados ao comportamento, seja qual conteúdo gerava mais minutos assistidos ou qual conteúdo de marketing atrai os usuários mais valiosos. Tudo o que tínhamos eram dados transacionais que nos davam números resumidos que nos davam uma noção do total de usuários, visualizações totais e dimensões básicas.

Agora podemos falar sobre como nossos diferentes usuários de todo o mundo se comportam, quem são nossos usuários mais valiosos e quais ações têm o maior impacto em sua experiência. Do ponto de vista de QOE, podemos usar dados para avaliar a qualidade do vídeo, como quando os vídeos estão em buffer ou travando antes que os clientes reclamem, o que nos permite identificar o tamanho e a escala dos problemas para informar no que devemos trabalhar agora, perseguir como um longo prazo corrigir, ou se for um caso extremo, documente e passe para outra coisa. Um caso de uso interessante e recente foi analisar o impacto das legendas na visualização do conteúdo, no crescimento do usuário e no engajamento. A partir dos dados, pudemos observar como a legendagem de um punhado de conteúdo em um determinado idioma impulsionou seu desempenho em, surpreendentemente, muitos outros territórios. Isso despertou a curiosidade sobre como a legendagem, em geral, não apenas fortalece o conteúdo e o potencial de crescimento em seu mercado nativo. A legendagem, quando feita corretamente, pode nos ajudar a abrir mais mercados para trazer o melhor do conteúdo filipino ao mundo. Este é um exemplo de como os dados nos permitem buscar novas oportunidades que talvez nem sabíamos que existiam.

AG: Uma das tendências que estamos vendo agora é que você tem a capacidade de ver como adquiriu pessoas e conectar isso com o que elas estão fazendo em seu produto. Muitas vezes, no Google Analytics, descobri que, inicialmente, você pode obter muitas pessoas de diferentes canais, mas não pode realmente medir o valor downstream dessas pessoas. Então, você pode continuar investindo dinheiro em campanhas que estão atraindo pessoas, mas não realmente ganhando dinheiro.

RB: Com certeza. Uma coisa é saber qual canal traz mais usuários para você, mas a capacidade de vincular a origem do tráfego aos dados de comportamento é onde está o ouro. Para esse ponto de ROI de marketing, agora, podemos capturar eventos de anúncios e enriquecê-los. Quando um usuário vê um anúncio, podemos definir e capturar isso como um evento de anúncio. Estamos enriquecendo esses eventos de anúncios com dados do Google Ad Manager. Assim, mesmo em mercados onde nosso OTT é executado em um modelo AVOD, podemos atribuir receitas de anúncios a um segmento específico de usuários, um grupo de usuários de um canal ou plataforma específico e assim por diante. Observando essas receitas de anúncios em relação a um orçamento de marketing para uma campanha específica, podemos ver a receita total gerada pelos usuários dessa campanha, mesmo quando não é impulsionada por uma transação ou assinatura direta. Essa capacidade é muito relevante para qualquer OTT. Ser capaz de medir o ROI de marketing e as receitas de anúncios nos permite experimentar estratégias em que o AVOD pode funcionar em alguns mercados, enquanto um modelo SVOD pode ser o que funciona para os Estados Unidos e Canadá. Isso fornece uma lente adicional que ajuda os profissionais de marketing a ver o retorno de seus investimentos e, por sua vez, fazer melhores apostas à medida que avançam.

AG: Como você fez isso? Você está coletando dados do Google AdWords como eventos? Parece que você está vendo impressões e cliques de anúncios. Como isso funciona no Amplitude?

RB: Trabalhamos com os coletores de vídeo da Datazoom que são enviados para Amplitude. Essencialmente, há eventos de vídeo que eles capturam do player à medida que os usuários assistem ao conteúdo. Para qualquer um desses eventos de vídeo, podemos enviar metadados personalizados, bem como declarar eventos personalizados no cliente. Assim, quando um usuário vê um anúncio, o Datazoom enriquece os dados do anúncio com diferentes atributos disponíveis a partir de um novo pull de dados do Ad Manager.

AG: Então esses dados também têm as informações de custos de marketing/publicidade?

RB: Essa é a peça que está sendo tratada separadamente no momento. As informações sobre os gastos reais de marketing para campanhas ficam com nossos profissionais de marketing. Ao reunir o ROI de marketing, os profissionais de marketing precisam inserir os detalhes dos gastos de acordo.

AG: Na verdade, estamos trabalhando nisso. Queremos ser capazes de ajudá-lo a colocar isso no Amplitude também. A outra coisa que parecia que você estava mencionando é que você foi capaz de experimentar e aprender coisas novas sobre o que está acontecendo com a experiência. Você mencionou o que aprendeu estudando o impacto das legendas. Você tem um processo ou uma estratégia toda semana tentando aprender coisas novas com o Amplitude? E como você documenta isso, e como você faz isso parte de seu tipo de cultura?

RB: Além das sessões de perguntas e respostas todas as sextas-feiras que eu costumava fazer, também realizamos sessões duas vezes por mês com as diferentes equipes, idealmente agrupando-as com outra equipe para diversificar as perspectivas e estimular a curiosidade em nossas discussões. Em cada sessão, as equipes compartilham algo em que estão trabalhando e como usaram o Amplitude ou mostram um gráfico que estão usando para se preparar para uma iniciativa em andamento. Eles recebiam o dever de casa para a sessão seguinte, geralmente um gráfico ou um caderno, e o compartilhavam com o grupo. Essa foi uma boa maneira de dar a eles um feedback útil sobre como os dados poderiam ser reunidos para uma história mais convincente ou para realmente esclarecer o ponto.

Ao mesmo tempo, nós os desafiamos devido aos dados que eles compartilham conosco. Então, se nós, por exemplo, percebermos que a tendência do marketing é que eles não estão adquirindo usuários que ficam por aqui, ou usuários que ingressam apenas visitam a plataforma, mas não realizam nenhum evento de visualização, nós conduzimos a equipe pelo caminho de descobrir o que esses usuários estão fazendo na plataforma e comparar seu comportamento com os de nossos usuários avançados de campanhas anteriores. Tentamos identificar o que funciona, quais são suas semelhanças e investigar mais a fundo.

Para os profissionais de marketing que procuram legendagem, acho que ter os dados e esses aprendizados é incrivelmente útil quando eles solicitam seu orçamento para legendar e promover a disponibilidade de conteúdo legendado. Os dados são reunidos, os insights são apresentados e eles podem compartilhar suas recomendações com confiança, pois sabem que são apoiados por dados. E uma vez que a ação é tomada, eles podem medir o impacto de sua campanha e ver oportunidades para ajustar a campanha.

AG: Parece que eles estão usando alguns dos recursos de colaboração que estão no produto, como notebooks. Os cadernos foram úteis para contar histórias à medida que passam por esse processo?

RB: Com certeza. Também reduziu o desperdício digital de ter que fazer capturas de tela, colocá-las em decks de PowerPoint e assim por diante. Usando cadernos, podemos escrever a história e apresentar os gráficos que melhor expressam os principais insights que queremos compartilhar. Em muitas equipes, esses notebooks substituíram os decks de apresentação. Então, para aqueles que recebem esses links de notebook, e são principalmente a alta administração, também fazemos sessões para familiarizá-los com esse novo formato de apresentação de insights e ideias. O elemento chave é que eles são interativos. Usá-lo em uma reunião, mostrando os elementos interativos, incentiva mais curiosidade e interesse dos participantes e convida a mais perguntas. As reuniões se tornam mais envolventes, pois podemos consultar os dados e obter respostas em tempo real. Nunca tivemos isso no passado. Pre-Amplitude, você levaria talvez três dias até duas semanas para obter respostas às perguntas de acompanhamento. Agora, usando o Amplitude, se você me pedir para olhar mais para o mercado dos EUA ou da Califórnia para ver quantos usuários temos lá, posso mostrar em tempo real como é isso. Acho que foi espetacular para todos verem.

AG: Estou curioso, há muitos insights automatizados no Amplitude, com insights baseados em seus dados. Você está usando algum dos recursos que automatizam algumas das análises ou aqueles que tentam direcionar seus analistas em uma determinada direção?

RB: No momento, estamos usando insights automatizados principalmente para detectar anomalias.

AG: E como isso é usado?

RB: Para a plataforma OTT, eu teria gráficos de monitoramento em tempo real e horário para as principais partes do funil do usuário, por exemplo, fluxo de cadastro. Os gráficos horários de registro/login teriam alertas configurados para disparar com base em um desvio específico da média histórica. Ter esses alertas configurados e poder investigar usando a análise de causa raiz me dá uma série de detalhamentos de acordo com as propriedades de usuário e evento diferentes e mais consultadas. É uma maneira rápida de detectar o que está acontecendo e, em seguida, discutir com as equipes que gerenciam como resolvê-los.

AG: Sim, esse é um recurso bastante poderoso. Esse plus cohorts é bastante poderoso em termos de ver os diferentes grupos de seus usuários.

Quais outras ferramentas estão em sua pilha de dados ou MarTech? Onde os dados da Amplitude se encaixam no quadro geral? Existem outros sistemas? Você está pegando grupos de usuários e enviando e-mails com outro produto? Você está enviando dados de Amplitude para um data lake? Existem outros pontos de dados que você está inserindo no Amplitude além dos de publicidade sobre os quais falamos?

RB: Criamos públicos usando os coortes e os enviamos para nosso bucket do S3. E a partir daí, nós os preparamos e os enviamos para nossa DMP para que possamos segmentar usuários com base nesses públicos, interesses primários e demografia, entre outros.

AG: Então, em termos do produto Amplitude em si, que tipo de relatórios ou recursos você diria que são seus preferidos, os que você usa com mais frequência?

RB: Acho que o mais frequente seria segmentação de eventos e funis. Acho que a segmentação de eventos é a mais amigável para o usuário médio. Ele responde à pergunta: o que está acontecendo? Quantos usuários viram isso? Quantos usuários cadastrados? E assim por diante. O próximo passo natural é usar funis para entender qual é a conversão entre um usuário que faz este evento A e o evento B ou a próxima coisa que queremos que ele faça.

Algumas de nossas equipes já estão usando gráficos de ciclo de vida para entender os usuários que entram e saem da plataforma. Para alguém que está cuidando do segmento gratuito ou de usuários pagantes/assinados, eles gostariam de ver esse gráfico de ciclo de vida semanalmente ou mensalmente para encontrar respostas para perguntas como "Quantos novos usuários estão na plataforma este mês ?” “Quantos dos usuários atuais do mês ficam inativos no próximo mês?” E assim por diante.

AG: Você usa seus treinamentos para informar seus usuários do Amplitude sobre as muitas outras opções que a plataforma oferece? Estamos tentando descobrir como fazer com que as pessoas usem os outros com mais frequência.

RB: Com certeza. Em nossas sessões de treinamento, se houver uma oportunidade para mostrarmos a eles um gráfico melhor para responder à mesma pergunta ou levar sua pergunta adiante, mostramos a eles um tipo de gráfico alternativo que faz exatamente isso.

AG: Eu queria falar sobre nosso perfil de usuário. No Google Analytics, você não pode procurar uma determinada pessoa e ver todos os eventos que ela fez ou mesclar qualquer dispositivo diferente que ela usou. Eu me perguntei, como o perfil de usuário no Amplitude ajuda em relação ao que você tinha no Google Analytics e quais são algumas das maneiras pelas quais você está usando o perfil de usuário?

RB: O perfil do usuário é um grande diferencial para Amplitude versus Google Analytics. Não há noção da experiência de um único usuário no Google Analytics. Enquanto para Amplitude, você pode procurar o fluxo de um usuário individual, ver em quantos dispositivos eles estão e quais eventos eles acionaram durante a sessão. Por exemplo, temos uma oferta de varejo em que os usuários pagam pelo conteúdo disponível para assistir apenas por uma janela de 48 horas. Ocasionalmente, recebemos feedback de clientes dizendo que não conseguem acessar o conteúdo pelo qual pagaram e estão preocupados em ter que pagar novamente. Usando a pesquisa de usuário, nossa equipe de atendimento ao cliente pode pesquisar o fluxo do usuário específico e analisar a sequência de eventos que eles geraram. Quando o pagamento foi feito, qual era o gateway de pagamento e se o usuário clicou no conteúdo e os eventos de vídeo subsequentes disparados.

Essa visualização de nível de usuário altamente detalhada dá à equipe de atendimento ao cliente a confiança para lidar melhor com o feedback e gerenciar o tipo de resposta ou ação a ser tomada. No final, isso também é muito bom para nossos clientes, porque reduzir as suposições resulta em uma resolução de problemas mais rápida.