Capacitando decisões orientadas por dados na Criteo

A única maneira de melhorar seu produto é entender como seus clientes o utilizam. Para fazer isso, você precisa coletar e analisar dados precisos e feedback relevante. A melhor maneira de obter essas informações é por meio de conversas honestas e abertas com seus clientes. Mas como você pode ter certeza de que está fazendo as perguntas certas e recebendo as respostas certas em troca?

Assim como outras plataformas de publicidade online, a Criteo conta com o feedback dos clientes para criar produtos melhores para os profissionais de marketing digital. Oferecemos um conjunto holístico de soluções de publicidade para varejistas, marcas e editores de todos os tamanhos. Nossa plataforma analisa o comportamento de 2,5 bilhões de compradores online mensais e usa IA para veicular anúncios hiper-relevantes para públicos únicos com maior probabilidade de se envolver com sua marca.

Em um mercado lotado, queremos capacitar nossos clientes a serem super-heróis do marketing; queremos que eles aproveitem nossa plataforma para facilitar seu trabalho diário. Mas nem sempre tínhamos uma maneira de avaliar a experiência do usuário com algum grau de certeza.

Mudando de serviços gerenciados para painéis de autoatendimento

Sou cientista de dados e chefe da equipe de interfaces e medições da Criteo. Antes de vir para a Criteo, éramos mais uma empresa de serviços gerenciados. Nossos clientes ligam e nos pedem para cuidar de vários aspectos de suas campanhas publicitárias. Essa abordagem consumia nosso tempo e recursos e impossibilitava a inovação.

É por isso que começamos a criar painéis de análise de autoatendimento para nossos clientes. Ao dar a eles mais controle sobre os dados, eles poderiam assumir mais responsabilidade por tudo, desde suas campanhas de retargeting até anúncios de banner.

Seguimos um processo de três etapas ao criar painéis autogerenciados. Primeiro, determinamos quais métricas são mais úteis para nossos usuários examinando como eles interagem com nossa plataforma. Em seguida, criamos um painel inicial e o lançamos para uma dúzia de clientes, que testam a nova ferramenta por um mês ou dois. Após a rodada inicial de feedback, passamos mais algumas semanas aprimorando os painéis antes de disponibilizá-los para todos os nossos usuários.

Uma nova maneira de avaliar o feedback do cliente

Quando começamos a construir esses painéis, seguimos nossos testes com um módulo de treinamento de análise e um telefonema pedindo aos usuários que descrevessem sua experiência. Eles frequentemente nos diziam que estavam confusos e não conseguiam entender como usar um novo recurso, apesar de terem passado por uma sessão de treinamento. Não podíamos ter certeza de que nossos clientes haviam tentado os recursos que alegavam achar confusos. Às vezes, era evidente que eles haviam passado apenas alguns minutos com o produto antes da ligação.

Embora tenhamos pedido feedback crítico sobre novos recursos, descobrimos que alguns testadores tinham medo de serem muito negativos se compartilhassem algo além de feedback favorável. Ficou claro que precisávamos rastrear seu uso enquanto eles testavam um novo painel para contextualizar sua avaliação.

Na mesma época em que cheguei à Criteo, integramos o Segment para coletar, limpar e controlar os dados dos clientes e o Amplitude para analisar como nossos clientes usam a plataforma. A Amplitude nos capacitou a nos afastarmos de evidências anedóticas e começar a usar dados para orientar decisões sobre novos recursos da plataforma.

A primeira coisa que nosso novo sistema nos ajudou a fazer foi priorizar o feedback do cliente. Agora podemos ver quais clientes usaram os painéis com frequência, por isso sabemos que seus comentários e preocupações são muito valiosos. Se virmos que alguém não passou muito tempo nos painéis e ainda assim eles nos dizem que não gostam de sua aparência ou que não consideram um recurso útil, não pesamos tanto esse feedback. Amplitude nos ajudou a identificar o feedback mais genuíno e focar nos problemas reais.

Testando e melhorando os fluxos de trabalho do cliente

Em seguida, trabalhamos para criar e refinar os sete fluxos de trabalho automatizados que formam o núcleo de nossa plataforma de autoatendimento, incluindo campanha, cupom e criação de conteúdo.

Usamos o Amplitude para determinar se nossos clientes poderiam concluir um determinado fluxo de trabalho, como criar um banner ou montar uma campanha de retargeting.

Amplitude nos mostra a porcentagem de clientes que seguem um fluxo de trabalho até o fim e podemos monitorar onde as pessoas ficam presas ao longo do caminho. Se percebermos que 90% de nossos usuários concluem um fluxo de trabalho, sabemos que ele funciona muito bem. Por outro lado, se um fluxo de trabalho individual tiver apenas 30% de conclusões, sabemos que precisamos fazer alterações significativas.

A análise detalhada da Amplitude nos permite identificar os pontos problemáticos de nossos clientes e reequipar nossos fluxos de trabalho de acordo. Em apenas alguns meses, nossa taxa de conclusão do fluxo de trabalho de criação de campanhas aumentou mais de 3x. Embora ainda tenhamos um caminho a percorrer, sabemos que ainda estaríamos no escuro sobre o que estava acontecendo de errado se tivéssemos continuado a confiar em evidências anedóticas.

A Amplitude também ajudou a melhorar a maneira como implementamos as alterações em nosso produto. Nossos cientistas de dados de produtos podem adicionar e subtrair recursos e funcionalidades e, em seguida, executar testes antes/depois para avaliar as reações de nossos usuários. Se nossos clientes adotam um recurso, nós o mantemos. Mas se vemos que a adoção é baixa, é fácil tentar outra coisa. Também podemos priorizar fluxos de trabalho que precisam de melhorias e prever futuras adições à nossa plataforma com base no comportamento atual do cliente.

Transformando a governança de dados internos da Criteo

Até agora, discutimos como os insights detalhados da Amplitude levaram a mudanças externas em nossa plataforma e nos fluxos de trabalho do cliente. Mas o uso do Amplitude também levou a uma transformação das práticas internas de governança de dados da Criteo.

Nossa equipe cresceu ao longo dos anos. No início, tínhamos um analista e um desenvolvedor usando Amplitude, e agora temos 60 usuários internos, incluindo novos contratados e gerentes de produto. À medida que crescemos, tivemos que mudar a forma como acessávamos e falávamos sobre os dados.

Não tínhamos a documentação adequada, então meus colegas, analistas Eve-Anne Pagani e Myriam Klikel se apropriaram do problema e criaram guias de usuário abrangentes. Também abrimos um canal Slack onde os usuários podem fazer perguntas, solicitar suporte e participar de nossas discussões abertas quinzenais de uma hora.

Agora reunimos nossa taxonomia, rastreamento de dados e convenções de eventos em um repositório central acessível a todos os usuários do Amplitude em nossas equipes de desenvolvimento, projeto e análise. Todos seguem as mesmas diretrizes, então não há confusão ou incógnitas sobre como várias equipes usam Amplitude e o que queremos dizer quando falamos sobre os dados.

Uma Cultura de Autoconfiança e Inovação

Amplitude torna os dados acessíveis a pessoas que não são cientistas de dados. Seus gráficos e visualizações apresentam informações complexas em um formato de fácil compreensão. Nossos gerentes de produto podem gerar relatórios que rastreiam seus objetivos sem pedir a nossos analistas de dados que forneçam e interpretem seus resultados. Nossos gerentes de produto podem se concentrar nas campanhas de nossos clientes, enquanto nossos analistas de dados podem continuar a fornecer suporte e criar novos recursos.

A Amplitude criou uma cultura de autoconfiança na Criteo. Isso nos permitiu sair de um modelo de negócios de serviços gerenciados para um modelo que oferece ferramentas de marketing on-line de autoatendimento para nossos clientes, enquanto ainda oferece suporte de nossos gerentes de produto conforme necessário. Também fortaleceu nossas equipes e processos internos, fornecendo as ferramentas para acompanhar nosso progresso, criar fluxos de trabalho melhores e colaborar.

Começamos a usar o Amplitude para coletar insights em tempo real que nos ajudariam a fazer melhorias significativas em nossos produtos. Agora, a Criteo capacita nosso pessoal a tomar decisões baseadas em dados, preparando o cenário para o crescimento e a inovação futuros.