O que é uma pilha de dados moderna para crescimento?

Publicados: 2022-02-16

O termo “pilha de dados moderna” despertou muito interesse nos últimos 18 meses, com a maior parte da conversa no contexto da análise e como um conjunto de ferramentas e tecnologias modernas pode ajudar a melhorar o ofício da análise.

A pilha de dados moderna mais amplamente aceita para análise compreende ferramentas de dados que abrangem as quatro categorias a seguir:

  • Coleta de dados via ELT: Usado para extrair dados de bancos de dados e ferramentas de terceiros
  • Armazenamento de dados: usado para armazenar uma cópia dos dados
  • Transformação de dados: Usado para transformar os dados e construir modelos para análise
  • Inteligência de negócios: usada para criar relatórios usando modelos de dados prontos para análise

No entanto, essa pilha atende apenas parcialmente às necessidades das equipes de produto e crescimento, pois ignora o seguinte:

  • Coleta de dados de eventos de fontes de dados primárias ou primárias (sites e aplicativos)
  • Armazenando esses dados em um data warehouse na nuvem
  • Analisar esses dados para entender o comportamento do usuário e identificar pontos de atrito
  • Ativando os dados em ferramentas downstream para criar experiências personalizadas para o cliente

Portanto, como uma extensão da pilha de dados moderna para análise, uma pilha de dados moderna para crescimento inclui ferramentas que permitem que as equipes façam o que foi dito acima.

O objetivo por trás deste guia é oferecer um detalhamento completo da pilha de dados que permite que as equipes de go-to-market (GTM) assumam o controle de seus fluxos de trabalho e façam mais sem depender de equipes de dados e engenharia.

Coletando dados de eventos: CDI versus CDP

A coleta de dados de eventos ou dados comportamentais é o primeiro passo para a adoção de uma pilha de dados moderna para o crescimento e acertar é fundamental, pois todo o resto depende de dados limpos e precisos disponibilizados nas ferramentas usadas pelo pessoal do GTM.

As ferramentas de coleta de dados comportamentais criadas especificamente se enquadram em duas categorias intimamente relacionadas com recursos sobrepostos: infraestrutura de dados do cliente (CDI) e plataforma de dados do cliente (CDP).

A falta de adoção do termo CDI é a razão pela qual alguns fornecedores de CDI se referem ao seu produto como um CDP sem realmente oferecer recursos de CDP. Além disso, cada vez mais fornecedores de ferramentas de automação de marketing estão usando o termo CDP para descrever um recurso não essencial de seu produto, aumentando a confusão sobre o que realmente é um CDP.

O CDI é essencialmente uma solução autônoma, enquanto o CDP é uma solução em pacote que inclui recursos de CDI. Permita-me explicar as diferenças nos termos mais simples possíveis.

Infraestrutura de dados do cliente

O objetivo de um CDI é coletar dados comportamentais ou dados de eventos de fontes de dados primárias ou primárias - seus sites e aplicativos - e sincronizar os dados com soluções de armazenamento de dados, bem como com ferramentas de terceiros usadas para análise baseada em eventos e ativação.

As equipes de produto e crescimento normalmente consomem dados comportamentais em uma ferramenta de análise de produto para entender o comportamento do usuário e em ferramentas de engajamento para criar experiências personalizadas e baseadas em dados — o trabalho de um CDI é disponibilizar os dados certos nessas ferramentas.

Além disso, os CDIs também oferecem qualidade de dados e recursos de governança para garantir que os dados coletados não sejam apenas precisos, mas também conforme o esperado.

Se você quiser se aprofundar nos CDIs, recomendo dar uma olhada neste guia que escrevi recentemente.

Plataforma de dados do cliente

Como mencionado acima, o CDP é uma solução empacotada e pode ser melhor compreendida através da seguinte fórmula:

CDP = A resolução de identidade, a capacidade de criar audiências usando uma interface visual de arrastar e soltar (sem escrever SQL) e a capacidade de sincronizar dados com ferramentas de terceiros são os principais recursos de um CDP. Além disso, os CDPs também armazenam uma cópia dos dados em seu próprio data warehouse e disponibilizam os dados para consumo futuro.

O CDP é essencialmente uma camada sobre o CDI para ativar ou agir sobre os dados.

Além disso, os CDPs e até alguns CDIs oferecem a capacidade de coletar dados de ferramentas de terceiros. No entanto, esta não é uma oferta principal deles - ferramentas ELT como Fivetran, Airbyte e Meltano são criadas especificamente e mais adequadas para coletar e armazenar dados de ferramentas de terceiros em um data warehouse.

Dados do evento de armazenamento

Um data warehouse é essencialmente um banco de dados projetado para análise e é usado para armazenar dados de todas as fontes de dados possíveis – aplicativos próprios, ferramentas de terceiros e bancos de dados de produção.

Independentemente da tecnologia que você usa para coletar dados de eventos, armazenar uma cópia de seus dados em um data warehouse como Snowflake, BigQuery ou Firebolt é uma prática recomendada com vários benefícios.

Além do benefício óbvio de possuir seus dados, ter acesso a dados brutos em um warehouse permite que você faça mais com os dados, desde transformar e combinar dados de eventos com dados de outras fontes até enriquecer os dados antes de analisá-los ou ativá-los.

Além disso, armazenar seus dados permitirá que você invista em casos de uso avançados, como modelos preditivos para reduzir a rotatividade ou um mecanismo de recomendação para aumentar as vendas. É mais fácil aproveitar seus dados se eles estiverem alojados em seu depósito, em vez de trancados no depósito de um fornecedor terceirizado, onde você pode ter que pagar uma taxa para acessar dados históricos.

Mesmo que você não precise dos dados hoje, ainda vale a pena armazenar uma cópia de seus dados em um data warehouse, especialmente quando os armazéns se tornaram tão acessíveis e podem ser ativados em questão de horas sem um profundo conhecimento técnico.

Depois de coletar e armazenar os dados, é hora de analisar e ativar os dados. Se bem executados, esses dois estágios do pipeline de dados podem fazer uma diferença significativa na trajetória de crescimento da sua empresa.

Analisando os dados do evento

Uma ferramenta de análise de produto é uma ferramenta de análise desenvolvida especificamente para analisar dados de eventos e entender como os usuários interagem com seu produto.

Análise de clientes e análise comportamental também são termos para descrever ferramentas de análise de produtos, pois permitem analisar o comportamento do usuário visualizando como os usuários se movem na jornada do cliente.

As ferramentas de análise de produtos atendem principalmente às equipes de produto e crescimento onde:

  • As equipes de produtos são capazes de As equipes de crescimento podem Analisando dados de eventos como um funil

    Os dados que alimentam as ferramentas de análise de produtos vêm na forma de dados de eventos do seu site e aplicativos – fontes de dados primárias.

    Você também pode enviar dados de eventos de aplicativos externos, mas precisa ser intencional sobre isso, caso contrário, sua ferramenta de análise de produtos ficará inchada com muitos eventos. Dados de eventos excessivos podem causar rapidamente problemas de qualidade de dados, uma das principais causas da falta de confiança nos dados.

    Movendo dados para análise de produtos
    Diferentes maneiras de mover dados para uma ferramenta de análise de produtos

    Com a rápida adoção do data warehouse, as empresas estão descobrindo os benefícios de tornar o data warehouse a fonte de dados para ferramentas de análise de produtos.

    Se você já estiver armazenando dados em um data warehouse e tiver recursos dedicados para gerenciar o warehouse, é uma boa ideia sincronizar os dados do warehouse com sua ferramenta de análise de produtos. Ele elimina a necessidade de manter um pipeline de dados separado e permite modelar e enriquecer dados no warehouse antes de enviá-los para downstream.

    Outro benefício digno de nota dessa abordagem é que as empresas que usam uma ferramenta de BI como Looker, Mode ou Preset juntamente com uma ferramenta de análise de produto não experimentarão nenhuma inconsistência de dados entre as duas, pois o warehouse será a fonte de ambas as ferramentas.

    Ativando dados do evento

    A ativação de dados é o processo combinado de disponibilizar dados nas ferramentas usadas para criar experiências baseadas em dados e construir essas experiências personalizadas nos pontos de contato do cliente.

    Em outras palavras, os dados são ativados ou atuados quando as interações com o cliente são contextuais, oportunas e relevantes como resultado de serem alimentadas por dados. Ativação de dados

    Analisar dados e coletar insights só é bom se você puder agir sobre esses insights ativando os dados nas ferramentas que você usa para interagir com prospects e clientes. Ao ativar os dados com eficiência, você pode ir além da visualização de painéis e utilizar os dados de maneira significativa.

    Fornecer experiências superiores depende de cada interação com o cliente nos pontos de contato para ser alimentada por dados comportamentais. Isso é possível quando os dados são disponibilizados nas ferramentas downstream, onde os dados são ativados para potencializar essas interações, desde e-mails de saída e conversas de suporte até anúncios e experiências no aplicativo.

    Na ausência de dados nessas ferramentas, não há muito o que fazer além de criar experiências lineares em que todos os usuários experimentam as mesmas mensagens, e-mails e anúncios, independentemente das ações realizadas no seu produto ou das interações que tiveram com sua marca.

    Vejamos as várias tecnologias disponíveis para mover dados comportamentais para ferramentas downstream onde os dados são eventualmente ativados:

    • CDIs para sincronizar dados brutos de eventos
    • CDPs para sincronizar dados brutos, bem como dados modelados visualmente
    • ETL reverso para sincronizar dados modelados usando SQL em um data warehouse
    • Integrações de destino por ferramentas de análise de produtos para sincronizar os dados já disponíveis nas ferramentas de análise de produtos

    Todos os itens acima são meios para o mesmo fim – permitindo que as equipes criem experiências personalizadas e baseadas em dados nas ferramentas que usam no dia-a-dia.

    CDIs e CDPs já foram abordados acima, então vamos pular para as outras duas tecnologias que você pode usar para disponibilizar dados em ferramentas de ativação downstream.

    Mover dados para ativação de dados
    Diferentes maneiras de mover dados para ferramentas onde a ativação de dados ocorre

    ETL reverso

    A rápida adoção de data warehouses na nuvem deu origem ao Reverse ETL – um novo paradigma na integração de dados que permite ativar dados que já estão no data warehouse, sincronizando-os com ferramentas de terceiros. Esse processo e a tecnologia subjacente que o torna possível também são chamados de análise operacional.

    As empresas com equipes de dados dedicadas estão investindo pesadamente na consolidação de dados de clientes de várias fontes no data warehouse . Ferramentas de ETL reverso como Hightouch, Grouparoo e Census permitem que as equipes de dados criem modelos de dados usando SQL em cima dos dados armazenados no warehouse (ou tragam seus modelos existentes integrando ferramentas como dbt) e sincronizem esses modelos com ferramentas de terceiros.

    No entanto, implementar e manter uma ferramenta de ETL reverso requer uma equipe de dados interna ou pelo menos um engenheiro de dados dedicado – algo que muitas empresas não têm o recurso ou mesmo a necessidade.

    Integrações de destinos por análise de produto

    Ferramentas de análise de produtos como Amplitude, Heap e Mixpanel oferecem suporte a uma variedade de ferramentas como destinos de dados, permitindo que você crie e sincronize coortes de usuários com ferramentas downstream onde os dados são ativados. Essas integrações estão evoluindo constantemente com diferentes ferramentas que oferecem recursos variados.

    Mover dados para análise de dados
    As diferentes maneiras de mover dados para fins de análise e ativação

    Vale a pena mencionar que o Amplitude deu um passo adiante e empacotou sua capacidade de sincronizar o público com ferramentas de terceiros por meio do Amplitude Recommend - existem alguns benefícios notáveis ​​nessa abordagem:

    • Em vez de criar coortes em uma ferramenta de análise de produtos para analisar os dados e, em seguida, criar os mesmos públicos na ferramenta CDP, CDI ou ETL reverso, tudo isso pode ser feito em um sistema integrado
    • As integrações bidirecionais com ferramentas de engajamento permitem que você analise as métricas de sua campanha diretamente dentro da ferramenta de análise de produtos, permitindo medir o verdadeiro impacto de suas campanhas de engajamento

    As empresas com recursos limitados de engenharia de dados podem obter valor significativo dessas soluções integradas que permitem que as equipes de produto e crescimento se movam rapidamente sem depender de equipes de dados.

    As empresas maiores também podem se beneficiar dessa abordagem devido à disponibilidade limitada de recursos de engenharia de dados e um enorme acúmulo de solicitações de dados de várias equipes.

    Aproveite uma pilha de dados moderna para crescimento e engajamento

    Manter uma pilha de dados moderna para o crescimento não é necessariamente responsabilidade de uma equipe de crescimento, mas saber como os dados são coletados, armazenados e movidos torna muito mais fácil para os profissionais de crescimento obter insights dos dados e agir de acordo com esses insights de forma eficaz.

    Além disso, embora as pessoas de crescimento e produto sejam as que usam a maior parte das ferramentas dessa pilha, os benefícios de uma pilha de dados moderna podem ser experimentados em toda a organização, desde a geração de demanda e desenvolvimento de vendas até suporte e sucesso do cliente.

    Dar às equipes acesso às ferramentas que permitem que elas sejam mais produtivas também permite que elas se aperfeiçoem e façam um trabalho mais significativo – os dois componentes mais importantes que ajudam a atrair e reter os melhores talentos.


    Pronto para levar seus dados adiante com uma pilha de dados moderna para crescimento? Saiba mais sobre o poder de dados bem mantidos para impulsionar o engajamento e a retenção de mestres.

    Análise de produtos para manequins