Como implementamos análises seguras para crianças com Amplitude

PopJam é uma plataforma social construída desde o início para ser segura, apropriada e totalmente anônima para crianças. É uma comunidade segura e moderada para as crianças se envolverem com seus conteúdos e marcas favoritos, projetada especificamente para os requisitos de segurança e privacidade de dados (COPPA, GDPR-K) do público menor de 13 anos. Por ser voltado para um público de 7 a 12 anos, levamos a privacidade e a conformidade com muita seriedade.

Uma preocupação crítica para qualquer plataforma é a análise do produto que você usa para medir e aprender. Isso nunca é uma coisa trivial para acertar. Decidir o que medir e como requer uma reflexão cuidadosa, mas pelo menos você tem uma enorme variedade de produtos e soluções para escolher, geralmente com SDKs completos para tornar a implementação mais rápida e fácil.

Não é assim no ecossistema digital infantil.

Ao criar aplicativos para crianças, você tem um conjunto adicional de preocupações e restrições. Se você simplesmente conectar um SDK de análise pronto para uso, muito provavelmente descobrirá que o SDK de análise transmite dados de identificação pessoal (conforme definido pela COPPA) de seu aplicativo cliente e gravando-o no lado do servidor. Isso é padrão para plataformas de análise feitas para a internet adulta e permite que essas plataformas forneçam informações mais ricas, como mapeamento geográfico de calor. No entanto, isso é algo que tomamos todas as precauções para evitar na plataforma PopJam, seja na web ou móvel, como um produto autônomo ou incorporado aos produtos dos clientes.

Enquanto você considera suas opções neste espaço, permita-me refletir sobre a jornada que passamos no PopJam, para ilustrar algumas abordagens possíveis.

Role o seu próprio

Todos nós conhecemos o triângulo barato/rápido/bom. Na equipe PopJam, começamos com uma solução que nós mesmos desenvolvemos. Ampliamos um banco de dados do Amazon Redshift, colocamos o executor de consultas de código aberto Re:Dash por cima e começamos a trabalhar na definição e implementação de nossa própria infraestrutura de eventos de análise.

Criamos nossos próprios SDKs do lado do cliente para transmitir eventos de análise de produtos para nossa própria API de análise, certificando-nos de não transmitir nenhum dado que possa ser usado para identificar ou imprimir impressões digitais do usuário. Nosso serviço de eventos descartou cuidadosamente qualquer PII restante, como o endereço IP e o agente do usuário na solicitação, e gravou o evento em um banco de dados bruto para processamento noturno.

Em seguida, construímos meticulosamente nossos ETLs, esquemas de análise e definições de métricas manualmente em SQL bruto, usando o Re:Dash para agendar e executar essas consultas.

Inicialmente, parecia uma ótima solução. Barato (construído em código aberto e ferramentas de compilação interna), rápido (controlamos o escopo e o roteiro) e bom (sabíamos que era compatível e tínhamos total visibilidade e controle sobre nossos dados). No entanto, não demorou muito para as rachaduras aparecerem.

Não é tão barato

Embora relativamente barato de operar, do ponto de vista da infraestrutura, estava longe de ser barato de operar e manter. Nossos trabalhos em lote durante a noite, Redshift, Re:Dash, todos provaram ser um pouco instáveis, e dias por mês do tempo de nosso líder de tecnologia foram perdidos para reiniciar, depurar, recuperar dados perdidos, responder a usuários de negócios descontentes e geralmente manter a análise do produto ativa . Quando falhou, todos os tipos de funções de negócios foram afetados, pois construímos coisas como relatórios de campanha, painéis de gerenciamento de comunidade e atribuição de marketing em cima dos dados nele contidos.

Também levou muito tempo de nossos gerentes de produto, que tiveram que criar todas as métricas, gráficos, painéis, ferramentas de relatórios e consultas manualmente, aprendendo à medida que avançavam. Erros foram cometidos, o que, por sua vez, levou mais tempo para ser desfeito.

Custo de oportunidade

Todo esse esforço não era apenas demorado, para não dizer frustrante para a equipe, mas também representava um enorme custo de oportunidade. Como nosso gerente de produto às vezes passava dois dias inteiros por semana mergulhado em SQL, eles eram menos capazes de se concentrar no trabalho de descobrir um produto incrível. As perguntas levantadas durante a descoberta demoravam muito mais para serem respondidas, retardando ainda mais o ciclo de iteração e, muitas vezes, não tínhamos as habilidades necessárias para responder completamente às nossas próprias perguntas, tendo que recorrer a análises mais simples.

Além disso, quaisquer melhorias que queríamos fazer em nosso kit de ferramentas de análise, análise ou visualização exigiriam priorização em nossa lista de pendências. Não ganhávamos nada ao longo do tempo, a menos que pudéssemos dar o troco. Ninguém nos levaria adiante se não estivéssemos.

Não esta bom o suficiente

Embora o Re:Dash tenha funcionado razoavelmente bem, houve algumas desvantagens, mesmo além da confiabilidade (que muito provavelmente poderia ter sido resolvida se tivéssemos priorizado o tempo para investir nele). Nosso principal problema era nossa confiança em nossa própria análise estatística e habilidades de elaboração de consultas dentro da equipe. O gerente de produto (eu!) não era um cientista de dados. Não tínhamos um analista de dados dedicado no negócio.

Embora pudéssemos nos servir no básico e fazer uma quantidade razoável de descobertas nos dados, havia um universo de técnicas e abordagens de análise mais avançadas que estavam fechadas para nós. Precisávamos de uma plataforma de análise que pudesse realmente nos elevar, acima de nossas próprias habilidades, e sobrecarregar nossa capacidade de realmente entender o que nossos dados estavam nos dizendo sobre o uso da plataforma PopJam por nossos usuários e clientes.

Subindo de nível

À medida que começamos a forçar com mais frequência os limites de nossas habilidades, fomos em busca de alguns especialistas que pudessem ter a solução para o nosso problema. Sabíamos que existiam soluções mais avançadas, pois muitos de nós as tínhamos usado em funções anteriores. Precisávamos de insights mais ricos para continuar a melhorar nosso processo de desenvolvimento de produtos.

Tentamos algumas plataformas de análise diferentes antes de selecionar Amplitude. Ficamos impressionados com a interface do usuário, totalmente dedicada ao desenvolvimento de produtos. A plataforma Amplitude continha uma série de ferramentas analíticas incrivelmente poderosas e fáceis de usar que simplesmente não tínhamos como fazer em nossa solução anterior.

Uma das melhorias mais impactantes foi a capacidade de definir coortes a partir de qualquer ponto de dados, usando o Microscope. Além de dar à equipe de produto a capacidade de pesquisar facilmente o comportamento dos usuários que (por exemplo) comentam com mais regularidade e ver o que mais eles fazem, a equipe de marketing também pôde fazer uso imediato desse recurso para entender quão engajado foi um grupo de usuários que aderiram como resultado de uma campanha de marketing específica, e avalia se essa tática trouxe o tipo “certo” de criança.

Outra ferramenta que não poderíamos ter dedicado tempo para criar é a Análise de Impacto. Usando esta ferramenta de análise, pudemos revelar e explorar a hipótese de que encontrar e desfrutar de um teste de personalidade no início de sua jornada PopJam tem um grande impacto em como você percebe o produto e quanto você se envolve e retém.

Migração

A migração para Amplitude foi simples. Mantivemos nosso pipeline de eventos seguros para crianças e código do cliente, mas canalizamos todos os eventos do nosso serviço de eventos para o Amplitude por meio de sua API HTTP. Isso garantiu que permanecêssemos no controle total de quais dados saem (ou, mais importante, não saem) do dispositivo infantil. Continuamos a usar nossos SDKs de cliente sob medida, em vez dos SDKs de cliente da Amplitude, pois isso nos mantinha no controle total dos dados que saíam do dispositivo da criança. Mantivemos nosso serviço de eventos, que serviu para garantir que (a) permanecêssemos desacoplados de qualquer plataforma de análise específica e (b) tivéssemos controle total da privacidade dos dados antes de enviá-los para a Amplitude.

O resultado foi que pudemos obter todos os benefícios das poderosas ferramentas de front-end da Amplitude com total confiança de que a Amplitude continha absolutamente zero dados de identificação pessoal de nossos usuários.

Embora mais cara do que nossa solução anterior, recuperamos o foco em nossa capacidade de inovar e iterar nossos produtos e plataformas, o que é inestimável.

Análise segura para crianças

O conjunto de ferramentas que temos agora está anos-luz à frente do que conseguimos alcançar internamente, em termos de sofisticação analítica, fornecendo uma profundidade de percepção e orientação para iteração de produtos que nunca teríamos chegado perto. A equipe e o negócio confiam nos números agora. Implementamos o Amplitude em várias equipes que não são de produtos no SuperAwesome porque a interface do usuário é intuitiva e não ameaçadora (adeus SQL!).

Scarlett Cayford, Head of PopJam, lidera uma equipe de estrategistas, designers e executivos de operações de anúncios, todos os quais usam regularmente o Amplitude para analisar dados em diferentes áreas do PopJam.

“Embora nosso próprio conjunto de ferramentas fosse viável, isso significava que estávamos restritos ao que podíamos medir e dependíamos completamente dos gerentes de produto para criar novas consultas. A amplitude é simples o suficiente para que possamos construir nossas próprias consultas, e dividir esses dados em diferentes intervalos de tempo e regiões geográficas é extremamente simples. A adoção do Amplitude nos deu autonomia e autoridade e nos permitiu reagir muito mais rápido.”

Mudar de uma solução analítica baseada em código aberto desenvolvida internamente para Amplitude foi uma ótima escolha para nós. Conseguimos encontrar uma configuração que nos permitiu usar Amplitude de uma maneira que continuasse a proteger a privacidade de dados de nossos usuários menores de 13 anos, ao mesmo tempo em que nos dava um conjunto de ferramentas sofisticado para entender como nosso produto é usado.

Não nos preocupamos mais com análises. Obtemos melhorias constantes em nossas ferramentas e novos recursos porque há todo um outro negócio pensando nesse espaço-problema. Não precisamos mais ser especialistas em um domínio que não tem nada a ver com tornar a internet mais segura para as crianças.