Cómo implementamos análisis seguros para niños con Amplitude

PopJam es una plataforma social construida desde cero para ser segura, apropiada y completamente anónima para los niños. Es una comunidad segura y moderada para que los niños interactúen con su contenido y marcas favoritos, diseñada específicamente para los requisitos de seguridad y privacidad de datos (COPPA, GDPR-K) de la audiencia menor de 13 años. Debido a que está dirigido a un público de 7 a 12 años, nos tomamos muy en serio tanto la privacidad como el cumplimiento.

Una preocupación crítica para cualquier plataforma es el análisis de productos que utiliza para medir y aprender. Esto nunca es algo trivial para hacerlo bien. Decidir qué medir y cómo requiere una reflexión cuidadosa, pero al menos tiene una gran variedad de productos y soluciones para elegir, a menudo con SDK con todas las funciones para que la implementación sea más rápida y sencilla.

No así en el ecosistema digital infantil.

Al crear aplicaciones para niños, tiene un conjunto adicional de preocupaciones y limitaciones. Si simplemente conectara un SDK de análisis listo para usar, muy probablemente encontraría que el SDK de análisis transmite datos de identificación personal (según lo define COPPA) desde su aplicación de cliente y los registra del lado del servidor. Esto es estándar para las plataformas de análisis creadas para Internet para adultos y permite que esas plataformas brinden información más rica, como mapas de calor geográficos. Sin embargo, esto es algo que tomamos todas las precauciones para evitar en la plataforma PopJam, ya sea web o móvil, como producto independiente o integrado en los productos de los clientes.

Mientras considera sus opciones en este espacio, permítame reflexionar sobre el viaje que hicimos en PopJam, para ilustrar un par de enfoques posibles.

Enrolle su propio

Todos conocemos el triángulo barato/rápido/bueno. En el equipo de PopJam, comenzamos con una solución que implementamos nosotros mismos. Expandimos una base de datos de Amazon Redshift, colocamos el ejecutor de consultas de código abierto Re:Dash en la parte superior y nos pusimos a trabajar en la definición e implementación de nuestra propia infraestructura de eventos de análisis.

Creamos nuestros propios SDK del lado del cliente para transmitir eventos de análisis de productos a nuestra propia API de análisis, asegurándonos de no pasar ningún dato que pudiera usarse para identificar o huellas dactilares del usuario. Luego, nuestro servicio de eventos descartó cuidadosamente cualquier PII restante, como la dirección IP y el agente de usuario en la solicitud, y escribió el evento en una base de datos sin procesar para procesarlo durante la noche.

Luego, construimos minuciosamente nuestros ETL, esquemas de analistas y definiciones de métricas a mano en SQL sin procesar, usando Re:Dash para programar y ejecutar esas consultas.

Inicialmente, parecía una gran solución. Barato (basado en código abierto y herramientas de desarrollo interno), rápido (controlamos el alcance y la hoja de ruta) y bueno (sabíamos que cumplía con las normas y teníamos visibilidad y control total sobre nuestros datos). Sin embargo, las grietas no tardaron en aparecer.

No tan barato

Si bien su funcionamiento es relativamente barato, desde el punto de vista de la infraestructura, está lejos de ser barato de operar y mantener. Nuestros trabajos por lotes durante la noche, Redshift, Re:Dash, demostraron ser algo inestables, y se perdieron días al mes del tiempo de nuestro líder técnico para reiniciar, depurar, recuperar datos perdidos, responder a usuarios comerciales descontentos y, en general, mantener vivo el análisis del producto. . Cuando falló, todo tipo de funciones comerciales se vieron afectadas, ya que habíamos creado cosas como informes de campaña, paneles de administración de la comunidad y atribución de marketing sobre los datos que contenía.

También les tomó mucho tiempo a nuestros gerentes de producto, quienes tuvieron que construir cada métrica, gráfico, tablero, herramienta de informes y consulta manualmente, aprendiendo sobre la marcha. Se cometieron errores, que a su vez tomó más tiempo para deshacer.

Costo de oportunidad

Todo este esfuerzo no solo consumió mucho tiempo, por no mencionar que fue frustrante para el equipo, sino que también representó un enorme costo de oportunidad. Dado que nuestro gerente de producto a veces pasaba dos días enteros a la semana inmersos en SQL, eran menos capaces de concentrarse en el trabajo de descubrir un producto increíble. Las preguntas planteadas durante el descubrimiento tardaron mucho más en responderse, lo que ralentizó aún más el ciclo de iteración y, a menudo, no teníamos las habilidades para poder responder completamente nuestras propias preguntas, y en su lugar teníamos que recurrir a un análisis más simple.

Además, cualquier mejora que quisiéramos realizar en nuestro conjunto de herramientas de análisis, análisis o visualización requeriría una priorización dentro de nuestra cartera de pedidos. No obtendríamos nada con el tiempo a menos que pusiéramos el gruñido. Nadie nos haría avanzar si no lo hiciéramos.

No es suficiente

Si bien Re:Dash funcionó bastante bien, hubo algunas desventajas, incluso más allá de la confiabilidad (que muy probablemente podría haberse resuelto si hubiéramos priorizado el tiempo para invertir en él). Nuestro problema clave fue nuestra confianza en nuestro propio análisis estadístico y habilidades de elaboración de consultas dentro del equipo. El gerente de producto (¡yo!) no era un científico de datos. No teníamos un analista de datos dedicado en el negocio.

Si bien pudimos autoservicio en lo básico y hacer una cantidad razonable de descubrimiento dentro de los datos, había un universo de técnicas y enfoques analíticos más avanzados que estaban cerrados para nosotros. Necesitábamos una plataforma de análisis que realmente pudiera elevarnos, por encima de nuestras propias habilidades, y potenciar nuestra capacidad para comprender realmente lo que nuestros datos nos decían sobre el uso de la plataforma PopJam por parte de nuestros usuarios y clientes.

Subir de nivel

A medida que comenzamos a presionar con más frecuencia contra los límites de nuestras habilidades, buscamos a algunos expertos que pudieran tener la solución a nuestro problema. Sabíamos que existían soluciones más avanzadas, ya que muchos de nosotros las habíamos utilizado en roles anteriores. Necesitábamos conocimientos más completos para continuar mejorando nuestro proceso de desarrollo de productos.

Probamos algunas plataformas de análisis diferentes antes de seleccionar Amplitude. Nos impresionó su interfaz de usuario, que estaba totalmente dedicada al desarrollo de productos. La plataforma Amplitude contenía una serie de herramientas de análisis increíblemente poderosas y fáciles de usar que simplemente no teníamos una forma práctica de hacer en nuestra solución anterior.

Una de las mejoras más impactantes fue la capacidad de definir cohortes desde cualquier punto de datos, usando Microscope. Además de darle al equipo de producto la capacidad de profundizar fácilmente para comprender el comportamiento de los usuarios que (por ejemplo) comentan con mayor frecuencia y ver qué más hacen, el equipo de marketing también pudo hacer uso inmediato de esta característica para comprender qué tan comprometida estaba una cohorte de usuarios que se unieron como resultado de una campaña de marketing en particular, y evaluar si esa táctica atrajo al tipo de niño "adecuado".

Otra herramienta que no podríamos haber dedicado el tiempo para crear nosotros mismos es el Análisis de impacto. Con esta herramienta de análisis, pudimos revelar y explorar la hipótesis de que encontrar y disfrutar de un cuestionario de personalidad al principio de su viaje PopJam tiene un gran impacto en cómo percibe el producto y en cuánto se compromete y retiene.

Migración

La migración a Amplitude fue simple. Mantuvimos nuestra tubería existente de eventos seguros para niños y el código del cliente, pero canalizamos todos los eventos de nuestro servicio de eventos a Amplitude a través de su API HTTP. Esto aseguró que mantuviéramos el control total de qué datos salen (o, lo que es más importante, no salen) del dispositivo de los niños. Continuamos usando nuestros SDK de cliente personalizados, en lugar de los SDK de cliente de Amplitude, ya que esto nos mantuvo en control total de los datos que salían del dispositivo del niño. Mantuvimos nuestro servicio de eventos, que sirvió para garantizar que (a) permaneciéramos desvinculados de cualquier plataforma de análisis específica y (b) tuviéramos el control total de la privacidad de los datos antes de canalizarlos a Amplitude.

El resultado fue que pudimos obtener todos los beneficios de las poderosas herramientas de front-end de Amplitude con la plena confianza de que Amplitude no contenía absolutamente ningún dato de identificación personal de nuestros usuarios.

Si bien es más costosa que nuestra solución anterior, hemos recuperado el enfoque en nuestra capacidad para innovar e iterar nuestros productos y plataformas, lo cual es invaluable.

Análisis seguro para niños

El conjunto de herramientas que tenemos ahora está años luz por delante de lo que pudimos lograr internamente, en términos de sofisticación analítica, brindó una visión profunda y una guía para la iteración del producto a la que nunca hubiéramos llegado. El equipo y el negocio ahora confían en los números. Hemos implementado Amplitude en varios equipos que no son de productos en SuperAwesome porque la interfaz de usuario es intuitiva y no amenazante (¡adiós SQL!).

Scarlett Cayford, directora de PopJam, encabeza un equipo de estrategas, diseñadores y ejecutivos de operaciones publicitarias, todos los cuales utilizan regularmente Amplitude para analizar datos en diferentes áreas de PopJam.

“Si bien nuestro propio conjunto de herramientas funcionaba, significaba que estábamos restringidos en lo que podíamos medir y dependíamos completamente de los gerentes de producto para desarrollar nuevas consultas. Amplitude es lo suficientemente simple como para que podamos construir nuestras propias consultas, y dividir esos datos en diferentes marcos de tiempo y regiones geográficas es extremadamente simple. La adopción de Amplitude nos dio autonomía además de autoridad y nos ha permitido reaccionar mucho más rápido”.

Pasar de una solución de análisis basada en código abierto y desarrollada internamente a Amplitude fue una gran elección para nosotros. Pudimos encontrar una configuración que nos permitiera usar Amplitude de una manera que continuara protegiendo la privacidad de los datos de nuestros usuarios menores de 13 años mientras nos brindaba un conjunto de herramientas sofisticado para comprender cómo se usa nuestro producto.

Ya no nos preocupamos por el análisis. Obtenemos mejoras constantes en nuestras herramientas y nuevas capacidades porque hay otro negocio que piensa en ese espacio problemático. Ya no tenemos que ser expertos en un dominio que no tiene nada que ver con hacer que Internet sea más seguro para los niños.