Come abbiamo implementato l'analisi sicura per i bambini con Amplitude

PopJam è una piattaforma sociale costruita da zero per essere sicura, appropriata e completamente anonima per i bambini. È una community sicura e moderata in cui i bambini possono interagire con i loro contenuti e marchi preferiti, progettata specificamente per i requisiti di sicurezza e privacy dei dati (COPPA, GDPR-K) del pubblico di età inferiore ai 13 anni. Poiché si rivolge a un pubblico di età compresa tra 7 e 12 anni, prendiamo molto sul serio sia la privacy che la conformità.

Una preoccupazione fondamentale per qualsiasi piattaforma è l'analisi del prodotto che utilizzi per misurare e apprendere. Non è mai una cosa banale da correggere. Decidere cosa misurare e come richiede un'attenta riflessione, ma almeno hai una vasta gamma di prodotti e soluzioni tra cui scegliere, spesso con SDK completi per rendere l'implementazione più rapida e semplice.

Non così nell'ecosistema digitale dei bambini.

Quando crei app per bambini, hai una serie aggiuntiva di preoccupazioni e vincoli. Se dovessi semplicemente collegare un SDK di analisi standard, molto probabilmente scopriresti che l'SDK di analisi trasmette dati di identificazione personale (come definiti da COPPA) dall'applicazione client e li registra lato server. Questo è lo standard per le piattaforme di analisi realizzate per Internet per adulti e consente a tali piattaforme di fornire approfondimenti più ricchi, come la mappatura geografica del calore. Tuttavia, questo è qualcosa che prendiamo ogni precauzione per evitare attraverso la piattaforma PopJam, sia web che mobile, come prodotto autonomo o incorporato nei prodotti dei clienti.

Mentre consideri le tue opzioni in questo spazio, permettimi di riflettere sul viaggio che abbiamo fatto su PopJam, per illustrare un paio di possibili approcci.

Rotola da solo

Conosciamo tutti il ​​triangolo economico/veloce/buono. Nel team PopJam, abbiamo iniziato con una soluzione che abbiamo lanciato noi stessi. Abbiamo ampliato un database Amazon Redshift, abbiamo messo il runner di query open source Re:Dash in cima e ci siamo messi al lavoro per definire e implementare la nostra infrastruttura di eventi di analisi.

Abbiamo creato i nostri SDK lato client per trasmettere eventi di analisi dei prodotti alla nostra API di analisi, assicurandoci di non trasmettere dati che potrebbero essere utilizzati per identificare o impronte digitali dell'utente. Il nostro servizio eventi ha quindi scartato con cura tutte le PII rimanenti, come l'indirizzo IP e lo user agent nella richiesta e ha scritto l'evento in un database grezzo per l'elaborazione notturna.

Abbiamo quindi costruito meticolosamente i nostri ETL, gli schemi degli analisti e le definizioni delle metriche a mano in SQL grezzo, utilizzando Re:Dash per pianificare ed eseguire tali query.

Inizialmente sembrava un'ottima soluzione. Economico (basato su strumenti open source e costruiti internamente), veloce (abbiamo controllato l'ambito e la roadmap) e buono (sapevamo che era conforme e avevamo piena visibilità e controllo sui nostri dati). Tuttavia, non ci volle molto prima che le crepe apparissero.

Non così economico

Sebbene relativamente economico da gestire, dal punto di vista delle infrastrutture, era tutt'altro che economico da gestire e mantenere. I nostri lavori batch notturni, Redshift, Re:Dash, si sono rivelati tutti alquanto instabili e giorni al mese del nostro leader tecnologico sono stati persi per riavviare, eseguire il debug, recuperare i dati persi, rispondere agli utenti aziendali scontenti e in generale mantenere in vita l'analisi del prodotto . Quando ha fallito, tutti i tipi di funzioni aziendali sono state interessate, poiché avevamo costruito cose come i rapporti sulle campagne, i dashboard di gestione della comunità e l'attribuzione di marketing in cima ai dati in essa contenuti.

Ci è voluto anche molto tempo dai nostri product manager, che hanno dovuto creare manualmente ogni metrica, grafico, dashboard, strumento di reporting e query, imparando man mano. Sono stati commessi errori, che a loro volta hanno richiesto più tempo per essere annullati.

Utilità-prezzo

Tutto questo sforzo non era solo dispendioso in termini di tempo, per non dire frustrante per il team, ma rappresentava anche un enorme costo opportunità. Con il nostro product manager che a volte trascorreva due giorni interi alla settimana a braccetto in SQL, erano meno in grado di concentrarsi sul lavoro di scoperta di un prodotto eccezionale. Le domande sollevate durante la scoperta richiedevano molto più tempo per rispondere, rallentando ulteriormente il ciclo di iterazione, e spesso non avevamo le capacità per essere in grado di rispondere pienamente alle nostre stesse domande, dovendo invece ricorrere a un'analisi più semplice.

Inoltre, qualsiasi miglioramento che volessimo apportare al nostro toolkit di analisi, analisi o visualizzazione richiederebbe la definizione delle priorità all'interno del nostro backlog. Non avremmo ottenuto nulla nel tempo a meno che non avessimo messo il grugnito. Nessuno ci avrebbe fatto avanzare se non lo fossimo stati.

Non buono abbastanza

Sebbene Re:Dash abbia funzionato abbastanza bene, c'erano alcuni aspetti negativi, anche al di là dell'affidabilità (che molto probabilmente avrebbe potuto essere risolta se avessimo dato la priorità al tempo per investire in esso). Il nostro problema chiave era la nostra dipendenza dalle nostre capacità di analisi statistica e creazione di query all'interno del team. Il product manager (io!) non era un data scientist. Non avevamo un analista di dati dedicato nel settore.

Sebbene fossimo in grado di servirci autonomamente delle basi e di fare una ragionevole quantità di scoperte all'interno dei dati, c'era un universo di tecniche e approcci di analisi più avanzati che ci erano preclusi. Avevamo bisogno di una piattaforma di analisi che potesse effettivamente elevarci, al di sopra delle nostre capacità, e potenziare la nostra capacità di comprendere veramente ciò che i nostri dati ci dicevano sull'utilizzo della piattaforma PopJam da parte dei nostri utenti e clienti.

Salire di livello

Quando abbiamo iniziato a spingere più frequentemente contro i limiti delle nostre capacità, siamo andati alla ricerca di alcuni esperti che potessero avere la soluzione al nostro problema. Sapevamo che esistevano soluzioni più avanzate, poiché molti di noi le avevano utilizzate in ruoli precedenti. Avevamo bisogno di informazioni più dettagliate per continuare a migliorare il nostro processo di sviluppo dei prodotti.

Abbiamo provato diverse piattaforme di analisi prima di selezionare Ampiezza. Siamo rimasti sbalorditi dalla loro interfaccia utente, che era totalmente dedicata allo sviluppo del prodotto. La piattaforma Amplitude conteneva una serie di strumenti di analisi incredibilmente potenti e facili da usare che non avevamo modo pratico di realizzare noi stessi nella nostra soluzione precedente.

Uno dei miglioramenti di maggior impatto è stata la capacità di definire coorti da qualsiasi punto dati, utilizzando il microscopio. Oltre a dare al team di prodotto la possibilità di scavare facilmente per comprendere il comportamento di quegli utenti che (ad esempio) commentano più regolarmente e vedere cos'altro fanno, il team di marketing è stato anche in grado di utilizzare immediatamente questa funzione per capire quanto fosse coinvolta una coorte di utenti che si sono uniti a seguito di una particolare campagna di marketing, e valuta se quella tattica abbia portato il ragazzo "giusto".

Un altro strumento a cui non avremmo potuto dedicare il tempo per creare noi stessi è l'analisi dell'impatto. Utilizzando questo strumento di analisi siamo stati in grado di rivelare ed esplorare l'ipotesi che incontrare e godere di un quiz sulla personalità all'inizio del tuo viaggio in PopJam ha un grande impatto su come percepisci il prodotto e su quanto continui a impegnarti e trattenere.

Migrazione

La migrazione ad Amplitude è stata semplice. Abbiamo mantenuto la nostra pipeline di eventi sicura per i bambini e il codice client esistenti, ma abbiamo reindirizzato tutti gli eventi dal nostro servizio di eventi ad Amplitude tramite la loro API HTTP. Ciò ha assicurato che mantenessimo il pieno controllo di quali dati lasciano (o, cosa più importante, non lasciano) il dispositivo dei bambini. Abbiamo continuato a utilizzare i nostri SDK client su misura, anziché gli SDK client di Amplitude, in quanto ciò ci ha mantenuto il pieno controllo dei dati che lasciano il dispositivo del bambino. Abbiamo mantenuto il nostro servizio di eventi, che è servito a garantire (a) che siamo rimasti disaccoppiati da qualsiasi piattaforma di analisi specifica e (b) avessimo il pieno controllo della privacy dei dati prima di collegarli ad Amplitude.

Il risultato è stato che abbiamo potuto ottenere tutti i vantaggi dei potenti strumenti front-end di Amplitude con la piena sicurezza che Amplitude conteneva assolutamente zero dati di identificazione personale dei nostri utenti.

Sebbene sia più costoso della nostra soluzione precedente, abbiamo recuperato l'attenzione sulla nostra capacità di innovare e iterare i nostri prodotti e piattaforme, il che è inestimabile.

Analisi a prova di bambino

Il set di strumenti che abbiamo ora è anni luce avanti rispetto a quello che siamo stati in grado di ottenere internamente, in termini di sofisticatezza analitica, fornendo una profondità di comprensione e una guida per l'iterazione del prodotto a cui non ci saremmo mai avvicinati. Il team e l'azienda ora si fidano dei numeri. Abbiamo implementato Amplitude in più team non di prodotto in SuperAwesome perché l'interfaccia utente è intuitiva e non minacciosa (addio SQL!).

Scarlett Cayford, responsabile di PopJam, è a capo di un team di strateghi, designer e dirigenti delle operazioni pubblicitarie, che utilizzano regolarmente Amplitude per analizzare i dati in diverse aree di PopJam.

"Sebbene il nostro set di strumenti fosse praticabile, significava che eravamo limitati in ciò che potevamo misurare e facevamo completamente affidamento sui product manager per creare nuove query. L'ampiezza è abbastanza semplice da permetterci di costruire le nostre query e suddividere i dati in diversi intervalli di tempo e aree geografiche è estremamente semplice. L'adozione di Amplitude ci ha dato autonomia oltre che autorità e ci ha permesso di reagire molto più velocemente".

Passare da una soluzione di analisi open source sviluppata internamente ad Amplitude è stata un'ottima scelta per noi. Siamo stati in grado di trovare una configurazione che ci ha permesso di utilizzare Amplitude in un modo che ha continuato a proteggere la privacy dei dati dei nostri utenti di età inferiore ai 13 anni, fornendoci un set di strumenti sofisticato per capire come viene utilizzato il nostro prodotto.

Non ci preoccupiamo più dell'analisi. Otteniamo costanti miglioramenti ai nostri strumenti e nuove capacità perché c'è un'altra attività che pensa a quello spazio problematico. Non dobbiamo più essere esperti in un dominio che non ha nulla a che fare con il rendere Internet più sicuro per i bambini.