Wie wir mit Amplitude kindersichere Analysen implementiert haben

PopJam ist eine soziale Plattform, die von Grund auf so aufgebaut ist, dass sie für Kinder sicher, angemessen und vollständig anonym ist. Es ist eine sichere, moderierte Community für Kinder, um sich mit ihren Lieblingsinhalten und -marken zu beschäftigen, die speziell für die Sicherheits- und Datenschutzanforderungen (COPPA, GDPR-K) der Zielgruppe unter 13 Jahren entwickelt wurde. Da es sich an ein Publikum von 7-12 Jahren richtet, nehmen wir Datenschutz und Compliance sehr ernst.

Ein kritisches Anliegen für jede Plattform ist die Produktanalyse, die Sie zum Messen und Lernen verwenden. Dies ist nie trivial, um es richtig zu machen. Die Entscheidung, was und wie gemessen werden soll, erfordert sorgfältige Überlegungen, aber zumindest haben Sie eine riesige Auswahl an Produkten und Lösungen, oft mit voll ausgestatteten SDKs, um die Implementierung schneller und einfacher zu machen.

Nicht so im digitalen Ökosystem für Kinder.

Bei der Erstellung von Apps für Kinder gibt es zusätzliche Bedenken und Einschränkungen. Wenn Sie einfach ein Standard-Analyse-SDK einstecken würden, würden Sie sehr wahrscheinlich feststellen, dass dieses Analyse-SDK personenbezogene Daten (wie von COPPA definiert) von Ihrer Client-Anwendung sendet und serverseitig aufzeichnet. Dies ist Standard für Analyseplattformen, die für das erwachsene Internet entwickelt wurden, und ermöglicht es diesen Plattformen, umfassendere Einblicke zu liefern, wie z. B. geografisches Heat-Mapping. Wir ergreifen jedoch alle Vorsichtsmaßnahmen, um dies auf der gesamten PopJam-Plattform zu vermeiden, sei es im Internet oder auf Mobilgeräten, als eigenständiges Produkt oder eingebettet in die Produkte der Kunden.

Erlauben Sie mir, während Sie Ihre Optionen in diesem Bereich betrachten, über die Reise nachzudenken, die wir mit PopJam gegangen sind, um einige mögliche Ansätze zu veranschaulichen.

Roll deinen eigenen

Wir alle kennen das Dreieck billig/schnell/gut. Im PopJam-Team haben wir mit einer Lösung begonnen, die wir selbst entwickelt haben. Wir haben eine Amazon Redshift-Datenbank aufgespannt, den Open-Source-Query-Runner Re:Dash darüber gelegt und uns an die Definition und Implementierung unserer eigenen Analytics-Event-Infrastruktur gemacht.

Wir haben unsere eigenen clientseitigen SDKs erstellt, um Produktanalyseereignisse an unsere eigene Analyse-API zu übertragen, und dabei sichergestellt, dass keine Daten weitergegeben werden, die zur Identifizierung oder zum Fingerabdruck des Benutzers verwendet werden könnten. Unser Ereignisdienst hat dann sorgfältig alle verbleibenden PII wie die IP-Adresse und den Benutzeragenten in der Anfrage verworfen und das Ereignis zur Verarbeitung über Nacht in eine Rohdatenbank geschrieben.

Anschließend haben wir unsere ETLs, Analystenschemata und Metrikdefinitionen sorgfältig von Hand in Roh-SQL erstellt und Re:Dash verwendet, um diese Abfragen zu planen und auszuführen.

Zunächst schien es eine großartige Lösung zu sein. Günstig (basierend auf Open Source und intern erstellten Tools), schnell (wir kontrollierten den Umfang und die Roadmap) und gut (wir wussten, dass es konform war, und wir hatten volle Transparenz und Kontrolle über unsere Daten). Es dauerte jedoch nicht lange, bis die Risse auftauchten.

Nicht so billig

Während der Betrieb relativ billig war, war es aus Sicht der Infrastruktur alles andere als billig in Betrieb und Wartung. Unsere nächtlichen Batch-Jobs, Redshift, Re:Dash, erwiesen sich alle als etwas instabil, und Tage im Monat unserer technischen Leitung gingen damit verloren, neu zu starten, Fehler zu beheben, verlorene Daten wiederherzustellen, auf verärgerte Geschäftsbenutzer zu reagieren und die Produktanalyse im Allgemeinen am Leben zu erhalten . Als es fehlschlug, waren alle Arten von Geschäftsfunktionen betroffen, da wir Dinge wie Kampagnenberichte, Community-Management-Dashboards und Marketingzuordnung auf den darin enthaltenen Daten aufgebaut hatten.

Es hat auch eine Menge Zeit von unseren Produktmanagern gekostet, die jede Metrik, jedes Diagramm, jedes Dashboard, jedes Reporting-Tool und jede Abfrage manuell erstellen mussten und dabei lernten. Es wurden Fehler gemacht, deren Rückgängigmachung wiederum mehr Zeit in Anspruch nahm.

Opportunitätskosten

All dieser Aufwand war nicht nur zeitaufwändig und frustrierend für das Team, sondern auch mit enormen Opportunitätskosten verbunden. Da unser Produktmanager manchmal zwei ganze Tage pro Woche mit SQL verbrachte, konnten sie sich weniger auf die Aufgabe konzentrieren, ein großartiges Produkt zu entdecken. Die Beantwortung von Fragen, die während der Entdeckung aufgeworfen wurden, dauerte viel länger, was den Iterationszyklus weiter verlangsamte, und oft hatten wir nicht die Fähigkeiten, unsere eigenen Fragen vollständig zu beantworten, und mussten stattdessen auf einfachere Analysen zurückgreifen.

Darüber hinaus würden alle Verbesserungen, die wir an unserem Analyse-, Analyse- oder Visualisierungs-Toolkit vornehmen wollten, eine Priorisierung innerhalb unseres Backlogs erfordern. Wir bekamen im Laufe der Zeit nichts, es sei denn, wir setzten das Grunzen ein. Niemand brachte uns voran, wenn wir es nicht taten.

Nicht gut genug

Während Re:Dash ziemlich gut funktionierte, gab es ein paar Nachteile, sogar über die Zuverlässigkeit hinaus (die sehr wahrscheinlich hätten behoben werden können, wenn wir die Zeit, um darin zu investieren, priorisiert hätten). Unser Hauptproblem war unsere Abhängigkeit von unseren eigenen statistischen Analyse- und Abfrageerstellungsfähigkeiten innerhalb des Teams. Der Produktmanager (ich!) war kein Data Scientist. Wir hatten keinen dedizierten Datenanalysten im Unternehmen.

Während wir in der Lage waren, uns selbst um die Grundlagen zu kümmern und eine angemessene Menge an Entdeckungen in den Daten zu machen, gab es ein Universum von fortgeschritteneren Analysetechniken und -ansätzen, die uns verschlossen blieben. Wir brauchten eine Analyseplattform, die uns tatsächlich über unsere eigenen Fähigkeiten hinausheben und unsere Fähigkeit verbessern konnte, wirklich zu verstehen, was uns unsere Daten über die Nutzung der PopJam-Plattform durch unsere Benutzer und Kunden verraten.

Stufe aufsteigen

Als wir immer häufiger an die Grenzen unserer Fähigkeiten stießen, machten wir uns auf die Suche nach einigen Experten, die vielleicht die Lösung für unser Problem haben könnten. Wir wussten, dass es fortschrittlichere Lösungen gab, da viele von uns sie in früheren Rollen verwendet hatten. Wir brauchten umfassendere Erkenntnisse, um unseren Produktentwicklungsprozess weiter zu verbessern.

Wir haben ein paar verschiedene Analyseplattformen ausprobiert, bevor wir uns für Amplitude entschieden haben. Wir waren überwältigt von ihrer Benutzeroberfläche, die ganz der Produktentwicklung gewidmet war. Die Amplitude-Plattform enthielt eine Vielzahl unglaublich leistungsstarker und benutzerfreundlicher Analysetools, die wir in unserer vorherigen Lösung einfach nicht selbst erstellen konnten.

Eine der wirkungsvollsten Verbesserungen war die Möglichkeit, mithilfe von Microscope Kohorten von jedem Datenpunkt aus zu definieren. Das Produktteam hatte nicht nur die Möglichkeit, das Verhalten der Benutzer zu verstehen, die (zum Beispiel) am häufigsten kommentieren, und zu sehen, was sie sonst noch tun, sondern konnte auch das Marketingteam diese Funktion sofort nutzen, um es zu verstehen wie engagiert eine Kohorte von Benutzern war, die als Ergebnis einer bestimmten Marketingkampagne beigetreten sind, und beurteilen Sie, ob diese Taktik die „richtige“ Art von Kind angezogen hat.

Ein weiteres Tool, für dessen Erstellung wir uns nicht die Zeit nehmen konnten, ist die Auswirkungsanalyse. Mit diesem Analysetool konnten wir die Hypothese aufdecken und untersuchen, dass die Begegnung mit und die Freude an einem Persönlichkeitsquiz zu einem frühen Zeitpunkt Ihrer PopJam-Reise einen großen Einfluss darauf haben, wie Sie das Produkt wahrnehmen und wie sehr Sie sich engagieren und behalten.

Migration

Die Migration zu Amplitude war einfach. Wir haben unsere bestehende kindersichere Ereignispipeline und unseren Client-Code beibehalten, aber alle Ereignisse von unserem Ereignisdienst über ihre HTTP-API an Amplitude weitergeleitet. Dies stellte sicher, dass wir die volle Kontrolle darüber behielten, welche Daten das Gerät der Kinder verlassen (oder, was noch wichtiger ist, nicht verlassen). Wir haben weiterhin unsere maßgeschneiderten Client-SDKs anstelle der Client-SDKs von Amplitude verwendet, da wir dadurch die volle Kontrolle über die Daten behalten, die das Gerät des Kindes verlassen. Wir haben unseren Event-Service beibehalten, der dazu diente, sicherzustellen, dass (a) wir von einer bestimmten Analyseplattform entkoppelt blieben und (b) wir die volle Kontrolle über den Datenschutz von Daten hatten, bevor wir sie an Amplitude weiterleiteten.

Das Ergebnis war, dass wir alle Vorteile der leistungsstarken Front-End-Tools von Amplitude in vollem Vertrauen nutzen konnten, dass Amplitude absolut keine personenbezogenen Daten unserer Benutzer enthielt.

Obwohl teurer als unsere vorherige Lösung, haben wir uns wieder auf unsere Fähigkeit konzentriert, unsere Produkte und Plattformen zu innovieren und zu iterieren, was von unschätzbarem Wert ist.

Kindersichere Analytik

Das Toolset, das wir jetzt haben, ist Lichtjahre voraus von dem, was wir intern erreichen konnten, in Bezug auf analytische Raffinesse, und lieferte einen tiefen Einblick und eine Anleitung für die Produktiteration, an die wir niemals auch nur annähernd herangekommen wären. Das Team und das Geschäft vertrauen jetzt den Zahlen. Wir haben Amplitude in SuperAwesome in mehreren Nicht-Produktteams eingeführt, weil die Benutzeroberfläche intuitiv und nicht bedrohlich ist (auf Wiedersehen SQL!).

Scarlett Cayford, Head of PopJam, leitet ein Team aus Strategen, Designern und Ad Operations Executives, die alle regelmäßig Amplitude verwenden, um Daten in verschiedenen Bereichen von PopJam zu analysieren.

„Obwohl unsere eigenen Tools brauchbar waren, bedeutete dies, dass wir in unseren Messmöglichkeiten eingeschränkt waren und uns bei der Erstellung neuer Abfragen vollständig auf die Produktmanager verlassen mussten. Amplitude ist so einfach, dass wir unsere eigenen Abfragen erstellen können, und das Aufteilen dieser Daten in verschiedene Zeitrahmen und geografische Regionen ist extrem einfach. Die Einführung von Amplitude hat uns sowohl Autonomie als auch Autorität verliehen und uns ermöglicht, viel schneller zu reagieren.“

Der Wechsel von einer intern entwickelten, Open-Source-basierten Analyselösung zu Amplitude war für uns eine gute Wahl. Wir konnten ein Setup finden, das es uns ermöglichte, Amplitude auf eine Weise zu verwenden, die den Datenschutz unserer unter 13-Jährigen weiterhin schützte und uns gleichzeitig ein ausgeklügeltes Toolset zum Verständnis der Verwendung unseres Produkts an die Hand gab.

Wir machen uns keine Gedanken mehr über Analysen. Wir erhalten ständig Verbesserungen an unseren Tools und neue Fähigkeiten, weil ein ganz anderes Unternehmen über diesen Problembereich nachdenkt. Wir müssen nicht länger Experten in einem Bereich sein, der nichts damit zu tun hat, das Internet für Kinder sicherer zu machen.