Bagaimana kami menerapkan analitik yang aman untuk anak dengan Amplitudo

PopJam adalah platform sosial yang dibangun dari bawah ke atas agar aman, sesuai, dan sepenuhnya anonim untuk anak-anak. Ini adalah komunitas yang aman dan dimoderasi bagi anak-anak untuk terlibat dengan konten dan merek favorit mereka, yang dirancang khusus untuk persyaratan keamanan dan privasi data (COPPA, GDPR-K) dari penonton di bawah 13 tahun. Karena ditujukan untuk pemirsa berusia 7-12 tahun, kami sangat memperhatikan privasi dan kepatuhan.

Perhatian penting untuk platform apa pun adalah analisis produk yang Anda gunakan untuk mengukur dan mempelajari. Ini bukan hal yang sepele untuk diperbaiki. Memutuskan apa yang akan diukur, dan bagaimana caranya, memerlukan pemikiran yang cermat, tetapi setidaknya Anda memiliki banyak pilihan produk dan solusi, seringkali dengan SDK berfitur lengkap untuk membuat implementasi lebih cepat dan lebih mudah.

Tidak demikian halnya di ekosistem digital anak-anak.

Saat membuat aplikasi untuk anak-anak, Anda memiliki serangkaian kekhawatiran dan kendala tambahan. Jika Anda cukup mencolokkan SDK analitik siap pakai, kemungkinan besar Anda akan menemukan bahwa SDK analitik menyiarkan data pengenal pribadi (sebagaimana didefinisikan oleh COPPA) dari aplikasi klien Anda dan merekamnya di sisi server. Ini adalah standar untuk platform analitik yang dibuat untuk internet dewasa dan memungkinkan platform tersebut memberikan wawasan yang lebih kaya, seperti pemetaan panas geografis. Namun, ini adalah sesuatu yang kami lakukan untuk menghindari setiap tindakan pencegahan di seluruh platform PopJam, baik itu web atau seluler, sebagai produk yang berdiri sendiri atau tertanam dalam produk pelanggan.

Saat Anda mempertimbangkan pilihan Anda di ruang ini, izinkan saya untuk merenungkan perjalanan yang kami lalui di PopJam, untuk mengilustrasikan beberapa kemungkinan pendekatan.

Gulung Sendiri

Kita semua tahu segitiga murah/cepat/baik. Di tim PopJam, kami memulai dengan solusi yang kami luncurkan sendiri. Kami memperluas database Amazon Redshift, menempatkan runner kueri sumber terbuka Re:Dash di atas, dan mulai bekerja untuk mendefinisikan dan mengimplementasikan infrastruktur peristiwa analitik kami sendiri.

Kami membuat SDK sisi klien kami sendiri untuk menyiarkan peristiwa analitik produk ke API analitik kami sendiri, memastikan untuk tidak melewatkan data apa pun yang dapat digunakan untuk mengidentifikasi atau sidik jari pengguna. Layanan acara kami kemudian dengan hati-hati membuang PII yang tersisa, seperti alamat IP dan agen pengguna dalam permintaan dan menulis acara tersebut ke dalam database mentah untuk pemrosesan semalam.

Kami kemudian dengan susah payah membangun ETL, skema analis, dan definisi metrik kami dengan tangan dalam SQL mentah, menggunakan Re:Dash untuk menjadwalkan dan menjalankan kueri tersebut.

Awalnya, itu tampak seperti solusi yang bagus. Murah (dibangun di atas open source dan alat yang dibangun secara internal), cepat (kami mengontrol ruang lingkup dan peta jalan) dan bagus (kami tahu itu sesuai, dan kami memiliki visibilitas dan kontrol penuh atas data kami). Namun, tidak butuh waktu lama untuk retakan muncul.

Tidak Begitu Murah

Meskipun relatif murah untuk dijalankan, dari sudut pandang infrastruktur, pengoperasian dan pemeliharaannya jauh dari kata murah. Pekerjaan batch semalam kami, Redshift, Re:Dash, semuanya terbukti agak tidak stabil, dan berhari-hari dalam sebulan waktu pimpinan teknologi kami hilang untuk memulai ulang, men-debug, memulihkan data yang hilang, menanggapi pengguna bisnis yang tidak puas, dan secara umum menjaga analitik produk tetap hidup . Ketika gagal, semua jenis fungsi bisnis terpengaruh, karena kami telah membangun hal-hal seperti pelaporan kampanye, dasbor manajemen komunitas, dan atribusi pemasaran di atas data di dalamnya.

Ini juga membutuhkan banyak waktu dari manajer produk kami, yang harus membuat setiap metrik, grafik, dasbor, alat pelaporan, dan kueri secara manual, sambil terus belajar. Kesalahan dibuat, yang pada gilirannya membutuhkan lebih banyak waktu untuk dibatalkan.

Kemungkinan biaya

Semua upaya ini tidak hanya memakan waktu, belum lagi membuat tim frustrasi, tetapi juga merupakan biaya peluang yang sangat besar. Dengan manajer produk kami yang terkadang menghabiskan dua hari penuh seminggu dalam SQL, mereka kurang dapat fokus pada pekerjaan menemukan produk yang luar biasa. Pertanyaan yang diajukan selama penemuan membutuhkan waktu lebih lama untuk dijawab, semakin memperlambat siklus iterasi, dan sering kali kami tidak memiliki keterampilan untuk dapat menjawab pertanyaan kami sendiri sepenuhnya, sehingga harus kembali pada analisis yang lebih sederhana.

Selain itu, setiap peningkatan yang ingin kami lakukan pada perangkat analisis, analisis, atau visualisasi kami akan memerlukan prioritas dalam backlog kami. Kami tidak mendapatkan apa-apa dari waktu ke waktu kecuali kami menggerutu. Tidak ada yang menggerakkan kami maju jika tidak.

Tidak cukup baik

Sementara Re:Dash bekerja dengan cukup baik, ada beberapa kelemahan, bahkan di luar keandalan (yang kemungkinan besar dapat diselesaikan jika kami memprioritaskan waktu untuk berinvestasi di dalamnya). Masalah utama kami adalah ketergantungan kami pada analisis statistik dan keterampilan pembuatan kueri kami sendiri di dalam tim. Manajer produk (saya!) bukanlah seorang ilmuwan data. Kami tidak memiliki analis data khusus dalam bisnis ini.

Sementara kami dapat melayani diri sendiri pada dasar-dasarnya, dan melakukan sejumlah penemuan yang wajar dalam data, ada banyak teknik dan pendekatan analitik yang lebih canggih yang tertutup bagi kami. Kami membutuhkan platform analitik yang benar-benar dapat mengangkat kami, di atas keterampilan kami sendiri, dan meningkatkan kemampuan kami untuk benar-benar memahami apa yang dikatakan data kami tentang penggunaan platform PopJam oleh pengguna dan pelanggan kami.

Naik Level

Saat kami mulai lebih sering mendorong batas kemampuan kami, kami mencari beberapa ahli yang mungkin memiliki solusi untuk masalah kami. Kami tahu bahwa ada solusi yang lebih canggih, karena banyak dari kami telah menggunakannya dalam peran sebelumnya. Kami membutuhkan wawasan yang lebih kaya untuk terus meningkatkan proses pengembangan produk kami.

Kami mencoba beberapa platform analitik yang berbeda sebelum memilih Amplitudo. Kami terpesona oleh antarmuka pengguna mereka, yang sepenuhnya didedikasikan untuk pengembangan produk. Platform Amplitude berisi sejumlah alat analitik yang sangat kuat dan mudah digunakan yang kami tidak memiliki cara praktis untuk membuat diri kami sendiri dalam solusi kami sebelumnya.

Salah satu peningkatan yang paling berdampak adalah kemampuan untuk menentukan kelompok dari titik data mana pun, menggunakan Mikroskop. Selain memberi tim produk kemampuan untuk menggali dengan mudah untuk memahami perilaku pengguna yang (misalnya) paling sering berkomentar dan melihat apa lagi yang mereka lakukan, tim pemasaran juga dapat segera menggunakan fitur ini untuk memahami seberapa terlibatnya sekelompok pengguna yang bergabung sebagai hasil dari kampanye pemasaran tertentu, dan menilai apakah taktik itu menghasilkan jenis anak yang "benar".

Alat lain yang kami tidak dapat mendedikasikan waktu untuk menciptakan diri kita sendiri adalah Analisis Dampak. Dengan menggunakan alat analisis ini, kami dapat mengungkap dan mengeksplorasi hipotesis bahwa menghadapi dan menikmati kuis kepribadian sejak awal dalam perjalanan PopJam Anda memiliki dampak besar pada cara Anda memandang produk dan seberapa banyak Anda terus terlibat dan bertahan.

Migrasi

Migrasi ke Amplitudo itu sederhana. Kami menyimpan saluran acara aman anak yang ada, dan kode klien, tetapi menyalurkan semua acara dari layanan acara kami ke Amplitude melalui API HTTP mereka. Ini memastikan bahwa kami tetap memegang kendali penuh atas data apa saja yang keluar (atau yang lebih penting lagi tidak meninggalkan) perangkat anak-anak. Kami terus menggunakan SDK klien kami yang dipesan lebih dahulu, bukan SDK klien Amplitude, karena hal ini membuat kami memegang kendali penuh atas data yang keluar dari perangkat anak. Kami mempertahankan layanan acara kami, yang berfungsi untuk memastikan (a) kami tetap terpisah dari platform analitik tertentu, dan (b) kami memegang kendali penuh atas privasi data sebelum menyalurkannya ke Amplitude.

Hasilnya adalah kami bisa mendapatkan semua manfaat alat front-end Amplitude yang kuat dengan keyakinan penuh bahwa Amplitude sama sekali tidak berisi data pengenal pribadi dari pengguna kami.

Meskipun lebih mahal daripada solusi kami sebelumnya, kami telah merebut kembali fokus pada kemampuan kami untuk berinovasi dan mengulangi produk dan platform kami, yang sangat berharga.

Analitik yang aman untuk anak-anak

Perangkat yang kami miliki sekarang jauh lebih maju dari apa yang dapat kami capai secara internal, dalam hal kecanggihan analitis, memberikan kedalaman wawasan dan panduan untuk iterasi produk yang tidak akan pernah kami dapatkan sebelumnya. Tim dan bisnis mempercayai angka sekarang. Kami telah meluncurkan Amplitude di beberapa tim non-produk di SuperAwesome karena UI intuitif dan tidak mengancam (selamat tinggal SQL!).

Scarlett Cayford, Kepala PopJam, mengepalai tim ahli strategi, desainer, dan eksekutif operasi iklan, yang semuanya secara teratur menggunakan Amplitude untuk menganalisis data di berbagai area PopJam.

“Meskipun seperangkat alat kami sendiri dapat diterapkan, itu berarti kami dibatasi dalam apa yang dapat kami ukur dan sepenuhnya bergantung pada manajer produk untuk membuat kueri baru. Amplitudo cukup sederhana sehingga kita dapat membuat kueri sendiri, dan memecah data tersebut ke dalam kerangka waktu dan wilayah geografis yang berbeda sangatlah sederhana. Adopsi Amplitudo memberi kami otonomi serta otoritas dan memungkinkan kami untuk bereaksi lebih cepat.”

Berpindah dari solusi analitik berbasis open source yang dikembangkan secara internal ke Amplitude adalah pilihan yang tepat bagi kami. Kami dapat menemukan pengaturan yang memungkinkan kami untuk menggunakan Amplitudo dengan cara yang terus melindungi privasi data pengguna di bawah 13 tahun sambil memberi kami perangkat canggih untuk memahami bagaimana produk kami digunakan.

Kami tidak khawatir tentang analitik lagi. Kami mendapatkan peningkatan terus-menerus pada alat dan kemampuan baru kami karena ada bisnis lain yang berpikir tentang ruang masalah itu. Kami tidak lagi harus menjadi ahli dalam domain yang tidak ada hubungannya dengan membuat internet lebih aman untuk anak-anak.