Membuat Taruhan Lebih Aman dengan Mengoptimalkan Produk Anda dengan Analytics

Sebagai manajer produk (PM), kami pada dasarnya menempatkan taruhan di jalur terbaik ke depan untuk produk kami. Tapi itu tidak cukup untuk hanya membuang semua uang Anda pada satu hal. PM perlu memahami bagaimana membuat taruhan paling cerdas di tempat pertama, dan kemudian menentukan apa yang berhasil dan apa yang tidak untuk meningkatkan peluang untuk putaran berikutnya.

Di Jumbo Interactive, kami cenderung memikirkan strategi produk dalam hal taruhan ofensif dan defensif. Jumbo mengembangkan solusi untuk memungkinkan pengalaman lotere terbaik di dunia, dan saya telah bersama Jumbo selama kurang lebih satu tahun sekarang sebagai PM di ruang pertumbuhan. Di sisi pertumbuhan bisnis, hampir semua taruhan kami akan menyinggung, jadi saya menjelajahi, menambahkan, atau mengoptimalkan putaran pertumbuhan kami untuk membuatnya berputar lebih baik dan lebih cepat.

PM perlu memahami cara membuat taruhan cerdas, dan kemudian menentukan apa yang berhasil dan apa yang tidak untuk meningkatkan peluang untuk putaran berikutnya.

Salah satu produk kami adalah Lotto Party, yang merupakan cara bagi teman-teman untuk mengumpulkan uang mereka bersama-sama untuk kesempatan yang lebih baik di jackpot besar. Lotto Party melacak siapa yang menyumbangkan apa untuk undian tertentu. Dengan begitu, jika sebuah pesta menang besar, semua orang diberi tahu dan secara otomatis mendapatkan bagiannya.

Pendekatan Jumbo terhadap pertumbuhan adalah mengikuti putaran pertumbuhan viral yang disediakan oleh produk-produk seperti Lotto Party. Sangat penting untuk tumbuh tidak hanya secara linier, tetapi secara eksponensial. Pesta Lotto memberikan pertumbuhan majemuk: seseorang mengundang teman-teman mereka untuk ambil bagian, dan kemudian sebagian dari teman-teman itu akan membuat pesta lotre mereka sendiri dan mengundang lebih banyak teman.

Mesin pertumbuhan Jumbo mencakup beberapa loop pertumbuhan viral ini, yang kemudian dilengkapi dengan loop iklan berbayar: Iklan berbayar menghasilkan prospek, yang menghasilkan modal, yang kemudian kami belanjakan untuk menemukan lebih banyak prospek. Dibayar dan viral—keduanya bekerja bersama-sama.

Untuk membuat taruhan ini dengan percaya diri, mendorong penemuan, dan mengukur kesuksesan kami, kami mengandalkan Amplitudo. Kami telah melihat peningkatan 40% dalam pengguna aktif bulanan di Lotto Party selama setahun terakhir, banyak di antaranya dapat dikaitkan dengan wawasan yang kami peroleh dari Amplitude Analytics, Amplitude Experiment, dan Amplitude Audiences.

Analytics memastikan semua orang berada di halaman yang sama

Hal utama yang kami lakukan dengan Analytics adalah mengukur indikator leading dan lagging kami. Jadi satu metrik utama yang kami pantau untuk Pesta Lotto adalah berapa banyak grup yang telah dibuat, karena grup baru menandakan akhir dari sebuah lingkaran dan awal dari yang baru. Apakah orang yang memulai grup baru itu adalah anggota party baru-baru ini atau bukan? Itu membantu kita memahami mekanisme pertumbuhan pendamping.

Tapi bukan hanya saya yang melihat informasi ini di Analytics: ini di seluruh perusahaan. Setiap tim teknik yang bekerja dengan saya memiliki akses ke dasbor dan bagan saya, dan saya mendorong mereka untuk sering melihatnya. Saya mengelola ruang tim mereka, dan saya membuat Buku Catatan untuk setiap taruhan yang kami pasang. Saya akan memasukkan semua analitik ke dalam buku catatan itu untuk ditinjau oleh tim teknik.

Saya juga membuat video Loom pendek untuk dasbor atau bagan tertentu di Analytics untuk menjelaskan secara ringkas apa yang bisa menjadi informasi yang rumit. Saya berbagi ini dengan semua orang, termasuk insinyur, analis data, PM lain, bos saya, dan bos bos saya. Alih-alih mencoba menjadwalkan delapan rapat yang berbeda, saya dapat membagikan video analitik berdurasi empat menit dengan semua orang. Semua orang dapat melihat apa yang saya lakukan, hasil dari pekerjaan itu, dan ini membantu membuat asumsi kami lebih akurat tentang bagaimana pengguna benar-benar menggunakan produk.

Eksperimen memberi tahu kita investasi mana yang layak dilakukan secara menyeluruh

Apa yang kami lihat di Analytics secara alami mengarah ke pengujian A/B di Eksperimen. Tes ini memungkinkan kita untuk membuat pernyataan hipotesis, menentukan apakah itu benar atau salah, dan kemudian tahu ke mana harus pergi (atau ke mana harus mundur). Eksperimen meningkatkan kepercayaan diri kami dalam memasang taruhan tertentu karena ini memberi kami analisis risiko-manfaat yang jelas.

Kami mulai dengan membuat dokumen desain eksperimen di mana kami menjelaskan masalah dan memberikan bukti pendukung sebanyak mungkin tentang masalah dan peluang yang mungkin terjadi. Kami kemudian menulis hipotesis dan memanggil metrik utama, yang umumnya kami gambarkan sebagai metrik trade-off. Di sebagian besar eksperimen, kami juga mencantumkan beberapa metrik sekunder. Info itu akan menentukan seperti apa keberhasilan atau kegagalan, serta ukuran sampel yang kita butuhkan untuk signifikansi statistik, yang kemudian menentukan durasi eksperimen.

Dokumen desain eksperimen memberi kami definisi yang kuat tentang apa yang kami uji di Eksperimen. Ini juga membantu kami memprioritaskan eksperimen. Eksperimen selama tiga bulan cukup lambat. Jika kita tahu bahwa sebuah eksperimen akan memakan waktu selama itu, lebih baik untuk menyingkirkan beberapa eksperimen selama seminggu sebelum kita memulai eksperimen yang lebih lama.

Desain eksperimen penting, karena kami ingin membangun semuanya dengan cepat, kotor, dan murah. Kami ingin mengeluarkan sesuatu sesegera mungkin sehingga kami dapat mengumpulkan lebih banyak data, dan melakukan investasi awal sekecil mungkin memungkinkan kami untuk menguji secara ekstensif dan membangun dengan cerdas.

Melakukan investasi awal sekecil mungkin memungkinkan tim produk menguji secara ekstensif dan membangun dengan cerdas.

Salah satu contoh dari Lotto Party adalah kurangnya kemampuan untuk ditemukan di sekitar produk. Mayoritas pengguna di platform berada dalam apa yang kami sebut pengalaman “bermain” kami, dan Lotto Party cukup terpisah dari pengalaman itu. Jika kami membawa Lotto Party lebih banyak ke dalam pengalaman bermain, apa dampaknya? Langkah itu akan membutuhkan peningkatan yang signifikan dari bidang teknik dan sebagai hasilnya, investasi yang signifikan.

Pola pikir eksperimen kami membawa semua orang—produk, teknik, T&J, siapa pun yang terlibat dalam proses—untuk berpikir tentang merampingkan eksperimen ini untuk mendapatkan wawasan terbaik dari investasi terkecil. Dalam Eksperimen, kami melihat bahwa memasukkan Lotto Play ke dalam pengalaman bermain hampir menggandakan penjualan untuk Pesta Lotto, dan lebih dari dua kali lipat jumlah grup yang dibuat. Berinvestasi lebih lanjut dalam hal ini adalah hal yang mudah.

Pemirsa meningkatkan nilai transaksi dengan keranjang yang lebih dipersonalisasi

Kami menggunakan Audiens untuk membuat rekomendasi keranjang yang lebih cerdas, yang kami sertakan dalam penjangkauan email dan juga alur pembelian. Baik itu sesuatu yang telah dibeli pengguna di masa lalu atau akan dibeli, kami menawarkan produk tambahan yang mungkin mereka sukai, atau saran seperti, “Putar ulang tiket yang pernah Anda mainkan sebelumnya.” Ini adalah twist yang lebih cerdas pada pertanyaan klasik itu, "Apakah Anda ingin kentang goreng dengan itu?" Audiens tahu pelanggan khusus ini tidak menginginkan kentang goreng—tetapi mereka memang menyukai milkshake. Akan sangat sulit untuk membangun kerangka algoritmik kami sendiri untuk mengetahui keinginan pengguna, tetapi Amplitude menyediakannya untuk kami.

Semakin personal rekomendasi, semakin besar kemungkinan pengguna untuk memilihnya.

Rekomendasi di Audiens, yang didukung oleh Amazon Personalize, dengan mudah membayar sendiri. Semakin personal rekomendasi, semakin besar kemungkinan pengguna untuk memilihnya. Jumbo mengetahui hal ini karena kami memiliki penempatan keranjang sebelum mulai menggunakan Pemirsa, dan sejak saat itu kinerja penempatan tersebut jauh lebih baik.

Sekitar delapan bulan yang lalu, saya punya ide tentang produk di penempatan keranjang kami. Sebelumnya, penempatan keranjang berfokus pada subkumpulan produk yang terkait dengan undian amal, tetapi saya ingin memperluasnya ke semua produk kami dan membiarkan Pemirsa memutuskan apa yang terbaik untuk setiap pelanggan. Lihatlah, kami melihat peningkatan dalam klik dan nilai transaksi. Dengan Pemirsa, semakin banyak opsi yang Anda berikan, semakin banyak orang yang akan Anda tuju.

Pertahankan pengguna yang sudah ada dan buat taruhan cerdas untuk memenangkan yang baru

Personalisasi itu juga penting untuk integrasi Amplitude dengan Braze, yang kami gunakan untuk pengiriman pesan. Jika Anda memikirkan mesin pertumbuhan kami, kami memiliki semua loop akuisisi yang menghasilkan pelanggan, tetapi sisi lain darinya—inti dari mesin kami—adalah retensi dan keterlibatan, dan di situlah Braze berada. Menjadi lebih pintar tentang mengetahui kapan harus mengirim pesan ke pengguna membuat semua perbedaan, dan itu sama pentingnya untuk mengetahui saluran yang tepat. Jika orang tersebut sering menggunakan aplikasi tertentu, mungkin lebih masuk akal untuk mengirimi mereka pemberitahuan push atau pesan dalam aplikasi daripada email.

Braze ada untuk membantu kami melanjutkan putaran kebiasaan. Kami mendefinisikan lingkaran kebiasaan sebagai pelanggan yang menjadi pemain aktif selama dua bulan setelah aktivasi. Jika mereka bermain selama dua bulan, mereka sudah menjadi pemain biasa. Kami menggunakan Braze untuk memicu loop kebiasaan itu dan membuatnya tetap berputar untuk mendorong retensi kami. Tetapi untuk melakukan ini, kita perlu memiliki data terbaik yang mengalir ke Braze. Analytics membantu kami melakukannya dengan membuat kelompok yang lebih cerdas dan mempersonalisasi konten. Semakin spesifik kita tentang konten ini, waktu dan penayangannya, semakin baik hasil kampanye tersebut.

Saya telah belajar banyak dari bekerja di Jumbo, dan saya memiliki perspektif baru tentang pertumbuhan. Bekerja dengan Amplitudo juga merupakan kemenangan besar. Kami tidak akan melihat peningkatan pengguna aktif bulanan untuk Lotto Party tanpa Amplitudo. Platform ini memungkinkan kami untuk memasang taruhan paling cerdas.