Memberdayakan Keputusan Berbasis Data di Criteo

Satu-satunya cara untuk meningkatkan produk Anda adalah dengan memahami bagaimana pelanggan Anda menggunakannya. Untuk melakukan itu, Anda harus mengumpulkan dan menganalisis data yang akurat dan umpan balik yang relevan. Cara terbaik untuk mendapatkan informasi ini adalah melalui percakapan yang jujur ​​dan terbuka dengan pelanggan Anda. Tapi bagaimana Anda bisa yakin bahwa Anda mengajukan pertanyaan yang tepat dan mendapatkan jawaban yang benar sebagai balasannya?

Seperti platform periklanan online lainnya, Criteo mengandalkan umpan balik pelanggan untuk membangun produk yang lebih baik bagi pemasar digital. Kami menawarkan rangkaian solusi periklanan holistik untuk pengecer, merek, dan penerbit dari semua ukuran. Platform kami menganalisis perilaku 2,5 miliar pembeli online bulanan dan menggunakan AI untuk menayangkan iklan yang sangat relevan kepada audiens unik yang lebih cenderung terlibat dengan merek Anda.

Di pasar yang ramai, kami ingin memberdayakan klien kami untuk menjadi pahlawan super pemasaran; kami ingin mereka memanfaatkan platform kami untuk mempermudah pekerjaan mereka sehari-hari. Namun kami tidak selalu memiliki cara untuk mengukur pengalaman pengguna mereka dengan tingkat kepastian apa pun.

Pindah dari Layanan Terkelola ke Dasbor Layanan Mandiri

Saya seorang ilmuwan data dan kepala tim Antarmuka dan Pengukuran Criteo. Sebelum saya datang ke Criteo, kami lebih merupakan perusahaan layanan terkelola. Pelanggan kami akan menelepon dan meminta kami untuk mengurus berbagai aspek kampanye iklan mereka. Pendekatan ini menghabiskan waktu dan sumber daya kami dan membuat inovasi tidak mungkin dilakukan.

Itu sebabnya kami mulai membangun dasbor analitik swalayan untuk klien kami. Dengan memberi mereka lebih banyak kontrol atas data, mereka dapat mengambil lebih banyak tanggung jawab untuk semuanya, mulai dari kampanye penargetan ulang hingga iklan spanduk.

Kami mengikuti proses tiga langkah saat membuat dasbor yang dikelola sendiri. Pertama, kami menentukan metrik apa yang paling membantu pengguna kami dengan memeriksa bagaimana mereka berinteraksi dengan platform kami. Selanjutnya, kami membangun dasbor awal dan meluncurkannya ke selusin pelanggan, yang menguji coba alat baru selama satu atau dua bulan. Setelah putaran awal umpan balik, kami menghabiskan beberapa minggu lagi untuk menyesuaikan dasbor sebelum membuatnya tersedia untuk semua pengguna kami.

Cara Baru untuk Menimbang Umpan Balik Klien

Saat pertama kali mulai membuat dasbor ini, kami mengikuti uji coba dengan modul pelatihan analitik dan panggilan telepon yang meminta pengguna untuk menjelaskan pengalaman mereka. Mereka sering memberi tahu kami bahwa mereka bingung dan tidak mengerti cara menggunakan fitur baru, meskipun telah melalui sesi pelatihan. Kami tidak yakin pelanggan kami bahkan telah mencoba fitur yang menurut mereka membingungkan. Kadang-kadang, tampak jelas bahwa mereka hanya menghabiskan beberapa menit dengan produk sebelum panggilan.

Meskipun kami meminta umpan balik kritis tentang fitur baru, kami menemukan bahwa beberapa penguji takut menjadi terlalu negatif jika mereka membagikan apa pun selain umpan balik yang menguntungkan. Jelas bahwa kami perlu melacak penggunaannya saat mereka menguji dasbor baru untuk memberikan konteks pada evaluasi mereka.

Sekitar waktu yang sama ketika saya datang ke Criteo, kami bergabung dengan Segment untuk mengumpulkan, membersihkan, dan mengontrol data pelanggan, dan Amplitudo untuk menganalisis bagaimana klien kami menggunakan platform. Amplitudo memberdayakan kami untuk menjauh dari bukti anekdot dan mulai menggunakan data untuk mendorong keputusan tentang fitur platform baru.

Hal pertama yang dibantu oleh sistem baru kami adalah memprioritaskan umpan balik klien. Kami sekarang dapat melihat klien mana yang sering menggunakan dasbor, jadi kami tahu komentar dan kekhawatiran mereka sangat berharga. Jika kami melihat seseorang tidak menghabiskan banyak waktu di dasbor namun mereka memberi tahu kami bahwa mereka tidak menyukai tampilannya atau mereka tidak menemukan fitur yang berguna, maka kami tidak terlalu mempertimbangkan umpan balik itu. Amplitudo membantu kami mengidentifikasi umpan balik yang paling asli dan fokus pada masalah nyata.

Menguji dan Meningkatkan Alur Kerja Pelanggan

Kami kemudian bekerja untuk membangun dan menyempurnakan tujuh alur kerja otomatis yang membentuk inti dari platform layanan mandiri kami, termasuk kampanye, kupon, dan pembuatan konten.

Kami menggunakan Amplitude untuk menentukan apakah pelanggan kami dapat menyelesaikan alur kerja tertentu, seperti membuat iklan spanduk atau menyusun kampanye penargetan ulang.

Amplitudo menunjukkan kepada kami persentase pelanggan yang mengikuti alur kerja hingga akhir, dan kami dapat memantau di mana orang-orang terjebak di sepanjang jalan. Jika kami melihat bahwa 90% dari pengguna kami menyelesaikan alur kerja, kami tahu bahwa itu bekerja dengan cukup baik. Di sisi lain, jika alur kerja individu hanya memiliki 30% penyelesaian, kami tahu bahwa kami perlu membuat perubahan signifikan.

Analisis terperinci Amplitude memungkinkan kami untuk menunjukkan dengan tepat poin-poin masalah pelanggan kami dan memperlengkapi kembali alur kerja kami sesuai dengan itu. Hanya dalam beberapa bulan, tingkat penyelesaian alur kerja pembuatan kampanye kami naik lebih dari 3x. Meskipun kami masih memiliki cara untuk pergi, kami tahu kami masih dalam kegelapan tentang apa yang salah jika kami terus mengandalkan bukti anekdot.

Amplitudo juga membantu meningkatkan cara kami meluncurkan perubahan pada produk kami. Ilmuwan data produk kami dapat menambah dan mengurangi fitur dan fungsi, lalu menjalankan sebelum/sesudah pengujian untuk mengukur reaksi pengguna kami. Jika pelanggan kami menerima fitur, kami menyimpannya. Tetapi jika kita melihat adopsi rendah, mudah untuk mencoba sesuatu yang lain. Kami juga dapat memprioritaskan alur kerja yang memerlukan peningkatan dan memperkirakan penambahan platform kami di masa mendatang berdasarkan perilaku pelanggan saat ini.

Mengubah Tata Kelola Data Internal Criteo

Sejauh ini, kami telah membahas bagaimana wawasan terperinci Amplitude menyebabkan perubahan eksternal pada platform dan alur kerja pelanggan kami. Tetapi menggunakan Amplitudo juga mendorong transformasi praktik tata kelola data internal Criteo.

Tim kami telah berkembang selama bertahun-tahun. Pada awalnya, kami memiliki satu analis dan satu pengembang yang menggunakan Amplitude, dan sekarang kami memiliki 60 pengguna internal, termasuk karyawan baru dan manajer produk. Saat kami tumbuh, kami harus mengubah cara kami mengakses dan berbicara tentang data.

Kami tidak memiliki dokumentasi yang tepat, jadi kolega saya, analis Eve-Anne Pagani dan Myriam Klikel mengambil alih kepemilikan masalah ini dan membuat panduan pengguna yang komprehensif. Kami juga membuka saluran Slack di mana pengguna dapat mengajukan pertanyaan, meminta dukungan, dan berpartisipasi dalam diskusi terbuka dua mingguan kami selama satu jam.

Kami sekarang telah mengumpulkan taksonomi, pelacakan data, dan konvensi acara kami di repositori pusat yang dapat diakses oleh semua pengguna Amplitude di tim pengembang, proyek, dan analitik kami. Semua orang mengikuti pedoman yang sama, jadi tidak ada kebingungan atau ketidaktahuan seputar bagaimana berbagai tim menggunakan Amplitudo dan apa yang kami maksud ketika kami berbicara tentang data.

Budaya Kemandirian dan Inovasi

Amplitudo membuat data dapat diakses oleh orang yang bukan ilmuwan data. Bagan dan visualisasinya menyajikan informasi kompleks dalam format yang mudah dipahami. Manajer produk kami dapat membuat laporan yang melacak tujuan mereka tanpa meminta analis data kami untuk memberikan dan menafsirkan hasil mereka. Manajer produk kami bebas untuk fokus pada kampanye pelanggan kami sementara analis data kami dapat terus memberikan dukungan dan membangun fitur baru.

Amplitudo telah menciptakan budaya kemandirian di Criteo. Ini telah memberdayakan kami untuk beralih dari model bisnis layanan terkelola dan menjadi model yang menawarkan alat pemasaran online swalayan kepada pelanggan kami—sambil tetap menawarkan dukungan dari manajer produk kami sesuai kebutuhan. Ini juga telah memperkuat tim dan proses internal kami dengan memberi kami alat untuk melacak kemajuan kami, membangun alur kerja yang lebih baik, dan berkolaborasi.

Kami mulai menggunakan Amplitude untuk mengumpulkan wawasan waktu nyata yang akan membantu kami melakukan peningkatan yang berarti pada produk kami. Sekarang, Criteo memberdayakan orang-orang kami untuk membuat keputusan berdasarkan data, menyiapkan panggung untuk pertumbuhan dan inovasi di masa depan.