Criteo'da Veriye Dayalı Kararların Güçlendirilmesi

Ürününüzü geliştirmenin tek yolu, müşterilerinizin onu nasıl kullandığını anlamaktır. Bunu yapmak için doğru verileri ve ilgili geri bildirimleri toplamanız ve analiz etmeniz gerekir. Bu bilgiyi edinmenin en iyi yolu, müşterilerinizle dürüst ve açık görüşmeler yapmaktır. Ama doğru soruları sorduğunuzdan ve karşılığında doğru cevapları aldığınızdan nasıl emin olabilirsiniz?

Diğer çevrimiçi reklam platformları gibi, Criteo da dijital pazarlamacılar için daha iyi ürünler oluşturmak için müşteri geri bildirimlerine güvenir. Her büyüklükteki perakendecilere, markalara ve yayıncılara bütünsel bir reklamcılık çözümleri paketi sunuyoruz. Platformumuz, aylık 2,5 milyar çevrimiçi alışveriş yapan kişinin davranışını analiz eder ve markanızla etkileşim kurma olasılığı daha yüksek olan benzersiz kitlelere son derece alakalı reklamlar sunmak için yapay zekayı kullanır.

Kalabalık bir pazarda, müşterilerimizi pazarlama süper kahramanları olmaları için güçlendirmek istiyoruz; günlük işlerini kolaylaştırmak için platformumuzu kullanmalarını istiyoruz. Ancak, kullanıcı deneyimlerini herhangi bir kesinlik derecesinde ölçmek için her zaman bir yolumuz olmadı.

Yönetilen Hizmetlerden Self Servis Panolarına Geçiş

Ben bir veri bilimcisiyim ve Criteo'nun Arayüzler ve Ölçümler ekibinin başkanıyım. Criteo'ya gelmeden önce, daha çok bir yönetilen hizmetler şirketiydik. Müşterilerimiz bizi arayıp reklam kampanyalarının çeşitli yönleriyle ilgilenmemizi isterdi. Bu yaklaşım zamanımızı ve kaynaklarımızı tüketti ve yenilik yapmayı imkansız hale getirdi.

Bu nedenle müşterilerimiz için self servis analitik panoları oluşturmaya başladık. Onlara veriler üzerinde daha fazla kontrol vererek, yeniden hedefleme kampanyalarından banner reklamlarına kadar her şey için daha fazla sorumluluk alabilirler.

Kendi kendini yöneten panolar oluştururken üç adımlı bir süreç izliyoruz. İlk olarak, platformumuzla nasıl etkileşime girdiklerini inceleyerek kullanıcılarımız için hangi metriklerin en yararlı olduğunu belirleriz. Ardından, bir başlangıç ​​panosu oluşturuyoruz ve yeni aracı bir veya iki ay boyunca deneyen bir düzine müşteriye sunuyoruz. İlk geri bildirim turundan sonra, panoları tüm kullanıcılarımıza sunmadan önce birkaç hafta daha ince ayar yaparak geçiriyoruz.

Müşteri Geri Bildirimini Tartmanın Yeni Bir Yolu

Bu panoları oluşturmaya ilk başladığımızda, denemelerimizi bir analitik eğitim modülü ve kullanıcılardan deneyimlerini açıklamalarını isteyen bir telefon görüşmesi ile izledik. Bize sık sık kafalarının karıştığını ve bir eğitim seansından geçmelerine rağmen yeni bir özelliği nasıl kullanacaklarını anlayamadıklarını söylediler. Müşterilerimizin kafa karıştırıcı bulduklarını iddia ettikleri özellikleri denediğinden bile emin olamadık. Bazen, aramadan hemen önce ürünle sadece birkaç dakika geçirdikleri açıktı.

Yeni özelliklerle ilgili kritik geri bildirimler istememize rağmen, bazı test kullanıcılarının olumlu geribildirim dışında bir şey paylaştıklarında çok olumsuz olmaktan korktuklarını gördük. Değerlendirmelerine bağlam sağlamak için yeni bir gösterge panosunu test ederken kullanımlarını izlememiz gerektiği açıktı.

Criteo'ya geldiğim sıralarda, müşteri verilerini toplamak, temizlemek ve kontrol etmek için Segment'i ve müşterilerimizin platformu nasıl kullandığını analiz etmek için Amplitude'ü dahil ettik. Amplitude, anekdot niteliğindeki kanıtlardan uzaklaşmamıza ve yeni platform özellikleriyle ilgili kararları yönlendirmek için verileri kullanmaya başlamamıza güç verdi.

Yeni sistemimizin yapmamıza yardımcı olduğu ilk şey, müşteri geri bildirimlerine öncelik vermek oldu. Artık hangi müşterilerin gösterge tablolarını sıklıkla kullandığını görebiliyoruz, bu nedenle yorumlarının ve endişelerinin çok değerli olduğunu biliyoruz. Birinin gösterge tablolarında fazla zaman geçirmediğini görürsek ve yine de bize görünüşünü beğenmediklerini veya bir özelliği yararlı bulmadıklarını söylerse, bu geri bildirimi o kadar fazla tartmayız. Genlik, en gerçek geri bildirimi belirlememize ve gerçek sorunlara odaklanmamıza yardımcı oldu.

Müşteri İş Akışlarını Test Etme ve İyileştirme

Ardından, kampanya, kupon ve içerik oluşturma dahil olmak üzere self servis platformumuzu oluşturan yedi otomatik iş akışını oluşturmak ve iyileştirmek için çalıştık.

Amplitude'u, müşterilerimizin banner reklam oluşturma veya yeniden hedefleme kampanyası oluşturma gibi belirli bir iş akışını tamamlayıp tamamlayamayacağını belirlemek için kullandık.

Genlik bize bir iş akışını sonuna kadar takip eden müşterilerin yüzdesini gösterir ve biz de bu süreçte insanların nerede takıldığını izleyebiliriz. Kullanıcılarımızın %90'ının bir iş akışını tamamladığını görürsek, bunun oldukça iyi çalıştığını biliriz. Öte yandan, bireysel bir iş akışının yalnızca %30'u tamamlanmışsa, önemli değişiklikler yapmamız gerektiğini biliyoruz.

Amplitude'ün ayrıntılı analitiği, müşterilerimizin sorunlu noktalarını saptamamıza ve iş akışlarımızı buna göre yeniden düzenlememize olanak tanır. Sadece birkaç ayda, kampanya oluşturma iş akışı tamamlama oranımız 3 kattan fazla arttı. Hâlâ gidecek yolumuz olsa da, anekdotsal kanıtlara güvenmeye devam etseydik, neyin yanlış gittiği konusunda hâlâ karanlıkta olacağımızı biliyoruz.

Genlik, ürünümüzdeki değişiklikleri uygulama şeklimizi iyileştirmeye de yardımcı oldu. Ürün veri bilimcilerimiz, özellikler ve işlevler ekleyip çıkarabilir ve ardından kullanıcılarımızın tepkilerini ölçmek için testlerden önce/sonra çalıştırabilir. Müşterilerimiz bir özelliği benimsiyorsa, onu koruyoruz. Ancak evlat edinmenin düşük olduğunu görürsek, başka bir şey denemek kolaydır. Ayrıca, iyileştirilmesi gereken iş akışlarına öncelik verebilir ve mevcut müşteri davranışına dayalı olarak platformumuza gelecekteki eklemeleri tahmin edebiliriz.

Criteo'nun Dahili Veri Yönetimini Dönüştürmek

Şimdiye kadar, Amplitude'ün ayrıntılı içgörülerinin platformumuzda ve müşteri iş akışlarımızda dışa dönük değişikliklere nasıl yol açtığını tartıştık. Ancak Amplitude'ü kullanmak, Criteo'nun dahili veri yönetişim uygulamalarında da bir dönüşüme yol açtı.

Ekibimiz yıllar içinde büyüdü. Başlangıçta, Amplitude kullanan bir analistimiz ve bir geliştiricimiz vardı ve şimdi yeni işe alınanlar ve ürün yöneticileri dahil 60 dahili kullanıcımız var. Büyüdükçe, verilere nasıl eriştiğimizi ve veriler hakkında nasıl konuştuğumuzu değiştirmek zorunda kaldık.

Uygun belgelere sahip değildik, bu nedenle meslektaşlarım, analistler Eve-Anne Pagani ve Myriam Klikel konuyu sahiplendi ve kapsamlı kullanıcı kılavuzları oluşturdu. Ayrıca kullanıcıların soru sorabilecekleri, destek talep edebilecekleri ve iki haftada bir saat süren açık tartışmalarımıza katılabilecekleri bir Slack kanalı açtık.

Taksonomimizi, veri izlememizi ve etkinlik kurallarımızı geliştirme, proje ve analiz ekiplerimizdeki tüm Amplitude kullanıcılarının erişebileceği merkezi bir havuzda topladık. Herkes aynı yönergeleri takip eder, bu nedenle çeşitli ekiplerin Amplitude'u nasıl kullandığı ve veriler hakkında konuşurken ne demek istediğimiz konusunda herhangi bir karışıklık veya bilinmezlik olmaz.

Kendine Güven ve Yenilik Kültürü

Genlik, verileri veri bilimcisi olmayan kişiler için erişilebilir hale getirir. Grafikleri ve görselleştirmeleri, karmaşık bilgileri anlaşılması kolay bir biçimde sunar. Ürün yöneticilerimiz, veri analistlerimizden sonuçlarını sağlamalarını ve yorumlamalarını istemeden hedeflerini takip eden raporlar oluşturabilir. Ürün yöneticilerimiz müşterilerimizin kampanyalarına odaklanmakta özgürken, veri analistlerimiz destek sağlamaya ve yeni özellikler oluşturmaya devam edebilir.

Genlik, Criteo'da bir özgüven kültürü yarattı. Yönetilen hizmetler iş modelinden uzaklaşıp müşterilerimize kendi kendine hizmet veren çevrimiçi pazarlama araçları sunan bir modele geçmemiz için bizi güçlendirdi ve buna rağmen gerektiğinde ürün yöneticilerimizden destek sunmaya devam etti. Ayrıca, ilerlememizi takip etmek, daha iyi iş akışları oluşturmak ve işbirliği yapmak için bize araçlar vererek şirket içi ekiplerimizi ve süreçlerimizi güçlendirdi.

Ürünlerimizde anlamlı iyileştirmeler yapmamıza yardımcı olacak gerçek zamanlı bilgiler toplamak için Amplitude'ü kullanmaya başladık. Şimdi Criteo, çalışanlarımızı veriye dayalı kararlar alma konusunda güçlendiriyor ve gelecekteki büyüme ve inovasyon için zemin hazırlıyor.