Apa itu Pengujian A/B? Cara Kerja dan Kapan Menggunakannya

Metode pengujian A/B menentukan yang mana dari dua versi sesuatu yang menghasilkan hasil terbaik. Ini sering disebut sebagai "pengujian terpisah" karena grup pengguna dibagi menjadi dua grup (grup "A" dan grup "B") dan disalurkan ke pengalaman digital yang terpisah.

Pengujian A/B dapat membantu Anda membuat kampanye pemasaran yang berkinerja lebih baik atau menyesuaikan alur kerja orientasi produk. Perubahan pada produk atau fitur Anda dapat diuji pada kelompok kecil yang tersegmentasi yang disebut kelompok untuk memverifikasi keefektifan sekaligus meminimalkan gesekan.

Pengujian A/B adalah alat vital dan andal yang dapat dan harus digunakan dalam berbagai situasi. Manajer produk, pemasar, desainer, dan lainnya yang secara aktif menggunakan pengujian A/B membuat keputusan yang didukung data yang mendorong hasil nyata dan terukur.

Takeaways Kunci

• Pengujian A/B membantu menentukan mana dari dua aset berbeda yang berkinerja lebih baik.
• Pengujian A/B digunakan untuk mengoptimalkan kampanye pemasaran, meningkatkan UI/UX, dan meningkatkan konversi.
• Ada beberapa versi pengujian A/B untuk menguji halaman individual, beberapa variabel, dan seluruh alur kerja dan corong.
• Pengujian A/B harus tersegmentasi, divalidasi, dan dapat diulang untuk hasil yang maksimal.

Apa Manfaat Pengujian A/B?

Tes A/B menjawab pertanyaan dasar: Apakah pelanggan lebih memilih Opsi 1 atau Opsi 2? Dalam dunia produk digital, jawaban atas pertanyaan ini sangat berharga dalam sejumlah situasi, termasuk dua bidang utama: meningkatkan pengalaman pelanggan dan meningkatkan kampanye pemasaran.

Meningkatkan UI/UX

Perubahan yang disengaja pada UI produk Anda dapat memiliki konsekuensi yang tidak disengaja yang menciptakan gesekan bagi pengguna. Anda dapat mengubah lokasi tab di aplikasi seluler Anda untuk menarik pengguna baru, tetapi secara tidak sengaja membuat pengguna lama frustrasi yang terbiasa dengan tempat sebelumnya.

Melakukan serangkaian pengujian A/B meminimalkan risiko membuat perubahan menyeluruh dengan terlebih dahulu menguji segmen yang lebih kecil dari basis pengguna Anda. Misalnya, Anda dapat membuat segmen kecil pengguna baru di Amplitude Experiment dan menyalurkan mereka melalui iterasi baru produk Anda dengan tab yang dipindahkan.

Pada saat yang sama, Anda dapat membuat grup pengguna baru yang serupa tetapi melacak mereka saat mereka menggunakan versi yang ada. Di akhir eksperimen, Anda dapat membandingkan perilaku grup eksperimen dengan perilaku grup kontrol untuk melihat versi produk mana yang memberikan hasil terbaik.

Untuk mengetahui bagaimana reaksi pelanggan yang sudah ada terhadap perubahan versus pengguna baru, Anda harus mengulangi eksperimen tersebut. Kali ini, ganti grup eksperimental dan kontrol dengan segmen pengguna yang ada. Dengan menjalankan eksperimen beberapa kali menggunakan segmen yang berbeda, Anda meningkatkan peluang bahwa perubahan Anda mendorong adopsi produk Anda alih-alih menimbulkan churn.

Mengoptimalkan Kampanye Pemasaran

Pengujian A/B dapat digunakan untuk meningkatkan kinerja upaya pemasaran Anda. Data perilaku Anda kemungkinan akan mengungkapkan bahwa pelanggan yang berkonversi cenderung memiliki perilaku atau demografi yang serupa. Anda tahu siapa yang ingin Anda targetkan, tetapi poin-poin penting terbukti sulit dipahami:

• Pesan apa yang terbukti paling efektif dalam mendorong konversi?
• Penawaran atau insentif apa yang paling baik ditanggapi oleh calon atau pelanggan yang sudah ada?
• Apakah desain yang berbeda untuk tombol CTA menghasilkan lebih banyak klik?

Anda dapat membuat kampanye berdasarkan pengalaman dan insting Anda serta berharap yang terbaik, tetapi ini tetap mengandung risiko. Anda dapat mengirim email atau posting sosial berbayar ke orang yang tepat sambil melewatkan target dengan pesan Anda. Kampanye mungkin menghasilkan banyak konversi, tetapi Anda tidak akan pernah tahu apakah opsi yang tidak Anda pilih akan menghasilkan lebih banyak.

Pengujian A/B mengidentifikasi opsi pemasaran terbaik Anda dengan memberikan hasil yang didukung data. Serangkaian pengujian A/B dapat mengungkapkan bahwa pengguna merespons CTA hijau lebih baik daripada biru atau bahwa penawaran uji coba gratis berkinerja lebih tinggi daripada diskon satu kali. Proses ini membantu Anda meminimalkan pembelanjaan yang akan terbuang sia-sia untuk iklan berperforma lebih rendah.

Contoh Dunia Nyata dari Pengujian A/B

Meningkatkan Konversi Halaman Landing

Platform esports G-Loot menggunakan pengujian A/B untuk meningkatkan rasio konversi halaman arahan mereka ke hasil yang dramatis. G-Loot menguji perubahan pada halaman arahan yang didorong iklan dan mengidentifikasi modifikasi terbaik menggunakan Eksperimen Amplitudo. Setelah mengubah halaman untuk mencerminkan desain berkinerja terbaik dan variabel penawaran, tingkat konversi halaman arahan G-Loot melonjak dari tiga persen menjadi 35% yang luar biasa.

Meningkatkan Retensi Dengan Mengoptimalkan Pengalaman Pelanggan

NBCUniversal menggunakan pengujian A/B sebagai cara untuk mengurangi churn. Raksasa media menguji beranda mereka yang ada untuk Vizio TV terhadap iterasi yang lebih baru. Dengan bantuan dari Amplitude, perusahaan mengidentifikasi beranda baru yang meningkatkan penayangan di grup eksperimen sebesar 10%. NBCUniversal mengadopsi beranda baru untuk semua pelanggan, sebuah langkah yang menggandakan retensi 7 hari.

Mendorong Inovasi Melalui Pengujian A/B

Solusi analitik yang tepat mendorong eksperimen yang lebih sering, yang pada gilirannya meningkatkan kelincahan dan mendorong inovasi. Tim di GoFundMe biasanya membutuhkan waktu berminggu-minggu untuk menganalisis hasil pengujian A/B. Dengan kemampuan Amplitude untuk menganalisis hasil secara real-time, GoFundMe mampu meningkatkan jumlah tes yang mereka jalankan dari dua atau tiga menjadi 10 per bulan. Alih-alih harus memilih dan memilih ide mana yang akan diuji karena keterbatasan waktu, tim sekarang dapat menguji hipotesis saat mereka berkembang.

3 Jenis Pengujian A/B Yang Berbeda—Dan Kapan Menggunakan Masing-masing

Selain pengujian A/B konvensional, ada tiga jenis pengujian A/B yang dapat dimanfaatkan tergantung pada situasinya:

Pengujian URL terpisah

Mengubah tombol di beranda Anda adalah satu hal, tetapi apa yang terjadi jika Anda ingin menguji desain halaman yang sama sekali baru? Pengujian URL terpisah mengambil konsep pengujian A/B dan mengembangkannya ke skala yang lebih besar. Jenis pengujian ini membuat URL yang sepenuhnya terpisah sehingga Anda dapat mendesain ulang halaman web sepenuhnya dari awal. Grup eksperimental Anda kemudian dapat disalurkan ke laman baru ini sehingga hasilnya dapat dibandingkan dengan yang sudah ada.

Pengujian URL terpisah dan pengujian A/B tradisional dapat digunakan bersama untuk mengoptimalkan kinerja halaman. Tes URL terpisah akan mengungkapkan yang mana dari dua desain halaman yang dipermasalahkan dengan performa terbaik. Dari sana, serangkaian pengujian A/B tradisional dapat menguji preferensi pengguna untuk detail lebih detail seperti salinan CTA, ukuran font, atau citra.

Pengujian Multivariasi

Jenis eksperimen ini menguji opsi yang berisi lebih dari satu variabel. Pengujian A/B tradisional dapat menilai mana dari dua ukuran tombol CTA yang lebih disukai. Sebagai perbandingan, pengujian multivariasi dapat mencakup ukuran CTA, judul, dan gambar yang berbeda, memungkinkan Anda menentukan opsi mana yang berkinerja terbaik untuk kampanye Anda.

Pengujian multivarian sangat membantu dalam mengonfirmasi atau meniadakan asumsi Anda tentang aset mana dari banyak aset yang akan berkinerja terbaik. Anda mungkin percaya bahwa kombinasi elemen desain tertentu bekerja paling baik untuk basis target Anda. Dengan membuat versi dengan variabel alternatif, Anda dapat menguji desain pilihan Anda terhadap banyak lainnya untuk mendapatkan penjelasan yang jujur ​​tentang apa yang berkinerja terbaik.

Kelemahan utama pengujian multivariat adalah bahwa setiap variabel tambahan menambahkan versi lain dari aset yang perlu dibuat. Jika Anda ingin menguji lima bentuk tombol CTA yang berbeda, empat warna tombol CTA, dan tiga font yang berbeda, Anda perlu membuat 60 (!) aset pengujian yang berbeda untuk mencakup semua basis Anda.

Pengujian Multihalaman

Pengujian multihalaman mengukur keberhasilan versi alternatif alur kerja atau corong. Perubahan menyapu dapat dilakukan pada beberapa halaman secara berurutan untuk membangun corong terpisah yang dapat diuji terhadap aslinya. Pengujian multihalaman juga sesuai dalam situasi di mana Anda hanya ingin menambahkan atau menghapus satu elemen dari setiap halaman alur atau corong dan menguji efeknya.

Katakanlah urutan checkout untuk situs web e-niaga Anda terlihat seperti ini:

Keranjang Belanja (A)→ Info Pembayaran (A)→ Info Pengiriman (A)→ Tinjau Pesanan (A) → Kirim Pesanan (A)

Anda penasaran apakah memindahkan tombol "Langkah Berikutnya" pada tiga halaman pertama membantu atau mengurangi tingkat pembelian. Anda secara teoritis dapat menguji setiap halaman satu per satu, tetapi pelanggan tidak mengalami halaman ini secara terpisah. Mereka berpindah dari satu halaman ke halaman berikutnya secara berurutan.

Anda tahu hasil eksperimen Anda akan lebih akurat jika Anda menguji halaman secara berurutan. Karena itu, Anda membuat variasi urutan pembelian sehingga corong eksperimental Anda terlihat seperti ini:

Keranjang Belanja (B)→ Info Pembayaran (B)→ Info Pengiriman (B)→ Tinjau Pesanan (A) → Kirim Pesanan (A)

Seperti variasi pengujian A/B lainnya, tujuannya adalah untuk menentukan corong mana yang berkinerja terbaik terhadap yang asli dan bahkan terhadap iterasi lainnya. Setelah menguji sejumlah lokasi untuk tombol "Langkah Berikutnya", corong akhir Anda mungkin terlihat lebih seperti ini:

Keranjang Belanja (B)→ Info Pembayaran (D)→ Info Pengiriman (C)→ Tinjau Pesanan (A) → Kirim Pesanan (A)

Kunci Untuk Melakukan Pengujian A/B

Meskipun pengujian A/B bermanfaat bagi desain UI/UX dan pemasaran produk, pengujian tersebut harus dilakukan dan dievaluasi dengan benar untuk membuka potensi mereka yang sebenarnya. Kunci keberhasilan pengujian A/B meliputi:

Pengulangan

Terkadang, pengujian A/B memberikan hasil yang sangat menarik sehingga mengarah pada keputusan impulsif. Satu bisnis melihat bahwa hanya mengubah warna tombol CTA-nya meningkatkan tingkat konversinya hingga tiga kali lipat. Jika pengujian A/B Anda sendiri menghasilkan hasil yang serupa, Anda mungkin ingin segera menjalankan versi iklan ini, dan akan sulit untuk menyalahkan Anda.

Namun, hasil tes dianggap valid hanya jika dapat diulang. Mencapai hasil yang sama berulang kali mengurangi kemungkinan hasil awal Anda adalah kebetulan. Selain itu, jika Anda melanjutkan kampanye yang menggunakan tombol CTA biru tanpa menguji versi merah, Anda tidak akan pernah tahu apakah Anda benar-benar menggunakan opsi CTA terbaik.

Segmentasi Pengguna

Segmentasi pengguna adalah proses membuat subset pengguna tertentu untuk pengujian A/B Anda. Grup pengguna ini didasarkan pada pelanggan dengan perilaku atau sifat demografis yang serupa. Dalam banyak pengujian A/B, Anda ingin mengetahui bagaimana sekelompok pelanggan tertentu bereaksi terhadap perubahan yang akan memengaruhi mereka. Dalam kasus ini, menguji berbagai pelanggan sebenarnya dapat melemahkan hasil dari segmen yang ingin Anda targetkan.

Bayangkan Anda sedang mempertimbangkan perubahan estetika pada chatbot produk Anda. Anda tahu bahwa pelanggan yang telah menggunakan produk Anda selama lebih dari tiga bulan sangat kecil kemungkinannya untuk menggunakan fitur tersebut, jadi menyertakan mereka dalam pengujian A/B tidak masuk akal. Sebagai gantinya, Anda harus membuat segmen pengguna yang telah menggunakan produk Anda selama kurang dari tiga bulan untuk mendapatkan pemahaman terbaik tentang bagaimana perubahan desain Anda memengaruhi mereka yang akan menggunakannya.

Amplitude Recommend bahkan dapat membangun kelompok pelanggan yang kemungkinan besar akan melakukan tindakan tertentu di masa mendatang. Ini berarti Anda dapat membangun segmen yang seluruhnya terdiri dari pengguna baru yang telah diprediksi secara analitis menggunakan chatbot berdasarkan perilaku sebelumnya. Pengujian A/B menggunakan kelompok prediktif memiliki kemungkinan yang jauh lebih tinggi untuk menyertakan pengguna yang ingin Anda targetkan sementara mengecualikan orang yang tidak tertarik menggunakan chatbot.

Menguji Tes Anda

Jika Anda salah membangun pengujian A/B, semua pengujian Anda akan sia-sia. Tes yang cacat dapat menghasilkan hasil yang tidak masuk akal meskipun ada segmentasi pengguna dan pengujian berulang. Tentu saja, pelanggan berperilaku tidak terduga dari waktu ke waktu, tetapi umumnya ada pola perilaku mereka.

Alih-alih membuat dua grup dan menyalurkannya ke dua pengalaman terpisah, uji produk Anda terhadap dirinya sendiri dalam apa yang kadang-kadang disebut "pengujian A/A". Secara teori, hasil dari tes A/A seharusnya sangat mirip karena tidak ada variasi antara dua perjalanan. Jika hasilnya kembali miring, saatnya untuk memecah eksperimen Anda hingga ke pokok permasalahan dan melakukan analisis langkah demi langkah di mana masalah tersebut terjadi.

3 Kesalahan Umum Pengujian A/B (Dan Cara Menghindarinya)

Pengujian A/B memberikan wawasan yang berharga selama dilakukan dengan benar. Hasil yang salah dapat mempengaruhi hasil dan mengarahkan tim untuk membuat keputusan penting berdasarkan data yang buruk. Beberapa kesalahan pengujian A/B yang lebih umum meliputi:

1. Menguji Beberapa Variabel Dalam Uji A/B Tunggal

Pengujian A/B dirancang untuk menguji satu variabel pada satu waktu. Membatasi pilihan A dan B pada satu perubahan memungkinkan Anda mengetahui dengan pasti bahwa perubahan khusus ini bertanggung jawab atas hasil akhir.

Mengubah beberapa variabel membuka hasil tes untuk interpretasi. Misalnya, mengubah tiga fitur estetika mungkin menghasilkan hasil yang lebih baik untuk Iklan A daripada Iklan B, tetapi tidak ada cara untuk mengetahui apakah ketiga perubahan tersebut bertanggung jawab atas kinerja yang lebih baik. Saat diuji satu per satu, Anda mungkin menemukan bahwa dua dari perubahan tersebut benar-benar merusak kinerja dan perubahan ketiga bertanggung jawab penuh atas rasio konversi yang lebih tinggi.

Bantulah diri Anda sendiri dan buat semuanya tetap sederhana: batasi diri Anda pada satu variasi per pengujian A/B.

2. Menguji Terlalu Dini

Jika Anda baru saja menyiapkan halaman arahan baru, ada baiknya untuk menunda pengujian A/B untuk sementara waktu. Mengubah elemen pada halaman baru segera mencegah Anda mengumpulkan metrik yang diperlukan pada kinerja iterasi asli. Tanpa dasar yang ditetapkan, Anda tidak memiliki data yang tepat untuk menguji perubahan.

3. Memanggil Tes Lebih Awal

Anda mungkin tergoda untuk menyatakan kesuksesan setelah hanya beberapa hari berdasarkan hasil yang menjanjikan. Namun, sebaiknya biarkan pengujian berjalan setidaknya selama beberapa minggu untuk mendapatkan data yang lebih andal. Faktor sederhana seperti hari apa dalam seminggu atau hari libur dapat memberikan hasil yang tidak tepat. Pengujian selama beberapa minggu dapat memberikan gambaran yang lebih realistis tentang bagaimana pelanggan bereaksi terhadap perubahan Anda dari waktu ke waktu.

Tingkatkan Pengujian A/B Anda Dengan Data Pelanggan

Data historis, demografis, dan perilaku digunakan dalam pengujian A/B besar-besaran oleh beberapa perusahaan terbesar dunia. Amazon menggunakan pengujian A/B untuk menentukan kemanjuran mesin rekomendasinya yang kuat. Netflix memanfaatkan pengujian A/B untuk membenarkan pembuatan daftar 10 Teratasnya. Mempertimbangkan keberhasilan yang dimiliki Amazon dan Netflix di industri masing-masing, ada baiknya menambahkan pengujian A/B ke sabuk alat manajemen produk Anda.

Referensi

• 24 Tes A/B Paling Mengejutkan Sepanjang Masa , WordStream. 08 Juli 2021.
• Menggunakan pengujian A/B untuk mengukur efektivitas rekomendasi yang dihasilkan oleh Amazon Personalize , AWS. 20 Agustus 2020.
• Apa itu Tes A/B? Blog Teknologi Netflix. 22 September 2021.