22 Pertanyaan Wawancara Pengujian A/B & Cara Menjawabnya

Kami telah melihat kandidat menguasai wawancara pengujian A/B sebanyak kami melihat kandidat menjawab pertanyaan wawancara dengan cara yang membuat mereka terlihat kurang memenuhi syarat daripada yang sebenarnya. Jadi kami memutuskan untuk menulis artikel ini untuk membantu Anda melakukannya dengan benar, baik Anda di bidang manajemen produk atau ilmu data.

Jika Anda adalah manajer perekrutan, Anda akan menemukan inspirasi untuk pertanyaan wawancara yang akan membantu Anda mengungkap seberapa baik kandidat itu sebenarnya. Jika Anda adalah orang yang diwawancarai, Anda akan menemukan apa yang Anda butuhkan untuk wawancara.

Apa itu pengujian A/B?

Pengujian A/B, juga disebut pengujian terpisah, adalah metode untuk menentukan mana dari dua versi fitur produk, halaman web, elemen kampanye, atau aset lain yang berkinerja lebih baik untuk tujuan tertentu. Anda dapat menggunakan pengujian A/B untuk meningkatkan alur kerja pengembangan produk, antarmuka pengguna (UI), atau tingkat konversi.

Salah satu contoh klasik adalah A/B menguji tombol di bagian bawah layar, dengan dua warna atau verbiage yang berbeda, ditampilkan secara acak antara perlakuan dan kelompok kontrol. Pengujian A/B akan melacak tombol mana yang mendapat lebih banyak klik. Contoh lain adalah untuk menguji A/B dua aliran dalam produk di mana kelompok perlakuan melihat fitur yang berbeda dari kelompok kontrol. Tujuannya mungkin untuk menentukan fitur mana yang menghasilkan pembelanjaan dalam aplikasi yang lebih tinggi selama dua minggu setelah menggunakan fitur tersebut.

Bagaimana merancang pertanyaan wawancara pengujian A/B

Fokus pada apa yang Anda coba pahami tentang pengetahuan dan keterampilan kandidat

Apakah Anda perlu tahu lebih banyak tentang bagaimana mereka akan merancang tes, atau bagaimana mereka akan menganalisis hasilnya? Apakah Anda memiliki banyak masalah data untuk dibersihkan, atau apakah Anda memerlukan seseorang yang nyaman dengan perangkat lunak pengujian A/B tertentu sehingga mereka dapat mulai bekerja?

Dengan peran manajemen produk, fokuslah pada bagaimana mereka membuat keputusan

Selidiki tentang bagaimana kandidat membuat keputusan berdasarkan data, menggabungkan dan menggunakan data saat menganalisis, atau bagaimana mereka menerapkan intuisi. Misalnya, bicarakan tentang bagaimana kandidat akan menentukan efek minimum yang dapat dideteksi (MDE), efek terkecil yang dapat Anda miliki yang masih penting bagi Anda sebagai sebuah bisnis.

Dengan peran ilmu data, fokuslah pada keterampilan statistik

Ilmuwan data dalam tim perlu berada di sana untuk memastikan bahwa eksperimen disiapkan dengan benar. Pertanyaan harus tentang pengujian hipotesis, interval kepercayaan, atau nilai-p.

Rancang pertanyaan yang relevan dengan keseharian perusahaan Anda

Eksperimen dan analisis bukanlah satu ukuran untuk semua. Setiap perusahaan memiliki tantangan yang berbeda-beda. Berfokus pada hal-hal khusus untuk konteks pengujian Anda sendiri akan membantu Anda menemukan kandidat yang memahami industri Anda. Misalnya, tantangan khusus ini bisa jadi bahwa perusahaan Anda:

• Memiliki ukuran sampel yang kecil karena Anda berada di B2B
• Berfokus pada data jangka panjang tentang pendapatan yang terakumulasi selama dua bulan setelah fitur baru pertama kali ditampilkan
• Harus mengatasi asumsi independensi yang rusak karena efek jejaring sosial

Gunakan studi kasus

Pasangkan pertanyaan metodologi dengan pertanyaan kasus bisnis. Kasus-kasus tersebut harus terkait erat dengan kehidupan Anda sehari-hari. Ini lebih lanjut membantu dalam upaya untuk mengetahui bagaimana kandidat dapat menerapkan pengetahuan pengujian A/B umum pada konteks spesifik perusahaan Anda.

Ajukan pertanyaan terbuka dan buat pertanyaan tidak lengkap sesuai desain

Membiarkan kandidat berbicara dengan bebas saat menjawab pertanyaan menunjukkan proses berpikir mereka. Selain itu, membuat kandidat berpikir tentang informasi apa yang mereka lewatkan adalah cara untuk mempelajari lebih lanjut tentang bagaimana mereka memecahkan masalah di dunia yang tidak sempurna. Jika Anda kebanyakan mengajukan pertanyaan dengan satu jawaban yang benar saja, Anda tidak akan cukup belajar tentang orang yang diwawancarai.

Sejajarkan pertanyaan Anda dengan proses pengujian A/B

Ajukan pertanyaan dalam urutan logis yang sama dengan urutan yang digunakan dalam pengujian A/B. Mulailah dengan merancang pengujian A/B sebelum beralih ke pengukuran, menganalisis hasil, dan membuat keputusan. Pendekatan ini membantu pewawancara dan orang yang diwawancarai tetap pada jalurnya ketika wawancara menjadi lebih lama.

Ajukan pertanyaan yang berfokus pada kemampuan belajar

Menemukan kandidat yang dapat beradaptasi dan belajar dengan cepat akan membantu Anda ketika Anda kesulitan menemukan seseorang yang dapat langsung bekerja. Dengan pasar kerja yang kompetitif, ini semakin penting. Jadi tanyakan tentang:

• Bagaimana mereka memecahkan tantangan ketika mereka tidak memiliki semua keterampilan atau sumber daya yang mereka inginkan
• Bagaimana mereka memperbaiki kesalahan yang mereka buat
• Bagaimana mereka beradaptasi dengan tren baru
• Apa yang membantu mereka mempelajari alat baru?

Diskusikan tren pengujian industri dan A/B

Nilai kesadaran kandidat Anda tentang bagaimana pengujian A/B berkembang untuk industri Anda. Anda akan mendengar wawasan unik mereka sambil juga melihat bagaimana mereka menghubungkan pekerjaan mereka dengan gambaran yang lebih besar. Ini membantu mengungkap kepribadian kandidat juga. Anda bahkan mungkin memiliki percakapan yang membuat Anda berdua bersemangat dan terhubung.

22 contoh kehidupan nyata dari pertanyaan wawancara pengujian A/B — dan apa yang harus dicari dalam jawabannya

Di bawah ini adalah contoh representatif dari pertanyaan yang telah kami ajukan atau tanyakan dalam wawancara pengujian A/B. Sebagai perusahaan pengoptimalan digital, pertanyaan kami memiliki sedikit bias terhadap konteks penggunaan pengujian A/B untuk membangun dan mengembangkan produk.

Anda akan menemukan pertanyaan dan tips menjawab untuk peran manajemen produk dan ilmuwan data, dan pertanyaan yang mengasumsikan bahwa proses perekrutan telah memverifikasi pengetahuan dasar pengujian A/B. Anda juga akan menemukan bahwa pertanyaan menerapkan tip dari bagian sebelumnya.

Desain dan penyiapan eksperimen

Anda dapat memulai wawancara dengan pertanyaan mendasar tentang praktik terbaik A/B seperti:

• Apa kondisi ideal untuk pengujian A/B?
• Apa yang harus Anda uji?
• Jika pengujian A/B tidak tersedia, bagaimana Anda menjawab pertanyaan?
• Berapa lama Anda akan menjalankan eksperimen?

Pertanyaan seperti ini akan membuat kandidat yang cakap melakukan pemanasan dan merasa lebih nyaman. Jawabannya kemudian harus menunjukkan bahwa kandidat memiliki pengetahuan teoretis dan praktis, dan mengonfirmasi bahwa Anda berbicara dalam bahasa yang sama.

Alat pengujian A/B

Kumpulan pertanyaan berikutnya dapat berfokus pada alat perdagangan:

• Perangkat lunak pengujian A/B apa yang Anda rekomendasikan dan mengapa, berdasarkan pengalaman Anda sendiri?
• Bagaimana cara Anda mempelajari alat pengujian A/B yang lebih baru seperti Eksperimen Amplitudo?

Jawaban yang bagus akan menunjukkan bahwa orang yang diwawancarai memiliki pengalaman langsung dengan alat-alat umum. Jika mereka memiliki jawaban yang jelas tentang bagaimana mereka biasanya mempelajari alat baru, Anda akan tahu bahwa mereka pernah melakukannya sebelumnya. Akhirnya, jika mereka mengajukan pertanyaan kembali dan bertanya-tanya tentang alat Anda sendiri, itu bisa menunjukkan bahwa mereka siap untuk memulai.

Menyelesaikan masalah eksperimen

Selanjutnya, pertimbangkan untuk mengajukan pertanyaan tentang bagaimana menangani masalah yang muncul selama percobaan:

• Bagaimana Anda menangani masalah ukuran sampel kecil?
• Masalah apa yang dapat memengaruhi hasil pengujian A/B Anda dalam siklus pengembangan produk kami?
• Bagaimana Anda mengurangi masalah?
• Bagaimana kita merancang tes untuk meminimalkan gangguan antara kontrol dan perlakuan?

Jawaban atas pertanyaan-pertanyaan ini harus berasal dari pengetahuan ilmu data yang penting dan menunjukkan bahwa kandidat memahami konsep-konsep seperti kalkulator ukuran sampel, waktu pengujian, atau menyiapkan hipotesis yang jelas. Jawaban juga harus menunjukkan bahwa kandidat berpikir tentang mitigasi masalah secara terstruktur dan proaktif.

Skenario pengujian A/B umum

Dalam kumpulan terakhir dari pertanyaan kami tentang desain dan penyiapan eksperimen, kami menyarankan Anda untuk fokus pada skenario yang umum di organisasi Anda sendiri. Contohnya:

• Beri tahu kami tentang pengujian A/B yang berhasil yang Anda rancang. Apa yang Anda coba pelajari, apa yang Anda pelajari, dan bagaimana pengalaman itu akan membantu Anda jika Anda bekerja untuk kami?
• Dari pengalaman Anda menggunakan produk kami, peningkatan apa yang akan Anda sarankan dan eksperimen apa yang akan Anda siapkan untuknya?
• Katakanlah kita ingin membandingkan Fitur A dan Fitur B dalam eksperimen untuk alur pengguna. Bagaimana Anda merancang tes ini, mengingat apa yang Anda ketahui tentang produk kami?
• Bagaimana Anda menangani metrik jangka panjang di mana Anda harus menunggu dua bulan untuk mendapatkan metrik Anda, misalnya ketika Anda mencoba menguji berapa banyak uang yang dihabiskan orang selama dua bulan setelah melihat fitur?

Analisis data dan pengambilan keputusan

Analisis menghasilkan kesimpulan yang sangat bervariasi, tergantung pada proses berpikir. Jadi ajukan pertanyaan yang akan membantu Anda memahami proses berpikir kandidat:

• Apa yang akan Anda lakukan jika eksperimen Anda tidak meyakinkan, dan lebih mirip tes AA? Bagaimana Anda menganalisis hasil tes, dan apa yang akan Anda lihat?
• Ketika Anda tahu ada efek jaringan sosial dan asumsi independensi tidak berlaku, bagaimana pengaruhnya terhadap analisis dan keputusan Anda?
• Dalam pengujian A/B kami, hasilnya tidak signifikan secara statistik. Apa saja alasan potensial untuk ini?
• Apa yang Anda lakukan ketika Anda menguji dua metrik dan bertujuan untuk meningkatkan keduanya, tetapi yang satu meningkat dengan signifikansi statistik, dan yang lainnya menurun dengan signifikansi statistik?

Jawaban yang bagus akan menunjukkan kemampuan kandidat untuk membuat keputusan tentang meluncurkan tes, menyiapkan kelompok perlakuan dan kontrol baru, memproses bukti yang bertentangan, atau trade-off antara metrik. Salah satu pendekatan yang layak yang ingin kami lihat dalam wawancara adalah memikirkannya seperti menemukan bug dalam rekayasa, kecuali dari sudut pandang ilmuwan data.

Alur kerja dan sumber daya

Daftar pertanyaan yang kami rekomendasikan akan diakhiri dengan kumpulan tentang bagaimana kandidat mengelola alur kerja dan sumber daya:

• Perangkat lunak apa yang Anda rekomendasikan untuk melaporkan hasil eksperimen?
• Alat apa yang akan Anda integrasikan dengan perangkat lunak pengujian A/B untuk memanfaatkan data eksperimen?
• Karyawan baru apa yang akan Anda sarankan untuk tim pengujian A/B Anda jika Anda sudah memiliki anggota tim untuk peran X, Y, Z?
• Peran mana dalam tim produk Anda yang harus dilibatkan dalam pengujian Anda, dan bagaimana Anda akan memudahkan mereka untuk terlibat?

Jawaban untuk ini harus membuktikan pengalaman yang relevan dari manajer produk, dan menunjukkan bahwa kandidat terorganisir.

Kesalahan pertanyaan pengujian A/B umum yang harus dihindari

Jika Anda telah membaca sejauh ini, Anda sudah familiar dengan cara merancang pertanyaan wawancara pengujian A/B, dan Anda memiliki daftar contoh pertanyaan yang akan memberi Anda permulaan. Jika Anda juga menghindari kesalahan berikut yang biasa kita lihat dalam wawancara, Anda akan berhasil membuat perekrutan atau perekrutan berhasil:

Kesalahan umum dengan mempekerjakan manajer saat mengajukan pertanyaan:

• Terlalu fokus pada pertanyaan komputasi dan tidak cukup mengetahui tentang pengetahuan kandidat tentang industri, kasus penggunaan, atau proses
• Mengajukan pertanyaan dengan satu jawaban yang benar alih-alih mengajukan pertanyaan terbuka yang akan membuat kandidat mengekspresikan diri
• Mengajukan pertanyaan umum yang tidak memberikan kesempatan untuk mendiskusikan konteks organisasi Anda

Kesalahan umum yang dilakukan kandidat saat menjawab pertanyaan:

• Menunjukkan keterampilan teknis Anda tetapi tidak menunjukkan sisi kreatif Anda atau proses pemikiran analitis Anda
• Berbicara tentang pengalaman Anda sebelumnya tanpa membuat jawaban relevan dengan konteks perusahaan yang mempekerjakan Anda
• Berfokus hanya pada satu alat yang Anda gunakan, tanpa menunjukkan minat untuk mempelajari alat baru

Pasangkan posisi pengujian A/B baru dengan alat teratas

Rekrutmen atau pekerjaan baru akan memberdayakan Anda untuk melakukan pekerjaan hebat, jika Anda juga memiliki perangkat lunak terbaik. Kami mengundang Anda untuk melanjutkan dan mempelajari cara menganalisis hasil pengujian A/B di Amplitude Analytics, atau cara menjalankan pengujian di Amplitude Experiment. Anda juga dapat meninjau daftar 11 alat pengujian A/B teratas kami hari ini.

Referensi:

• Braze: A/B vs. Pengujian Multivarian: Kapan Menggunakan Masing-masing
• Hubspot: Bagaimana Melakukan Pengujian A/B: 15 Langkah untuk Tes Split Sempurna
• Sesuaikan: Semua yang perlu Anda ketahui tentang pengujian A/B untuk aplikasi seluler
• Papan Produk: 7 pelajaran yang dipetik dari eksperimen yang dipimpin produk selama 5 tahun
• Sekolah Produk: Keterampilan Manajemen Produk: Pengujian A/B