22 A/Bテストの面接の質問とその回答方法

候補者が実際よりも資格がないように見える方法で面接の質問に回答するのと同じくらい、候補者がA/Bテストの面接をエースするのを見てきました。 そこで、製品管理であろうとデータサイエンスであろうと、正しく実行できるようにこの記事を書くことにしました。

あなたが採用マネージャーであれば、面接の質問のインスピレーションを見つけることができます。これは、候補者が本当に優れているかどうかを明らかにするのに役立ちます。 あなたが面接対象者である場合、あなたは面接をエースするために必要なものを見つけるでしょう。

A / Bテストとは何ですか？

A / Bテストは、分割テストとも呼ばれ、製品機能の2つのバージョン、Webページ、キャンペーン要素、またはその他のアセットのどちらが特定の目標に対してより優れているかを判断する方法です。 A / Bテストを使用して、製品開発ワークフロー、ユーザーインターフェイス（UI）、またはコンバージョン率を向上させることができます。

古典的な例の1つは、画面の下部にあるボタンをA / Bテストすることです。このボタンは、治療群と対照群の間でランダムに表示される2つの異なる色または言い回しで表示されます。 A / Bテストでは、クリック数が多いボタンを追跡します。 もう1つの例は、治療グループが対照グループとは異なる特徴を確認した製品の2つのフローをA/Bテストすることです。 目標は、その機能を使用してから2週間、どの機能がアプリ内費用の増加につながるかを判断することです。

A/Bテストの面接の質問を設計する方法

候補者の知識とスキルについて理解しようとしていることに焦点を当てる

彼らがどのようにテストを設計するのか、または彼らがどのように結果を分析するのかについてもっと知る必要がありますか？ クリーンアップするデータの問題がたくさんありますか、それとも特定のA / Bテストソフトウェアに慣れている人が必要ですか？

製品管理の役割で、彼らがどのように意思決定を行うかに焦点を当てる

候補者がデータ主導の意思決定を行う方法、分析中にデータを組み合わせて使用​​する方法、または直感を適用する方法について調査します。 たとえば、候補者が最小検出可能効果（MDE）をどのように定義するかについて話します。これは、ビジネスとしてのあなたにとって依然として重要である可能性のある最小の効果です。

データサイエンスの役割で、統計スキルに焦点を当てる

チームのデータサイエンティストは、実験が正しく設定されていることを確認するためにそこにいる必要があります。 質問は、仮説検定、信頼区間、またはp値に関するものでなければなりません。

会社の日常業務に関連する質問を設計します

実験と分析は万能ではありません。 会社ごとに異なる課題があります。 あなた自身のテストコンテキストに固有のものに焦点を合わせると、あなたの業界を理解している候補者を見つけるのに役立ちます。 たとえば、これらの特定の課題は、あなたの会社が次のようなものである可能性があります。

• B2Bを使用しているため、サンプルサイズが小さい
• 新機能が最初に表示されてから2か月間で蓄積される収益に関する長期データに焦点を当てています
• ソーシャルネットワーク効果のために破られる独立性の仮定を回避する必要があります

ユースケーススタディ

方法論の質問とビジネスケースの質問を組み合わせます。 ケースはあなた自身の日常と密接に関連している必要があります。 これは、候補者が会社の特定のコンテキストに一般的なA/Bテストの知識をどのように適用できるかを見つけるための取り組みにさらに役立ちます。

自由形式の質問をし、設計上不完全な質問をする

質問に答えながら候補者に自由に話させることは、あなたに彼らの思考過程を示します。 さらに、候補者に不足している情報について考えさせることは、不完全な世界で問題を解決する方法についてさらに学ぶ方法です。 ほとんどの場合、正解が1つだけの質問をした場合、面接対象者について十分に学ぶことはできません。

質問をA/Bテストプロセスに合わせます

A/Bテストで使用される順序と同じ論理的な順序で質問します。 測定に移り、結果を分析し、決定を下す前に、A/Bテストの設計から始めます。 このアプローチは、面接が長くなったときに面接官と面接対象者の両方が軌道に乗るのに役立ちます。

学習能力に焦点を当てた質問をする

順応して速く学ぶことができる候補者を見つけることは、あなたが地面にぶつかることができる誰かを見つけるのに苦労しているときにあなたを助けます。 競争の激しい雇用市場では、これはますます重要になっています。 だから尋ねる：

• 希望するスキルやリソースがすべて揃っていないときに、どのように課題を解決したか
• 彼らが犯した間違いをどのように修正したか
• 彼らが新しいトレンドにどのように適応したか
• 彼らが新しいツールを学ぶのを助けたもの

業界とA/Bテストの傾向について話し合う

A/Bテストが業界でどのように進化するかについての候補者の認識を評価します。 彼らがどのように彼らの仕事をより大きな全体像と結びつけるかを見ながら、彼らのユニークな洞察を聞くことができます。 これは、候補者の性格を明らかにするのにも役立ちます。 あなたはあなたが情熱を持ち、つながる会話をするかもしれません。

A / Bテストの面接の質問の22の実際の例—および回答で何を探すべきか

以下は、A/Bテストのインタビューで私たちが尋ねたまたは尋ねられた質問の代表的なサンプルです。 デジタル最適化会社として、私たちの質問は、製品を構築および成長させるためにA/Bテストを使用するという文脈にわずかに偏っています。

製品管理とデータサイエンティストの両方の役割に関する質問と回答のヒント、および採用プロセスでA/Bテストの基本的な知識がすでに検証されていることを前提とした質問があります。 また、質問は前のセクションのヒントを適用していることもわかります。

実験計画とセットアップ

次のようなA/Bのベストプラクティスに関する基本的な質問から面接を開始できます。

• A / Bテストの理想的な条件は何ですか？
• 何をテストする必要がありますか？
• A / Bテストが利用できない場合、代わりにどのように質問に答えますか？
• どのくらいの期間実験を行いますか？

このような質問は、有能な候補者をウォームアップさせ、より快適に感じさせます。 答えは、候補者が理論的知識と実践的知識の両方を持っていることを示し、あなたが同じ言語を話すことを確認する必要があります。

A/Bテストツール

次の質問のバッチは、貿易のツールに焦点を当てることができます。

• あなた自身の経験に基づいて、どのA / Bテストソフトウェアをお勧めしますか、またその理由は何ですか？
• AmplitudeExperimentなどの新しいA/Bテストツールをどのように学びますか？

優れた回答は、インタビュー対象者が一般的なツールを直接経験していることを示しています。 彼らが通常どのように新しいツールを学ぶかについて明確な答えを持っているなら、あなたは彼らが以前にそれをしたことがわかるでしょう。 最後に、彼らが質問をして、あなた自身のツールについて疑問に思った場合、それは彼らが実行に移す準備ができていることを示している可能性があります。

実験の問題を解決する

次に、実験中に発生する問題に対処する方法について質問することを検討してください。

• 小さなサンプルサイズの問題にどのように対処しますか？
• 当社製品の開発サイクルにおけるA/Bテストの結果に影響を与える可能性のある問題は何ですか？
• 問題をどのように軽減しますか？
• 制御と治療の間の干渉を最小限に抑えるために、どのようにテストを設計しますか？

これらの質問への回答は、重要なデータサイエンスの知識から得られ、候補者がサンプルサイズの計算、テストのタイミング、明確な仮説の設定などの概念を理解していることを実証する必要があります。 回答は、候補者が構造化された積極的な方法で問題を軽減することを考えていることも示す必要があります。

一般的なA/Bテストシナリオ

実験計画とセットアップに関する質問の最後のバッチでは、自分の組織で一般的なシナリオに焦点を当てることをお勧めします。 例えば：

• 設計したA/Bテストの成功について教えてください。 何を学ぼうとしていたのか、何を学んだのか、そして私たちのために働いた場合、その経験はどのように役立ちますか？
• 当社の製品を使用した経験から、どのような改善を提案し、それらに対してどのような実験を設定しますか？
• ユーザーフローの実験で機能Aと機能Bを比較するとします。 私たちの製品について知っていることを踏まえて、このテストをどのように設計しますか？
• たとえば、機能を見た後2か月間に人々が費やす金額をテストしようとする場合など、メトリックを取得するために2か月待たなければならない超長期メトリックをどのように処理しますか？

データ分析と意思決定

分析により、思考プロセスに応じて大きく異なる結論が得られます。 したがって、候補者の思考プロセスを理解するのに役立つ質問をしてください。

• 実験が決定的でなく、AAテストのように見える場合はどうしますか？ テスト結果をどのように分析し、何を調べますか？
• ソーシャルネットワーク効果があり、独立性の仮定が成り立たないことがわかっている場合、それは分析と決定にどのように影響しますか？
• A / Bテストでは、結果は統計的に有意ではありませんでした。 これのいくつかの潜在的な理由は何ですか？
• 2つのメトリックをテストし、両方を増やすことを目指しているが、一方は統計的有意性とともに増加し、もう一方は統計的有意性とともに減少する場合、どうしますか？

優れた回答は、テストの展開、新しい治療群と比較群の設定、矛盾する証拠の処理、またはメトリック間のトレードオフについて決定を下す候補者の能力を示します。 インタビューで見たい実行可能なアプローチの1つは、データサイエンティストの観点を除いて、エンジニアリングのバグを見つけるように考えることです。

ワークフローとリソース

推奨される質問のリストは、候補者がワークフローとリソースをどのように管理するかについてのバッチで締めくくられます。

• 実験結果を報告するためにどのソフトウェアをお勧めしますか？
• 実験データを活用するために、どのツールをA / Bテストソフトウェアと統合しますか？
• 役割X、Y、Zのチームメンバーがすでにいる場合、A / Bテストチームにどのような新入社員を提案しますか？
• 製品チームのどの役割をテストに関与させる必要がありますか。また、どのようにしてそれらを簡単に関与させることができますか。

これらに対する回答は、プロダクトマネージャーの適切な経験を証明し、候補者が組織化されていることを示す必要があります。

避けるべき一般的なA/Bテストの質問の間違い

ここまで読んだことがあれば、A / Bテストの面接の質問を設計する方法に精通しており、すぐに始められるサンプルの質問のリストがあります。 面接でよく見られる次の間違いも避ければ、採用や採用を成功させるための道を歩むことになります。

質問をするときにマネージャーを雇うことによるよくある間違い：

• 計算の質問に集中しすぎて、業界、ユースケース、またはプロセスに関する候補者の知識について十分に理解していない
• 候補者が自分自身を表現できるような自由形式の質問をする代わりに、1つの正解で質問する
• 組織の状況について話し合う機会を与えない一般的な質問をする

質問に答えるときの候補者によるよくある間違い：

• 技術的なスキルを示しているが、創造的な側面や分析的な思考プロセスは示していない
• あなたを雇っている会社の文脈に関連する答えを出さずにあなたの以前の経験について話す
• 新しいツールの学習に興味を示さずに、使用した1つのツールだけに焦点を当てる

新しいA/Bテストポジションをトップツールとペアリング

あなたが最高のソフトウェアを持っているなら、新しい雇用や仕事はあなたに素晴らしい仕事をする力を与えます。 引き続き、AmplitudeAnalyticsでA/ Bテストの結果を分析する方法、またはAmplitudeExperimentでテストを実行する方法を学ぶことをお勧めします。 また、今日出回っている11のトップA/Bテストツールのリストを確認することもできます。

参照：

• ろう付け： A / B対多変量テスト：それぞれをいつ使用するか
• Hubspot： A / Bテストの実行方法：完全な分割テストのための15のステップ
• 調整：モバイルアプリのA/Bテストについて知っておくべきことすべて
• 製品ボード： 5年間の製品主導の実験から学んだ7つの教訓
• プロダクトスクール：プロダクトマネジメントスキル：A/Bテスト