ユーザーセグメンテーションを使用して実験を強化する方法

公開: 2021-11-06

内部メッセージングアプリの新しいオンボーディングワークフローの奥深くで、何かが非常に間違っています。多数の顧客がソフトウェアの無料トライアルにサインオンしているにもかかわらず、コンバージョンは予想よりもはるかに低くなっています。コンバージョン率を上げるためにインセンティブを追加することを検討しますが、価格を低く設定しすぎたり、コンバージョンの可能性が高い顧客に割引を提供したりすることは望ましくありません。楽観的だと感じているときは、データを掘り下げて正しい行動方針を決定しています。悲観的な場合は、ワークフロー全体を分解して最初からやり直したくなるかもしれません。

A / Bテストとワークフローの変更を試すことは、コンバージョンに関する問題を特定するのに大いに役立ちます。ただし、これらの実験が正しい対象者を対象としている場合を除き、最終的な目標に関係のないコホート間で偏った結果を分析している可能性があります。

ユーザーセグメンテーション（共有された人口統計または行動によってユーザーのグループを編成する）は、必要な顧客のみをターゲットにするために実験に焦点を合わせることができます。ユーザーセグメントを含む実験では、信頼できるデータ検証済みの結果を生成できるため、ユーザーエクスペリエンスを向上させ、コンバージョンを促進するという使命に自信を持って変更を加えることができ、ユーザーと会社のコストを最小限に抑えることができます。

ユーザーセグメンテーションで適切な顧客をターゲットにする

顧客の間違ったセグメントに対処する実験を作成すると、最初の質問に関連しない結果が得られます。前の架空の例では、顧客をトライアルメンバーから有料メンバーに変換する際の問題を特定しました。コンバージョンを促進する手段として、選択したトライアルメンバーを別のワークフローに集め、価格を割引することにしました。この戦術は仮想的には健全ですが、適切なユーザーセグメンテーションがないと、実際的な問題が発生します。

適切なユーザーセグメンテーションなしで実験を実行すると、収益を食いつぶす可能性があります。 一部のトライアルメンバーは、他のメンバーよりも頻繁に、より有意義にあなたの製品を使用しています。これらの顧客はインセンティブを必要とせずにサインアップする可能性が高いので、彼らにオファーを送ることはあなたにお金がかかるだけです。
適切なユーザーセグメンテーションなしで実験を実行すると、結果が歪む可能性があります。 最小限のユーザーと一緒にそれらの同じ使用率の高い顧客をターゲットにすると、誤解を招く結論につながる可能性があります。たとえば、あなたの実験では、インセンティブを与えられたワークフローはコンバージョンを1.3％しか増加させなかったことが示唆されています。セグメンテーションを使用しない場合、基本合計には、関係なくサインアップする予定だった少なくとも一部の顧客が含まれるため、結果が希薄になります。
適切なユーザーセグメンテーションなしで実験を実行すると、羽が波打つ可能性があります。 メッセージングアプリは、おそらく単独で使用されているのではなく、チーム向けに構築されています。会社全体があなたの製品を採用した場合、不適切なセグメンテーションにより、チームの半分が割引オファーを受け取り、半分が全額を支払うように求められる可能性があります。

セグメンテーションなしで実行される実験は、決定的でないものから悲惨なものまでさまざまです。セグメント化しようとしている製品マーケターでさえ、人口統計情報または地理情報でグループ化するだけでは、適切なテストに必要な超特定のコホートが作成されないことに気付く場合があります。

適切にターゲットを絞った実験には、顧客の行動によるセグメンテーションが必要です。 架空の製品の場合、「1日に送信される+/- 10のメッセージ」を、顧客が「通常の」ワークフローまたはインセンティブ付きのオファーで終わるワークフローに集中する変数として特定できます。この動作によってトライアルメンバーをグループ化すると、実験の結果が、ずっと対処しようとしていた顧客に話しかける可能性が最大になります。

同じセグメントからの結果をテスト（および分析）します

仮説を立て、適切なターゲットを念頭に置いて、実験の構築を開始できます。この時点で、セグメンテーションは、顧客プール全体を関連するコホートに絞り込むのに役立ちました。新しいセグメント内のすべての顧客をテストする代わりに、実験グループと対照グループの2つのグループを作成する必要があります。そうすることで、実験グループの結果を、変化を経験しなかったグループの結果と比較することができます。

影響の可能性を知らずに、該当するすべての顧客を新しいワークフローに集中させたくはありません。セグメントを作成すると、実験に含まれていない同じセグメントのメンバーをコントロールグループとして使用できます。これにより、現在のワークフローを使用して、実験の結果を同様のコホートと比較できます。

内部メッセージングプラットフォームのこのような実験は、次のようになります。

Amplitude Experimentを使用して、1日に10未満のメッセージを送信する顧客で構成されるセグメントを作成します
新しいインセンティブを与えられたワークフローを通じて新しい顧客をプッシュする
インセンティブを与えられたワークフローの顧客のコンバージョン率を、「通常の」ワークフローを通過する同じコホートのセグメントと比較する

セグメント化されたコホートを実験グループと対照グループに分割すると、実験で使用したのと同じ顧客を分析できるため、結果の妥当性を保証できます。たとえば、実験グループと対照グループを具体的にセグメント化して、「1日に送信するメッセージが10未満で、12月1日に登録した人」を含めることができます。これにより、行動と人口統計の比較が可能になり、データのリンゴ間の分析が可能になり、将来の意思決定の基礎となる可能な限り最良の洞察が得られます。

1つまたは2つのパラメーターに基づいて顧客をセグメント化すると、顧客のより広いプールを絞り込むことができますが、過度にセグメント化すると、サンプルサイズが信頼できないレベルに制限される可能性があります。「1日に10通未満のメッセージを送信し、12月1日に登録し、40歳で、女性として識別される人」で実験するだけで、ほんの一握りの人に結果が返される可能性があります。分析プラットフォームは、より関連性の高いデータを使用してより良い洞察を提供します。これは、次の実験を設計するときに覚えておくべき概念です。

あなたが学んだことを取り、もう一度（そして何度も）テストする

実験の結果は、驚くべき次のステップを示唆する洞察を提供することができます。データは、大規模な修復を必要とするワークフローの根本的な欠陥を示唆しているように見える場合があります。ただし、1回の実験に基づいて手順や製品に大幅な変更を加えるのは愚かなことです。このような抜本的でコストのかかる可能性のある変更を行うには、確実性に近い結果に対する高いレベルの信頼性が必要になります。これは、1回の成功したテストでは提供できないことです。

同じ実験を複数回繰り返して同じ結果を達成することは、科学的方法の重要な側面です。そのため、慎重なプロジェクトマネージャーは、コホートのさまざまなセグメントで同じ実験を実行して、最初の結論を検証する必要があります。より小規模で制御された実験で同じ結果を繰り返し達成することで、大規模な変更を正当化できます。

ただし、結論に焦点を合わせるためにわずかな変更を加えて実験を繰り返すことができる場合もあります。たとえば、メッセージングアプリの新しいワークフローの実験では、期待どおりの結果が得られる可能性があります。繰り返しの実験で、顧客のコンバージョン率の向上が参加のインセンティブを提供したことを確認した後、あなたは疑問に思います：コンバージョンの最適な割引は何ですか？

そして、あなたは新たに始めて、顧客の別のコホートをセグメント化します。今回は、最適なオプションが見つかるまで、オンボーディングフローの最後に2つの異なる価格ポイントを提供します。結果はより良い結果を示しているため、データが収益への影響を最小限に抑えて最も多くのコンバージョンにつながる価格を特定するまで、新しい価格ポイントで別の実験を実行し、次に別の実験を実行します。。

実験を成功させるための方法をセグメント化する

それをより良くする方法はありますか？ 結局のところ、製品とプロセスの成功を考えるとき、それはすべての製品マネージャーの心の最前線にある考えです。無限に好奇心をそそる生き物として、あなたは証明したい、または反証したい壮大なアイデアやしつこい疑惑を持っていますが、会社のリソースに負担をかけたり、顧客体験を混乱させたりせずにそうする手段を欠いていました。

しかし今、あなたの好奇心は分析によって支えられています。データベースの実験は、あなたがより多くのことをし、それをより良くするように挑戦するあなたの頭の中のしつこい声を満足させることができます。ユーザーセグメンテーションを使用すると、より大胆で影響力のある変更を促進する小規模な実験から、より安全に信頼できる結果を生成できます。「最悪の場合」の実験では？元のアプローチに戻ります。しかし、最良の場合は？顧客体験を改善し、売り上げを伸ばし、次の素晴らしい実験の基盤を築くことができます。