セルフサービスのデータ分析を通じて製品改善の機会を発見

公開: 2022-08-20

製品管理の中心にあるのは、固有の好奇心と質問に答える意欲です。製品がどのように機能するかを見て、その理由を考えるだけでは十分ではありません。優れたプロダクトマネージャーは、彼らの好奇心に従い、何が起こっているのかを診断するために、可能な限り多くの方法でデータをスライスおよびダイシングします。

一部の PM はそのような好奇心を持っていますが、それをさらに進めるためのツールを持っていません。代わりに、データサイエンティストや専任の分析チームなどに頼る必要があるでしょう。このように仮説を立てて質問に答えるには、はるかに長い時間がかかり、製品開発プロセスが遅くなります。質問に個別に回答するための適切なツールを使用すると、コンバージョンに大きな違いが生じる可能性があります。

長いリードタイムとデータのデッドエンド

これは、中古車市場 Shift の PM としての個人的な経験から知っています。中古車市場は複雑です。それは周期的なものであり、パンデミックの間は風がほとんど私たちの背後にありましたが、それ以外の時期には大きな逆風に直面しています. 車を購入するのも時間のかかるプロセスです。多くの人にとって、車は家に次いで人生で 2 番目に大きな買い物です。買い手は、自分にぴったりの車を選んでいることを確信したいと考えていますが、これには時間と検討が必要です。平均的な車の購入には 3 か月かかります。その過程には、調査や予算編成から、特定のモデルや個々の車のメリットに照準を合わせるまで、多くのステップがあります。

製品データに関する質問に個別に回答できる適切なツールがあれば、コンバージョンに大きな違いをもたらすことができます。

2020 年に Shift でシニアプロダクトマネージャーの役割に就き、成長を担当しています。「成長」は多くをカバーできます。私は SEO に重点を置いており、マーケティング部門と緊密に連携して広告を最適化しています。これは、膨大な在庫と広告予算を考えると重要です。また、7 月 4 日や年末商戦などの特定の時期にプロモーションを行っており、それらのプロモーションが成功するように支援しています。

私が Shift に着任したとき、チームはセグメントを顧客データプラットフォーム (CDP) として使用していました。また、SQL クエリ上で実行されるビジネスインテリジェンス (BI) ツールである Periscope Data も実行していました。私はSQLを少し知っていたので、それを機能させることができましたが、非常に時間がかかり、製品組織の多くの人々は同じ能力を持っていませんでした. 代わりに、チャートを作成するためにチケットを送信し、必要なものが得られなかった場合は後続のチケットを送信する必要がありました。これらのデータの回答を得るまでには長いリードタイムがあり、それでもデータが不完全だったため、多くの行き詰まりに直面しました。

組織全体での意思決定の改善と迅速化

リアルタイムデータにアクセスできないため、製品チームの動きは遅くなりました。そのため、Shift は私が到着する直前に Amplitude Analytics に目を向けました。まだこのプラットフォームを使用している人はほとんどいませんが、その価値はわかりました。セルフサービスデータは、PM、デザイナー、および社内の他の誰もが自分の質問に答える力を与えます。

これを簡単に説明すると、私が入社したとき、Shift には 4 人の PM しかいませんでした。現在、16 人です。誰もが分析チームを通じてデータリクエストを送信し続けていたら、この増加だけでは不可能だったでしょう。個々の PM がチャートを作成、編集、共有できるようにする必要がありました。

製品マネージャーとデザイナーが質問に答えられるようにすることで、重要な決定を迅速に行うことができます。

Shift では、Analytics の使用を拡大するための継続的な取り組みを開始しました。 2 週間ごとに、プラットフォームの共有しやすく、理解しやすいダッシュボードのオープン招待ウォークスルーを開催します。製品、デザイン、ユーザー調査など、プラットフォームについて誰とでも話します。私はこれらのセッションの議題を持っていますが、多くの場合、最も魅力的なセッションは、「ローン申請のステップ 3、4、および 5 を完了した人は何人ですか?」などの特定の質問を持って参加するセッションです。関連する分析イベントを特定してニーズに対応する方法を人々に示すと、プラットフォームの価値がすぐにわかります。

時間が経つにつれて、Analytics を使用して信頼する人が増え、大規模なチームでデータの信頼性が向上するのを見てきました。 PM と設計者が質問に答えられるようにすることで、データ駆動型の製品と戦略的ロードマップを構築し、担当分野の重要な決定をはるかに迅速に行うことができます。これは、重要な指標の 1 つであるビジターからリード (サイトを訪問してから積極的に車に興味を持つようになるまでのユーザージャーニー) が前年比で大幅に改善されていることからもわかります。シフトで Analytics を普及させて以来、私たちはショッピングプロセスに多くの改善を加えてきました。たとえば、人々が購入する際の教育に役立つ何百もの記事を作成しました。これらすべてが、より高い訪問者からリードへの指標をもたらしました。

振幅機能を使用して製品を改善する方法

当社の PM は、プラットフォーム内の多くの機能を活用して、次のような製品を改善しています。

Amplitude Experiment :これは、データ駆動型の第 2 レベルと考えています。 最初のレベルは、単に何が起こっているのかを理解することです。実験でロックを解除したこの 2 番目のレベルでは、A/B テストに基づいて変更の影響を確認しています。以前は自社開発のソリューションを使用して A/B テストを実行していましたが、それでもデータサイエンティストは Periscope Data でテストダッシュボードを作成するためのコードを書くのに時間を費やす必要がありました。

テストを Experiment に移行するということは、ダッシュボードを作成し、実験を開始および停止し、自分自身で質問に答えることができることを意味します。 1 つの例は、車の比較と呼ばれる潜在的な新機能に対して実行したテストです。車の比較では、ユーザーは複数の車を選択し、それらの属性、価格、およびそれぞれの事故の数などの詳細を比較できます。また、これらの車の写真を並べて表示します。リンゴとリンゴを比較することで、ユーザーはより迅速かつ自信を持って購入を決定できます。この機能は、実験の助けを借りて開始されました。最後に、プロダクトマネージャーはロールアウトと分割テストを自分で制御できます (エンジニアリングやデータサイエンスは必要ありません)。これにより、立ち上げから学習までのサイクルタイムが大幅に改善されました。数週間後、重要な指標で統計的に有意な改善が見られ、すぐに実験を更新して、この機能を 100% の自動車購入者に提供できるようにしました。車の比較は、A/B テストで大きな成功を収めました。それを展開した今では、訪問者から見込み顧客への指標に大きく貢献しています。

セグメンテーションとコホート: セグメンテーションを使用して、ユーザーのコホートを作成し、データの表面の下にある問題を診断することがよくあります。例: モバイルデバイスで快適に買い物をする人が増えるにつれて、多くのユーザーがモバイルデバイスで初めてサイトにアクセスし、後でデスクトップに切り替えて財務フォームに記入することがわかります。そのため、その 2 つのデバイスの動作を追跡するコホートを作成します。

インフレとサプライチェーンの問題で見られるもう 1 つのことは、中古車市場への関心が高まっていることです。主要な中古車市場の 1 つとして、これは、サイトをクロールし、市場調査のために車両のデータを収集するボットが大幅に増加したことを意味します。ボットは、車両詳細ページなどの特定の種類のページで巨大なスパイクを作成したため、最初は多くの懸念を引き起こしました。しかし今、私たちはユーザーデータからこれらのボットを特定して除外できるコホートを作成しました。また、コホートを使用して、マーケティングチャネルごとにユーザーをセグメント化します。

User Lookup: User Lookup は素晴らしい診断ツールです。 「ユーザーが画像カルーセルを次にクリックしたときのイベントは存在しますか?」というような質問があるかもしれません。その場合、Amplitude で匿名ユーザー ID を見つけ、ブラウザでカルーセルをクリックして、どのイベントが発生したかを確認します。

User Lookup は、ファネルの構築方法を理解するのにも役立ちます。特定のユーザー行動の流れを理解したい場合は、イベントストリームに飛び込んで、問題のコンバージョンにつながる重要なイベントを確認します。このツールを使用すると、個々の顧客のジャーニーと、車を購入するまでの経路が表示されます。

データドリブンになることで、誰もが製品内の機会を発見できるようになります。

じょうご:車の購入プロセスは長く、非常に多くのステップが含まれるため、じょうごは私たちにとって重要です。 私たちは、自動車購入プロセスのさまざまな段階でユーザーを惹きつけています。どのタイプの車が自分に適しているかをまだ考えている最初の段階で、私たちのところに来る人もいます。購入についてパートナーと話し合っているか、車が必要かどうかを判断している可能性があります。他の顧客は、彼らが欲しい年、メーカー、モデルを正確に知って、すでに調査を終えて私たちのサイトに到着します.

ファネルは、製品チームが複雑な自動車購入ユーザージャーニーを段階に分割するのに役立ちます。具体的な目標は、顧客が購入に近づいていることを示します。したがって、最初の目標到達プロセスは、Web サイトへのサインアップかもしれません。次は、複数の車をお気に入りに追加したり、保存した検索を追加したりすることです。 Analytics を通じて、バイヤージャーニーにおける重要なイベントを特定しました。たとえば、顧客がクリックして CARFAX レポートを見ると、車を購入する可能性が高くなることがわかっています。

追求する価値のある機会を特定する

一部の組織では、室内で最も高給取りの人が製品の次の方向性を決定します。彼らはホームページが青色であるべきだという予感を持っているので、ホームページは青色になります。具体的な答えを得るのは難しいので、誰も具体的な質問をしません。しかし、事例証拠だけに基づいて決定を下すべきではありません。

よりデータドリブンになることで、Shift の全員が製品内に存在する機会を発見できるようになります。 Analytics で予期せぬ事態が発生した場合、その瞬間がチャンスであるかどうかを深く掘り下げ、それを追求することの意味をテストすることさえできます。これにより、誰にとってもより良い意思決定が可能になります。膨大な数や指標に惑わされがちですが、Analytics は優れた定量的データを提供してくれます。これを定性的データと組み合わせて、ユーザー調査チームと協力して、どの機会を追求する価値があるか、またどの機会が誤ったスタートであるか、時間をかける価値がないかを判断します。 .

Amplitude は、Shift PM が重要な部分に取り組み、ビジネスへの影響を促進し、顧客が中古車をより快適に購入できるようにするのに役立ちます。