사용자 세분화로 실험을 강화하는 방법

내부 메시징 앱에 대한 새로운 온보딩 워크플로 깊숙한 곳에서 무언가 매우 잘못되었습니다. 귀하의 소프트웨어 무료 평가판에 로그인하는 많은 고객에도 불구하고 전환율은 예상보다 훨씬 낮습니다. 전환율을 높이기 위해 인센티브를 추가하는 것을 고려하고 있지만 가격대를 너무 낮게 설정하고 싶지 않고 전환 가능성이 높은 고객에게 할인을 제공하고 싶지 않습니다. 낙관적일 때 올바른 행동 방침을 결정하기 위해 데이터를 조사하는 것입니다. 비관적일 때는 전체 워크플로를 분해하고 다시 시작하고 싶은 마음이 들 수 있습니다.

A/B 테스트 및 워크플로 변경을 실험하면 전환 문제를 식별하는 데 많은 도움이 될 수 있습니다. 그러나 이러한 실험이 올바른 청중을 대상으로 하지 않는 한 궁극적인 목표와 관련이 없는 집단에 걸쳐 왜곡된 결과를 분석할 가능성이 있습니다.

공유 인구통계 또는 행동에 따라 사용자 그룹을 구성하는 사용자 세분화는 원하는 고객만 타겟팅하기 위해 실험에 집중할 수 있습니다. 사용자 세그먼트를 포함하는 실험은 신뢰할 수 있는 데이터 검증 결과를 생성할 수 있으므로 사용자 경험을 향상하고 전환을 촉진한다는 사명에 확신을 갖고 변경을 수행할 수 있으며 귀하와 귀하의 회사에 최소한의 비용이 듭니다.

사용자 세분화를 통해 적합한 고객 타겟팅

잘못된 고객 세그먼트를 다루는 실험을 만들면 초기 질문과 관련이 없는 결과가 나옵니다. 이전 가상의 예에서 고객을 평가판 회원에서 서비스 유료 회원으로 전환하는 것과 관련된 문제를 식별했습니다. 전환을 늘리기 위한 수단으로 가격 할인을 사용하여 선택한 평가판 회원을 별도의 워크플로로 유입하기로 결정했습니다. 이 전술은 가설적으로는 타당하지만 적절한 사용자 세분화 없이는 실용적인 문제에 직면해 있습니다.

• 적절한 사용자 세분화 없이 실험을 수행하면 수익이 잠식될 수 있습니다. 일부 평가판 회원은 귀하의 제품을 다른 회원보다 더 자주 더 의미 있게 사용하고 있습니다. 이러한 고객은 인센티브 없이 가입할 가능성이 높으므로 제안을 보내는 데 비용이 많이 듭니다.
• 적절한 사용자 세분화 없이 실험을 수행하면 결과가 왜곡될 수 있습니다. 최소한의 사용자와 함께 사용 빈도가 높은 동일한 고객을 대상으로 하는 것은 잘못된 결론으로 ​​이어질 수 있습니다. 예를 들어, 실험에 따르면 인센티브화된 워크플로는 전환수를 1.3%만 증가시켰습니다. 세분화하지 않으면 기본 합계에 가입할 예정인 고객이 적어도 일부 포함되어 결과가 희석됩니다.
• 적절한 사용자 세분화 없이 실험을 수행하면 깃털이 흔들릴 수 있습니다. 메시징 앱은 아마도 단독으로 사용되지 않을 것입니다. 팀을 위해 제작되었습니다. 회사 전체가 귀하의 제품을 채택할 경우 부적절한 세분화로 인해 팀의 절반이 할인 제안을 받고 절반은 정가를 지불해야 할 수 있습니다.

세분화 없이 실행되는 실험은 결정적이지 않은 것부터 재앙적인 것까지 다양합니다. 세분화를 시도하는 제품 마케터라도 단순히 인구통계학적 또는 지리학적 정보를 기준으로 그룹화하는 것만으로는 적절한 테스트에 필요한 특정 집단을 생성하지 못한다는 사실을 알게 될 수 있습니다.

적절하게 타겟팅된 실험은 고객 행동에 따른 세분화가 필요합니다. 가상 제품의 경우 고객이 "정상적인" 워크플로 또는 인센티브 제안으로 끝나는 워크플로로 유입되는 변수로 "하루에 +/- 10개의 메시지 전송"을 식별할 수 있습니다. 이 행동을 기준으로 평가판 회원을 그룹화하면 실험 결과가 계속해서 다루려고 했던 고객에게 말할 가능성이 극대화됩니다.

동일한 세그먼트의 결과 테스트(및 분석)

가설과 적절한 목표를 염두에 두고 실험 구축을 시작할 수 있습니다. 이 시점에서 세분화는 전체 고객 풀을 관련 집단으로 좁히는 데 도움이 되었습니다. 새 세그먼트 내에서 모든 단일 고객을 테스트하는 대신 실험 그룹과 통제 그룹의 두 그룹을 만들어야 합니다. 이렇게 하면 실험 그룹의 결과와 변화를 경험하지 않은 그룹의 결과를 비교할 수 있습니다.

적용 가능한 모든 고객을 새 워크플로가 미칠 수 있는 영향을 모른 채 유입하고 싶지는 않습니다. 세그먼트를 작성하면 실험에 포함되지 않은 동일한 세그먼트의 구성원이 대조군으로 사용될 수 있습니다. 이를 통해 현재 워크플로를 사용하여 유사한 집단과 실험 결과를 비교할 수 있습니다.

내부 메시징 플랫폼에 대한 이러한 실험은 다음과 같을 수 있습니다.

• Amplitude Experiment를 사용하여 하루에 10개 미만의 메시지를 보내는 고객으로 구성된 세그먼트 만들기
• 인센티브가 부여된 새로운 워크플로를 통해 신규 고객 유치
• "정상적인" 워크플로를 거치는 동일한 집단의 세그먼트와 인센티브가 부여된 워크플로의 고객 전환율 비교

분할된 코호트를 실험 그룹과 통제 그룹으로 나누면 실험에 사용한 동일한 고객을 분석할 수 있으므로 결과의 유효성을 확인하는 데 도움이 됩니다. 예를 들어 실험 그룹과 통제 그룹은 "하루에 10개 미만의 메시지를 보내고 12월 1일에도 가입한 사람들"을 포함하도록 구체적으로 분류할 수 있습니다. 이를 통해 향후 의사 결정의 기반이 되는 최상의 통찰력을 얻기 위해 데이터에 대한 개별 분석을 제공하는 행동 및 인구 통계를 비교할 수 있습니다.

하나 또는 두 개의 매개변수를 기반으로 고객을 세분화하면 더 넓은 고객 풀을 좁힐 수 있지만 과도한 세분화는 표본 크기를 신뢰할 수 없는 수준으로 제한할 수 있습니다. "하루에 10개 미만의 메시지를 보내고 12월 1일에도 가입했으며 40세이고 여성임을 확인하는 사람들"에 대한 실험만 소수의 사람들에게만 결과를 반환할 수 있습니다. 분석 플랫폼은 다음 실험을 설계할 때 염두에 두어야 할 개념인 관련성 높은 데이터로 더 나은 통찰력을 제공합니다.

당신이 배운 것을 가지고 다시 테스트하십시오 (그리고 다시)

실험 결과는 놀라운 다음 단계를 제안하는 통찰력을 제공할 수 있습니다. 데이터는 광범위한 수리가 필요한 워크플로의 근본적인 결함을 시사하는 것처럼 보일 수 있습니다. 그러나 단일 실험을 기반으로 절차나 제품을 전면적으로 변경하는 것은 어리석은 일입니다. 이러한 전면적이고 잠재적으로 비용이 많이 드는 변경을 수행하려면 단일 성공적인 테스트로는 제공할 수 없는 확실성에 가까운 결과에 대한 높은 수준의 확신이 필요합니다.

동일한 실험을 여러 번 반복하여 동일한 결과를 얻는 것은 과학적 방법의 중요한 측면입니다. 따라서 신중한 프로젝트 관리자는 초기 결론을 확인하기 위해 코호트의 다른 세그먼트에 대해 동일한 실험을 실행해야 합니다. 더 작고 통제된 실험에서 동일한 결과를 반복적으로 달성하면 시도하기에는 너무 위험하거나 잘못하기에는 너무 비용이 많이 드는 대규모 변경을 정당화할 수 있습니다.

그러나 때때로 실험은 결론에 초점을 맞추기 위해 약간의 변경으로 반복될 수 있습니다. 예를 들어 메시징 앱의 새로운 워크플로 실험에서 예상한 것과 정확히 일치할 수 있습니다. 반복 실험을 통해 가입 인센티브를 제공한 고객의 전환율이 높아진 것을 확인한 후 전환에 대한 최적의 할인은 무엇인지 궁금해집니다.

따라서 다른 고객 집단을 세분화하여 새롭게 시작합니다. 이번에는 최적의 옵션을 찾을 때까지 온보딩 흐름이 끝날 때 두 가지 다른 가격대를 제공합니다. 결과는 더 나은 결과를 제시하므로 데이터가 수익에 미치는 영향을 최소화하면서 가장 많은 전환으로 이어지는 가격대를 정확히 찾아낼 때까지 새로운 가격대로 또 다른 실험을 실행한 다음 또 다른 실험을 실행합니다. .

성공적인 실험을 위한 세분화

더 잘할 수 있는 방법이 있습니까? 결국, 제품 및 프로세스의 성공을 고려할 때 모든 제품 관리자의 마음의 최전선에 있는 것은 생각입니다. 무한히 호기심이 많은 생물체로서 당신은 증명하거나 반증하고 싶었지만 회사 자원에 부담을 주거나 고객 경험을 방해하지 않으면서 그렇게 할 수단이 없었습니다.

그러나 이제 당신의 호기심은 분석에 의해 구동됩니다. 데이터 기반 실험은 더 많은 일을 하고 더 잘하라는 머리 속의 끈질긴 목소리를 만족시킬 수 있습니다. 사용자 세분화를 사용하면 더 대담하고 영향력 있는 변경을 촉진하는 소규모 실험에서 신뢰할 수 있는 결과를 보다 안전하게 생성할 수 있습니다. "최악의 경우" 실험에서? 원래 접근 방식으로 되돌아갑니다. 그러나 가장 좋은 경우에는? 고객 경험을 개선하고 판매를 늘리고 다음 실험을 위한 토대를 마련할 수 있습니다.