더 나은 의사 결정을 위한 셀프 서비스 데이터 및 실험 문화 만들기

앱이나 웹사이트를 디자인할 때는 단순함이 가장 좋습니다. 최소한의 단계와 가장 깔끔한 인터페이스로 A 지점에서 B 지점으로 사용자를 확보하는 것은 탁월한 경험의 표시입니다. 그러나 가장 간단한 사용자 여정에서도 정렬 및 해석이 필요한 일련의 이벤트 데이터가 생성됩니다. 올바른 도구를 사용하면 이 원시 데이터가 비즈니스를 한 단계 끌어올릴 수 있는 정보의 보고가 됩니다.

저는 기업이 고성능 마케팅 및 판매 기계처럼 인재 확보 프로그램을 실행할 수 있도록 하는 소프트웨어 공급업체인 SmartRecruiters의 수석 제품 관리자입니다. 당사의 B2B 인재 확보 제품군은 채용을 쉽게 만들고 기업이 필요한 사람을 찾고 채용할 수 있도록 도와줍니다.

올바른 도구를 사용하면 원시 데이터가 비즈니스를 한 단계 끌어올릴 수 있는 정보의 보고가 됩니다.

당사의 주력 B2B 제품에 대한 최근 보완은 당사의 B2C 솔루션인 Smartr입니다. Smartr는 4,000개 이상의 고용주와 구직자를 연결해주는 사용자 친화적인 온라인 플랫폼입니다. 온라인에서 일자리를 찾는 2백만 명의 활성 사용자가 있으며 수억 개의 이벤트를 생성합니다.

사용자 여정을 이해하는 것은 불가능했습니다.

2020년에 회사에 합류했을 때 사용자의 여정을 이해하는 것은 거의 불가능했습니다. 우리는 이벤트 데이터베이스를 직접 활용하고 SQL과 Tableau를 사용하여 사물을 시각화하려고 했습니다. 우리는 분석한 모든 이벤트에 대한 쿼리를 작성하고 그 결과를 Tableau에 제공했습니다. 시간 집약적이었고 움직이는 부분이 너무 많았기 때문에 데이터를 작동시키기 위해 많은 노력을 기울였습니다.

당시 Smartr는 초기 단계였으며 우리 팀도 신생이었습니다. Smartr 작업에 더 많은 사람들을 추가하면서 동시에 개선에 도움이 될 수 있는 새로운 도구를 찾고 있었습니다. 더 많은 이벤트를 분석 및 시각화하고 보고 기능을 구축하고 싶었지만 시각화 도구는 이벤트 추적 분석에 적합하지 않았습니다. 저는 사용자 행동을 더 잘 이해하는 데 도움이 되는 완벽한 솔루션을 찾기 시작했습니다.

올바른 플랫폼에서 확장

분석 도구에 대한 몇 가지 기본 연구 중에 저는 SmartRecruiters의 엔터프라이즈 측에서 Amplitude Analytics의 무료 버전을 사용하고 있음을 발견했습니다. 우리는 이미 사내에 그것을 가지고 있었기 때문에 그것을 시도하기로 결정하고 Amplitude의 계정 관리자와 함께 몇 가지 워크샵에 등록했습니다.

무료 스타터 패키지의 제한된 기능에도 불구하고 Analytics가 시장에서 이벤트 추적을 위한 최고의 도구라는 것이 즉시 명백해졌습니다. 당사 데이터베이스와 원활하게 통합되며 포인트 앤 클릭 인터페이스, 내장된 시각화 도구 및 보고서 템플릿을 통해 원시 데이터를 이해하기 쉬운 정보로 변환할 수 있습니다. SQL 쿼리와 Tableau를 사용하여 공식화, 추출 및 해석하는 데 반나절이 걸렸던 질문을 1분 이내에 질문하고 답변할 수 있습니다.

나는 우리가 Analytics를 최대한 활용하고 있지 않다는 결론을 내리고 플랫폼의 유료 계층 중 하나로 이동하여 전체 기능을 활용할 수 있도록 지지했습니다.

실시간으로 새로운 기능 모니터링

사용을 늘리면서 Analytics는 웹 사이트나 앱에 새 기능을 추가하는 즉시 테스트할 수 있는 실시간 모니터링을 도입했습니다. 기존 사용자 ID로 테스트 환경을 생성하거나 사용자 및 고객의 로그인을 기다리지 않고도 프로젝트를 실시간으로 테스트하고 어떤 이벤트가 발생하는지 확인할 수 있습니다.

실시간 데이터는 개발 주기와 고객 여정을 해독하는 데 걸림돌이 더 적기 때문에 팀과 사용자를 더 행복하게 만듭니다.

새 기능을 실행한 후 몇 분 이내에 엔지니어에게 원하는 이벤트가 발생하는지 알릴 수 있으며 즉시 문제를 해결할 수 있습니다. 그것은 더 똑똑한 작업 방식이며(말장난 용서), 우리 팀과 사용자는 개발 주기와 고객 여정을 해독하는 데 걸림돌이 더 적기 때문에 더 행복합니다.

새로운 차원의 실험

분석은 강력하며 Smartr 팀이 성장함에 따라 이벤트 데이터로 더 많은 작업을 수행하기 시작했습니다. 논리적인 대답은 웹사이트와 앱의 다른 버전을 시도할 수 있도록 A/B 테스트를 늘리는 것이었습니다.

별도의 실험 플랫폼을 구입하거나 자체적으로 구축하려면 연간 수십만 달러의 비용이 들 것이고, 새로운 플랫폼을 우리의 데이터 및 이벤트와 통합할 방법을 찾아야 했습니다.

별도의 솔루션을 찾는 대신 기능 및 인터페이스 향상을 시험해 볼 수 있는 강력한 실험 및 기능 관리 솔루션인 Amplitude Experiment로 눈을 돌렸습니다. 실험은 분석 도구와 완전히 통합되는 동시에 완전한 실험 워크플로를 제공합니다.

Experiment의 가장 큰 성공 중 하나는 Smartr의 북마크 기능 출시입니다. 후보자가 흥미로운 게시물을 찾으면 플래그를 지정하고 구직 활동을 계속하고 나중에 돌아가서 지원할 수 있습니다. 기존 북마크 아이콘을 컨트롤로 사용하는 것 외에 두 가지 새로운 버전의 북마크 아이콘인 별과 하트를 실험했습니다. 사용자가 마음을 선호한다는 것을 알았습니다.

트래픽의 1/3을 각 변형에 할당하여 테스트를 실행했습니다. 우리는 다양한 변종에 노출되는 사용자의 전환율인 책갈피 비율을 테스트하는 데 관심이 있었고 이들 중 얼마나 많은 사용자가 작업을 책갈피했는지 확인했습니다. 하트 버튼의 북마크 비율은 컨트롤 옵션에 비해 46.6% 증가한 반면 별표 버튼의 북마크 비율은 8.78% 증가에 그쳤다. 우리는 또한 후보자가 최종적으로 지원한 북마크 작업의 비율인 지원 비율을 테스트하고 싶었습니다. 심장 버튼의 경우 컨트롤에 비해 해당 비율이 58% 증가한 반면 별표 버튼의 경우 개선률이 23.4%에 불과했습니다.

Amplitude는 실험 6일 만에 이러한 개선의 통계적 의미를 확인했기 때문에 기존 북마크 버튼을 하트로 변경하기로 결정하는 것은 쉬웠습니다.

물론 우리는 더 많은 질문을 했습니다. 온보딩 경험의 일부를 변경하거나 완전히 새로운 경험을 만들면 사용자는 어떻게 반응할까요? 콘텐츠에 더 많이 참여할까요? 더 많은 일자리를 신청하시겠습니까? 그리고 이것이 우리의 KPI에 어떤 영향을 미칠까요? 우리는 청중과 관련된 더 많은 질문을 하고 답을 찾았습니다.

성장하는 데이터 문화

우리의 데이터 문화가 성장하는 것을 보는 것은 흥미진진합니다. 지난 12개월 동안 채택률이 950% 증가했습니다. 그리고 채용 및 퇴사 후 초기 급증을 보기보다는 참여도가 높게 유지됩니다. 사람들이 보는 데이터와 이를 기반으로 의사 결정을 내리는 능력에 대해 더 자신감을 느끼는 셀프 서비스 데이터 모델을 도입했습니다.

저는 매일 Analytics를 사용하여 새 차트를 만들고 이를 팀에 제시하며 모범을 보입니다. 제품 팀에서 디자이너, 엔지니어에 이르기까지 누구나 필요할 때마다 차트를 만들고 필요한 데이터를 살펴볼 수 있습니다. 모든 사람이 Analytics를 매일 사용하는 것은 아니지만 질문이나 요청을 위해 저에게 오는 사람이 줄어들고 팀이 더 빨리 움직일 수 있습니다.

이러한 성장 덕분에 저는 Amplitude Pioneer Awards의 Data Culture Award 부문 최종 후보에 올랐습니다. 우리의 작업이 내부적으로는 물론 외부적으로도 인정받는 것 같아 기분이 좋습니다.

Smartr를 개선할 수 있는 유연성

모든 분석 도구는 데이터에 기반한 더 많은 결정을 내리는 데 도움이 되는 통찰력을 제공하지만 분석의 유연성은 이를 차별화합니다. 데이터 분석을 매우 쉽게 만듭니다. 처음부터 필요한 것을 구축하기 위해 시간, 노력 및 리소스를 들이는 대신 모든 것이 사용 및 수정할 준비가 되어 있습니다.

우리 팀은 제품 제공을 개선하고 사용자 경험을 미세 조정했습니다. 우리는 우리 플랫폼을 활용하여 구직자들의 다음 또는 첫 번째 직업 이동을 위해 번창하는 구직자 커뮤니티를 구축했습니다. 내장된 대시보드를 사용하여 새로운 이벤트를 생성하고 즉시 추적 및 분석할 수 있습니다. 쿼리를 작성하고 분석 도구를 관리하는 대신 데이터를 기반으로 의사 결정을 내리고 성능 모니터링에 집중하기 시작했습니다. 사용자가 홈페이지에서 당사 사이트의 다른 페이지로 이동할 때 필요한 기능을 쉽게 확인하고 경로를 따라갈 수 있습니다.

새 제품을 구축할 때 신속하게 대응하고 모든 이벤트 속성 세부 정보가 올바른지 확인해야 합니다. 분석과 실험의 조합을 통해 Smartr 팀은 기업에 맞는 제품을 지속적으로 구축할 수 있습니다.