Criteo의 데이터 기반 의사 결정 강화

제품을 개선하는 유일한 방법은 고객이 제품을 사용하는 방식을 이해하는 것입니다. 그러기 위해서는 정확한 데이터와 관련 피드백을 수집하고 분석해야 합니다. 이 정보를 얻는 가장 좋은 방법은 고객과 정직하고 열린 대화를 나누는 것입니다. 그러나 올바른 질문을 하고 그에 대한 대가로 올바른 답변을 받고 있는지 어떻게 확신할 수 있습니까?

다른 온라인 광고 플랫폼과 마찬가지로 Criteo는 디지털 마케터를 위한 더 나은 제품을 구축하기 위해 고객 피드백에 의존합니다. 우리는 모든 규모의 소매업체, 브랜드 및 게시자에게 총체적인 광고 솔루션 제품군을 제공합니다. 당사 플랫폼은 25억 월간 온라인 쇼핑객의 행동을 분석하고 AI를 사용하여 귀하의 브랜드에 참여할 가능성이 더 높은 고유한 잠재고객에게 매우 관련성 높은 광고를 제공합니다.

혼잡한 시장에서 우리는 고객이 슈퍼히어로를 마케팅할 수 있도록 권한을 부여하고자 합니다. 우리는 그들이 일상적인 작업을 더 쉽게 만들기 위해 우리의 플랫폼을 활용하기를 바랍니다. 그러나 우리는 항상 확실하게 사용자 경험을 측정할 수 있는 방법이 없었습니다.

관리형 서비스에서 셀프 서비스 대시보드로 이동

저는 데이터 과학자이자 Criteo의 인터페이스 및 측정 팀장입니다. 제가 Criteo에 오기 전에는 Criteo가 관리형 서비스 회사에 가까웠습니다. 고객은 전화를 걸어 광고 캠페인의 다양한 측면을 처리해 달라고 요청할 것입니다. 이러한 접근 방식은 우리의 시간과 자원을 낭비하고 혁신을 불가능하게 만들었습니다.

이것이 우리가 고객을 위한 셀프 서비스 분석 대시보드를 구축하기 시작한 이유입니다. 데이터에 대한 더 많은 제어 권한을 부여함으로써 리타게팅 캠페인에서 배너 광고에 이르기까지 모든 것에 대해 더 많은 책임을 질 수 있습니다.

자체 관리 대시보드를 구축할 때 3단계 프로세스를 따릅니다. 먼저 사용자가 플랫폼과 상호 작용하는 방식을 조사하여 사용자에게 가장 유용한 측정항목을 결정합니다. 다음으로, 초기 대시보드를 구축하고 1~2달 동안 새 도구를 시험해 볼 12명의 고객에게 롤아웃합니다. 초기 피드백 후 모든 사용자가 대시보드를 사용할 수 있도록 하기 전에 몇 주 더 대시보드를 수정합니다.

클라이언트 피드백을 평가하는 새로운 방법

이러한 대시보드를 처음 구축하기 시작했을 때 우리는 분석 교육 모듈과 사용자에게 자신의 경험을 설명하도록 요청하는 전화 통화로 시험을 따랐습니다. 그들은 종종 교육 세션을 받았음에도 불구하고 혼란스럽고 새로운 기능을 사용하는 방법을 이해할 수 없다고 말했습니다. 우리는 고객들이 혼란스럽다고 주장하는 기능을 사용해 본 적이 있는지 확신할 수 없었습니다. 때로는 전화를 받기 직전에 제품을 사용하는 데 몇 분 밖에 걸리지 않은 것이 분명했습니다.

우리는 새로운 기능에 대한 비판적인 피드백을 요청했지만 일부 테스터는 긍정적인 피드백만 공유하면 너무 부정적인 것을 두려워한다는 것을 발견했습니다. 그들이 평가에 컨텍스트를 제공하기 위해 새로운 대시보드를 테스트하는 동안 우리는 그들의 사용을 추적해야 한다는 것이 분명했습니다.

제가 Criteo에 온 것과 거의 비슷한 시기에 우리는 Segment를 사용하여 고객 데이터를 수집, 정리 및 제어하고 Amplitude를 사용하여 고객이 플랫폼을 사용하는 방식을 분석했습니다. Amplitude를 통해 우리는 일화적인 증거에서 벗어나 데이터를 사용하여 새로운 플랫폼 기능에 대한 결정을 내릴 수 있었습니다.

새로운 시스템이 도움이 된 첫 번째 작업은 고객 피드백의 우선 순위를 정하는 것이었습니다. 이제 어떤 클라이언트가 대시보드를 자주 사용했는지 알 수 있으므로 그들의 의견과 우려가 매우 중요하다는 것을 알고 있습니다. 누군가 대시보드에서 많은 시간을 보내지 않은 것을 보고도 모양이 마음에 들지 않거나 기능이 유용하지 않다고 말한다면 우리는 그 피드백을 그다지 중요하게 생각하지 않습니다. Amplitude는 가장 진정한 피드백을 식별하고 실제 문제에 집중하는 데 도움이 되었습니다.

고객 워크플로 테스트 및 개선

그런 다음 캠페인, 쿠폰 및 콘텐츠 생성을 포함하여 셀프 서비스 플랫폼의 핵심을 형성하는 7가지 자동화된 워크플로를 구축하고 개선하기 위해 노력했습니다.

Amplitude를 사용하여 고객이 배너 광고를 만들거나 리타게팅 캠페인을 구성하는 것과 같은 특정 워크플로를 완료할 수 있는지 여부를 결정했습니다.

Amplitude는 워크플로를 끝까지 따라가는 고객의 비율을 보여주고 사람들이 도중에 막히는 부분을 모니터링할 수 있습니다. 사용자의 90%가 워크플로를 완료하는 것을 보면 꽤 잘 작동한다는 것을 알 수 있습니다. 반면에 개별 워크플로의 완료율이 30%에 불과하다면 상당한 변경이 필요하다는 것을 알고 있습니다.

Amplitude의 상세한 분석을 통해 고객의 문제점을 정확히 찾아내고 그에 따라 워크플로를 재구성할 수 있습니다. 불과 몇 개월 만에 캠페인 생성 워크플로 완료율이 3배 이상 증가했습니다. 우리가 갈 길이 아직 남아 있지만, 우리가 계속해서 일화적인 증거에 의존한다면 무엇이 잘못되고 있는지에 대해 여전히 어둠 속에 있을 것이라는 것을 압니다.

Amplitude는 또한 변경 사항을 제품에 적용하는 방식을 개선하는 데 도움이 되었습니다. 당사 제품 데이터 과학자는 기능을 추가하거나 뺀 다음 테스트 전후를 실행하여 사용자 반응을 측정할 수 있습니다. 고객이 기능을 수용하면 우리는 유지합니다. 그러나 채택률이 낮다는 것을 알면 다른 것을 시도하기 쉽습니다. 또한 개선이 필요한 워크플로의 우선 순위를 지정하고 현재 고객 행동을 기반으로 플랫폼에 추가할 향후 추가 사항을 예측할 수 있습니다.

Criteo의 내부 데이터 거버넌스 혁신

지금까지 Amplitude의 상세한 통찰력이 어떻게 우리 플랫폼 및 고객 워크플로에 대한 외부 대면 변경으로 이어졌는지 논의했습니다. 그러나 Amplitude를 사용함으로써 Criteo의 내부 데이터 거버넌스 관행도 변화하게 되었습니다.

우리 팀은 수년에 걸쳐 성장했습니다. 처음에는 Amplitude를 사용하는 분석가 1명과 개발자 1명이 있었지만 지금은 신입 사원과 제품 관리자를 포함하여 60명의 내부 사용자가 있습니다. 성장함에 따라 데이터에 액세스하고 데이터에 대해 말하는 방식을 변경해야 했습니다.

적절한 문서가 없었기 때문에 동료 분석가인 Eve-Anne Pagani와 Myriam Klikel이 문제에 대한 소유권을 갖고 포괄적인 사용자 가이드를 만들었습니다. 또한 사용자가 질문하고 지원을 요청하고 격주로 1시간 동안 공개 토론에 참여할 수 있는 Slack 채널을 열었습니다.

이제 개발, 프로젝트 및 분석 팀의 모든 Amplitude 사용자가 액세스할 수 있는 중앙 리포지토리에 분류, 데이터 추적 및 이벤트 규칙을 수집했습니다. 모든 사람이 동일한 지침을 따르므로 다양한 팀에서 Amplitude를 사용하는 방법과 데이터에 대해 이야기할 때 의미하는 바에 대해 혼동이나 미지의 사항이 없습니다.

자립과 혁신의 문화

Amplitude를 사용하면 데이터 과학자가 아닌 사람들도 데이터에 액세스할 수 있습니다. 차트와 시각화는 복잡한 정보를 이해하기 쉬운 형식으로 제공합니다. 제품 관리자는 데이터 분석가에게 결과를 제공하고 해석하도록 요청하지 않고도 목표를 추적하는 보고서를 생성할 수 있습니다. 제품 관리자는 자유롭게 고객의 캠페인에 집중할 수 있으며 데이터 분석가는 계속해서 지원을 제공하고 새로운 기능을 구축할 수 있습니다.

Amplitude는 Criteo에서 자립 문화를 조성했습니다. 이를 통해 우리는 관리형 서비스 비즈니스 모델에서 벗어나 고객에게 셀프 서비스 온라인 마케팅 도구를 제공하는 모델로 전환하는 동시에 필요에 따라 제품 관리자의 지원을 계속 제공할 수 있게 되었습니다. 또한 진행 상황을 추적하고, 더 나은 워크플로를 구축하고, 협업할 수 있는 도구를 제공하여 내부 팀과 프로세스를 강화했습니다.

우리는 Amplitude를 사용하여 제품을 의미 있게 개선하는 데 도움이 되는 실시간 통찰력을 수집하기 시작했습니다. 이제 Criteo는 직원들이 데이터 기반 의사 결정을 내릴 수 있도록 지원하여 미래 성장과 혁신의 발판을 마련합니다.