2021 올해의 데이터몬스터: ABS-CBN의 Robbin Brillantes

ABS-CBN의 데이터 분석 책임자인 Robbin Brillantes는 조직의 Amplitude 구현 및 데이터와의 관계 재정비를 주도해 왔습니다. 그녀는 기술이 아닌 직원도 데이터를 이해하고 사용할 수 있는 방식이 "Amplitude가 완전히 바뀌었습니다"라고 사용자 행동에 대한 중요한 통찰력을 드러냈다고 Amplitude 제품 에반젤리스트 Adam Greco에게 말했습니다. Robbin Brillantes가 ABS-CBN에서 데이터 문화를 구축하는 데 어떻게 도움이 되었는지 알아보려면 대화를 더 읽어보세요.

아담 그레코: 자기소개를 좀 해주세요. 당신의 역할은 무엇입니까? 그리고 귀하의 조직이 하는 일에 대해 간략히 말씀해 주십시오.

Robbin Brillantes : 저는 현재 ABS-CBN의 데이터 분석 책임자입니다. ABS-CBN은 필리핀 최대의 미디어 방송사입니다. 그리고 동남아시아에서 가장 오래된 텔레비전 방송사이기도 합니다. 이에 따라 콘텐츠 제작, 뉴스 방송, 필리핀 및 전 세계에서 필리핀인에게 가장 인기 있고 사랑받는 엔터테인먼트 프로그램을 출시하는 탁월한 전통이 생겨났습니다.

AG: 그리고 어느 부서 또는 어느 팀에 속해 있습니까?

RB : 저는 데이터 팀에 있습니다. 지난 1년 동안 우리는 Amplitude를 다양한 디지털 제품에 탑재했습니다. 2020년에 팬데믹이 전개되고 우리 회사에 불행한 상황이 발생하면서 전면적인 디지털 접근 방식에 대한 우리 리더들의 베팅이 적시에 이루어진 것으로 나타났습니다. Amplitude를 탑재함으로써 우리는 우리 제품이 소비자의 변화하는 취향과 행동과 관련성을 유지하도록 시간, 자원, 에너지 및 노력을 가장 잘 투자하는 방법을 알아낼 수 있었습니다. 우리가 시작했던 곳, pre-Amplitude, 그리고 오늘날 우리의 위치를 ​​돌아볼까요? 정말 즐거운 여행이었습니다.

AG: Amplitude를 사용하기 전에는 무엇을 사용하고 있었습니까? 사람들이 웹사이트나 모바일 앱을 사용하는 방식을 이해하기 위해 어떤 다른 기술을 사용하고 있었나요?

RB : 디지털 제품의 경우 주로 Google Analytics였습니다. 어느 정도 빅 데이터를 사용하는 작업도 있었습니다(이 모든 웹 사이트 계측, 플랫폼에서 데이터 수집). 그러나 우리가 캡처한 방대한 데이터에서 실행 가능한 통찰력을 찾는 측면에서 Amplitude만큼 우리를 데려온 것은 없습니다.

같은 맥락에서 빅 데이터와 Google 애널리틱스에 이 모든 데이터가 있지만 도구를 사용하여 액세스하고 이해하는 방법을 아는 사람은 조직 내에서 극소수에 불과했습니다. 일부 사람들은 액세스할 수 있었지만 보고서를 읽고 해석하는 방법을 실제로 알고 있는 사람은 극소수였습니다. Amplitude는 비기술자도 데이터를 보고, 의미를 이해하고, 사용자가 겪고 있는 상황을 이해하고, 그들에게 중요한 메트릭을 실제로 개선하기 위해 취해야 할 조치를 취할 수 있도록 완전히 변경했습니다.

AG: Google Analytics와 Amplitude의 사용 편의성에서 가장 큰 차이점은 무엇이라고 생각하십니까? 사람들이 Google Analytics에 없는 Amplitude에서 마침내 셀프 서비스를 할 수 있게 된 차이점은 무엇입니까?

RB: 기본적 으로 모든 것을 추적하는 Google Analytics를 사용하면 Google에서 우리가 접근하여 "이 보고서를 제대로 읽고 있는지 말해 줄 수 있습니까? 아니면 우리가 만든 이러한 새로운 개발 사항을 이해할 수 있도록 이를 캡처하는 방법을 개선할 방법이 있습니까?”

Amplitude를 사용하면 이벤트 기반이므로 중요한 메트릭에 따라 계측이 달라집니다. 그리고 그것은 우리 팀 내에서 발생합니다. 우리는 모든 제품을 계측합니다. 먼저 이해 관계자와 이야기하고 그들의 북극성이 무엇인지 이해하여 추적을 위해 우선 순위를 정해야 하는 것이 무엇인지 알 수 있습니다. 이러한 이벤트가 구현되면 각 이벤트가 의미하는 바, 이벤트 A에서 이벤트 B로의 이동이 의미하는 바 또는 전환 시간이 얼마나 빠른지 등을 알고 있으므로 팀이 데이터를 사용하기가 더 쉽습니다.

AG: 얼마나 많은 사람들이 Amplitude를 정기적으로 사용합니까?

RB: 현재 조직에 Amplitude에 액세스할 수 있는 약 350명이 있습니다. 이들 중 절반 정도가 일주일에 2~3회 사용한다. Amplitude를 사용한 이후로 데이터에 액세스하는 직원의 수를 10배 이상 늘렸습니다. 이것은 하룻밤 사이에 일어난 일이 아닙니다. 우리는 정기적으로 팀을 훈련시켜야 했습니다. 2020년 4분기의 더 나은 부분을 위해 2021년 상반기까지 매주 금요일에 공개 Q&A 형식으로 분석 세션을 진행했습니다. 매주 저는 흥미로운 차트를 따로 마련하여 팀과 공유하고, 통찰력을 불러일으키고, 그 뒤에 숨겨진 이야기를 엮었습니다. 이 주간 Q&A에는 제품, 마케팅, 엔지니어링, 콘텐츠, 영업, 광고 기술 분야의 다양한 청중이 포함되어 있으며 약 60명의 직원이 참여했습니다. 그래서 지금 측정하고 있는 것에 대해 이야기하거나 새로운 성장 영역을 강조할 때 일부 사람들에게 전화를 걸어 "이봐, 나는 이것을 당신의 제품에서 봤어. 매우 흥미로운! 이 스파이크가 예상되었습니까?” “이 마케팅 노력에 대해 말씀해 주시겠습니까?” 등. 저는 이 토론하고 질문하는 길이 팀이 여러 팀에 걸쳐 데이터에 권한을 부여할 수 있는 방법을 보았을 때 공을 굴리는 데 도움이 되었다고 생각합니다. 이 집단적 호기심 – 우리가 Google Analytics를 사용할 때에는 이러한 문화가 없었습니다.

AG: 멋진 부분은 사용자가 데이터를 이해하는 데 도움이 되고 스스로 사용하는 방법을 배우도록 동기를 부여하는 컨텍스트에 따라 데이터를 보여주었다는 것입니다. 귀하의 팀은 구현 및 교육을 수행하는 분석을 위한 중앙 집중식 허브 역할을 합니까?

RB: 현재 제한된 인원으로 인해 그렇습니다. 그러나 우리 제품이 확장되고 데이터 팀의 이니셔티브가 확장됨에 따라 기기가 여전히 우리 팀에서 관리되는 허브 및 스포크 모델로 이동할 것으로 예상하며, 다른 제품 팀에 전담 분석가를 포함시켜 그들이 모든 계획, 지속적인 노력, 도전, 기회 등의 전체 컨텍스트

해당 그룹 내에 전담 분석가를 두어 팀을 돌보고 그들이 의미 있는 메트릭을 보고 있으며 통찰력이 실행되도록 할 수 있습니다. 기본적으로 팀이 데이터를 사용하여 일반적인 레거시 월별 보고에서 벗어나 조치 및 의사 결정에 정보를 제공하도록 합니다.

AG: Amplitude로 하고 있는 작업이 아마 백만 가지가 될 것이라고 알고 있습니다. 조직의 주요 사용 사례는 무엇입니까?

RB : 주력 제품인 가장 큰 제품은 스트리밍 플랫폼입니다. 따라서 과거에는 Amplitude가 없었기 때문에 시청 시간을 늘리는 콘텐츠인지, 가장 가치 있는 사용자를 끌어들이는 마케팅 콘텐츠인지에 관계없이 행동과 관련된 데이터가 없었습니다. 우리가 가진 것은 총 사용자, 총 조회수 및 기본 차원에 대한 감각을 제공하는 요약 수치를 제공하는 거래 데이터뿐이었습니다.

이제 우리는 전 세계의 다양한 사용자가 어떻게 행동하는지, 가장 가치 있는 사용자가 누구이며 어떤 행동이 그들의 경험에 가장 큰 영향을 미치는지에 대해 이야기할 수 있습니다. QOE의 관점에서 우리는 고객이 불평하기 전에 비디오가 버퍼링되거나 지연되는 경우와 같이 비디오 품질을 평가하는 데 데이터를 사용할 수 있습니다. 이를 통해 문제의 크기와 규모를 식별하여 현재 작업해야 할 사항을 알리고 장기적으로 추구해야 합니다. 수정하거나 극단적인 경우 문서화하고 다른 것으로 이동하십시오. 흥미롭고 최근의 사용 사례는 자막이 콘텐츠 시청률, 사용자 성장 및 참여에 미치는 영향을 분석하는 것이었습니다. 데이터에서 우리는 특정 언어로 된 소수의 콘텐츠 자막이 놀랍게도 다른 많은 지역에서 성능을 향상시키는 방법을 관찰할 수 있었습니다. 이것은 일반적으로 자막이 네이티브 시장에서 콘텐츠와 성장 잠재력을 강화할 뿐만 아니라 어떻게 되는지에 대한 호기심을 불러일으켰습니다. 자막이 올바르게 완료되면 더 많은 시장을 열어 최고의 필리핀 콘텐츠를 전 세계에 제공하는 데 도움이 될 수 있습니다. 이것은 데이터를 통해 우리가 존재하는지도 몰랐던 새로운 기회를 추구할 수 있는 방법의 한 예입니다.

AG: 현재 우리가 보고 있는 추세 중 하나는 사람들을 어떻게 확보했는지 볼 수 있는 능력이 있다는 것입니다. Google Analytics에서 많은 경우 처음에는 다른 채널에서 많은 사람들을 얻을 수 있지만 그 사람들의 다운스트림 가치를 실제로 측정할 수 없다는 것을 알았습니다. 따라서 사람들을 유치하지만 실제로는 돈을 벌지 못하는 캠페인에 계속 돈을 투자할 수 있습니다.

RB: 확실히. 어떤 채널이 가장 많은 사용자를 제공하는지 아는 것이 중요하지만 트래픽 소스를 행동 데이터와 연결하는 기능은 금이 있는 곳입니다. 그 마케팅 ROI 지점까지, 지금 당장 우리는 광고 이벤트를 포착하고 이를 풍부하게 할 수 있습니다. 사용자가 광고를 보면 이를 광고 이벤트로 정의하고 캡처할 수 있습니다. Google Ad Manager의 데이터로 이러한 광고 이벤트를 강화하고 있습니다. 따라서 우리의 OTT가 AVOD 모델에서 실행되는 시장에서도 특정 사용자 세그먼트, 특정 채널 또는 플랫폼의 사용자 집단 등에 광고 수익을 귀속할 수 있습니다. 특정 캠페인에 대한 마케팅 예산에 대한 이러한 광고 수익을 보면 완전한 거래나 구독에 의해 주도되지 않는 경우에도 해당 캠페인에서 사용자가 생성한 총 수익을 볼 수 있습니다. 이 기능은 모든 OTT와 매우 관련이 있습니다. 마케팅 ROI와 광고 수익을 측정할 수 있기 때문에 AVOD가 일부 시장에서는 작동하고 SVOD 모델은 미국과 캐나다에서 작동할 수 있는 전략을 시도할 수 있습니다. 이는 마케터가 투자 수익을 확인하고 결과적으로 더 나은 베팅을 할 수 있도록 도와주는 추가 렌즈를 제공합니다.

AG: 어떻게 하셨어요? 애드워즈에서 이벤트로 데이터를 가져오고 있습니까? 광고에서 노출수와 클릭수를 보고 있는 것 같습니다. Amplitude에서는 어떻게 작동합니까?

RB: 우리는 Amplitude로 전송되는 Datazoom의 비디오 수집기와 협력합니다. 기본적으로 사용자가 콘텐츠를 볼 때 플레이어에서 캡처하는 비디오 이벤트가 있습니다. 이러한 비디오 이벤트에 대해 사용자 지정 메타데이터를 보내고 클라이언트에서 사용자 지정 이벤트를 선언할 수 있습니다. 따라서 사용자가 광고를 볼 때 Datazoom은 Ad Manager에서 가져온 새로운 데이터에서 사용할 수 있는 다양한 속성으로 광고 데이터를 보강합니다.

AG: 그러면 그 데이터에 마케팅/광고 비용 정보도 있습니까?

RB: 그것은 현재 별도로 처리되는 부분입니다. 캠페인의 실제 마케팅 비용에 대한 정보는 마케팅 담당자에게 있습니다. 마케팅 ROI를 합산할 때 마케터는 그에 따라 지출 내역을 입력해야 합니다.

AG: 그것은 실제로 우리가 작업하고 있는 것입니다. 이를 Amplitude에 적용하는 데 도움을 드릴 수 있기를 바랍니다. 당신이 언급한 것처럼 들리는 또 다른 것은 경험에서 일어나는 일에 대해 실험하고 새로운 것을 배울 수 있다는 것입니다. 자막의 영향을 연구하면서 배운 점을 언급하셨습니다. Amplitude에서 새로운 것을 배우기 위해 매주 노력하는 프로세스나 전략이 있습니까? 그리고 그것을 어떻게 문서화하고, 어떻게 그 부분을 문화의 일부로 만드나요?

RB: 제가 예전에 하던 매주 금요일 Q&A 세션 외에도 다른 팀과 한 달에 두 번 세션을 개최하여 관점을 다양화하고 토론에서 호기심을 자극하기 위해 이상적으로는 다른 팀과 그룹화합니다. 각 세션에서 팀은 작업 중인 내용과 Amplitude를 사용한 방법을 공유하거나 진행 중인 이니셔티브를 준비하는 데 사용하는 차트를 보여줍니다. 그들은 다음 세션을 위한 숙제(보통 차트나 노트북)를 주고 그룹과 공유했습니다. 이것은 더 설득력 있는 이야기를 위해 또는 실제로 요점을 파악하기 위해 데이터를 조합할 수 있는 다른 방법에 대한 유용한 피드백을 제공할 수 있는 좋은 방법이었습니다.

동시에 그들이 우리와 공유하는 데이터를 감안할 때 우리는 그들에게 도전합니다. 따라서 예를 들어 마케팅의 추세가 계속 유지되는 사용자를 확보하지 않거나 가입한 사용자가 플랫폼을 방문하지만 시청 이벤트를 수행하지 않는 것인 경우 우리는 팀을 다음 경로로 안내합니다. 이 사용자들이 플랫폼에서 무엇을 하고 있는지 발견하고 그들의 행동을 이전 캠페인의 고급 사용자의 행동과 비교합니다. 우리는 작동하는 것과 유사점이 무엇인지 식별하고 추가 조사를 시도합니다.

자막을 찾고 있는 마케터에게는 데이터와 이러한 학습이 있으면 자막 제작 및 자막 콘텐츠의 가용성을 홍보하기 위한 예산을 요청할 때 매우 유용하다고 생각합니다. 데이터가 결합되고 통찰력이 표시되며 데이터가 뒷받침된다는 것을 알기 때문에 자신의 권장 사항을 자신 있게 공유할 수 있습니다. 그리고 일단 조치가 취해지면 캠페인의 영향을 측정하고 캠페인을 조정할 기회를 볼 수 있습니다.

AG: 노트북과 같이 제품에 있는 협업 기능 중 일부를 사용하는 것 같습니다. 노트북이 이 과정을 진행하면서 스토리텔링에 도움이 되었습니까?

RB: 확실히. 또한 스크린샷을 찍어 PowerPoint 데크에 넣는 등의 디지털 낭비를 줄일 수 있습니다. 노트북을 사용하여 이야기를 작성하고 공유하고 싶은 핵심 통찰력을 가장 잘 표현하는 차트를 제시할 수 있습니다. 많은 팀에서 이 노트북이 프레젠테이션 자료를 대체했습니다. 따라서 이러한 노트북 링크를 수신하는 사람들과 대부분 고위 경영진을 위해 통찰력과 아이디어를 제시할 때 이 새로운 형식에 익숙해지도록 하는 세션도 있습니다. 핵심 요소는 대화형이라는 것입니다. 회의에서 이를 사용하여 대화형 요소를 표시하고 참석자의 호기심과 관심을 높이고 더 많은 질문을 유도합니다. 데이터를 쿼리하고 즉석에서 답변을 얻을 수 있으므로 회의가 더 매력적입니다. 우리는 과거에 그런 적이 없습니다. Pre-Amplitude의 경우 후속 질문에 대한 답변을 받는 데 3일에서 최대 2주가 소요됩니다. 이제 Amplitude를 사용하여 미국이나 캘리포니아 시장을 더 자세히 살펴보고 거기에 얼마나 많은 사용자가 있는지 확인하도록 요청하면 실제로 실시간으로 보여드릴 수 있습니다. 모두가 볼 수 있는 장관이었다고 생각합니다.

AG: 궁금합니다. Amplitude에는 데이터를 기반으로 하는 통찰력과 함께 자동화된 통찰력이 많이 있습니다. 일부 분석을 자동화하는 기능이나 분석가를 특정 방향으로 유도하는 기능을 사용하고 있습니까?

RB: 현재 우리는 이상 징후를 감지하기 위해 자동화된 통찰력을 주로 사용하고 있습니다.

AG: 그리고 그것은 어떻게 사용됩니까?

RB: OTT 플랫폼의 경우 사용자 유입경로의 주요 부분(예: 등록 흐름)에 대한 실시간 및 시간별 모니터링 차트가 있습니다. 등록/로그인 시간별 차트에는 과거 평균과의 특정 편차를 기준으로 경고가 발생하도록 설정되어 있습니다. 이러한 경고를 설정하고 근본 원인 분석을 사용하여 조사할 수 있게 되면 가장 많이 쿼리되는 다양한 사용자 및 이벤트 속성에 따라 일련의 분석 결과를 얻을 수 있습니다. 무슨 일이 일어나고 있는지 감지하고 문제를 해결하는 방법을 관리하는 팀과 논의하는 빠른 방법입니다.

AG: 네, 꽤 강력한 기능입니다. 그 플러스 집단은 다양한 사용자 그룹을 볼 수 있다는 점에서 매우 강력합니다.

데이터 또는 MarTech 스택에 어떤 다른 도구가 있습니까? Amplitude 데이터는 큰 그림에서 어디에 적합합니까? 다른 시스템이 있습니까? 사용자 집단을 선택하여 다른 제품과 함께 이메일을 보내고 있습니까? Amplitude 데이터를 데이터 레이크로 보내고 있습니까? 우리가 이야기한 광고 항목 외에 Amplitude로 가져오는 다른 데이터 요소가 있습니까?

RB: 코호트를 사용하여 잠재고객을 만들고 S3 버킷으로 보냅니다. 그리고 거기에서 이러한 잠재고객, 자사 관심사 및 인구 통계를 기반으로 사용자를 타겟팅할 수 있도록 준비하고 DMP로 보냅니다.

AG: Amplitude 제품 자체와 관련하여 가장 자주 사용하는 보고서나 기능은 무엇입니까?

RB: 가장 자주 발생하는 것은 이벤트 세분화와 유입경로일 것입니다. 이벤트 세분화는 일반 사용자에게 가장 친숙하다고 생각합니다. 그것은 질문에 답합니다. 무슨 일이 일어나고 있습니까? 얼마나 많은 사용자가 이것을 보았습니까? 등록된 사용자는 몇 명입니까? 등등. 자연스러운 다음 단계는 깔때기를 사용하여 이 이벤트 A를 수행하는 사용자와 이벤트 B 또는 우리가 원하는 다음 행동 사이의 전환이 무엇인지 이해하는 것입니다.

우리 팀 중 일부는 이미 플랫폼에 들어오고 나가는 사용자를 이해하기 위해 수명 주기 차트를 사용하고 있습니다. 무료 세그먼트 또는 유료/구독 사용자를 돌보는 사람의 경우 주별 또는 월별 주기 차트를 보고 "이번 달 플랫폼에 몇 명의 신규 사용자가 있습니까? ?” "당월 현재 사용자 중 다음 달에 휴면 상태가 되는 사용자는 몇 명입니까?" 등등.

AG: 교육을 통해 Amplitude 사용자에게 플랫폼이 제공하는 다른 많은 옵션에 대해 알릴 수 있습니까? 우리는 사람들이 다른 것을 더 자주 사용하도록 하는 방법을 알아내려고 노력하고 있습니다.

RB: 물론입니다. 교육 세션에서 동일한 질문에 답하거나 질문을 더 확장할 수 있는 더 나은 차트를 보여줄 기회가 있는 경우 바로 그 역할을 하는 대체 차트 유형을 보여줍니다.

AG: 사용자 프로필에 대해 이야기하고 싶었습니다. Google Analytics에서는 특정 사람을 조회하여 그들이 수행한 모든 이벤트를 보거나 그들이 사용한 다른 기기를 병합할 수 없습니다. Amplitude의 사용자 프로필이 Google Analytics에 있는 것보다 어떻게 도움이 되며 사용자 프로필을 사용하는 방법에는 어떤 것이 있는지 궁금합니다.

RB: 사용자 프로필은 Amplitude와 Google Analytics의 큰 차별화 요소입니다. Google Analytics에는 단일 사용자 경험이 없습니다. Amplitude의 경우 개별 사용자의 스트림을 조회하고 사용자가 사용 중인 장치의 수와 세션 전반에 걸쳐 트리거한 이벤트를 확인할 수 있습니다. 예를 들어 사용자가 48시간 동안만 볼 수 있는 콘텐츠에 대해 비용을 지불하는 소매 제품이 있습니다. 때때로 우리는 고객으로부터 그들이 지불한 콘텐츠에 액세스할 수 없고 다시 지불해야 할까봐 걱정된다는 피드백을 받습니다. 사용자 조회를 사용하여 고객 서비스 팀은 특정 사용자의 스트림을 조회하고 생성된 이벤트의 순서를 분석할 수 있습니다. 결제가 언제 완료되었는지, 결제 게이트웨이가 무엇인지, 사용자가 콘텐츠를 클릭했는지 여부와 성공하는 비디오 이벤트가 발생했는지 여부.

이 매우 상세한 사용자 수준 보기는 고객 서비스 팀이 피드백을 더 잘 처리하고 취해야 할 대응 또는 조치의 종류를 관리할 수 있다는 확신을 줍니다. 결국 추측을 줄이면 문제를 더 빨리 해결할 수 있기 때문에 이는 고객에게도 매우 좋습니다.