2021년 Datamonster 인터뷰: Truebill의 Alon Wertheimer

개인 금융 회사 Truebill의 마케팅 부사장인 Alon Wertheimer는 회사의 모든 팀이 Amplitude를 사용하도록 하는 것을 "미션"으로 삼았습니다. 왜요? Amplitude는 최근 인터뷰에서 Amplitude Product Evangelist Adam Greco에게 "더 현명한 결정을 빠르게 내리는 데 도움이 됩니다."라고 말했습니다. Amplitude를 옹호하기 위한 Wertheimer의 노력이 Truebill을 변화시키는 데 어떻게 도움이 되었는지 알아보려면 그들의 대화를 더 읽어보십시오.

아담 그레코: 함께해주셔서 감사합니다, 알론. 먼저 Amplitude의 2021 올해의 Datamonster 중 하나로 선정된 것을 축하합니다. 귀하와 귀하의 회사에 대해 간단히 말씀해 주시겠습니까?

Alon Wertheimer: 저는 약 11년 동안 기술 분야에 종사해 왔습니다. 제 배경은 대부분 퍼포먼스 마케팅이고, 저는 약 5년 전에 Aptive라는 작은 스타트업에 합류했습니다. 3년 반 전에 저는 Truebill에 합류했습니다.

Truebill은 사람들이 재정 생활에 대한 가시성을 얻고 재정적으로 최선을 다하도록 돕는 것입니다. 특히 전염병으로 인해 많은 사람들이 어려움을 겪고 있습니다. 우리는 사람들이 돈이 어디로 가는지 이해하고 구독 취소나 청구서 협상, 목표 달성 등 더 많은 돈을 절약하기 위한 조치를 취하도록 돕습니다.

시간이 지나면서 합류하면서 제 역할은 전환 유입경로에 대해 많이 생각하는 제품 마케팅 역할로 발전했습니다.

AG: 예전 Quicken 소프트웨어의 새로운 버전이 많이 생각납니다.

AW: 예, Rocket Mortgage가 우리를 인수했고 그 회장이 Quicken Loans의 설립자였으므로 우리는 가족입니다.

AG: 일상 생활에서 Amplitude를 직접 사용하십니까? Amplitude를 사용하는 팀이 있습니까? 조직에서 Amplitude와 스택에서의 역할에 대해 어떻게 생각합니까?

AW: 우리 조직에서는 모든 사람(모든 단일 팀)이 사용하도록 하는 것을 사명으로 삼았습니다. 매우 사용자 친화적이고 통찰력을 얻기가 쉽기 때문입니다. 주로 수명 주기 팀, 실험 팀 내에서, 그리고 물론 제품 관리자가 사용합니다. 그것들은 그것과 함께 깊이 들어가는 세 가지 분야입니다.

사용 사례의 측면에서 가장 중요한 것 중 하나가 vitals라고 생각합니다. 우리는 그것을 사용하여 우리의 모든 주요 KPI를 추적하고, 문제가 보이는 순간, 우리가 뭔가를 수정해야 한다는 신호를 던지는 많은 사람들이 있기 때문에 매우 좋습니다. 문제를 감지하는 데 정말 좋습니다. 또한 제품 고객 흐름을 이해하여 이탈이 있는 위치와 마찰이 있는 위치를 파악하고 사람들이 다양한 이메일이나 다양한 인앱 경험에 어떻게 반응하는지 확인하는 데 AB 테스트를 수행하는 데 도움이 됩니다. 우리는 모든 데이터를 Amplitude로 파이프합니다.

AG: Amplitude가 있기 전에 Truebill에 있었나요? 예전에는 어땠는지 알아?

AW: 내가 거기에 오기 전에 우리는 그것을 사용하지 않았고 Mixpanel에 의존하고 있었고 결국 Mixpanel에서 Amplitude로 전환했습니다.

AG: 거기 운전사는 뭐였지?

AW: 분석에 훨씬 더 많은 유연성을 제공합니다. 둘 다 가지고 놀고 난 후에 우리는 우리가 두 배로 줄이고 싶은 것을 알았습니다.

AG: 사용 측면에서 조직의 대부분의 사람들이 스스로 Amplitude를 사용합니까? 대시보드를 설정하는 데 도움을 주기 위해 귀하와 같은 사람에게 의존합니까? 조직에서 어떻게 작동합니까? 회사마다 다르다는 것을 알게 되었습니다.

AW: 우리는 사람들에게 플랫폼 사용 방법을 가르치려고 노력합니다. 이는 플랫폼 때문이 아니라 분류 체계 때문에 다소 힘들고 시간이 걸립니다. 수천 개의 이벤트가 진행 중이므로 이름 지정 및 분류에 있어 최선을 다합니다. 하지만 조직의 160명 중 적어도 3분의 1에서 반은 주어진 달에 사용한다고 말하고 싶습니다.

AG: 알겠습니다. Amplitude를 사용하는 주요 이유 중 하나는 활력소를 갖는 것이라고 말씀하셨습니다. 그러나 Amplitude가 Truebill에 미치는 영향을 설명할 수 있는지 궁금합니다. 그것이 회사에 긍정적인 영향을 미친 방법은 무엇입니까?

AW: 테스트 및 실험과 관련하여 Amplitude가 제공하는 프레임워크가 우리에게 핵심적인 역할을 했다고 생각합니다. 모든 회사는 데이터 중심적이라고 말합니다. 내 생각에 Truebill은 정말 그렇습니다. 우리는 주어진 시간에 너무 많은 실험을 실행하고 있습니다. Amplitude를 사용하면 이러한 실험이 유지에 어떤 영향을 미치는지, 잠재적으로 생각할 수 있는 측정항목에 어떤 영향을 미치는지 깊이 있게 이해할 수 있습니다. 이는 우리가 더 현명한 결정을 빠르게 내리는 데 도움이 되며 매우 쉽게 사교할 수 있도록 합니다. 우리는 모두 대시보드를 만들고 템플릿 대시보드를 가지고 있으므로 모두가 같은 언어를 사용합니다.

AG: 사람들에게 충격을 주거나 사람들이 그것이 한 방향으로 갈 것이라고 생각했지만 데이터가 다른 방향으로 진행되었음을 시사하는 테스트나 실험에 대해 실시한 예가 있습니까?

AW : Truebill이 제공하는 서비스 중 하나는 사용자가 청구서를 협상할 수 있도록 도와주는 것입니다. 이를 위해 사용자는 예를 들어 100개의 청구서 드롭다운에서 선택하고 해당 청구서와 관련된 정보를 제공하면 우리 팀이 작업에 착수합니다.

따라서 경험을 구축하는 방식은 개인화되지 않았습니다. 사람들이 금융 계좌를 연결하면 Truebill은 그들이 지불하는 청구서와 우리가 협상할 수 있는 청구서를 알게 됩니다. 그래서 우리는 우리가 전면과 중앙에서 협상할 수 있다는 것을 알고 있는 법안을 표시하기 위해 법안 선택 화면이 재구성된 경험을 AB 테스트하기로 결정했습니다. 우리에게 이것은 당연한 일이었습니다. 우리는 협상을 위해 제출된 청구서의 처리량을 늘릴 것이라고 생각했지만 그렇게 되지 않았습니다. 우리는 더 많은 사람들이 협상할 법안을 선택하는 것을 보았지만, 깔때기 작업의 맨 위에 있었지만 그 시점 이후 깔때기는 더 누출되었습니다. Amplitude는 전체 유입경로를 쉽게 이해하는 데 도움이 되었기 때문에 좋아합니다.

여기서의 결과는 매우 직관적이지 않았습니다. 퍼널 메트릭의 상단을 올렸지만 처리량을 늘리지 않았다는 사실을 알고 있기 때문에 청구서 선택을 너무 쉽게 만든 것 같습니다. 법안 선택 이후 단계가 너무 많기 때문에 실제로는 더 힘든 단계이기 때문에 더 많은 노력과 참여가 필요하다고 생각합니다. 청구서 선택 시 더 많은 마찰을 가짐으로써 사람들이 나중에 해당 깔때기에서 마찰을 극복하는 것이 더 쉬웠을 것입니다. 전략적으로 추가된 마찰은 사람들이 어려운 작업을 수행할 준비를 하는 데 도움이 될 수 있습니다.

온보딩을 확장한 테스트도 수행했습니다. 누군가가 우리 제품에 직접 들어가게 하는 것보다 우리는 그들이 몇 가지 주요 기능을 켜도록 설득하려고 노력합니다. Amplitude가 없었다면 이 사실을 발견하기가 정말 어려웠을 것입니다. 하지만 그렇게 함으로써 주간 참여율을 20% 이상 높일 수 있다는 것을 알게 되었습니다. 일반적인 테스트 도구로는 그러한 통찰력을 가질 수 없었을 것입니다.

AG: 우리는 실험 도구를 가지고 있고 단기적인 성공을 볼 수는 있지만 장기적인 결과를 보기는 어려운 회사를 많이 봅니다.

AW: 네, 그리고 실험을 모니터링하기 위해 대시보드를 만들 수는 있지만, 보고 싶어도 모르는 것은 보고 싶지 않습니다. Amplitude를 사용하면 호기심이 생기기 쉽습니다. Amplitude는 구축해야 할 사항과 모니터링해야 할 사항을 파악하는 데 도움이 됩니다.

AG: 조직의 3분의 1이 Amplitude를 사용한다고 말씀하셨습니다. 어떤 부서에서 Amplitude를 사용하고 어떤 부서가 관계를 소유하고 있습니까? 우리는 일부 회사에서 Amplitude가 제품 그룹에 의해 옹호되고 다른 회사에서는 마케팅 그룹이라는 것을 보았습니다. 그곳의 땅은 어떤지 궁금합니다.

AW: 제품 실험, 수명 주기 및 제품 팀은 실제로 Amplitude를 가장 많이 사용하는 세 팀입니다. 데이터 팀도 Amplitude를 점점 더 많이 사용하고 있습니다. 그리고 사실 저는 데이터 팀이 관계를 소유하고 전문가가 되기를 바랍니다. 다른 많은 팀이 질문에 답하기 위해 데이터 팀에 의존하기 때문입니다.

AG: 더 많은 사람들이 데이터에 더 가까이 다가가고 Amplitude 자체와 셀프 서비스를 사용하도록 어떻게 노력했는지 설명해 주시겠습니까? 어떤 어려움이 있었습니까? 그곳에서 어떤 접근을 하였습니까?

AW: 예, Amplitude는 정말 강력합니다. 그래서 처음에는 Amplitude의 개별적인 특징을 사람들에게 보여주는 접근 방식을 시도했습니다. 세분화에 대해 깊숙이 들어가 보겠습니다. 퍼널에 대해 깊숙이 들어가 보겠습니다. 그러나 무언가에 대해 이야기하는 것도 꽤 건조하고 지루합니다. 저는 최고의 대화가 항상 누군가 또는 팀이 관심을 가질 수 있는 질문을 끌어오는 호기심 채팅을 사용한다는 것을 발견했습니다. 이러한 작업 세션에서 우리가 도구를 통해 해당 질문에 답하는 것을 보여주고 우리는 계속 유지합니다. 이러한 호기심 질문을 하고 이러한 호기심 질문에 답함으로써 우리는 행동으로 배우게 됩니다. 사람들의 참여를 유지하는 좋은 방법입니다.

AG: 저는 사람들이 어떤 주제에 대해 열정을 갖고 있으면 갑자기 흥미를 갖게 되어 더 많은 것을 배우기 위해 시간을 할애한다는 사실을 항상 발견했습니다. 따라서 조직의 진폭 측면에서 상위 계층이 그 사용을 이해하고 있습니까? 경영진에게 제공할 수 있는 가치를 어떻게 정당화합니까?

AW: Mixpanel에서 Amplitude로 전환했을 때 주로 저와 공동 창립자 중 한 명인 CEO가 이를 사용했습니다. 그리고 그는 Amplitude와 사랑에 빠졌습니다. 하지만 누군가에게 판매해야 한다면 Amplitude를 사용하면 더 빨리 배울 수 있고 몇 번 더 실험에서 승리할 수 있다고 말하고 싶습니다. 그것은 그 자체로 지불하는 것 이상일 것입니다.

AG: 새로운 동료가 있다면 왜 Amplitude를 사용해야 하는지 어떻게 설명하시겠습니까? 어떻게 그들이 당신의 분류 체계를 이해하고 그 과정이 새로운 사람들에게 무엇인지 이해하게 합니까?

AW: 네, 3주 전에 새로운 사람이 팀에 합류했기 때문에 이점을 전달하는 방법에 대해 생각하고 있다는 것이 재미있습니다. Amplitude를 사용하면 분류 체계에 대해 호기심을 갖고 이해할 수 있다고 말씀드리고 싶습니다.

AG: 그래서 몇 가지 다른 기능을 언급했는데, 가장 좋아하는 기능은 무엇입니까?

AW: 잠재고객 세분화와 결합된 깔때기 분석이라고 생각합니다. 이를 통해 정말 멋진 집단을 만들고 그들이 어떻게 다르게 상호 작용하는지 볼 수 있습니다. 저에게 그것은 금입니다.

AG: 마지막으로 질문 하나는 가상의 것입니다. Amplitude에 어떤 기능이라도 추가할 수 있다면 Amplitude의 미래 버전에서 꿈꾸는 기능은 무엇입니까?

AW: 더 강력한 시각화 도구로 만들면 그래프와 대시보드를 사용자 정의할 수 있는 더 큰 기능이 생겨 학습 내용을 더욱 쉽게 사회화할 수 있습니다. 엄청나겠죠.