Datamonsterul anului 2021: Robbin Brillantes de la ABS-CBN

În calitate de șef al analizei datelor al ABS-CBN, Robbin Brillantes a condus implementarea Amplitude de către organizație și o revizuire a relației sale cu datele. „Amplitude s-a schimbat complet” felul în care chiar și angajații netehnici pot înțelege și utiliza datele și a dezvăluit informații importante asupra comportamentului utilizatorilor, a spus ea Adam Greco, evanghelist de produse pentru Amplitude. Citiți mai multe din conversația lor pentru a descoperi cum Robbin Brillantes a contribuit la formarea unei culturi a datelor la ABS-CBN.

Adam Greco: Povestește-mi puțin despre tine. Care este rolul tău? Și spune-mi puțin despre ce face organizația ta.

Robbin Brillantes : În prezent sunt șeful de analiză a datelor pentru ABS-CBN. ABS-CBN este cea mai mare companie de difuzare media din Filipine. Și este, de asemenea, cel mai vechi radiodifuzor de televiziune din Asia de Sud-Est. Odată cu aceasta vine o tradiție de excelență în crearea de conținut, difuzarea de știri și lansarea celor mai populare și iubite programe de divertisment pentru filipinezi din Filipine și din întreaga lume.

AG: Și în ce departament sau în ce echipă faci parte?

RB : Sunt în echipa de date. În ultimul an, am integrat Amplitude într-o serie de produse digitale. Venind în 2020, odată cu desfășurarea pandemiei și unele circumstanțe nefericite pentru compania noastră, pariul liderilor noștri pe o abordare digitală completă s-a dovedit a fi venit la momentul potrivit. Introducerea Amplitude ne-a pus pe calea de a descoperi cum să ne investim cel mai bine timpul, resursele, energia și eforturile noastre pentru a ne asigura că produsele noastre rămân relevante pentru gusturile și comportamentele în schimbare ale consumatorilor noștri. Privind înapoi la locul de unde am început, pre-Amplitude și unde ne aflăm astăzi? A fost o plimbare grozavă.

AG: Înainte să începi să folosești Amplitude, ce foloseai? Ce alte tehnologii foloseai pentru a înțelege cum foloseau oamenii site-ul tău web sau aplicația ta mobilă?

RB : Pentru produsele digitale, a fost în mare parte Google Analytics. Într-o oarecare măsură, s-a lucrat și folosind big data (instrumentarea tuturor acestor site-uri web, strângerea datelor de pe platforme). Dar, în ceea ce privește găsirea de informații acționabile din datele masive pe care le captam, nimic nu ne-a adus atât de departe cum a ajuns Amplitude.

Și în același sens, în timp ce aveam toate aceste date în Big Data și Google Analytics, au existat doar câțiva oameni în organizație care au știut să folosească instrumente pentru a le accesa și a le înțelege. Unii oameni au avut acces, dar doar câțiva au știut cu adevărat să citească și să interpreteze rapoartele. Amplitude a schimbat complet acest lucru, deoarece le permite persoanelor netehnice să analizeze datele, să digere ce înseamnă acestea, să înțeleagă prin ce trec utilizatorii și le oferă pași acționați de urmat pentru a îmbunătăți efectiv valorile care contează pentru ei.

AG: Care credeți că a fost cea mai mare diferență de utilizare între Google Analytics și Amplitude? Ce a făcut diferența ca oamenii să poată, în sfârșit, să se autoservire în Amplitude acolo unde nu erau în Google Analytics?

RB: Cred că, cu Google Analytics, unde urmărește totul din nou, nu a existat nimeni de la Google la care să putem spune: „Hei, poți să-mi spui dacă citesc corect acest raport? Sau există o modalitate de a rafina modul în care surprindem acest lucru, astfel încât să înțelegem aceste noi dezvoltări pe care le-am făcut?”

Cu Amplitude, deoarece se bazează pe evenimente, instrumentarea dvs. depinde de valorile care contează pentru dvs. Și asta se întâmplă în cadrul echipei mele - instrumentăm toate produsele, ceea ce, în primul rând, presupune să vorbim cu părțile interesate și să înțelegem care este Steaua Polară a acestora, astfel încât să știm ce ar trebui să acordăm prioritate pentru urmărire. Odată ce aceste evenimente sunt implementate, este mai ușor pentru echipe să folosească datele deoarece știu ce înseamnă fiecare eveniment, ce înseamnă pentru ele trecerea de la evenimentul A la evenimentul B sau cât de rapid este timpul de conversie și așa mai departe.

AG: Și câți oameni folosesc de obicei Amplitude în mod regulat?

RB: Există aproximativ 350 în organizație care au acces la Amplitude în acest moment. Dintre acești utilizatori, aproximativ jumătate dintre ei îl folosesc de două până la trei ori pe săptămână. De când am folosit Amplitude, am depășit de 10 ori numărul de angajați care accesează singuri datele. Totuși, acest lucru nu s-a întâmplat peste noapte. A trebuit să antrenăm echipe în mod regulat. În cea mai mare parte a trimestrului IV 2020 până în prima jumătate a anului 2021, am desfășurat sesiuni săptămânale de analiză vineri, unde este un format deschis de întrebări și răspunsuri. În fiecare săptămână, puneam deoparte niște diagrame interesante pe care să le împărtășesc cu echipele, să scot câteva idei și să țeseam poveștile în spatele lor. Am avut un public mixt de produse, marketing, inginerie, conținut, vânzări, tehnologie publicitară, de aproximativ 60 de angajați care au participat la acest Q&A săptămânal. Așa că, când vorbesc despre ceea ce măsurăm acum, sau evidențiez noi zone de creștere, pot să chem unii oameni și să îi întreb: „Hei, am văzut asta din produsul tău. Foarte interesant! Era de așteptat acest vârf?” „Poți să ne spui despre acest efort de marketing?” etc. Cred că această cale de a discuta și de a pune întrebări a ajutat să dezvolte mingea, deoarece echipele au văzut cât de puternice ar putea fi datele pentru diferite echipe. Această curiozitate colectivă – nu aveam această cultură când folosim Google Analytics.

AG: Partea tare este că le arătai date în context, ceea ce îi ajută pe utilizatori să le înțeleagă și îi motivează să învețe ei înșiși cum să le folosească. Echipa dvs. acționează ca un hub centralizat pentru analiză în care faceți implementarea și instruirea?

RB: Din cauza numărului nostru limitat de angajați în acest moment, este. Dar, pe măsură ce produsele noastre se extind și pe măsură ce inițiativele echipei de date se extind, prevăd că ne îndreptăm către un model hub and spoke în care instrumentația va fi în continuare gestionată de echipa noastră și vom avea analiști dedicați încorporați în alte echipe de produse, astfel încât să aibă contextul complet al tuturor planurilor, eforturilor în curs, provocărilor, oportunităților etc.

Având analiști dedicați în cadrul acestor grupuri, ne putem îngriji de echipe și ne putem asigura că se uită la valori semnificative și că se practică percepția. În esență, asigurându-se că echipele folosesc datele pentru a informa acțiunile și luarea deciziilor, trecând de la raportarea lunară obișnuită.

AG: Știu că probabil că sunt un milion de lucruri pe care le faci cu Amplitude. Care sunt unele dintre cele mai importante cazuri de utilizare pentru organizația dvs.?

RB : Produsul principal, cel mai mare produs pe care îl avem, este o platformă de streaming. Așadar, în trecut, fără Amplitude, nu aveam date legate de comportament, fie că era conținutul care conduce la mai multe minute vizionate sau ce conținut de marketing atrage cei mai valoroși utilizatori. Tot ce aveam erau date tranzacționale, care ne dădeau cifre rezumate, care ne oferă o idee despre numărul total de utilizatori, vizionările totale și dimensiunile de bază.

Acum putem vorbi despre cum se comportă diferiții noștri utilizatori din întreaga lume, cine sunt cei mai valoroși utilizatori ai noștri și ce acțiuni au cel mai mare impact asupra experienței lor. Din punct de vedere al QOE, putem folosi datele pentru a evalua calitatea video, cum ar fi atunci când videoclipurile sunt în buffer sau se blochează înainte ca clienții să se plângă, permițându-ne să identificăm dimensiunea și amploarea problemelor pentru a informa la ce ar trebui să lucrăm acum, pe termen lung. remediați, sau dacă este un caz marginal, documentați și treceți la altceva. Un caz de utilizare interesant și recent a fost analizarea impactului subtitrărilor asupra vizionării conținutului, creșterea utilizatorilor și implicarea. Din date, am putut observa cum subtitrarea unui pumn de conținut într-o anumită limbă le-a sporit performanța în, surprinzător, multe alte teritorii. Acest lucru a stârnit curiozitatea cu privire la modul în care subtitrarea, în general, nu numai că întărește conținutul și potențialul de creștere pe piața sa nativă. Subtitrarea, atunci când este făcută corect, ne poate ajuta să deschidem mai multe piețe pentru a aduce în lume cel mai bun conținut filipinez. Acesta este un exemplu al modului în care datele ne permit să urmărim noi oportunități despre care poate nici nu știam că există.

AG: Una dintre tendințele pe care le vedem acum este că aveți capacitatea de a vedea cum ați dobândit oameni și de a conecta asta cu ceea ce fac aceștia în produsul dvs. De multe ori, în Google Analytics, am descoperit că, inițial, puteți obține o mulțime de oameni de pe canale diferite, dar nu puteți măsura cu adevărat valoarea în aval a acelor oameni. Așa că s-ar putea să continuați să investiți bani în campanii care vă atrag oameni, dar nu vă fac de fapt bani...

RB: Cu siguranță. Un lucru este să știi care canal îți aduce cei mai mulți utilizatori, dar capacitatea de a lega sursa de trafic de datele de comportament este locul în care se află aurul. Până la acest punct de rentabilitate a investiției în marketing, chiar acum, suntem capabili să surprindem evenimente publicitare și să le îmbogățim. Când un utilizator vede un anunț, îl putem defini și captura ca un eveniment publicitar. Îmbogățim aceste evenimente publicitare cu date din Google Ad Manager. Deci, chiar și pe piețele în care OTT nostru rulează pe un model AVOD, suntem capabili să atribuim veniturile publicitare unui anumit segment de utilizatori, unei cohorte de utilizatori de pe un anumit canal sau platformă și așa mai departe. Analizând aceste venituri din reclame în raport cu un buget de marketing pentru o anumită campanie, putem vedea veniturile totale generate de utilizatorii din acea campanie, chiar și atunci când nu sunt determinate de o tranzacție sau un abonament. Această capacitate este foarte relevantă pentru orice OTT. Capacitatea de a măsura rentabilitatea investiției în marketing și veniturile din reclame ne permite să încercăm strategii în care AVOD ar putea funcționa pe unele piețe, în timp ce un model SVOD ar putea fi cel care funcționează pentru Statele Unite și Canada. Acest lucru oferă o lentilă suplimentară care îi ajută pe marketeri să vadă rentabilitatea investițiilor lor și, la rândul său, să facă pariuri mai bune pe măsură ce merg.

AG: Cum ai făcut asta? Extrageți date din AdWords ca evenimente? Se pare că vedeți afișări și clicuri din anunțuri. Cum funcționează asta în Amplitude?

RB: Lucrăm cu colecționarii de videoclipuri ai Datazoom, care sunt trimise în Amplitude. În esență, există evenimente video pe care le captează de pe player în timp ce utilizatorii urmăresc conținut. Pentru oricare dintre aceste evenimente video, suntem capabili să trimitem metadate personalizate, precum și să declarăm evenimente personalizate la client. Deci, atunci când un utilizator vede o reclamă, Datazoom îmbogățește datele anunțului cu diferite atribute disponibile dintr-o extragere de date noi din Ad Manager.

AG: Atunci acele date au și informații despre costurile de marketing/reclamă?

RB: Aceasta este piesa care este tratată separat în acest moment. Informațiile despre cheltuielile reale de marketing pentru campanii sunt disponibile pentru oamenii noștri de marketing. Atunci când adună rentabilitatea investiției în marketing, specialiștii în marketing trebuie să introducă detaliile cheltuielilor în consecință.

AG: Acesta este de fapt unul la care lucrăm. Vrem să vă putem ajuta să introduceți și asta în Amplitude. Celălalt lucru despre care părea că l-ați menționat este că ați putut să experimentați și să învățați lucruri noi despre ceea ce se întâmplă cu experiența. Ai menționat ceea ce ai învățat studiind impactul subtitrarilor. Aveți un proces sau o strategie în fiecare săptămână, încercând să învățați lucruri noi din Amplitude? Și cum documentați asta și cum faceți acea parte a genului dvs. de cultură?

RB: În afară de sesiunile de întrebări și răspunsuri pe care le făceam de vineri, ținem și sesiuni de două ori pe lună cu diferite echipe, în mod ideal grupându-le cu o altă echipă pentru a diversifica perspectivele și a stimula curiozitatea în discuțiile noastre. În fiecare sesiune, echipele împărtășesc ceva la care lucrează și cum au folosit Amplitude sau arată o diagramă pe care o folosesc pentru a se pregăti pentru o inițiativă în curs. Li s-ar oferi teme pentru sesiunea următoare, de obicei o diagramă sau un caiet, și le-ar împărtăși grupului. Acesta a fost o modalitate bună de a le oferi feedback util cu privire la modul în care alte date ar putea fi reunite pentru o poveste mai convingătoare sau pentru a aduce cu adevărat ideea.

În același timp, îi provocăm având în vedere datele pe care ni le împărtășesc. Deci, dacă, de exemplu, vedem că tendința în marketing este că aceștia nu achiziționează utilizatori care rămân sau utilizatorii care se alătură vizitează doar platforma, dar nu efectuează niciun eveniment de vizionare, conducem echipa pe calea către descoperirea ce fac acești utilizatori pe platformă și compararea comportamentului lor cu cel al utilizatorilor noștri puternici din campaniile anterioare. Încercăm să identificăm ce funcționează, care sunt asemănările lor și să investigăm în continuare.

Pentru marketerii care caută subtitrare, cred că a avea datele și aceste învățăminte este incredibil de util atunci când își cer bugetul pentru subtitrare și promovarea disponibilității conținutului subtitrat. Datele sunt reunite, informațiile sunt scoase la suprafață și își pot împărtăși cu încredere recomandările, deoarece știu că sunt susținute de date. Și odată ce sunt luate măsuri, ei pot măsura impactul campaniei lor și pot vedea oportunități de a regla campania.

AG: Se pare că folosesc unele dintre funcțiile de colaborare care sunt în produs, cum ar fi notebook-urile. Au fost caietele utile pentru povestirea pe măsură ce trec prin acest proces?

RB: Cu siguranță. De asemenea, a redus risipa digitală de a face capturi de ecran, a le pune în pachetele PowerPoint și așa mai departe. Folosind caiete, suntem capabili să scriem povestea și să prezentăm diagramele care exprimă cel mai bine informațiile cheie pe care dorim să le împărtășim. În multe echipe, aceste notebook-uri au înlocuit pachetele de prezentare. Așadar, pentru cei care primesc aceste link-uri pentru notebook-uri și este în mare parte managementul superior, organizăm și sesiuni pentru a-i familiariza cu acest nou format în prezentarea de perspective și idei. Elementul cheie este că sunt interactive. Folosind-o într-o întâlnire, arătând elementele interactive, încurajează mai multă curiozitate și interes din partea participanților și invită mai multe întrebări. Întâlnirile devin mai captivante, deoarece putem interoga datele și obținem răspunsuri din mers. Nu am mai avut așa ceva în trecut. Pre-Amplitude ți-ar lua poate trei zile până la două săptămâni pentru a obține răspunsuri la întrebările ulterioare. Acum, folosind Amplitude, dacă îmi cereți să mă uit mai departe în piața din SUA sau California pentru a vedea câți utilizatori avem acolo, atunci vă pot arăta în timp real cum arată. Cred că a fost spectaculos să vadă toată lumea.

AG: Sunt curios, există o mulțime de informații automate în Amplitude, cu informații bazate pe datele dvs. Folosiți vreuna dintre funcțiile care automatizează unele dintre analize sau cele care încearcă să vă împingă analiștii într-o anumită direcție?

RB: În prezent, folosim informații automatizate în mare parte pentru detectarea anomaliilor.

AG: Și cum se folosește asta?

RB: Pentru platforma OTT, aș avea diagrame de monitorizare în timp real și pe oră pentru părțile cheie ale canalului utilizatorului, de exemplu, fluxul de înregistrare. Graficele orare de înregistrare/autentificare ar avea alerte configurate pentru a se declanșa pe baza unei abateri specifice de la media istorică. Acordarea acestor alerte și posibilitatea de a investiga folosind analiza cauzei rădăcină îmi oferă o serie de defalcări în funcție de diferitele proprietăți ale utilizatorului și ale evenimentului, cele mai solicitate. Este o modalitate rapidă de a detecta ce se întâmplă și apoi de a discuta cu echipele care gestionează cum să le rezolve.

AG: Da, este o caracteristică destul de puternică. Aceste cohorte plus sunt destul de puternice în ceea ce privește vizualizarea diferitelor grupuri de utilizatori.

Ce alte instrumente sunt în stiva dumneavoastră de date sau MarTech? Unde se încadrează datele Amplitude în imaginea de ansamblu? Există și alte sisteme? Luați cohorte de utilizatori și le trimiteți e-mailuri cu alt produs? Trimiți date Amplitude către un lac de date? Există și alte puncte de date pe care le atrageți în Amplitude, altele decât cele de publicitate despre care am vorbit?

RB: Creăm audiențe utilizând cohortele și le trimitem în grupul nostru S3. Și de acolo, le pregătim și le trimitem către DMP-ul nostru, astfel încât să putem viza utilizatorii în funcție de aceste audiențe, interesele primare și demografiile, printre altele.

AG: Deci, în ceea ce privește produsul Amplitude în sine, ce fel de rapoarte sau caracteristici ați spune că sunt cele preferate, cele pe care le utilizați cel mai des?

RB: Cred că cel mai des ar fi segmentarea evenimentelor și canalele. Cred că segmentarea evenimentelor este cea mai prietenoasă pentru utilizatorul obișnuit. Răspunde la întrebarea: ce se întâmplă? Câți utilizatori au văzut asta? Câți utilizatori s-au înregistrat? Si asa mai departe. Următorul pas natural este utilizarea canalelor pentru a înțelege care este conversia dintre un utilizator care face acest eveniment A și evenimentul B sau următorul lucru pe care vrem să-l facă.

Unele dintre echipele noastre folosesc deja diagrame ciclului de viață pentru a înțelege utilizatorii care vin și merg pe platformă. Pentru cineva care se ocupă de segmentul gratuit sau de utilizatori plătitori/abonați, ar dori să vadă acea diagramă a ciclului de viață săptămânal sau lunar pentru a găsi răspunsuri la întrebări precum „Câți utilizatori noi sunt pe platformă luna aceasta. ?” „Câți dintre utilizatorii actuali din lună devin latenți în luna următoare?” Si asa mai departe.

AG: Îți folosești antrenamentele pentru a-ți informa utilizatorii Amplitude despre multe alte opțiuni pe care le oferă platforma? Încercăm să ne dăm seama cum să îi facem pe oameni să le folosească pe celelalte mai des.

RB: Absolut. În sesiunile noastre de instruire, dacă avem ocazia să le arătăm o diagramă mai bună pentru a răspunde la aceeași întrebare sau să le ducem mai departe, le arătăm un tip de diagramă alternativ care face exact asta.

AG: Am vrut să vorbesc despre profilul nostru de utilizator. În Google Analytics, nu puteți căuta o anumită persoană și nu puteți vedea fiecare eveniment pe care l-a făcut sau nu puteți îmbina orice dispozitive diferite pe care le-a folosit. M-am întrebat cum vă ajută profilul de utilizator din Amplitude față de ceea ce aveți în Google Analytics și care sunt câteva dintre modalitățile prin care utilizați profilul de utilizator?

RB: Profilul de utilizator este un mare diferențiere pentru Amplitude față de Google Analytics. Nu există nicio idee despre experiența unui singur utilizator în Google Analytics. În timp ce pentru Amplitude, puteți căuta fluxul pentru un utilizator individual, puteți vedea câte dispozitive se află și ce evenimente au declanșat pe parcursul sesiunii. De exemplu, avem o ofertă de vânzare cu amănuntul în care utilizatorii plătesc pentru conținut care este disponibil pentru vizionare doar pentru o fereastră de 48 de ore. Ocazional, primim feedback de la clienți care spun că nu pot accesa conținutul pentru care au plătit și că sunt îngrijorați că vor trebui să plătească din nou. Folosind căutarea utilizatorilor, echipa noastră de servicii pentru clienți este apoi capabilă să caute fluxul utilizatorului specific și să analizeze secvența de evenimente pe care le-au generat. Când a fost efectuată plata, care a fost gateway-ul de plată și dacă utilizatorul a făcut clic pe conținut și s-au declanșat evenimentele video ulterioare.

Această vizualizare foarte detaliată la nivel de utilizator oferă echipei de servicii pentru clienți încrederea necesară pentru a gestiona mai bine feedback-ul și a gestiona tipul de răspuns sau acțiune de întreprins. În cele din urmă, acest lucru este foarte bun și pentru clienții noștri, deoarece reducerea presupunerilor duce la o rezolvare mai rapidă a problemelor.