Datenmonster des Jahres 2021: Robbin Brillantes von ABS-CBN

Als Head of Data Analytics bei ABS-CBN hat Robbin Brillantes die Implementierung von Amplitude im Unternehmen geleitet und seine Beziehung zu Daten überarbeitet. „Amplitude hat die Art und Weise, wie auch nicht-technische Mitarbeiter Daten verstehen und nutzen können, komplett verändert und wichtige Einblicke in das Benutzerverhalten gegeben“, sagte sie gegenüber Amplitude Product Evangelist Adam Greco. Lesen Sie mehr über ihr Gespräch, um zu erfahren, wie Robbin Brillantes dazu beigetragen hat, eine Datenkultur bei ABS-CBN zu schaffen.

Adam Greco: Erzählen Sie mir ein wenig über sich. Was ist Ihre Rolle? Und erzählen Sie mir ein wenig darüber, was Ihre Organisation tut.

Robbin Brillantes : Ich bin derzeit der Leiter der Datenanalyse für ABS-CBN. ABS-CBN ist das größte Medienrundfunkunternehmen auf den Philippinen. Und es ist auch der älteste Fernsehsender in Südostasien. Damit einher geht eine Tradition der Exzellenz bei der Erstellung von Inhalten, der Ausstrahlung von Nachrichten und der Einführung der beliebtesten und beliebtesten Unterhaltungsprogramme für Filipinos auf den Philippinen und auf der ganzen Welt.

AG: Und in welcher Abteilung oder in welchem ​​Team bist du?

RB : Ich bin im Datenteam. Im letzten Jahr haben wir Amplitude in eine Reihe unserer digitalen Produkte integriert. Zu Beginn des Jahres 2020 mit dem Ausbruch der Pandemie und einigen unglücklichen Umständen für unser Unternehmen stellte sich heraus, dass die Wette unserer Führungskräfte auf einen vollumfänglichen digitalen Ansatz zur richtigen Zeit gekommen war. Amplitude an Bord zu holen, hat uns auf einen Weg gebracht, herauszufinden, wie wir unsere Zeit, Ressourcen, unsere Energie und Bemühungen am besten investieren können, um sicherzustellen, dass unsere Produkte für die sich ändernden Geschmäcker und Verhaltensweisen unserer Verbraucher relevant bleiben. Rückblickend darauf, wo wir angefangen haben, vor Amplitude, und wo wir heute stehen? Es war eine tolle Fahrt.

AG: Was haben Sie verwendet, bevor Sie mit der Anwendung von Amplitude begonnen haben? Welche anderen Technologien haben Sie verwendet, um zu verstehen, wie Menschen Ihre Website oder Ihre mobile App verwenden?

RB : Bei digitalen Produkten war es vor allem Google Analytics. Teilweise wurde auch mit Big Data gearbeitet (Instrumentierung all dieser Websites, Erhebung der Daten von den Plattformen). Aber nichts hat uns so weit gebracht wie Amplitude.

Und während wir all diese Daten in Big Data und Google Analytics hatten, gab es immer nur eine Handvoll Leute in der Organisation, die wussten, wie man Tools verwendet, um auf sie zuzugreifen und sie zu verstehen. Einige Leute hatten Zugriff, aber nur wenige wussten wirklich, wie man die Berichte liest und interpretiert. Amplitude hat dies grundlegend geändert, da es technisch nicht versierten Personen ermöglicht, sich die Daten anzusehen, zu verdauen, was sie bedeuten, zu verstehen, was die Benutzer durchmachen, und ihnen umsetzbare Schritte gibt, die sie unternehmen können, um die für sie wichtigen Metriken tatsächlich zu verbessern.

AG: Was war Ihrer Meinung nach der größte Unterschied in der Benutzerfreundlichkeit zwischen Google Analytics und Amplitude? Was hat den Unterschied ausgemacht, dass die Leute endlich in der Lage waren, sich selbst in Amplitude zu bedienen, wo sie in Google Analytics nicht waren?

RB: Ich denke, mit Google Analytics, wo alles sofort einsatzbereit ist, gab es niemanden von Google, an den wir uns wenden und sagen könnten: „Hey, können Sie mir sagen, ob ich diesen Bericht richtig lese? Oder gibt es eine Möglichkeit, die Art und Weise zu verfeinern, wie wir dies erfassen, damit wir diese neuen Entwicklungen verstehen, die wir gemacht haben?“

Da Amplitude ereignisbasiert ist, hängt Ihre Instrumentierung von den Metriken ab, die für Sie wichtig sind. Und das geschieht in meinem Team – wir instrumentieren alle Produkte, was zunächst bedeutet, mit den Stakeholdern zu sprechen und zu verstehen, was ihr Nordstern ist, damit wir wissen, was wir für die Nachverfolgung priorisieren sollten. Sobald diese Ereignisse implementiert sind, ist es für die Teams einfacher, die Daten zu verwenden, da sie wissen, was jedes Ereignis bedeutet, was der Wechsel von Ereignis A zu Ereignis B für sie bedeutet oder wie schnell die Konvertierungszeit ist und so weiter.

AG: Und wie viele Menschen nutzen Amplitude normalerweise regelmäßig?

RB: Im Moment haben etwa 350 in der Organisation Zugriff auf Amplitude. Von diesen Benutzern verwendet es etwa die Hälfte zwei- bis dreimal pro Woche. Seit wir Amplitude verwenden, haben wir die Anzahl der Mitarbeiter, die selbstständig auf Daten zugreifen, mehr als verzehnfacht. Dies geschah jedoch nicht über Nacht. Wir mussten regelmäßig Mannschaften trainieren. Für den größten Teil des 4. Quartals 2020 bis zur ersten Hälfte des Jahres 2021 habe ich freitags wöchentliche Analysesitzungen durchgeführt, in denen es sich um ein offenes Q&A-Format handelt. Jede Woche habe ich einige interessante Diagramme beiseite gelegt, um sie mit den Teams zu teilen, einige Erkenntnisse zu nennen und die Geschichten dahinter zu weben. Wir hatten ein gemischtes Publikum aus den Bereichen Produkt, Marketing, Technik, Inhalt, Vertrieb und Werbetechnik mit rund 60 Mitarbeitern, die an dieser wöchentlichen Fragerunde teilnahmen. Wenn ich also darüber spreche, was wir jetzt messen, oder neue Wachstumsbereiche hervorhebe, kann ich einige Leute anrufen und sie fragen: „Hey, das habe ich bei Ihrem Produkt gesehen. Sehr interessant! Wurde diese Spitze erwartet?“ „Können Sie uns etwas über diese Marketingbemühungen erzählen?“ usw. Ich denke, diese Möglichkeit, Fragen zu diskutieren und zu stellen, hat dazu beigetragen, den Ball ins Rollen zu bringen, als die Teams sahen, wie hilfreich die Daten für verschiedene Teams sein können. Diese kollektive Neugier – diese Kultur hatten wir noch nicht, als wir Google Analytics benutzten.

AG: Der coole Teil ist, dass Sie ihnen Daten im Kontext gezeigt haben, was den Benutzern hilft, sie zu verstehen, und sie motiviert, zu lernen, wie man sie selbst verwendet. Fungiert Ihr Team als zentrale Drehscheibe für Analysen, wo Sie die Implementierung und Schulungen durchführen?

RB: Aufgrund unserer derzeit begrenzten Mitarbeiterzahl ist es das. Aber mit der Skalierung unserer Produkte und der Ausweitung der Initiativen des Datenteams gehe ich davon aus, dass wir uns in Richtung eines Hub-and-Spoke-Modells bewegen werden, bei dem die Instrumentierung weiterhin von unserem Team verwaltet wird und wir engagierte Analysten in andere Produktteams eingebettet haben, damit sie das haben vollständigen Kontext aller Pläne, laufenden Bemühungen, Herausforderungen, Chancen usw.

Indem wir dedizierte Analysten in diesen Gruppen haben, können wir uns um Teams kümmern und sicherstellen, dass sie auf aussagekräftige Metriken achten und dass Erkenntnisse praktiziert werden. Im Wesentlichen wird sichergestellt, dass Teams Daten verwenden, um Maßnahmen und Entscheidungen zu treffen, und sich von der typischen monatlichen Berichterstattung abwenden.

AG: Ich weiß, dass es wahrscheinlich eine Million Dinge gibt, die Sie mit Amplitude machen. Was sind einige der wichtigsten Anwendungsfälle für Ihr Unternehmen?

RB : Das Hauptprodukt, das größte Produkt, das wir haben, ist eine Streaming-Plattform. In der Vergangenheit hatten wir also ohne Amplitude keine Daten, die mit dem Verhalten verknüpft waren, ob es nun darum ging, welche Inhalte zu mehr angesehenen Minuten führten oder welche Marketinginhalte die wertvollsten Benutzer anzogen. Alles, was wir hatten, waren Transaktionsdaten, die uns zusammenfassende Zahlen lieferten, die uns ein Gefühl für die Gesamtzahl der Benutzer, die Gesamtzahl der Aufrufe und die grundlegenden Dimensionen vermittelten.

Jetzt können wir darüber sprechen, wie sich unsere verschiedenen Benutzer aus der ganzen Welt verhalten, wer unsere wertvollsten Benutzer sind und welche Aktionen den größten Einfluss auf ihre Erfahrung haben. Aus QOE-Sicht können wir Daten verwenden, um die Videoqualität zu bewerten, z. B. wenn Videos puffern oder ins Stocken geraten, bevor sich Kunden beschweren, was es uns ermöglicht, die Größe und das Ausmaß von Problemen zu identifizieren, um zu informieren, woran wir jetzt arbeiten und langfristig weitermachen sollten beheben, oder wenn es sich um einen Grenzfall handelt, dokumentieren und zu etwas anderem übergehen. Ein interessanter und aktueller Anwendungsfall war die Analyse der Auswirkungen von Untertiteln auf die Zuschauerzahlen von Inhalten, das Benutzerwachstum und das Engagement. Anhand der Daten konnten wir beobachten, wie die Untertitelung einer Handvoll Inhalte in einer bestimmten Sprache ihre Leistung in überraschend vielen anderen Gebieten steigerte. Dies hat die Neugier geweckt, wie die Untertitelung im Allgemeinen nicht nur den Inhalt und das Wachstumspotenzial in ihrem Heimatmarkt stärkt. Untertitelung kann uns, wenn sie richtig gemacht wird, dabei helfen, mehr Märkte zu erschließen, um der Welt die besten philippinischen Inhalte zur Verfügung zu stellen. Dies ist ein Beispiel dafür, wie Daten es uns ermöglichen, neue Möglichkeiten zu nutzen, von denen wir vielleicht gar nicht wussten, dass sie existieren.

AG: Einer der Trends, die wir jetzt sehen, ist, dass Sie sehen können, wie Sie Leute gewonnen haben, und das mit dem verbinden, was sie in Ihrem Produkt tun. In Google Analytics habe ich oft festgestellt, dass Sie anfangs viele Leute aus verschiedenen Kanälen erhalten, aber Sie können den nachgelagerten Wert dieser Leute nicht wirklich messen. Sie könnten also weiterhin Geld in Kampagnen stecken, die Ihnen Leute bringen, aber Ihnen nicht wirklich Geld einbringen.

RB: Auf jeden Fall. Es ist eine Sache zu wissen, welcher Kanal Ihnen die meisten Benutzer bringt, aber die Fähigkeit, die Verkehrsquelle mit Verhaltensdaten zu verknüpfen, ist das Goldstück. Bis zu diesem Marketing-ROI-Punkt sind wir jetzt in der Lage, Werbeereignisse zu erfassen und sie zu bereichern. Wenn ein Nutzer eine Anzeige sieht, können wir dies als Anzeigenereignis definieren und erfassen. Wir reichern diese Anzeigenereignisse mit Daten aus Google Ad Manager an. So können wir selbst in Märkten, in denen unser OTT auf einem AVOD-Modell läuft, Werbeeinnahmen einem bestimmten Segment von Benutzern, einer Kohorte von Benutzern eines bestimmten Kanals oder einer bestimmten Plattform usw. zuordnen. Wenn wir diese Werbeeinnahmen mit einem Marketingbudget für eine bestimmte Kampagne vergleichen, können wir die Gesamteinnahmen sehen, die von Benutzern aus dieser Kampagne generiert wurden, selbst wenn sie nicht durch eine direkte Transaktion oder ein Abonnement getrieben wurden. Diese Fähigkeit ist für jedes OTT sehr relevant. In der Lage zu sein, Marketing-ROI und Werbeeinnahmen zu messen, ermöglicht es uns, Strategien auszuprobieren, bei denen AVOD in einigen Märkten funktionieren könnte, während ein SVOD-Modell für die Vereinigten Staaten und Kanada funktionieren könnte. Dies bietet eine zusätzliche Linse, die den Vermarktern hilft, die Rendite ihrer Investitionen zu sehen und im Gegenzug bessere Wetten abzuschließen.

AG: Wie hast du das gemacht? Ziehen Sie Daten aus AdWords als Ereignisse ein? Anscheinend sehen Sie Impressionen und Klicks von Anzeigen. Wie funktioniert das bei Amplitude?

RB: Wir arbeiten mit den Videosammlern von Datazoom, die an Amplitude gesendet werden. Im Wesentlichen gibt es Videoereignisse, die sie vom Player erfassen, während Benutzer Inhalte ansehen. Für jedes dieser Videoereignisse können wir benutzerdefinierte Metadaten senden sowie benutzerdefinierte Ereignisse auf dem Client deklarieren. Wenn wir als Nutzer also eine Anzeige sehen, reichert Datazoom die Anzeigendaten mit verschiedenen Attributen an, die aus einem neuen Datenabruf von Ad Manager verfügbar sind.

AG: Enthalten diese Daten dann auch die Marketing-/Werbekosteninformationen?

RB: Das ist das Stück, das im Moment separat behandelt wird. Informationen zu den tatsächlichen Marketingausgaben für Kampagnen liegen bei unseren Marketingmitarbeitern. Bei der Zusammenstellung des Marketing-ROI müssen Marketingspezialisten die Ausgabendetails entsprechend eingeben.

AG: Daran arbeiten wir tatsächlich. Wir möchten Ihnen dabei helfen, dies auch in Amplitude zu integrieren. Die andere Sache, die Sie anscheinend erwähnt haben, ist, dass Sie in der Lage waren, zu experimentieren und neue Dinge darüber zu lernen, was mit Erfahrung passiert. Sie haben erwähnt, was Sie aus der Untersuchung der Wirkung von Untertiteln gelernt haben. Haben Sie einen Prozess oder eine Strategie, um jede Woche neue Dinge aus Amplitude zu lernen? Und wie dokumentieren Sie das und wie machen Sie das zu einem Teil Ihrer Kultur?

RB: Abgesehen von der Frage-und-Antwort-Sitzung, die ich jeden Freitag gemacht habe, halten wir auch zweimal im Monat Sitzungen mit den verschiedenen Teams ab, die wir idealerweise mit einem anderen Team gruppieren, um die Perspektiven zu diversifizieren und die Neugier in unseren Diskussionen zu wecken. In jeder Sitzung teilen die Teams etwas, woran sie arbeiten und wie sie Amplitude verwendet haben, oder sie zeigen ein Diagramm, das sie verwenden, um sich auf eine laufende Initiative vorzubereiten. Sie erhielten Hausaufgaben für die folgende Sitzung, normalerweise eine Tabelle oder ein Notizbuch, und teilten sie mit der Gruppe. Dies war eine gute Möglichkeit, ihnen hilfreiches Feedback darüber zu geben, wie Daten sonst für eine überzeugendere Geschichte zusammengestellt werden könnten, oder um den Punkt wirklich zu verdeutlichen.

Gleichzeitig fordern wir sie angesichts der Daten heraus, die sie mit uns teilen. Wenn wir also zum Beispiel sehen, dass der Trend im Marketing dahin geht, dass sie keine Benutzer gewinnen, die bleiben, oder Benutzer, die beitreten, nur die Plattform besuchen, aber kein Zuschauerereignis durchführen, führen wir das Team auf den Weg der herauszufinden, was diese Benutzer auf der Plattform tun, und ihr Verhalten mit dem unserer Power-User aus früheren Kampagnen zu vergleichen. Wir versuchen herauszufinden, was funktioniert, was ihre Ähnlichkeiten sind und untersuchen weiter.

Für die Vermarkter, die sich mit Untertitelung befassen, denke ich, dass es unglaublich hilfreich ist, die Daten und diese Erkenntnisse zu haben, wenn sie nach ihrem Budget für die Untertitelung fragen und die Verfügbarkeit von untertitelten Inhalten fördern. Die Daten werden zusammengestellt, Erkenntnisse werden sichtbar und sie können ihre Empfehlungen vertrauensvoll weitergeben, weil sie wissen, dass sie auf Daten basieren. Und sobald Maßnahmen ergriffen werden, können sie die Wirkung ihrer Kampagne messen und Möglichkeiten zur Optimierung der Kampagne erkennen.

AG: Es hört sich so an, als würden sie einige der im Produkt enthaltenen Funktionen für die Zusammenarbeit verwenden, z. B. Notebooks. Waren die Notizbücher beim Geschichtenerzählen hilfreich, während sie diesen Prozess durchlaufen?

RB: Auf jeden Fall. Es hat auch die digitale Verschwendung reduziert, die durch das Erstellen von Screenshots, das Einfügen in PowerPoint-Decks usw. entsteht. Durch die Verwendung von Notizbüchern können wir die Geschichte schreiben und die Diagramme präsentieren, die die wichtigsten Erkenntnisse, die wir teilen möchten, am besten ausdrücken. In vielen Teams haben diese Notizbücher Präsentationsdecks ersetzt. Für diejenigen, die diese Notizbuch-Links erhalten, und das sind meistens das obere Management, führen wir auch Sitzungen durch, um sie mit diesem neuen Format der Präsentation von Erkenntnissen und Ideen vertraut zu machen. Das Schlüsselelement ist, dass sie interaktiv sind. Die Verwendung in einem Meeting, das Zeigen der interaktiven Elemente, fördert mehr Neugier und Interesse der Teilnehmer und lädt zu mehr Fragen ein. Meetings werden ansprechender, da wir die Daten abfragen und spontan Antworten erhalten können. Das hatten wir in der Vergangenheit noch nie. Pre-Amplitude würde es vielleicht drei Tage bis zu zwei Wochen dauern, bis Sie Antworten auf Folgefragen erhalten. Wenn Sie mich jetzt mit Amplitude bitten, weiter in den US-amerikanischen oder kalifornischen Markt zu schauen, um zu sehen, wie viele Benutzer wir dort haben, dann kann ich Ihnen tatsächlich in Echtzeit zeigen, wie das aussieht. Ich denke, das war spektakulär für alle zu sehen.

AG: Ich bin neugierig, es gibt viele automatisierte Einblicke in Amplitude, mit Einblicken, die auf Ihren Daten basieren. Verwenden Sie Funktionen, die einen Teil der Analyse automatisieren, oder solche, die versuchen, Ihre Analysten in eine bestimmte Richtung zu lenken?

RB: Im Moment nutzen wir automatisierte Insights hauptsächlich zur Erkennung von Anomalien.

AG: Und wie wird das verwendet?

RB: Für die OTT-Plattform hätte ich Echtzeit- und stündliche Überwachungsdiagramme für die wichtigsten Teile des Benutzertrichters, zum Beispiel den Registrierungsfluss. Die stündlichen Registrierungs-/Login-Charts würden Warnungen enthalten, die basierend auf einer bestimmten Abweichung vom historischen Mittel ausgelöst werden. Wenn ich diese Warnungen eingerichtet habe und sie mithilfe der Ursachenanalyse untersuchen kann, erhalte ich eine Reihe von Aufschlüsselungen nach den verschiedenen, am häufigsten abgefragten Benutzer- und Ereigniseigenschaften. Auf diese Weise können Sie schnell erkennen, was vor sich geht, und dann mit den zuständigen Teams besprechen, wie sie angegangen werden können.

AG: Ja, das ist ein ziemlich mächtiges Feature. Das Plus an Kohorten ist ziemlich mächtig, wenn es darum geht, die verschiedenen Gruppen Ihrer Benutzer zu sehen.

Welche anderen Tools befinden sich in Ihrem Daten- oder MarTech-Stack? Wo passen Amplitudendaten in das Gesamtbild? Gibt es andere Systeme? Nehmen Sie Kohorten von Benutzern und senden ihnen E-Mails mit einem anderen Produkt? Senden Sie Amplitudendaten an einen Data Lake? Gibt es noch andere Datenpunkte, die Sie in Amplitude ziehen, außer den Werbedaten, über die wir gesprochen haben?

RB: Wir erstellen mithilfe der Kohorten Zielgruppen und senden sie an unseren S3-Bucket. Und von dort aus bereiten wir sie vor und senden sie an unsere DMP, damit wir Benutzer unter anderem auf der Grundlage dieser Zielgruppen, Eigeninteressen und demografischen Merkmale ansprechen können.

AG: In Bezug auf das Amplitude-Produkt selbst, welche Art von Berichten oder Funktionen sind Ihrer Meinung nach Ihre bevorzugten, die Sie am häufigsten verwenden?

RB: Ich denke, die häufigsten wären Ereignissegmentierung und Trichter. Ich denke, die Ereignissegmentierung ist für den durchschnittlichen Benutzer am benutzerfreundlichsten. Es beantwortet die Frage: Was passiert? Wie viele Benutzer haben das gesehen? Wie viele Benutzer haben sich registriert? Und so weiter. Der natürliche nächste Schritt ist die Verwendung von Trichtern, um zu verstehen, wie die Conversion zwischen einem Benutzer, der dieses Ereignis A und Ereignis B durchführt, oder dem nächsten, was wir von ihm wollen, ist.

Einige unserer Teams verwenden bereits Lebenszyklusdiagramme, um zu verstehen, wie Benutzer auf die Plattform kommen und gehen. Jemand, der sich um das kostenlose Segment oder zahlende/abonnierte Benutzer kümmert, möchte dieses Lebenszyklusdiagramm wöchentlich oder monatlich sehen, um Antworten auf Fragen zu finden wie „Wie viele neue Benutzer sind diesen Monat auf der Plattform ?” „Wie viele der aktuellen Benutzer des Monats werden im nächsten Monat inaktiv?“ Und so weiter.

AG: Verwenden Sie Ihre Schulungen, um Ihre Amplitude-Benutzer über die vielen anderen Optionen zu informieren, die die Plattform bietet? Wir versuchen herauszufinden, wie wir die Leute dazu bringen können, die anderen häufiger zu verwenden.

RB: Absolut. Wenn es für uns in unseren Schulungen die Möglichkeit gibt, ihnen ein besseres Diagramm zu zeigen, um dieselbe Frage zu beantworten, oder ihre Frage weiter zu führen, zeigen wir ihnen einen alternativen Diagrammtyp, der genau das tut.

AG: Ich wollte über unser Benutzerprofil sprechen. In Google Analytics können Sie nicht nach einer bestimmten Person suchen und jedes Ereignis sehen, das sie gemacht hat, oder verschiedene Geräte zusammenführen, die sie verwendet hat. Ich habe mich gefragt, wie hilft das Benutzerprofil in Amplitude gegenüber dem, was Sie in Google Analytics haben, und auf welche Weise verwenden Sie das Benutzerprofil?

RB: Das Nutzerprofil ist ein großes Unterscheidungsmerkmal zwischen Amplitude und Google Analytics. Es gibt keinen Sinn für die Erfahrung eines einzelnen Benutzers in Google Analytics. Während Sie für Amplitude den Stream für einen einzelnen Benutzer nachschlagen können, sehen Sie, auf wie vielen Geräten sie sich befinden und welche Ereignisse sie während ihrer Sitzung ausgelöst haben. Zum Beispiel haben wir ein Einzelhandelsangebot, bei dem Benutzer für Inhalte bezahlen, die nur für ein 48-Stunden-Fenster zum Ansehen verfügbar sind. Gelegentlich erhalten wir Feedback von Kunden, die sagen, dass sie nicht auf die Inhalte zugreifen können, für die sie bezahlt haben, und befürchten, dass sie erneut bezahlen müssen. Mithilfe der Benutzersuche ist unser Kundendienstteam dann in der Lage, den Stream des jeweiligen Benutzers nachzuschlagen und die von ihm generierte Abfolge von Ereignissen zu analysieren. Wann wurde die Zahlung getätigt, was war das Zahlungsgateway und ob der Benutzer auf den Inhalt geklickt und nachfolgende Videoereignisse ausgelöst wurden.

Diese hochdetaillierte Ansicht auf Benutzerebene gibt dem Kundendienstteam die Gewissheit, Feedback besser zu verarbeiten und die Art der zu ergreifenden Reaktion oder Maßnahme zu verwalten. Am Ende ist das auch sehr gut für unsere Kunden, denn weniger Rätselraten führen zu einer schnelleren Problemlösung.