Wzmocnienie decyzji opartych na danych w Criteo

Jedynym sposobem na ulepszenie produktu jest zrozumienie, w jaki sposób korzystają z niego Twoi klienci. Aby to zrobić, musisz zbierać i analizować dokładne dane oraz odpowiednie informacje zwrotne. Najlepszym sposobem na uzyskanie tych informacji są szczere i otwarte rozmowy z klientami. Ale jak możesz mieć pewność, że zadajesz właściwe pytania i otrzymujesz w zamian właściwe odpowiedzi?

Podobnie jak inne internetowe platformy reklamowe, Criteo opiera się na opiniach klientów, aby tworzyć lepsze produkty dla marketerów cyfrowych. Oferujemy kompleksowy pakiet rozwiązań reklamowych dla sprzedawców detalicznych, marek i wydawców każdej wielkości. Nasza platforma analizuje zachowanie 2,5 miliarda kupujących online miesięcznie i wykorzystuje sztuczną inteligencję do wyświetlania bardzo trafnych reklam unikalnym odbiorcom, którzy są bardziej skłonni do interakcji z Twoją marką.

Na zatłoczonym rynku chcemy, aby nasi klienci byli superbohaterami marketingu; chcemy, aby korzystali z naszej platformy, aby ułatwić sobie codzienną pracę. Ale nie zawsze byliśmy w stanie ocenić ich wrażenia użytkownika z jakąkolwiek dozą pewności.

Przejście z usług zarządzanych do samoobsługowych pulpitów nawigacyjnych

Jestem naukowcem zajmującym się danymi i szefem zespołu Criteo Interfaces and Measurements. Zanim doszedłem do Criteo, byliśmy bardziej firmą zarządzającą usługami. Nasi klienci dzwonili i prosili nas o zajęcie się różnymi aspektami ich kampanii reklamowych. Takie podejście pochłonęło nasz czas i zasoby oraz uniemożliwiło wprowadzanie innowacji.

Dlatego zaczęliśmy budować samoobsługowe pulpity analityczne dla naszych klientów. Dając im większą kontrolę nad danymi, mogą wziąć na siebie większą odpowiedzialność za wszystko, od kampanii retargetingowych po banery reklamowe.

Tworząc samodzielnie zarządzane dashboardy, postępujemy zgodnie z trzyetapowym procesem. Najpierw ustalamy, jakie dane są najbardziej przydatne dla naszych użytkowników, badając ich interakcje z naszą platformą. Następnie tworzymy wstępny pulpit nawigacyjny i udostępniamy go kilkunastu klientom, którzy przez miesiąc lub dwa próbują nowe narzędzie. Po wstępnej rundzie opinii poświęcamy kilka tygodni na ulepszanie pulpitów nawigacyjnych, zanim udostępnimy je wszystkim naszym użytkownikom.

Nowy sposób ważenia opinii klientów

Kiedy po raz pierwszy rozpoczęliśmy tworzenie tych pulpitów nawigacyjnych, śledziliśmy nasze próby z modułem szkoleniowym w zakresie analityki i telefonem, w którym poprosiliśmy użytkowników o opisanie swoich doświadczeń. Często mówili nam, że są zdezorientowani i nie mogą zrozumieć, jak korzystać z nowej funkcji, mimo że przeszli sesję szkoleniową. Nie mogliśmy być pewni, czy nasi klienci nawet wypróbowali funkcje, które według nich są mylące. Czasami widać było, że spędzili z produktem tylko kilka minut tuż przed rozmową.

Mimo że poprosiliśmy o krytyczne opinie na temat nowych funkcji, okazało się, że niektórzy testerzy obawiali się, że będą zbyt negatywni, jeśli podzielą się czymś innym niż przychylnymi opiniami. Było jasne, że musimy śledzić ich użycie podczas testowania nowego pulpitu nawigacyjnego, aby nadać kontekst swojej ocenie.

Mniej więcej w tym samym czasie, kiedy przyszedłem do Criteo, wprowadziliśmy Segment, aby zbierać, czyścić i kontrolować dane klientów oraz Amplituda, aby analizować, w jaki sposób nasi klienci korzystają z platformy. Amplituda umożliwiła nam odejście od niepotwierdzonych dowodów i rozpoczęcie wykorzystywania danych do podejmowania decyzji dotyczących nowych funkcji platformy.

Pierwszą rzeczą, jaką pomógł nam nasz nowy system, było ustalenie priorytetów opinii klientów. Widzimy teraz, którzy klienci często korzystali z dashboardów, więc wiemy, że ich uwagi i uwagi są bardzo cenne. Jeśli widzimy, że ktoś nie spędził dużo czasu na pulpitach nawigacyjnych, a mimo to mówi nam, że nie podoba mu się to, jak to wygląda lub nie uważa, że ​​​​funkcja jest przydatna, nie przywiązujemy wagi do tej opinii. Amplituda pomogła nam zidentyfikować najbardziej autentyczne opinie i skupić się na rzeczywistych problemach.

Testowanie i ulepszanie przepływów pracy klientów

Następnie pracowaliśmy nad stworzeniem i udoskonaleniem siedmiu zautomatyzowanych przepływów pracy, które stanowią rdzeń naszej platformy samoobsługowej, w tym tworzenie kampanii, kuponów i treści.

Wykorzystaliśmy Amplitude, aby określić, czy nasi klienci mogą wykonać dany przepływ pracy, taki jak stworzenie banera reklamowego lub złożenie kampanii retargetingowej.

Amplituda pokazuje nam procent klientów, którzy śledzą przepływ pracy do końca, a my możemy monitorować, gdzie ludzie utknęli po drodze. Jeśli widzimy, że 90% naszych użytkowników kończy przepływ pracy, wiemy, że działa całkiem nieźle. Z drugiej strony, jeśli pojedynczy przepływ pracy ma tylko 30% ukończonych, wiemy, że musimy wprowadzić istotne zmiany.

Szczegółowe analizy Amplitude pozwalają nam wskazać problemy naszych klientów i odpowiednio dostosować nasze przepływy pracy. W ciągu zaledwie kilku miesięcy nasz wskaźnik ukończenia przepływu pracy przy tworzeniu kampanii wzrósł ponad trzykrotnie. Chociaż wciąż mamy wiele do zrobienia, wiemy, że nadal nie wiemy, co się dzieje, gdybyśmy nadal polegali na niepotwierdzonych dowodach.

Amplituda pomogła również ulepszyć sposób, w jaki wprowadzamy zmiany w naszym produkcie. Nasi analitycy danych produktów mogą dodawać i odejmować cechy i funkcje, a następnie przeprowadzać testy przed/po testach, aby ocenić reakcje naszych użytkowników. Jeśli nasi klienci przyjmą jakąś funkcję, zachowamy ją. Ale jeśli zauważymy, że adopcja jest niska, łatwo jest spróbować czegoś innego. Możemy również priorytetyzować przepływy pracy, które wymagają poprawy i prognozować przyszłe dodatki do naszej platformy na podstawie bieżących zachowań klientów.

Przekształcenie wewnętrznego zarządzania danymi Criteo

Do tej pory omówiliśmy, w jaki sposób szczegółowe spostrzeżenia Amplitude doprowadziły do ​​zewnętrznych zmian w naszej platformie i przepływach pracy klientów. Jednak użycie Amplitude spowodowało również transformację wewnętrznych praktyk zarządzania danymi Criteo.

Nasz zespół rozrósł się przez lata. Na początku mieliśmy jednego analityka i jednego programistę korzystającego z Amplitude, a teraz mamy 60 użytkowników wewnętrznych, w tym nowych pracowników i menedżerów produktu. Gdy dorastaliśmy, musieliśmy zmienić sposób, w jaki uzyskujemy dostęp do danych i rozmawiamy o nich.

Nie mieliśmy odpowiedniej dokumentacji, więc moi koledzy, analitycy Eve-Anne Pagani i Myriam Klikel, przejęli problem i stworzyli obszerne podręczniki użytkownika. Otworzyliśmy również kanał Slack, w którym użytkownicy mogą zadawać pytania, prosić o wsparcie i brać udział w naszych co dwa tygodnie, godzinnych, otwartych dyskusjach.

Zebraliśmy teraz naszą taksonomię, śledzenie danych i konwencje zdarzeń w centralnym repozytorium dostępnym dla wszystkich użytkowników Amplitude w naszych zespołach programistycznych, projektowych i analitycznych. Wszyscy postępują zgodnie z tymi samymi wytycznymi, więc nie ma zamieszania ani niewiadomych, w jaki sposób różne zespoły używają Amplitudy i co mamy na myśli, gdy mówimy o danych.

Kultura samodzielności i innowacji

Amplituda sprawia, że ​​dane są dostępne dla osób, które nie są analitykami danych. Jego wykresy i wizualizacje przedstawiają złożone informacje w łatwym do zrozumienia formacie. Nasi menedżerowie produktów mogą generować raporty, które śledzą ich cele, nie prosząc naszych analityków danych o dostarczenie i zinterpretowanie ich wyników. Nasi menedżerowie produktów mogą skoncentrować się na kampaniach naszych klientów, podczas gdy nasi analitycy danych mogą nadal zapewniać wsparcie i tworzyć nowe funkcje.

Amplituda stworzyła w Criteo kulturę samodzielności. Umożliwiło nam to odejście od modelu biznesowego usług zarządzanych i przejście na model, który oferuje naszym klientom samoobsługowe narzędzia marketingowe online, jednocześnie oferując wsparcie ze strony naszych menedżerów produktu w razie potrzeby. Wzmocnił również nasze wewnętrzne zespoły i procesy, dając nam narzędzia do śledzenia naszych postępów, tworzenia lepszych przepływów pracy i współpracy.

Zaczęliśmy używać Amplitude do zbierania informacji w czasie rzeczywistym, które pomogłyby nam w znaczącym ulepszeniu naszych produktów. Teraz Criteo umożliwia naszym pracownikom podejmowanie decyzji opartych na danych, przygotowując grunt pod przyszły rozwój i innowacje.