Как мы реализовали безопасную для детей аналитику с помощью Amplitude

PopJam — это социальная платформа, созданная с нуля, чтобы быть безопасной, подходящей и полностью анонимной для детей. Это безопасное модерируемое сообщество для детей, где они могут знакомиться со своим любимым контентом и брендами, разработанное специально в соответствии с требованиями безопасности и конфиденциальности данных (COPPA, GDPR-K) для аудитории младше 13 лет. Поскольку он предназначен для детей от 7 до 12 лет, мы очень серьезно относимся как к конфиденциальности, так и к соблюдению требований.

Критической проблемой для любой платформы является аналитика продукта, которую вы используете для измерения и изучения. Это никогда не бывает тривиальной задачей. Решение о том, что и как измерять, требует тщательного обдумывания, но, по крайней мере, у вас есть огромный выбор продуктов и решений, часто с полнофункциональными SDK, которые упрощают и ускоряют внедрение.

В детской цифровой экосистеме все иначе.

При создании приложений для детей у вас есть дополнительный набор проблем и ограничений. Если бы вы просто подключили готовый SDK для аналитики, вы, скорее всего, обнаружили бы, что SDK для аналитики транслирует персональные идентификационные данные (согласно определению COPPA) из вашего клиентского приложения и записывает их на стороне сервера. Это стандарт для аналитических платформ, созданных для «взрослого» Интернета, и позволяет этим платформам предоставлять более подробные сведения, такие как географические тепловые карты. Тем не менее, мы принимаем все меры предосторожности, чтобы избежать этого на платформе PopJam, будь то веб-сайт или мобильная версия, в качестве отдельного продукта или встроенного в продукты клиентов.

Пока вы обдумываете свои варианты в этом пространстве, позвольте мне подумать о путешествии, которое мы прошли с PopJam, чтобы проиллюстрировать пару возможных подходов.

Сверните свой собственный

Мы все знаем треугольник дешево/быстро/хорошо. В команде PopJam мы начали с решения, которое накатили сами. Мы расширили базу данных Amazon Redshift, установили средство выполнения запросов с открытым исходным кодом Re:Dash и приступили к работе над определением и реализацией нашей собственной инфраструктуры событий аналитики.

Мы создали наши собственные клиентские SDK для трансляции событий аналитики продукта в наш собственный API аналитики, следя за тем, чтобы не передавать какие-либо данные, которые можно было бы использовать для идентификации или снятия отпечатков пальцев пользователя. Затем наша служба событий тщательно отбрасывала все оставшиеся PII, такие как IP-адрес и пользовательский агент в запросе, и записывала событие в необработанную базу данных для ночной обработки.

Затем мы кропотливо создали наши ETL, схемы аналитики и определения метрик вручную в чистом SQL, используя Re:Dash для планирования и выполнения этих запросов.

Изначально это казалось отличным решением. Дешево (построено на инструментах с открытым исходным кодом и внутренней сборкой), быстро (мы контролировали масштаб и дорожную карту) и хорошо (мы знали, что это соответствует требованиям, и у нас была полная видимость и контроль над нашими данными). Однако появление трещин не заставило себя долго ждать.

Не так дешево

Несмотря на относительно дешевую эксплуатацию, с точки зрения инфраструктуры, она была далеко не дешевой в эксплуатации и обслуживании. Наши ночные пакетные задания, Redshift, Re:Dash, оказались несколько нестабильными, и дни в месяц времени нашего технического руководителя уходили на перезапуск, отладку, восстановление потерянных данных, реагирование на недовольных бизнес-пользователей и в целом поддержание аналитики продукта. . Когда он потерпел неудачу, были затронуты все виды бизнес-функций, поскольку мы создали такие вещи, как отчеты о кампаниях, информационные панели управления сообществом и маркетинговую атрибуцию поверх данных в нем.

Это также отнимало массу времени у наших продакт-менеджеров, которым приходилось создавать каждую метрику, график, информационную панель, инструмент отчетности и запросы вручную, обучаясь по ходу дела. Были допущены ошибки, на исправление которых, в свою очередь, ушло больше времени.

Альтернативные стоимость

Все эти усилия не только отнимали много времени, не говоря уже о разочаровании команды, но и представляли собой огромные альтернативные издержки. Поскольку наш менеджер по продукту иногда проводил целых два дня в неделю, глубоко погрузившись в SQL, у них было меньше возможностей сосредоточиться на работе по поиску отличного продукта. Ответы на вопросы, возникающие во время исследования, требовали гораздо больше времени, что еще больше замедляло итерационный цикл, и часто у нас не было навыков, чтобы полностью ответить на наши собственные вопросы, и вместо этого приходилось прибегать к более простому анализу.

Кроме того, любые улучшения, которые мы хотели бы внести в наш набор инструментов для аналитики, анализа или визуализации, потребуют определения приоритетов в нашем невыполненном списке. Мы ничего не получали с течением времени, если не вкладывали ворчание. Никто не двигал нас вперед, если мы этого не делали.

Не достаточно хорош

В то время как Re:Dash работал сносно, было несколько недостатков, даже помимо надежности (которые, скорее всего, можно было бы решить, если бы мы расставили приоритеты по времени, чтобы инвестировать в него). Нашей ключевой проблемой было то, что мы полагались на собственный статистический анализ и навыки составления запросов внутри команды. Менеджер по продукту (я!) не был специалистом по данным. У нас не было специального аналитика данных в бизнесе.

В то время как мы могли самостоятельно обслуживать основы и делать разумные открытия в данных, существовала вселенная более продвинутых аналитических методов и подходов, которые были закрыты для нас. Нам нужна была аналитическая платформа, которая действительно могла бы поднять нас над нашими собственными навыками и усилить нашу способность по-настоящему понять, что наши данные говорят нам об использовании нашими пользователями и клиентами платформы PopJam.

Повышение уровня

Когда мы стали чаще выходить за пределы своих возможностей, мы отправились на поиски экспертов, которые могли бы решить нашу проблему. Мы знали, что существуют более продвинутые решения, так как многие из нас использовали их в предыдущих ролях. Нам нужно было больше информации, чтобы продолжать улучшать процесс разработки продукта.

Прежде чем выбрать Amplitude, мы попробовали несколько разных аналитических платформ. Мы были поражены их пользовательским интерфейсом, который был полностью посвящен разработке продукта. Платформа Amplitude содержала множество невероятно мощных и простых в использовании инструментов аналитики, которые у нас просто не было практической возможности сделать самостоятельно в нашем предыдущем решении.

Одним из наиболее важных улучшений стала возможность определять когорты из любой точки данных с помощью Microscope. Помимо того, что группа разработчиков продукта получила возможность легко изучить поведение тех пользователей, которые (например) чаще всего оставляют комментарии, и посмотреть, что еще они делают, команда маркетинга также смогла сразу же использовать эту функцию, чтобы понять насколько вовлечена группа пользователей, присоединившихся в результате конкретной маркетинговой кампании, и оценивает, привела ли эта тактика «правильных» детей.

Еще один инструмент, на создание которого мы не могли бы посвятить время, — анализ воздействия. С помощью этого инструмента анализа мы смогли выявить и изучить гипотезу о том, что знакомство с викториной о личности и удовольствие от нее на раннем этапе вашего путешествия в PopJam оказывает большое влияние на то, как вы воспринимаете продукт и насколько вы продолжаете вовлекать и удерживать.

Миграция

Переход на Amplitude был простым. Мы сохранили наш существующий безопасный для детей конвейер событий и клиентский код, но передали все события из нашей службы событий в Amplitude через их HTTP API. Это гарантировало, что мы сохранили полный контроль над тем, какие данные покидают (или, что более важно, не покидают) детское устройство. Мы продолжали использовать наши индивидуальные клиентские SDK, а не клиентские SDK Amplitude, так как это позволяло нам полностью контролировать данные, покидающие устройство ребенка. Мы поддерживали нашу службу событий, которая служила для обеспечения того, чтобы (а) мы оставались отделенными от какой-либо конкретной аналитической платформы и (б) мы полностью контролировали конфиденциальность данных до их передачи в Amplitude.

В результате мы смогли воспользоваться всеми преимуществами мощных интерфейсных инструментов Amplitude с полной уверенностью в том, что Amplitude не содержит абсолютно никаких данных, позволяющих установить личность наших пользователей.

Несмотря на то, что это решение дороже, чем наше предыдущее решение, мы снова сосредоточились на нашей способности внедрять инновации и итерировать наши продукты и платформы, что бесценно.

Безопасная для детей аналитика

Набор инструментов, который у нас есть сейчас, на световые годы опережает то, что мы смогли достичь внутри компании, с точки зрения аналитической сложности, он обеспечил глубину понимания и руководство для итерации продукта, к которым мы никогда бы не приблизились. Теперь команда и бизнес доверяют цифрам. Мы развернули Amplitude в SuperAwesome для нескольких команд, не связанных с продуктом, потому что пользовательский интерфейс интуитивно понятен и не представляет угрозы (прощай, SQL!).

Скарлетт Кейфорд, глава PopJam, возглавляет команду стратегов, дизайнеров и руководителей рекламных операций, каждый из которых регулярно использует Amplitude для анализа данных в различных областях PopJam.

«Хотя наш собственный набор инструментов был работоспособен, это означало, что мы были ограничены в том, что мы могли измерить, и полностью полагались на менеджеров по продукту в создании новых запросов. Amplitude достаточно прост, чтобы мы могли создавать свои собственные запросы, а разбивать эти данные на разные временные рамки и географические регионы чрезвычайно просто. Принятие Amplitude дало нам автономию, а также авторитет и позволило нам реагировать намного быстрее».

Переход от аналитического решения с открытым исходным кодом собственной разработки к Amplitude был для нас отличным выбором. Нам удалось найти настройку, которая позволила нам использовать Amplitude таким образом, чтобы по-прежнему защищать конфиденциальность данных наших пользователей младше 13 лет, в то же время предоставляя нам сложный набор инструментов для понимания того, как используется наш продукт.

Мы больше не беспокоимся об аналитике. Мы получаем постоянные улучшения наших инструментов и новые возможности, потому что есть совершенно другой бизнес, думающий об этой проблемной области. Нам больше не нужно быть экспертами в области, которая не имеет ничего общего с тем, чтобы сделать Интернет более безопасным для детей.