Как понять, что продукт действительно работает: три доклада с аналитического митапа Ситидрайва

В октябре мы в Ситидрайве собрали аналитиков, продактов и маркетологов на офлайн-митапе, чтобы поговорить о том, как принимать продуктовые решения на данных — и уходить от привычного «кажется, это работает».

В центре встречи были вполне прикладные бизнес-вопросы. Сколько на самом деле приносит программа лояльности? Как понять, что продуктовая фича решает задачу пользователя, а не просто двигает метрику? И как оценить эффект изменения, если провести классический A/B-тест не получилось?

Своими подходами и кейсами поделились команды Ситидрайва, Т-Банка и Wildberries. Собрали записи трёх выступлений и коротко рассказываем, что в них можно найти.

Сколько стоит скидка, которую мы даём

Дарья Родионова, аналитик команды маркетинга и роста Ситидрайва, и Александр Антепа, лид маркетинговой аналитики и аналитики роста Ситидрайва

Смотреть запись выступления

Скидку выдать легко, сложнее понять, сколько она действительно принесла бизнесу. В докладе Даша и Саша разбирают, как в Ситидрайве оценивают лояльность пользователей, программу лояльности и подписку в деньгах. Главный вопрос — как отделить реальный эффект механики от поведения пользователей, которые и без дополнительной мотивации продолжили бы активно пользоваться сервисом.

Потребности и джобы продуктов в A/B-тестах

Егор Хорев, менеджер продукта «Аналитика мобильного банка» в Т-Банке

Смотреть запись выступления

Рост метрики ещё не всегда означает, что продукт стал лучше для пользователя. Егор рассказывает, как в Т-Банке связывают продуктовые изменения с конкретными пользовательскими задачами и используют метрику джобовости при постановке экспериментов. Такой подход помогает ещё до запуска теста сформулировать, какой именно эффект должна дать фича и зачем он нужен бизнесу.

Double Machine Learning vs Propensity Score Matching: как оценивать нерандомизированные эксперименты

Платон Попов, дата-аналитик AB-платформы Wildberries

Смотреть запись выступления

В реальном продукте далеко не каждое изменение можно проверить классическим A/B-тестом с заранее сформированными сопоставимыми группами пользователей. На примере эксперимента с рекламой в ПВЗ Wildberries Платон сравнивает два подхода к оценке эффекта — Propensity Score Matching и Double Machine Learning. В выступлении — о том, чем методы отличаются на практике и почему в этом кейсе DML позволил быстрее и надёжнее оценить влияние изменения.

Завершили встречу круглым столом, на котором обсуждали, как в разных продуктах выбирают метрики, оценивают эффект изменений и принимают решения в ситуациях, когда данных много, а однозначного ответа всё равно нет.

Для нас такие встречи — возможность сравнить практики разных команд и обсудить не только идеальные модели из учебников, но и то, как аналитика работает в реальном бизнесе.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев