Есть три вида лжи: ложь, наглая ложь и статистика.
Чем безоблачнее картина в ваших отчетах, тем беспокойнее должен быть ваш внутренний параноик. Бесконечно зеленый дашборд? 200% плана три месяца подряд? Фантастическая конверсия в активацию? Самое время насторожиться.
Как метрики становятся «лучше» сами по себе?
Всё просто. Достаточно немного «поколдовать» с настройками:
- посчитать конверсию, не разделяя новых и текущих,
- считать ДРР вместе с органикой и ручником,
- подкрутить масштаб в бар-чартах,
- сделать окно атрибуции бесконечным.
Формально всё правильно. А цифры становятся приятнее. Куда ни глянь – всем классно.
На самом деле далеко не всем.
Я сам был свидетелем процесса «оптимизации фильтров» перед митингом. ROMI вырос в полтора раза.
Почему это никто не замечает?
Потому что формально все верно. И формулку можно показать. И даже какую-то логику для неё придумать. Челленджить однажды показанные красивые цифры крайне трудно. И больно. Поэтому я держу «параноид мод» включенным по умолчанию всегда.
Люди - не плохие. Они - люди.
Как перестать попадаться на подмену?
- документировать расчёты и делиться ими с командой,
- фиксировать источники данных,
- регулярно сверять цифры с CRM и финансовыми системами,
- проверять не только «красивый» отчёт, но и сырые данные.
И самое главное – задавать неудобные вопросы. Регулярно ставить под сомнение свою точку зрения. Не почему все вокруг тупые, а почему я решил, что такая методика расчета верная?
Если будете делать так – у вас наверняка перестанут колосситься графики и таблички. Но при этом бизнесу всегда будет, на что опереться.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале «Модель атрибуции».
