Нобелевский лауреат Даниэль Канеман в книге «Думай медленно... решай быстро» (2011) описал феномен WYSIATI – «то, что ты видишь, и есть всё». Мозг строит убедительную картину из доступных данных и не замечает того, чего нет. ИИ устроен так же: строит связный рассказ из того, что ему дали, и не сигналит о том, чего не хватает.
Отсюда растёт главная проблема с AI-инсайтами: они всегда звучат убедительно. Даже когда описывают то, что давно известно.
Короче.
Команда получает отчёт. Пять пунктов, красивые формулировки. Все соглашаются. На следующей неделе – новый отчёт, тот же ритуал.
Вы не одни. Вокруг нас масса команд, где каждый понедельник генерируют AI-отчёт на пять пунктов. Ни один пункт не был реализован. Зато все чувствовали, что «аналитику делают».
Причина такого болота как всегда в фундаменте. Нет ничего более бесполезного, чем промпт «найди инсайты». Ну сожженные токены.
А как вам такое: не «найди инсайты», а «найди аномалию в этом показателе за последние три недели и предложи одну гипотезу с проверяемым критерием»? Поинтереснее?
В общем когда задача конкретная – модель реально помогает: считает отклонения, ищет паттерны, формулирует гипотезу. Без конкретной задачи – красиво упаковывает то, что и так видно.
Вам ехать или шашечки?
Пять признаков, что ответ модели - это не инсайт:
- Ты уже это знал. «Конверсия ниже в выходные» – ну да. И что из этого следует?
- Из него не следует никакого решения про деньги или людей. Если после чтения непонятно, что делать – это наблюдение, не инсайт.
- Он актуален всегда. Настоящий инсайт привязан к конкретному периоду и ситуации.
- Для проверки нужно «ещё поанализировать». Инсайт должен быть проверяем прямо сейчас с теми данными, что есть.
- Эту гипотезу нельзя опровергнуть.
Канеман получил Нобелевскую в 2002-м. WYSIATI никуда не делся. ИИ, обученный на человеческих текстах, воспроизводит эту же черту: уверенно говорит о том, что видит. Молчит о том, чего нет.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале «Модель атрибуции».
