Друг скинул статью Anthropic про то, как они автоматизировали аналитику через Claude.
Цифра красивая: 95% запросов к данным у них теперь закрывает AI.
Сначала читаешь и думаешь: ну все, приехали.
Сейчас каждый менеджер будет сам спрашивать базу данных, получать графики, делать выводы, и аналитики больше не нужны.
Но дальше начинается самое интересное.
Claude стал точным не из-за магии SQL.
SQL - это вообще не самая большая проблема.
Большая проблема - понять, что считать.
Например, человек спрашивает:
«Сколько у нас активных пользователей?»
Нормально звучит.
Только дальше начинается веселье.
Активный - это кто?
Кто зашел?
Кто нажал кнопку?
Кто купил?
Кто вернулся за 7 дней?
А фрод выкидываем?
А тестовые аккаунты?
А сотрудников?
Если это нигде нормально не описано, AI сделает что?
Правильно.
Уверенно выберет какой-нибудь вариант.
Только вывод может быть мимо.
И это, по-моему, самый неприятный тип ошибки в аналитике.
Когда все выглядит умно, но по факту бла-бла-бла.
Что сделали Anthropic?
Они сначала описали правила игры:
- какие таблицы главные
- как считаются метрики
- где свежие данные
- кто отвечает за метрику
- какие ошибки часто бывают
- как проверять ответ
Там есть умные слова типа semantic layer, evals, provenance.
Но если по-простому:
semantic layer - «как мы официально считаем метрики».
evals - «проверочные вопросы, где мы знаем правильный ответ».
provenance - «откуда взялось число и можно ли ему верить».
После этого Claude начал нормально отвечать.
Без таких правил точность была до 21%.
Со skills - выше 95%.
Вот это уже интересно.
Получается, AI-аналитик проверяет, насколько у компании вообще в порядке аналитика.
Если метрики описаны - AI ускоряет работу.
Если в метриках хаос - AI делает хаос быстрее и увереннее.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале «Модель атрибуции»
