Я сейчас сетаплю нескольким клиентам AI-агентов для маркетинг-аналитики, и за последнее время у нас начало складываться практическое понимание, как им вообще нужно ставить задачи.
Мы уже нащупали несколько рабочих принципов, но есть мысль Ильи Красинского, которая усилила их.
Смотрите.
Задачу агенту можно поставить так: «Сделай X».
Можно чуть лучше: «Сделай X и верни мне противоречия, вопросы и быстрые победы».
Но по-настоящему рабочий вариант такой: «Сделай X. Потом опровергни свой результат».
Почему это важно?
Проблема LLM не в том, что она глупая. Проблема в том, как работает её внимание. Модель не изучает ваш запрос посимвольно, а сразу смотрит на весь запрос-контекст и пытается собрать из него наиболее связную и вероятную линию ответа. Если в постановке нет чанков сомнения, проверки и альтернатив, она почти не получает сигнала на атаку гипотезы.
То есть - агент становится заложником механики самовнимания: не проверяет мысль, а достраивает её до убедительного вида.
Поэтому агенту полезно ставить не только задачу на выполнение, но и задачу на фальсификацию.
Это, по сути, один из факторов научного познания: сила гипотезы не в том, что она всё красиво объясняет, а в том, что её вообще можно опровергнуть. Фальсифицируемость не ослабляет гипотезу, а делает её сильнее.
Что можно просить у агента:
- выписать допущения
- найти, что он не учёл
- назвать 3 причины, почему решение не сработает
- проверить альтернативные объяснения
- показать, где получился не результат, а его имитация
Не так: «Сделай анализ retention и предложи, как его поднять».
А так: «Сделай анализ retention. Потом опровергни свои выводы: найди 5 причин, почему гипотеза может быть ложной, проверь альтернативные объяснения и отдельно выпиши, что ты не проверил».
Хороший агент - это не порядочный исполнитель. Это ваш leverage. Но без критики он будет старательно тащить вас по дорожке эмпатии - и не факт, что к результату.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале «Модель атрибуции».
