Одна из самых опасных ошибок при работе с AI в аналитике — не то, что модель ошибается. А то, что она ошибается очень уверенно.

Именно поэтому главный навык аналитика в эпоху AI — не просто уметь задавать промпт, а уметь проверять ответ.

Почему это критично

AI может:

  • написать красивый SQL
  • предложить “правильный на вид” pandas-код
  • уверенно объяснить метрику
  • сделать гладкий summary по данным

Но при этом:

  • логика может быть неверной
  • результат может дублироваться после JOIN
  • фильтр может стоять не на том этапе
  • вывод может не следовать из данных

Поэтому для аналитика правильная позиция такая:

  • AI дает черновик
  • человек валидирует

Что проверять в SQL-ответах AI

Вот минимальный чек-лист.

1. Правильные ли таблицы и поля

AI любит придумывать:

  • несуществующие столбцы
  • неверные названия таблиц
  • поля, которых нет в схеме

Первый шаг — просто сверить:

  • есть ли такие колонки
  • существуют ли такие таблицы
  • совпадает ли логика ключей

2. Не раздувает ли JOIN результат

Это одна из самых частых скрытых ошибок.

Проверь:

  • уникален ли ключ в правой таблице
  • нет ли many-to-many соединения
  • не размножатся ли строки после JOIN

Если AI пишет LEFT JOIN, это не значит, что результат автоматически корректен.

3. На правильном ли этапе стоит фильтр

Типовая ошибка:

  • агрегат вынесен в WHERE вместо HAVING
  • условие для исходных строк по ошибке поставлено в HAVING

Проверяй:

  • что фильтруется до группировки
  • что фильтруется после группировки

4. Не ломается ли логика на NULL

Очень частые проблемы:

  • NOT IN при наличии NULL
  • деление на ноль
  • COUNT(column) вместо COUNT(*)
  • сравнение с NULL через =

Если AI не учитывает NULL, ответ может быть красивым, но ненадежным.

Что проверять в Python-ответах AI

1. Реально ли этот код запустится

AI часто пишет код, который выглядит правдоподобно, но:

  • в нем не импортирован модуль
  • перепутаны имена переменных
  • несуществующий метод pandas
  • неправильный порядок аргументов

Поэтому код надо не “оценивать глазами”, а запускать.

2. Не меняет ли код смысл данных

Например:

  • merge без проверки кратности
  • fillna(0) там, где ноль и NULL имеют разный смысл
  • drop_duplicates() там, где нужна другая логика отбора

То есть проверяй не только синтаксис, но и смысл.

3. Не делает ли AI решение слишком сложным

Иногда AI предлагает:

  • длинный apply
  • лишние циклы
  • сложные конструкции там, где хватает простой векторной операции

Хороший вопрос к себе:

  • а нельзя ли решить это проще и понятнее?

Что проверять в выводах по данным

Это особенно важно, потому что именно здесь люди чаще всего начинают доверять AI слишком рано.

Проверяй:

  • вывод действительно следует из чисел?
  • нет ли лишней интерпретации?
  • не подменяет ли AI факт гипотезой?
  • не делает ли слишком сильный вывод из слабого сигнала?

Например:

  • “конверсия выросла” — на сколько?
  • “есть сильная корреляция” — где доказательство?
  • “нужно срочно менять стратегию” — на основании чего?

Самый полезный практический подход

Разделяй проверку на 3 уровня.

Уровень 1. Синтаксис и техника

  • код запускается?
  • запрос выполняется?
  • поля существуют?

Уровень 2. Логика данных

  • правильные join?
  • правильная агрегация?
  • правильный уровень детализации?

Уровень 3. Бизнес-смысл

  • корректна ли интерпретация?
  • отвечает ли решение на исходный вопрос?
  • нет ли натяжек в выводах?

Какие вопросы полезно задавать себе после ответа AI

Вот очень рабочий мини-чеклист:

  • что именно модель посчитала?
  • на каком уровне детализации?
  • где может быть ошибка?
  • какие допущения она сделала?
  • что здесь сломается на грязных данных?
  • как я бы проверил это вручную на маленьком примере?

Очень полезная техника: маленький тестовый пример

Если AI написал сложный SQL или pandas-логику, полезно придумать маленький игрушечный набор данных на 3–5 строк и проверить:

  • совпадает ли реальный результат с ожидаемым

Это очень быстро выявляет:

  • ошибки join
  • ошибки агрегации
  • ошибки с NULL
  • неверную логику фильтрации

Итог

Проверка ответов AI в аналитике — это не дополнительный этап, а обязательная часть работы.

Главное правило:

  • AI хорошо ускоряет черновую часть
  • ответственность за корректность остается на аналитике

Если ты умеешь быстро проверять:

  • SQL
  • Python
  • метрики
  • выводы

то AI становится мощным помощником. Если нет — он превращается в источник очень дорогих ошибок.