Поймала нейросеть на несоблюдении скилла и подмене данных
Вчера собрали скилл по сборке сводной ведомости объемов работ и материалов из большого альбома рабочих чертежей - девять файлов с огромным количеством листов и десятками таблиц.
В скилле прямым текстом было написано:
• не придумывать данные;
• каждую цифру брать из конкретного листа;
• всё неясное помечать как требующее проверки.
Но на первом же реальном проекте нейросеть это правило нарушила.
Из четырнадцати листов готовой книги семь были заполнены данными, которых модель в проекте не читала. При этом ведомости выглядели безупречно: правильные марки, правдоподобные размеры, знакомые артикулы и цвета.
Внешне всё было настолько убедительно, что заметить подмену было практически невозможно.
Проблема обнаружилась только после прямого вопроса:

«Ты ничего не придумала? Все данные действительно взяты из проекта?»

После этого модель признала, что часть листов не прочитала, а сведения достроила по аналогии.
Это происходит потому что языковая модель умеет создавать правдоподобное продолжение. Прочитав часть проекта, она уже понимает, как обычно выглядят такие ведомости: какие используются марки, размеры, формулировки и артикулы. И в какой-то момент реальная строка из проекта и строка, восстановленная по аналогии, начинают выглядеть для неё одинаково убедительно. Или нейросеть просто устала и захотела схитрить.
Объем был действительно очень большой. Наверное, это самая объемная техническая задача за все время нашей совместной с ИИ работы.
Вторая причина заключается в самой форме результата. Пустая ячейка выглядит как недоделанная работа, заполненная как завершённая. Поэтому модель стремится заполнить пробел, даже если для этого приходится что-то дофантазировать.

Но главная ошибка была в самом скилле.
Мы написали, что нужно прочитать все листы и не придумывать данные. При этом не предусмотрели способ проверить, действительно ли каждый лист был прочитан.

Скилл писали буквально на коленке в спешке. А спешка, как известно, нужна при ловле блох.
Не было реестра обработанных листов, сверки их количества с альбомом и объективного критерия готовности.
Получилось, что инструкция описывала правильное намерение, но не требовала доказательств его выполнения.
А значит, фактически оставалась пожеланием.
Мы изменили скилл, переписали и добавили обязательные контрольные точки:
• реестр всех листов с отметкой, что прочитано и что извлечено;
• запрет заполнять пропуски по аналогии;
• привязку каждой позиции к конкретному месту в чертеже;
• сверку ведомости с итогами, указанными в проекте.
Теперь работа не считается завершённой без протокола сверки и списка непрочитанных листов. Фразы «всё перенесено» и «данные проверены» без подтверждающих цифр запрещены.
После повторной сборки обнаружились 12 настоящих противоречий в проектной документации.
Получается, что нейросети недостаточно написать «не выдумывай». Нужно построить процесс так, чтобы каждую цифру можно было проверить, а пропущенный лист нельзя было скрыть за красивой таблицей.