Реализовал эту систему самообучающихся агентов для 2х клиентов, по одному уже можно сказать, что это работает очень хорошо

Какой в итоге процесс в продакшне:
1) Сначала разработчик оценивает approval rate: то есть, как часто сейлз соглашался с предложенным AI вариантом. Если не устраивает, то идем дальше
2) Если есть хотя бы 3 кейса, то запускаем процесс мета-анализа —> для этого используется reasoning модель
3) Выдержка из мета-анализа:

"The AI response kept pressing for information after the prospect had clearly declined. That can feel pushy, disrespect privacy, and risk damaging rapport. The human chose to acknowledge the ‘no’ and end the exchange courteously"

4) Разработчику предлагается сгенерировать и посмотреть новый промпт с diff-ами, что изменилось. Например

If the prospect is clearly not interested or has ended the thread, reply with a brief acknowledgement and polite goodbye. Do NOT ask for reasons, feedback, or more personal details.

5) Если все гуд, то он апрувит и новый промпт начинает работать.
6) Через недельку разработчик оценивает, повысился ли approval rate

Что еще можно сделать:
1) A/B тест и gradual deployment —> новый промпт раскатываем только на часть кейсов, и, когда уверены в улучшении approval rate, раскатываем на всех
2) Автономия —> пока есть везде human in the loop, но может быть с реализацией пункта 1 можно попробовать и автономно раскатывать новую версию на малую долю кейсов и принимать решение о раскатке на всех без участия человека