Применяем Autoresearch за пределами ML

В марте я разбирал autoresearch Карпатого и обещал адаптировать под "приземлённые задачи" —> на днях устроили с ai нейтивами билд сессию, делюсь результатами.

Напомню: autoresearch - это цикл, где дружбан крутит-вертит один файл, решающий заданную задачу, оценивает результат: если удачно - сохраняет и идет на следующую итерацию улучшение; если нет - откатывается к предыдущему. Для machine learning задач работает очень хорошо.

Главный вывод сразу: Карпатовский loop - это шаг 5 из 5. 80% работы - ДО его запуска, а не внутри.

На каких задачах крутили:
1) Скилл для дежурного сотрудника (Илья) - one-shotнул хороший скилл сразу, не особо и луп пришлось делать
2) квалификация входящих лидов (Дмитрий) - докрутил промпты для оценки лидов, улучшил точность
3) ML задачка на kaggle (Гаяр) - 60е место из 1400, авторесерч; вообще такой подход превращает ML в коммодити, конечно
4) negotiation challenge с хакатона paradigm (я) - за 25 экспериментов +14% к базовому результату, дальше можно и нужно крутить

В целом, можно и нужно применять, НО не для каждой задачи. Поэтому по мотивам запилил скилл - он делает 3 ключевые вещи:

1) Triage - подходит ли вообще эта задача для autoresearch?

2) Fitness/оптимизационная функция - помогает математически сформулировать, что такое хорошо и что такое плохо —> чтобы цикл улучшения понимал, когда эксперимент помог, а когда - нет

3) Стратегия экспериментирования - несколько дополнительных режимов для придумывания экспериментов: explore vs exploit, идеи от человека, barbell стратегия Талеба и тп

Интересный вывод сделал Илья в конце сессии:

"мы подтвердили твою гипотезу - когда у всех будет autoresearch, узким местом станут идеи"

Я бы еще добавил:

и сформулировать fitness функцию

Как бы отсылаю к недавнему посту 😉