Заметки с полей - 3: Про доверие и контроль

(продолжение постов 1 и 2)

В недавнем отчете Anthropic была такая странная картинка (см аттач): что AI теоретически может в разных профессиях (синима) vs что он реально делает (красным). Давайте возьмем Sales, например - как вы считаете, почему такой разрыв?

Подумайте пару секунд и продолжим

. . .

По-моему, ключевой барьер - недоверие к технологии. Перед нами не карта возможностей, это имхо карта недоверия.

Откуда возникает это недоверие, которое драйвит желание контроля? Но это желание контроля сложно скейлить, потому что это делает человек, и в итоге, как с пулл реквестами, все упирается в него? И, главное, что с этим делать?

1) «Algorithm Aversion» - мы легче прощаем ошибку человеку, чем алгоритму. Один промах модели, и доверие к ней обрушивается, даже если по цифрам она точнее человека. Выходит, одна галлюцинация агента бьёт по доверию непропорционально — а значит, осторожность CTO вполне логична.

Мы предпочитаем людей алгоритмам из-за:
- стремления к агентности (я vs модель)
- убеждения, что у других есть уникальное знание, недоступное алгоритмам
- непонимания как машины работают (не могу тупо посмотреть промпт)
- невозможности предсказывать поведение AI агентов, даже при длительном наблюдении за ними
- непрозрачности, кому пожаловаться, если агент накосячил

Я нечто такое наблюдал на себе, когда бесился, что некоторые рекламные площадки не дают возможность настраивать рекламу, а говорят "мы все сделаем за вас".

2) Интересно, что люди вполне толерантны к неидеальному алгоритму, если дать им контролировать процесс тестирования алгоритма и корректировки его аутпута. К примеру, вот так мы потихоньку "сближаем" клиентов и AI агентов —> то есть мы рассматриваем это доверие как процесс, и двигаемся от "контролируют аутпут" к "хуяк хуяк и в продакшн". Иногда, кстати, достаточно просто показать уровень уверенности в аутпуте или успешность в прошлом, чтобы подтолкнуть человека к "принятию".

Мы на днях обсуждали, кстати, что когда claude code просит выбрать из нескольких опций, то recommended дает очень сильный bias для выбора этой опции, особенно когда не понимаешь разницы. И что хорошо бы давать опцию а-ля "не понимаю разницы или как выбрать"

3) Интересно, что если мы считаем, что эффективное выполнение задачи несёт в себе большую долю субьективности, то мы не особо окей с тем, чтобы это делала машина (сравните выбор романтического партнёра vs гуглмапсовские указания, как ехать). А что вообще такое субьективное? Имхо, когда твои персональные критерии выбора отличаются от общей популяции. Причем, имхо, чем более senior человек, тем больше это проявляется (и вполне разумно)

4) Неуверенность в общности целей: интересно, что зачастую у нас вопрос к модели не про "сможет ли она" (помним синий график в аттаче, да?), а "будет ли агент действовать в моих интересах?" (не даст скидку по тупому поводу, например).

Как мы могли бы демонстрировать общность - Прозрачность? Возможность влиять на цели и ограничения? Что-то еще?

5) У Эдгара Шейна есть релевантное: человек меняет свое поведение, когда «тревога выживания» (не изменюсь — проиграю) перевешивает «тревогу обучения» (боюсь оказаться некомпетентным в новом). Каюсь, я как CEO несколько раз педалировал на первое в общении с коллегами — «не перестроимся, нас съедят конкуренты». Но ведь есть и вторая стратегия, следующая из этого - можно снижать тревогу обучения.

Как дать команде психологическую безопасность снова побыть новичком? Велком в комментарии

===

Итого, к чему я это?

Ни один из пунктов выше - про то, на что модель способна. Все 5 про то, готовы ли мы ей довериться. А это две вещи: отношения с агентом (агентность, предсказуемость, общие цели) и мы сами (не страшно ли расписаться, что я больше не главный или что я больше не пишу код).

Я считаю, что нам надо рассматривать и этот дисконнект из отчета Anthropic, и разницу позиций CEO и CTO, как проблему доверия и дизайнить это "принятие", а не только продавливать силой или угрозами конкуренции.

Хотя.... так [не продавливать] наверное медленнее?!