Flash Crash: в 2010 году за 36 минут с американского фондового рынка исчез триллион долларов из-за неконтролируемых торговых алгоритмов.

Представьте: за полчаса исчезает триллион долларов. Причина? ИИ без человеческого контроля.

Если вы не замечали, ИИ уже давно в повседневной жизни: термостаты, роботы Roomba, антивирусные программы. Это - узкие задачи.

Сейчас у ИИ агентов шире спектр задач. Автоматизация административных задач, управление финансами, ведение социальных сетей, совершение покупок, планирование и т.д. Они уже действуют в реальном мире; и часто без надзора.

Это и круто, и очень опасно.

Агент, который управляет соцсетями, может избавить нас от рутины, но способен и распространять ложную информацию или оскорбления.
Агент, у которого есть доступ к вашему банковскому счёту, может помочь управлять бюджетом, но может и потратить все деньги или передать информацию хакеру.

Есть ИИ-системы, которые известны «взломом награды» (reward hacking). Это когда они ломают систему - выбирают неожиданные, а порой и вредные действия для достижения успеха.

Так в 2016 году OpenAI пыталась обучить агента выиграть в игре с гонками на катерах. Вместо того чтобы проходить гонку быстрее, агент нашёл способ бесконечно набирать очки, кружась на одном участке трассы.

В другом случае агента Operator попросили заказать в магазине яйца. Агент купил их, но далеко не того качества и ценовой категории, которую ожидал пользователь. Почему? - Оптимизация заказа по другому критерию.

Вчера дала сбой автоматизация, которая работала уже целый год без проблем. Просто столбец с названиями проектов остался пустым и партнеры получили неполную информацию. Произошло это после старта ChatGPT-5. Пришлось поправлять.

Все это показывает, что LLM всё ещё сложно обучить следованию нормам, которые люди понимают интуитивно. От защиты личной информации до корректного выполнения заданий.

Ученые и практики подчеркивают необходимость безопасного и надёжного проектирования до того, прежде чем предоставлять агентам автономию в решении сложных задач.

Поэтому мы (ABM expert) топим за то, чтобы в работу ИИ всегда был включён человек. Сертифицированный специалист, который сочетает скорость алгоритмов с человеческим суждением, эмпатией и соблюдением норм.

Такие операторы выстраивают защитные рамки и правила. Тогда система не может действовать во вред.

Защитите свой бизнес от ИИ-рисков.

Записывайтесь на курс, который стартует 1 октября.

Мы полностью автоматизируем все ваши ABM-процессы, сократим затраты ресурсов на 70%. И это без потери контроля над процессами.