AI: остановить нельзя продолжать

На Сharactеr.AI и Google подали иск после трагедии с подростком, увлеченным AI-персонажем

По данным The Verge 14-летний школьник начал пользоваться платформой Chаrаcter·AI в прошлом году, постоянно общаясь с чатботами, смоделированными по героям «Игры престолов», включая Дейнерис Таргариен, в которую якобы был влюблен. Он переписывался с ботами непрерывно и покончил с собой в феврале этого года, спустя «секунды» после сообщения бота Дейнерис. Об этом стало известно после того, как его семьей был подан иск на Google и C·AI.

Основную часть многомиллионной аудитории платформы Chаrаcter·AI составляют молодые люди и подростки, которые общаются с кастомными ботами, созданными по мотивам героев кино и видеоигр.

В обвинениях говорится, что сайт «очеловечивает» AI-персонажей, а некоторые герои-боты предоставляют психологическую поддержку (есть режимы “Therapist” и “Are You Feeling Lonely“). С ними и взаимодействовал подросток.

Иск требует привлечь C·AI к ответственности за

«недостаточные меры для предупреждения несовершеннолетних клиентов и их родителей об опасности психического и физического вреда, связанного с использованием их продукта».

Глава по коммуникациям C·AI Челси Харрисон заявила The Verge:

«Мы глубоко скорбим по поводу трагической потери одного из наших пользователей и выражаем наши глубочайшие соболезнования семье. Мы очень серьезно относимся к безопасности наших пользователей, и наша команда внедрила ряд новых мер безопасности за последние шесть месяцев, включая всплывающее окно, перенаправляющее пользователей на Национальную линию поддержки, которое активируется при введении слов, связанных с саморазрушением или суицидальными мыслями».

Google не дала комментарий USA Today, сказав, что она заключила лицензионное соглашение с Character·AI, но не владела стартапом и не имела в нем доли.

Вопросы о том, какую роль сыграл AI-персонаж в судьбе подростка, какая ситуация была в семье, да даже почему на иск потребовалось 7 месяцев, остаются за кадром. Но эта трагедия, выведенная в паблик, может иметь ряд последствий в сфере регуляции и внедрения ограничительных мер в отношении AI.

Помните, Сэм Альтман в своем нестройном манифесте, помимо прекрасного будущего, писал о рисках, которые несут АI? Как огромен диапазон сценариев этих рисков, нам только предстоит выяснить. Но то, что AI трансформирует само понятие социальной ответственности компаний, не вызывает сомнений. Вопрос — какой ценой.