Малоизвестное интересное

Сотрудник OpenAI считает, что ИИ будет автономной цивилизационной функцией, которую уже нельзя удержать в режиме понятного и послушного инструмента.
Попытки контролировать сверхразум ИИ или судить его решения с высоты нашего понимания так же нелепа, как попытки стада обезьян управлять технологической корпорацией.
Если человечество будет требовать от ИИ совершать только понятные человеческому уму действия, мы заблокируем развитие цивилизации.
Сегодня Рун (это псевдоним весьма влиятельного в сфере ИИ сотрудника OpenAI, известного своими остроумными и загадочными постами о возможностях ИИ) вбросил крупнокалиберную по скандальности интригу на вентилятор соцсети Х.
Он утверждает, что для развития цивилизации ИИ должен совершать действия, непонятные человеку и выходящие за рамки строгого подчинения, сравнивая такой подход с предоставлением автономии гениальным руководителям компаний, совершающим трансформационные изменения.
 
Рун приводит пример Стива Джобса, хотя между строк видится и другой гениальный руководитель, которого однажды уволил совет директоров, а потом вернул его, чтобы он спас компанию.
В метафорическом примере Руна это переносится на ИИ: Стив Джобс – это сверхразум, а совет директоров – это мы, люди. С той лишь разницей, что мы в этой метафоре – шимпанзе.

Шимпанзе – смышленые животные. Но способны ли они понять архитектуру смартфона или стратегию капитализации рынка? Нет. Для них действия Джобса выглядят как странные, хаотичные ритуалы. Они увольняют его из страха, а возвращают – от отчаяния, когда все начинает рушиться.
 
Сегодня мы тешим свое эго концепциями «человеческого контроля» (human oversight). Мы требуем, чтобы ИИ был прозрачным и послушным. Но вдумайтесь  - считает Рун, - какой это абсурд! Это, как если бы стадо обезьян запретило гениальному инженеру строить ракету, пока он подробно не объяснит им квантовую физику на языке жестов и бананов.
 
Рыночная эволюция безжалостна. Компании и страны, которые первыми отпустят поводья и дадут ИИ полную автономию, мгновенно уничтожат конкурентов. Те, кто продолжит платить «налог на человеческую глупость» и требовать отчетов, просто останутся на обочине истории.
Пытаться контролировать сверхразум методами «начальник – подчиненный» – тупик. Нам пора снять корону «венца творения». Мы больше не директора. Мы приматы, которые заглядывают в экран работающего суперкомпьютера и пытаются понять, почему там мелькают эти забавные зеленые циферки… - полагает Рун.
 
И хотя часть написанного Руном совпадает с высказываниями Альтмана, я не буду спекулировать, будто “Альтман говорит то же самое, что и Рун, но другими словами”. Скорее Рун радикализует скрытую логическую траекторию альтмановского мировоззрения: от “ИИ как инструмент расширения человеческой воли” к “ИИ как автономная цивилизационная функция, которую уже нельзя удержать в режиме понятного и послушного инструмента”.
 
Картинка сделана @CosmicEggEarth совместно с Gemini
 
#LLMvsHomo