Роберт Райт поднял интересный вопрос про ИИ.

Я думаю, что никакого Искусственного Интеллекта в смысле саморазвивающейся и самообучающейся программы, которая научится находить творческие решения и в какой-то момент начнет претендовать на субъектность - не будет.

ИИ это просто программа которая умеет быстрее считать запрограммированные человеком действия. И выбирать в пределах известных ей алгоритмов.

Нейросети могут стараться воспроизводить человеческие алгоритмы действий и размышления, поэтому ИИ может "притворяться человеком" достаточно долго. Но он не способен создавать принципиально новые алгоритмы размышления и решений.

Свобода воли, составляющая сердцевину субъектности, в случае с ИИ может приобрести лишь вид случайности, или же загруженной извне системы ценностей.

У ИИ не будет эмпатии. Не будет решений продиктованных страхом за свою жизнь или за жизнь близких. У ИИ нет риска.

ИИ не может совершить поступок, то есть о казаться от чего-то для него важного ради чего-то более важного.

Весь мой опыт столкновения с ИИ состоит в том, что он просто может считать одновременно больше операций и держать в уме больше тем, которые человек упускает, концентрируясь на главном, на главной цели. Грубо говоря - ИИ не забывает подумать обо всем, даже пусть некачественно. А ты можешь подумать только об одном, хотя и хорошо. Но все равно ты в большинстве случаев выиграешь у ИИ, если количество возможных комбинаций не конечно.

Там где число комбинаций конечно, как в шахматах, ИИ бьет человека, но не потому, что он "умнее", а потому что у него вычислительные возможности одинаковы и на первом ходу и на сороковом. Он не устает. Но играет-то он все равно по человеческим правилам.

Вся проблематика субъектности ИИ основана на эффекте воображаемого друга. Будучи субъектен человек наделяет субъектностью несубъектные объекты, например 60% владельцев дают клички роботам-пылесосам и разговаривают с ними.

При этом нельзя исключать того, что мы столкнемся с идеологической кампанией по наделению ИИ субъектностью. В ходе этой кампании будет подвергаться деконструкции понятие о субъектности человека - представления о личности, свободе, воли и т. д. Субъектность будет редуцироваться к тем свойствам, которые у ИИ есть, а отсутствующие будут рассматриваться как неважные.

Итак, ИИ не может быть реализован как действительный субъект (как правдоподобный робот - сколько угодно). Но ИИ может развиваться как "внешнее расширение человека" в терминологии Маклюэна.

ИИ начнет развиваться через интеграцию творческих возможностей человеческого мышления и вычислительных возможностей компьютеров и ИИ.

Лет через 50-100 у людей в голове будет счетный чип, который будет мгновенно считать цену десятков товаров, подбирать слова в рифму или в риторический период, считывать потенциальные угрозы на дороге и, сделав подсчёты, - посылать сигнал в мозг с готовыми решениями.

ИИ снимет известные естественные ограничения на объем и скорость обработки информации человеком.

Особенно это будет опасным в военном деле. Мозг командира с помощью ИИ будет быстро нарезать и перенарезать задачи подчиненным, запрашивать ресурсы огневой поддержки, корректировать огонь и прочее.

В результате могут появиться люди-монстры, управляющие "силой мысли" сотней дронов и корректирующие полет цифровых пуль.

По счастью вычислительные возможности компьютеров тоже небеспредельны и не будут беспредельны.

Эта перспектива реализуется если обмен между чипом, мозгом и внешней информсредой окажется реален. Если окажется, что биология и счетная машина несовместимы, то искусственные улучшения мозга будут чисто косметическими.

При этом, разумеется, будет беспредельным поле манипуляций от имени ИИ. Как "просчитанные ИИ решения" будут подаваться чьи-то частные лоббистские интересы, замаскированные под ИИ. Так, собственно, было в ходе пресловутой революции в Непале, когда ИИ имитировал подбор премьер-министра.

И еще важно. Если момент сингулярности случится, то люди его не заметят. Если люди заметили момент сингулярности, значит это не момент сингулярности.