Precautionary principle: Нассим Талеб против AI-думеров

Слушал тут старое интервью Талеба на EconTalk от 2015 года, он там объяснял идею precautionary principle («принцип предосторожности»):

🐌 В мире «толстых хвостов» (где ошибка может означать не просто неудачный исход, а полную катастрофу – типа исчезновения жизни на Земле) отсутствие доказательств опасности чего-либо не означает, что это «что-то» действительно разумно и безопасно делать.

🐌 Эксперты часто плохо представляют, какие долгосрочные риски могут нести их решения в сложных системах с толстыми хвостами (даже внутри области своей экспертизы).

🐌 Пример с ГМО (генетически модифицированными организмами): Талеб считает, что нет особой проблемы с тем, если, к примеру, окажется, что ГМО не очень полезны для людей. А вот если какой-нибудь более устойчивый ГМО полностью вытеснит в своей нише по всему миру изначальный вариант организма – тут уже предсказать долгосрочные последствия для биосферы очень сложно, и это может теоретически нести катастрофические риски. Поэтому, типа, принцип предосторожности должен намекать «лучше поменьше экспериментировать с ГМО».

🐌 При этом Талеб говорит, что этот принцип надо применять только там, где есть совсем толстые хвосты с возможными катастрофическими последствиями. К примеру, атомную энергетику банить таким макаром нет смысла, т.к. даже если рванула условная Фукусима – это всё равно локальное, а не глобальное событие («печально будет, но все не сгинем»).

🐌 Можно эмпирически убедиться, что какая-либо сфера относится к «вселенной толстых хвостов» (если получилось увидеть дикие выбросы отдельных исходов). Но нельзя быть на 100% уверенным, что какая-то сфера является «тонкохвостной»: может быть, мы просто еще не дожили до того момента, когда этот редчайший результат-выброс проявит себя?

Слушая всё это, я подумал, что Нассим Талеб должен оказаться в лагере самых упертых AI-думеров, которые выступают за остановку прогресса в искусственном интеллекте именно из того же принципа предосторожности. Ну типа, все нужные вводные тут, кажется, есть: толстые хвосты возможных эффектов, практически мгновенное глобальное распространение с учетом всепроникновения сети, непросчитываемые последствия с учетом сложности и уникальности происходящего…

Но нет: как ни странно, Талеб высказывается про катастрофические ИИ-риски скорее в ключе «ну, про это только глупыши могут беспокоиться». Дескать, чё вообще тут обсуждать – в крайнем случае просто отключим эти машины, и всё!

Мне это кажется немного забавным, типа «эксперты нифига не могут предсказать сложные системы и отсутствие опасных толстых хвостов» // «но когда речь заходит про AGI, я тут могу с уверенностью сказать, что такой проблемы нет и никаких страшных хвостов тут не будет!» =)