Предсказательный гадалкослоп

Скотт Александр написал пост о том, что AI-суперпредсказатели (современные LLM со специальной обвязкой, заточенной под эту задачу) дескать уже сейчас соревнуются в корректной оценке вероятностей разных событий плюс-минус на равных с топовыми человечьими суперфоркастерами.

Он там приводит в пример FutureSearch – один из таких специализированных ИИ-инструментов, который находится в более-менее открытом доступе. Естественно, я не мог упустить возможность потестировать его!

Смотрите, я на той неделе писал о возможности сделать на Полимаркете ставку на то, что Путин останется у власти как минимум до конца текущего года, по «цене» 86% (что эквивалентно «доходности к погашению» в размере 37,5% годовых в долларах). Сейчас уже вероятность поднялась до 89% (прибыль 3,5% за неделю, noice!), но всё равно остается на глаз довольно низкой.

Так вот, я попросил этот самый FutureSearch оценить вероятность ухода Путина с поста президента до конца года по любым причинам – результат можно наблюдать на приложенном скриншоте. Три «нейроисследователя» прошерстили 146 источников и пришли к выводу, что вероятность составляет около 5%: 1,5% по базовым медицинским причинам и 3,5% на прочие силовые методы. С первым компонентом всё понятно, а вот как конкретно эти ребята вышли на 3,5% – я, к сожалению, так и не понял. Но концептуально это не сильно далеко от моей собственной «прикидочной» оценки.

Для сравнения, что ответили другие современные модели (без какой-либо специальной обвязки, просто ответы на тот же самый вопрос):

🐌 Claude Fable 5 – самая мощная на текущий момент базовая модель (на этой неделе платные юзеры Клода как раз еще имеют к ней доступ без доплаты): 3–5%, короче около 4%. По сути, почти тот же результат, что у FutureSearch выше.

🐌 Claude Opus 4.8: 4–8% – тут уже вероятность заметно выше. Вся вариация здесь и ниже идет в основном за счет того, как разные модели оценивают вероятность переворота в том или ином виде.

🐌 ChatGPT 5.5: 9% – этот сразу первым делом полез на Polymarket проверять вероятности и, видимо, заякорился на них. Написал, что «текущие 11% на Полимаркете могут быть завышены действиями не самых умных китов, но…»

🐌 Gemini 3.1 Pro: этот, по сути, вообще отказался оценивать вероятность самостоятельно. Сразу написал «бро, там на Полимаркете дают около 12% – я хз, чем тут тебе еще помочь можно».

🐌 Grok Expert: 11–13%. Этот тоже, кажется, на Полимаркет заякорился.

Вывод: кажется, проверять вероятности на Fable / FutureSearch выглядит не самой глупой идеей.

[Дежурная оговорка про рынки предсказаний]