Я протестировал нейросеть, которая заменит программистов

Месяц назад вышла новая модель OpenAI — o1-preview. Новости про неё повергают меня в ужас весь месяц.

Всё выглядит как конец нашей профессии:

— модель не требует настройки промптов, понимает тебя с полуслова,

— она поставила новые рекорды на куче бенчмарков, в т.ч. по программированию,

— нейросеть решала старые задачи с Kaggle-соревнований по ИИ. По результатам она получила бы там 7 золотых медалей, что даёт звание Kaggle-грандмастера. Таких человек всего 346 во всём мире!!!

Выглядит это всё очень впечатляюще, но...

Вчера я решал сложную задачу на Python, которую никогда раньше не делал.

Решил сэкономить себе время:

1. Подробно описал пошаговое решение задачи.
2. Закинул это Kaggle-грандмастеру, который понимает всё с полуслова o1-preview.
3. На выходе получил код с десятками ошибок, который не запускается!

В итоге время я не сэкономил, а потратил. Ну и от прошлых моделей OpenAI я никогда не получал такой сырой код.

И вот мне интересно стало: а вы уже пользовались o1-preview? По вашим ощущениям стало лучше?