Сегодня узнал, что OpenAI замедлила обучение новой модели Orion, которая должна была стать революцией в мире нейросетей. У неё были большие амбиции — научиться рассуждать, проверять факты и поднять технологии на новый уровень.

Как думаете, почему обучение замедлилось?
Кожаные мешки испугались последствий? Не хватает мощностей суперкомпьютеров?
Всё гораздо проще: у компании закончились качественные данные для обучения. 🫗

Что пошло не так?
🧠 Интернет “выжат” до дна. Большая часть доступной информации либо уже обработана, либо не соответствует нужным стандартам.
🧠 Авторские права. Данные за пэйволом или с ограничениями доступа оказались не так-то просто “позаимствовать” - судебные иски быстро напомнили о последствиях.
🧠 Ручное создание наборов данных. Теперь OpenAI приходится создавать искусственные датасеты с помощью программистов и учёных. Но это дорого: около 500 миллионов долларов за каждую тренировку модели.

Моё мнение:
Ситуация интересная: OpenAI упёрлась в стену, которую сама же и построила, поглотив доступный интернет. С одной стороны, это демонстрирует, как далеко продвинулись технологии, а с другой - поднимает вопрос, где брать данные дальше.

Создание искусственных наборов данных выглядит логичным, но уж больно дорогостоящим. Да и насколько это будет правдивым? Кто знает, возможно, нас ждут неожиданности, такие как новые подходы к генерации или даже переговоры с крупными корпорациями за право использовать еще больше бигдаты. 🧑‍💻

В любом случае, 2024 можно смело считать годом нейросетей🤖