Talkie — LLM застрявшая в 1930

Есть такой жанр, тренировка LLM на исторических данных. В этот раз 13B модель натренировали на 260 миллиардах токенов до 1930 года включительно, что делает это наибольшим подобным экспериментом. Дата выбрана неслучайно — всё что написано до 1930 года, в США является общественным достоянием.

Такая модель нужна для тестирования возможностей моделей предсказывать будущее и последующего развития алгоритмов. Классический гипотетический пример такого — открытие теории относительности моделью натренированной на данных до 1910. А вот для этой модели это может быть какая-то ядерная физика.

Летом команда собирается выпустить модель на уровне GPT-3. Кстати к созданию этой модели приложил руку Alec Radford, который натренировал самую первую GPT.

Поговорить с прошлым (есть очередь, может быть проще скачать веса)
Блогпост
Веса

@ai_newz