WebLLM — это высокопроизводительный механизм логического вывода для больших языковых моделей, который позволяет выполнять логический вывод непосредственно в веб-браузерах с аппаратным ускорением.
Все работает в браузере без поддержки сервера и ускоряется с помощью WebGPU.
Обсуждение 2
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram