эйай ньюз
@ai_newz
Чел запустил 400B Qwen 3.5 на iPhone 17 Pro
Веса стримятся с диска, так что скорость всего полтокена в секунду. Но инференс код навайбкодили и модель не супер агрессивно квантизировали, так что тут можно ускорить как минимум в несколько раз.
П.с. очень больно наблюдать как на аффирмацию уходит столько драгоценных токенов. Это особенно заметно при такой скорости.
@ai_newz
Веса стримятся с диска, так что скорость всего полтокена в секунду. Но инференс код навайбкодили и модель не супер агрессивно квантизировали, так что тут можно ускорить как минимум в несколько раз.
П.с. очень больно наблюдать как на аффирмацию уходит столько драгоценных токенов. Это особенно заметно при такой скорости.
@ai_newz
🔥 233
🤯 105
😁 27
🤩 16
👍 14
❤ 9
🙏 2
😍 2
🦄 1
35 572 38.1K
Обсуждение 35
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram