Последнее время, в мире снова популярна тема локал моделек. Мои мысли на этот счет.

— Пока у нас каждый месяц выходят новые ЛЛМ, никаких асиков можно не ждать. Это цикл инвестиций в год+, а старый асик будет заведомо устаревшим уже при выходе. Хотя теоретически это абсолютно лучший вариант и 20к+ токенов в секунду.
— Прямо сейчас кмк разумно можно взять либо macbook m5 max 128 gb ram, либо RTX4090 48 гб либо пару 3090, либо AMD 9700 pro. К последнему варианту стоит присмотреться, объем 32 гб позволяет гонять даже нормальные кванты квена 3.5, а стоит это все в два раза дешевле n-vidia.
— Для утилити сервака я бы брал сборку на видеокартах, а для себя макбук.
— Китайцы вообще начали оптимизировать свои модели под amd, многие там запускаются весьма нативно.
— Вопрос "как запустить" решается с помощью клода/кодекса. Я запустил так уже штук пять разных моделек и все ок. Но может понадобиться руками найти актуальные мануалы (иногда на китайском)
— Все это не-игрушка только если вы занимаетесь промышленной генерацией/обработкой картинок, распознанием или другими специфическими задачами. Под ЛЛМ все равно проще купить апишку.