Локальные модели для простых смертных: что выбрать, если у вас нет супер-компьютера

В последнее время вижу у людей рост интереса к локальным моделям. Часто ко мне приходят клиенты, у которых уже что-то развернуто в локальном контуре через OpenWebUI - они либо хотят улучшений, либо целятся в масштабирование, но сейчас не об этом.

Свою личную LLM хотят не только корпы, но и простые пользователи. Однако одно дело - уровень компании, а совсем другое - на своем компьютере.

Глобально, мак с 64 ГБ под условную GPT OSS 20B - это лучший вариант. Но будем честны: большинство ими не обладают. В лучшем случае у вас MacBook Pro на 16 ГБ, а чаще всего - Air с 8 ГБ. И этот пост как раз для большинства.

Я использую для локалок два устройства: MacBook Pro (M2 PRO, 16 ГБ) и iPad Pro (M2, 8 ГБ - считай, эквивалент Air). И под них у меня собрался следующий зоопарк.

Лучшая с текстами по соотношению затрачиваемых ресурсов: Gemma 4 E4B
Здесь Google круто пошаманили с архитектурой модели. В результате модель требует железа как 4B, а работает как модель с 12-14B параметров. Не буду вдаваться в технические детали, но скажу следующее. На мой взгляд, сейчас это модель, которая лучше всего справляется с преобразованием текстов в артефакты. Саммари звонков, заполнение документов, анонимизация текстов - все делает очень хорошо, благодаря в том числе появившемуся ризонингу. С русским языком справляется неплохо, хотя иногда проскальзывают косяки и видно, что модель мыслит на английском. Отдельная прелесть - модель не так требовательна к промптам и многие задачи может выполнить сама, без необходимости промптить ее по SGR. Минуса два. Во-первых, моделька хоть и заявлена как Vision, картинки распознает так себе. Во-вторых, очень любит спамить эмодзи по умолчанию.

Для устройств на 8 ГБ: Gemma 4 E2B
Если же у вас 8 гигов - ее сестричка Gemma 4 E2B станет отличным вариантом. Все, что я сказал про старшую модель, также относится к младшей, кроме требований к промптам. Здесь SGR необходим для большинства задач.

Лучшая для работы с русским языком: Gemma 3 12b QAT
Моделька, которой уже год, которую дообучали при квантизации, чтобы она не теряла в качестве. Вариант для тех, у кого есть 16 гигов памяти. За больше чем год ее использования я могу сказать, что модель актуальна до сих пор. В задачах, где нужно не обработать, а именно составить текст - эта моделька лучшая. Русский язык у нее из всего, что я пробовал, самый естественный и приятный, за ней нужно минимум правок. Для задач обработки и трансформации текстов моделька подходит меньше, но SGR решает ее проблемы.

Лучшая вижн-модель: Qwen 3.5 4B
Периодически бывают задачки, когда нужно скинуть документ или какой-то объект модельке и позадавать вопросы. И здесь в моих тестах лучше всего показала себя Qwen. Однако я не советовал бы эту модель использовать именно для обсуждений. Исключительно как распознавалку, потому что русский язык у нее максимально поганый и очень кривой. А еще моделька очень склонна излишне долго рассуждать и тратить токены, пожирая и так ограниченное для локальных моделей контекстное окно.
Понятно, что для большинства задач, связанных именно с распознаванием текста, лучше всего будет использовать отдельную OCR, например вот эту, но сейчас речь именно про LLM.

Что еще можно попробовать:
• Privacy Filter от OpenAI - свежая модель для анонимизации корп данных. С английским отлично, русский пока не пробовал;
• Nemotron OCR - свежая распознавалка текста от NVIDIA
• Файн-тюны от huihui-ai (я не ругаюсь, это ник разраба) - есть разное. Модели без цензуры, которые генерят вообще все, дистилляции опуса и.т.д. Свое точно найдете.

Что я не рекомендую:
• YandexGPT - максимально тупая модель на моих задачах, ну и не всем нравится Яндекс;
• DeepSeek - косячит с инструкциями, до сих пор лезет китайщина на малых размерах, ризонинг очень много жрет

Для запуска моделей я использую: LM Studio на Mac (нужен MLX-формат) и Locally AI на iPad (убедитесь, что регион App Store - США).

Делитесь, чем пользуетесь вы и для каких кейсов

🚀 Влад Корнышев про AI и создание AI-продуктов