По поводу локального ИИ

В продолжение моего вчерашнего поста про AI гигиену. Буквально вчера вышло обновление Ollama, сделавшее этот сервис более доступным для простых пользователей: они сделали нормальный интерфейс (раньше работало только через терминал и нужно было возиться с настройкой).

Для приватных задач я настоятельно рекомендую ее к установке. Я как-то делал тест локальных моделей. С тех пор изменений произошло не так много.

Базовые рекомендации такие
Для транскрибации: используем Vibe (бесплатно, есть на мак и винду), MacWhisper, SuperWhisper (эти два только на мак, платные). Также есть сервис Spokenly, оказалось, что его разработчик - @valdomars - подписчик моего канала 😅 Модель выбирайте Whisper Large v3 Turbo, она быстрая, точная и будет работать практически на любых современных компьютерах.

Для работы с LLM: теперь можно смело брать Ollama. Какую модель взять? Берите Gemma 3, обязательно QAT (у них меньше потери при сжатии, так как модель проходит через специальный процесс, который их снижает).

Чтобы скачать модель, устанавливаем Ollama, дальше открываем терминал и используем одну из следующих команд:

Если у вас слабый комьютер с меньше 8 гб объединенной памяти (для Mac)/видео памяти (для Windows)

ollama pull gemma3:1b-it-qat

Если у вас есть 8 гб объединенной/видео памяти

ollama pull gemma3:4b-it-qat

Если у вас 16 гб объединенной/видео памяти

ollama pull gemma3:12b-it-qat

Если у вас 32 и выше гб объединенной/видео памяти

ollama pull gemma3:27b-it-qat

После того, как модель скачается - она будет доступна в приложении Ollama, там вы сможете с ней общаться как с обычным ChatGPT. Не забудьте увеличить контекстное окно модели, по умолчанию оно всего 4000 токенов.

Любые вопросы по настройке пишите в комментариях, всем отвечу :)