Наконец установил Ollama - Llama 3.2, Phi 3, Mistral, Gemma 2 и вообще любые модели с HuggingFace на вашем компьютере локально (Mac/Windows/Linux). Установка занимает пару минут. Просто зайти на сайт и скачать приложение.

Можно пользоваться моделями без цензуры. Что бы поделючить модели с HF нужно использовать следующий формат:

ollama run hf.co/{username}/{reponame}:latest

например:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest

также можно указать определённый Quant:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0

Update от читателя: По-русски хорошо говорит DeepSeek (но весит 162гига):
ollama run deepseek-v2.5:236b-q5_0

Сергей Булаев AI 🤖 - об AI и не только