🔹 tashfeenahmed/freellmapi
⭐ 2082 звёзд · TypeScript

OpenAI-совместимый прокси, который собирает в один эндпоинт бесплатные ключи примерно от 14 AI-провайдеров и сам переключается между ними при сбоях. Среди подключённых: Google, Groq, Cerebras, SambaNova, NVIDIA, Mistral, OpenRouter, GitHub Models, Cohere, Cloudflare и Z.ai.

Стек: Express на TypeScript, React + Vite для веб-интерфейса, SQLite для хранения ключей с шифрованием AES-256-GCM. Прокси отслеживает лимиты RPM, RPD, TPM и TPD по каждому ключу и модели, чтобы не выйти за бесплатные квоты.

Совокупная пропускная способность доходит до 1,3 миллиарда токенов в месяц. Работает стриминг, tool calling и липкие сессии на 30 минут для многоходовых диалогов с одной моделью. На Raspberry Pi 4 потребляет около 40 МБ памяти, нужен Node.js 20+.

Embeddings, генерация изображений, аудио, мультимодальные входы и параметр n > 1 не поддерживаются. Автор честно пишет: только для личных экспериментов, без мультиюзерной авторизации и без выставления наружу в интернет.

репозиторий

Сергей Булаев AI 🤖 — об AI и не только