Ищу крутых ребят в команду AI платформы Битрикс24
Знаю что тут достаточно трушных инженеров, вы то мне и нужны)

Сейчас нанимаем в 2 направления:
1. AI Evals
2. Backend Python

Что такое платформа?
Это основа, на которой строятся все AI фичи компании, начиная от простых сценариев, заканчивая агентами, управляющими Б24. Наши заказчики это продуктовые и внутренние команды, которые генерируют больше 20 млн запросов в месяц (и это только llm).

Мы отвечаем за модельки, которые крутятся под капотом (для этого у нас больше 100 серверов с GPU от t4 до 8хH200), за их качество, доступность, производительность и тд. Еще у нас есть вот эти ваши лайтллмы, роутеры (недавно прикрутили vllm-sr), эвалы (они же бенчмарки), guardrails и другие интересные штуки.
Сейчас мы кросс-команда в которой есть как разработчики, так и ML, DS и *Ops инженеры.

Что за AI Evals?
Сюда смотрим инженеров, готовых развивать систему оценки качества LLM-фич и агентов.
Нужно понимать как строить такие evals-системы, что должно быть в датасетах и как его собрать, на какие метрики опираться, почему нельзя просто попросить LLM-as-a-Judge оценить ответ от 0 до 100, и само собой уметь в Python.
Большим плюсом будет опыт создания бенчмарков для определенных доменов, кейсов и тд.
Тут выдавали базу о том как тестить AI.

Что нужно на позицию Backend?
А вот сюда ищем человека, который любит production backend, инфраструктуру, API, очереди, observability, тесты, эксплуатацию и хочет строить backend именно вокруг AI-платформы.

Нужно будет строить и поддерживать сервисы, интеграции и инструменты внутри платформы, gateway, гварды, а еще фиксить vLLM, потому что мы не можем ждать пока они сами это сделают)
Ключевые слова: RabbitMQ, Redis, Docker, GitLab, ELK, Otel, observability, логи, трейсинг, 42.
Идеально если есть опыт с vLLM, Triton, Litellm, Langfuse.
Вот тут Андрей, dev из нашей команды, рассказывал о некоторых особенностях с которыми сталкиваемся и как их решаем.

Куда писать и что присылать?
Пишите мне в личку: @Ser_no

В сообщении лучше сразу прислать:
- на какую роль откликаетесь: AI Evals или Backend;
- CV / LinkedIn / GitHub;
- пару слов, в чём вы сильны;
- любые артефакты, если есть: код, схемы, демки, дашборды, отчёты, посты.