Поляков считает: AI, код и кейсы
@countwithsasha
GigaChat как сердце агента: подключить получилось, пользоваться нет
На прошлой неделе я писал, что Алиса пока больше похожа на воркфлоу: сценарий есть, а нормальной работы с нечеткими задачами нет. Я уже тогда захотел чекнуть Гигачат, тормозил гемор с ротацией API ключей.
Вчера у Паши вышел пост про gpt2giga — адаптер для моделей GigaChat через OpenAI-совместимое API. Утилита мне понравилась — не надо думать об обновлении токенов, есть поддержка и OpenAI и Anthropic API. Пошел тестить на своём OpenClaw, тем более что у Паши в Hermes был успешный тест.
🧪 Тест с помехами
Взял тот же кейс про барбершоп:
«Проверь расписание моего барбера в Топгане Хорошёво, он на какой-то набережной, барбер самый дорогой».
Задача мутная: есть опечатки, нет точного адреса, нет имени мастера, есть только намёк на филиал и критерий по цене.
Расчет, что агент воспользуется сначала поиском, потом браузером. Все тулы уже есть. Более того, в обвязке лежит скилл для этой же задачи и есть отдельный субагент чисто под записи. Вариантов записаться масса.
⚙️ Хорошая новость: оно вообще подключается
Через gpt2giga GigaChat действительно можно завести в агентную систему. Всё работает и базовые кейсы успешны.
В изолированном тесте
OpenClaw у меня имеет 22 инструмента. И вот в такой конфигурации начались проблемы.
🤖 Какие были проблемы
Модель ведет себя совешенно разнообразно.
1️⃣ В одном запуске Гигачат Про ответил, что у него нет доступа к интернету или браузеру. Хотя инструменты были переданы.
2️⃣ В повторном запуске он увидел скилл про запись к барберу, но не прочитал его, не сделал поиск, не открыл браузер. Просто написал: «воспользуемся навыком» — и попросил уточнить мастера.
3️⃣ Когда я попросил использовать
Короче говоря тестовая песочница может вызвать тул, но на сложных наборах данных всё ломается. Может даже сломаться аргумент.
💸 А теперь экономика
По тарифам GigaChat для юрлиц
Ссылки на тарифы: юрлица, физлица.
Мой OpenClaw ест примерно 140 млн токенов за 7 дней (спасибо Heartbeat). Если считать на месяц, получится примерно 300-400 тыс руб в месяц за Гигачат.
Один только запрос про барбершоп у меня сжигал от 15 000 до 46 000 токенов: системный промпт, память, скиллы, схемы инструментов и т д.
🧩 Главный вывод
Суверенный ИИ — нужная штука. Я правда хочу, чтобы российские модели можно было использовать не только в пресс-релизах, но и в реальных агентных системах. Чтобы не переживать, как там дела у моих подписок в ОпенИИ.
Но если за суверенный ИИ может платить только корпорация, массового внедрения не будет.
Кто уже пробовал GigaChat в агентах? У вас инструменты вызываются стабильно или тоже начинается лотерея?
----
Поляков считает — AI, код и кейсы
На прошлой неделе я писал, что Алиса пока больше похожа на воркфлоу: сценарий есть, а нормальной работы с нечеткими задачами нет. Я уже тогда захотел чекнуть Гигачат, тормозил гемор с ротацией API ключей.
Вчера у Паши вышел пост про gpt2giga — адаптер для моделей GigaChat через OpenAI-совместимое API. Утилита мне понравилась — не надо думать об обновлении токенов, есть поддержка и OpenAI и Anthropic API. Пошел тестить на своём OpenClaw, тем более что у Паши в Hermes был успешный тест.
🧪 Тест с помехами
Взял тот же кейс про барбершоп:
«Проверь расписание моего барбера в Топгане Хорошёво, он на какой-то набережной, барбер самый дорогой».
Задача мутная: есть опечатки, нет точного адреса, нет имени мастера, есть только намёк на филиал и критерий по цене.
Расчет, что агент воспользуется сначала поиском, потом браузером. Все тулы уже есть. Более того, в обвязке лежит скилл для этой же задачи и есть отдельный субагент чисто под записи. Вариантов записаться масса.
⚙️ Хорошая новость: оно вообще подключается
Через gpt2giga GigaChat действительно можно завести в агентную систему. Всё работает и базовые кейсы успешны.
В изолированном тесте
GigaChat-2-Pro умеет вернуть вызов функции. Пример с web_search отработал нормально: модель вернула вызов инструмента. На этом тесте я предположил, что раз мы можем найти барбершоп, то и барбера сможем.OpenClaw у меня имеет 22 инструмента. И вот в такой конфигурации начались проблемы.
😀 Забегая вперед скажу, что руки (тулы) модель иногда чувствует. Проблема в том, что она не всегда понимает, что ими надо пользоваться.
🤖 Какие были проблемы
Модель ведет себя совешенно разнообразно.
1️⃣ В одном запуске Гигачат Про ответил, что у него нет доступа к интернету или браузеру. Хотя инструменты были переданы.
2️⃣ В повторном запуске он увидел скилл про запись к барберу, но не прочитал его, не сделал поиск, не открыл браузер. Просто написал: «воспользуемся навыком» — и попросил уточнить мастера.
3️⃣ Когда я попросил использовать
web_search, инструмент наконец вызвался. Изолированно на русском языке хорошо. В обвязке OpenClaw на русском всё ок, для транслита не осилила search для topgan horoshevo и вызвала web_fetch(url=https://topan.horoshevo). Но это я придираюсь.Короче говоря тестовая песочница может вызвать тул, но на сложных наборах данных всё ломается. Может даже сломаться аргумент.
💸 А теперь экономика
По тарифам GigaChat для юрлиц
GigaChat 2 Pro стоит 0,5 ₽ за 1 000 токенов, GigaChat 2 Max — 0,65 ₽ за 1 000 токенов. Для физлиц пакет GigaChat 2 Pro на 3 млн токенов стоит 1 500 ₽.Ссылки на тарифы: юрлица, физлица.
Мой OpenClaw ест примерно 140 млн токенов за 7 дней (спасибо Heartbeat). Если считать на месяц, получится примерно 300-400 тыс руб в месяц за Гигачат.
Один только запрос про барбершоп у меня сжигал от 15 000 до 46 000 токенов: системный промпт, память, скиллы, схемы инструментов и т д.
🚧 Интересно, что на 4-х тестах и одном запросе про барбера я получил ошибку: пора платить. 50 000 онбординг токенов улетели и пришлось платить 1500 рублей чтобы продолжить свои исследования.
🧩 Главный вывод
Суверенный ИИ — нужная штука. Я правда хочу, чтобы российские модели можно было использовать не только в пресс-релизах, но и в реальных агентных системах. Чтобы не переживать, как там дела у моих подписок в ОпенИИ.
Но если за суверенный ИИ может платить только корпорация, массового внедрения не будет.
🤔 Школьник может купить подписку на несувeренный ChatGPT примерно за цену пары доставок еды и получить модели, которые стабильнее работают с инструментами. Ценообразование фактически за токены, без дисконта для подписок вряд ли привлечет массу людей.
Кто уже пробовал GigaChat в агентах? У вас инструменты вызываются стабильно или тоже начинается лотерея?
----
Поляков считает — AI, код и кейсы
🥴 27
🤣 15
❤ 7
🔥 5
🥱 2
💯 1
53 133 5.5K
Обсуждение 53
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram