Пятничный тестик на Sabbatical

Отслеживаю новости по мессенджеру MAX, чтоб понимать идет развитие или нет. Увидел, что три дня назад завезли в него Гигачат - https://max.ru/gigachat

Так-то опоздали, все равно я первый завез ИИ в MAX

Ок, пошел его тестировать, и на втором тесте бросил это дело. Стандартная древняя задачка

У Алисы две сестры и один брат. Сколько сестер у брата Алисы

Первый ответ: ОДНА сестра. Второй: ДВЕ. Оба ответа неверные. Длинные. И со странным форматированием в конце.

Ок, иду в своего бота, который работает на основе GPT-4o-mini еще с 31 марта - https://max.ru/AssistantsBot

Вопрос тот же. Первый ответ: ДВЕ сестры (при том, что он всех троих перечислил). Второй: ТРИ. Со второй попытки ответ верный. При этом сами ответы четкие и лаконичные, помещаются в один экран (на скринах видно разницу)

Цены на API:
GigaChat - свыше $2 за 1 млн токенов
GPT-4o-mini - $0.15/$0.6 за 1 млн токенов.

Конечно, я рад, что гигачат у нас вообще есть, но пока не вижу смысла применять в проектах. Ждем, когда подтянут по качеству и по ценам ��‍♂️

#AI@it_sabat