avatar
IT Sabbatical • Стартаперская
@it_sabat
14.02.2025 14:09
На что дипсик тратит время при размышлениях

Попросил его рассчитать юнит-экономику и определить, сколько бесплатных запросов можно дать пользователю, если известны следующие расходы на API AI:
$0.15/M input tokens
$0.6/M output tokens

Допустим, в среднем входных токенов 500, а выходных 200. Тогда стоимость одного запроса будет (500 * 0.15 / 1,000,000) + (200 * 0.6 / 1,000,000) = 0.075 + 0.12 = $0.195 за запрос. (?!?!)
...
Если бесплатный тариф, то может быть ограничение, скажем, 100 запросов. Тогда стоимость на пользователя 100 * 0.195 = $19.5. Это слишком много, значит, мои предположения неверны. (?!?
!)

То есть он составил правильное выражение, но получил неправильный ответ: получил $0.195 вместо $0.000195.
Просто ошибся в 1000 раз.

Это ладно. Но дальше DeepSeek сам пришел к выводу, что ошибся. Потому что... слишком дорого получилось для пользователя в контексте задачи! ��‍♀️

Тогда он еще наклепал пару абзацев (на скрине только фрагмент). И, наконец, пришел к правильному ответу.

Надо ли говорить, что все это заняло львинную долю из общих 69 секунд в рассуждениях, кучу токенов, а заодно где-то стоящие в очереди на дипсик получили свое "the server is busy".

�� Грета Тунберг вообще бы пришла в ужас. Ведь каждая секунда работы ИИ - это выбросы СО2 и потребление воды на охлаждение. Так ребята из Hugging Face вместе с учеными универа Карнеги-Меллона выяснили, что при обработке 1000 текстовых запросов ИИ потребляет энергию, которой хватило бы на зарядку 16% смартфона. И это до дипсика, который может на один запрос потратить десятки секунд.

��Отсюда вопрос, который возник у меня еще во времена ChatGPT 3.5

Почему бы ИИ не дать калькулятор, чтобы он при расчетах им пользовался? 


Составил ИИ вычислительное действие - ок, пусть отправит действие в какой-нибудь свой Wolfram, получит назад ответ и работает с ним дальше. Не?

Кажется, использовать ИИ для арифметики, чтобы потом еще и иметь дело с возможными ошибками - это в прямом смысле пушкой по воробьям. И энергию затратил на выстрел, и ни одного воробья не уложил, и крышу соседнего дома пробил.

Согласны? Или может я что-то упускаю? Ну точно же упускаю. Покажу в комментах ответ от ChatGPT на это. Он вот сопротивляется и говорит, что все не так просто.

Стартаплюсь: 371 день
@it_sabat
👏 3
👍 2
😁 1
4 2 248

Обсуждение 4

Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.

Обсудить в Telegram