На что дипсик тратит время при размышлениях ️
Попросил его рассчитать юнит-экономику и определить, сколько бесплатных запросов можно дать пользователю, если известны следующие расходы на API AI:
$0.15/M input tokens
$0.6/M output tokens
Допустим, в среднем входных токенов 500, а выходных 200. Тогда стоимость одного запроса будет (500 * 0.15 / 1,000,000) + (200 * 0.6 / 1,000,000) = 0.075 + 0.12 = $0.195 за запрос. (?!?!)
...
Если бесплатный тариф, то может быть ограничение, скажем, 100 запросов. Тогда стоимость на пользователя 100 * 0.195 = $19.5. Это слишком много, значит, мои предположения неверны. (?!?
!)
То есть он составил правильное выражение, но получил неправильный ответ: получил $0.195 вместо $0.000195.
Просто ошибся в 1000 раз.
Это ладно. Но дальше DeepSeek сам пришел к выводу, что ошибся. Потому что...
слишком дорого получилось для пользователя в контексте задачи! ��♀️
Тогда он еще наклепал пару абзацев (на скрине только фрагмент). И, наконец, пришел к правильному ответу.
Надо ли говорить, что все это заняло львинную долю из общих 69 секунд в рассуждениях, кучу токенов, а заодно где-то стоящие в очереди на дипсик получили свое "the server is busy".
�� Грета Тунберг вообще бы пришла в ужас. Ведь каждая секунда работы ИИ - это выбросы СО2 и потребление воды на охлаждение. Так ребята из Hugging Face вместе с учеными универа Карнеги-Меллона выяснили, что при обработке 1000 текстовых запросов ИИ потребляет энергию, которой хватило бы на зарядку 16% смартфона. И это до дипсика, который может на один запрос потратить десятки секунд.
��
Отсюда вопрос, который возник у меня еще во времена ChatGPT 3.5
Почему бы ИИ не дать калькулятор, чтобы он при расчетах им пользовался?
Составил ИИ вычислительное действие - ок, пусть отправит действие в какой-нибудь свой Wolfram, получит назад ответ и работает с ним дальше. Не?
Кажется, использовать ИИ для арифметики, чтобы потом еще и иметь дело с возможными ошибками - это в прямом смысле пушкой по воробьям. И энергию затратил на выстрел, и ни одного воробья не уложил, и крышу соседнего дома пробил.
Согласны? Или может я что-то упускаю? Ну точно же упускаю. Покажу в комментах ответ от ChatGPT на это. Он вот сопротивляется и говорит, что все не так просто.
Стартаплюсь: 371 день
@it_sabat
Обсуждение 4
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram