Я спрошу: «Затраты на self-hosted llm это же только стоимость GPU, да?»

Менеджер скажет: «Пффф, Сережа, это же очевидно!
Еще затраты на ФОТ, ведь нам люди нужны чтобы как минимум инференсом заниматься!»

Промпт-инженер парирует: «Думаю мы потратим больше времени, чтобы заставить работать аи-сценарии на непроприетарных моделях…», и будет прав.

AI product engineer рассмеется в ответ: «Ха! Да вы же заплатите временем пока патчите vLLM для поддержки responses API!»

И только тот, кто прошел процесс обновления парка моделей с необходимостью держать пулл старых для обратной совместимости у клиентов, тихонько заплачет в углу…