Amazon потратил миллионы долларов из-за непредвиденных расходов на токены

Сотрудники Amazon обнаружили несколько случаев, когда после внедрения AI, проекты внезапно начинали расходовать огромное количество токенов. Проблемы возникали из-за простых ошибок, которые в обычных программах почти ничего не стоили бы. Но при работе с платными моделями они приводили к затратам в сотни тысяч долларов.

Самый крупный случай связан с системой на базе Sonnet, которая должна была сопоставлять авторов с карточками книг на Amazon. Проект не получился, но сжег токенов на 1.8 миллиона долларов. Бюджет был превышен на 860%. Проблему заметили только через пять месяцев.

«Трудно понять, сколько стоит что-либо, связанное с AI», — прокомментировал ситуацию один из руководителей Amazon.

Теперь Amazon разрабатывает автоматические ограничения расходов для AI-проектов.

P.S.: удивительно, конечно, что в масштабах Амазона как-то всплыло число в 1.8 миллиона долларов.

https://www.ft.com/content/77baac40-d803-4084-94f3-a133653072cf?syn-25a6b1a6=1