Тем временем Anthropic удвоили размер максимального лимита количества сгенерированных токенов для Claude 3.5 Sonnet при запросах через API. Теперь он - 8192!

Чтобы воспользоваться, нужно добавить дополнительный заголовок в запрос на создание сообщения:

"anthropic-beta": "max-tokens-3-5-sonnet-2024-07-15"

Также увеличенное окно доступно в консоли. В Claude.ai пока не меняли, но планируют выкатывать.

Сергей Булаев AI 🤖 - об AI и не только