Claude Computer Use: Anthropic наконец объяснила, почему агенты промахиваются по кнопкам

Anthropic выложила практический гайд по computer/browser use для Claude. И там не про «магических агентов будущего», а про скучную инженерию, из-за которой агент либо работает, либо кликает мимо кнопки.

Главный инсайт: точность кликов часто ломается не из-за модели, а из-за скриншотов.

Если отправлять в API нативный 4K-скрин, Claude всё равно может увидеть его в уменьшенном виде. Модель возвращает координаты по одной картинке, а ваш harness кликает по другой системе координат. Итог - стабильные промахи.

Что рекомендует Anthropic:

- заранее downscale скриншотов
- для Claude 4.6 держаться около 1280×720
- для Opus 4.7 можно начинать с 1080p
- не отправлять native 4K без подготовки
- всегда масштабировать координаты обратно в реальный экран
- сначала давать текстовую инструкцию, потом изображение
- для мелких UI-элементов включать zoom или использовать клавиатуру
- логировать transcript и накладывать predicted clicks поверх скриншота

Отдельно интересно про модели. Sonnet 4.6 у них точнее для механических кликов, Opus 4.7 уже почти догнал по click accuracy, но даёт больше reasoning и больший pixel budget.

Самый полезный вывод: browser agent - это не «дал промпт и забыл».

Это система из модели, скриншотов, координат, DPI, zoom, DOM, клавиатуры, логов и fallback-методов. Если хотя бы один слой настроен криво, агент будет выглядеть глупым, хотя проблема вообще не в интеллекте модели.

Агенты становятся реальными не тогда, когда модель «умнее».

А тогда, когда вокруг неё собран нормальный runtime.

https://claude.com/blog/best-practices-for-computer-and-browser-use-with-claude