Сергей Булаев AI 🤖
@sergiobulaev
Кстати Антропик тоже на днях выпустили замечательную статью про тулы и оптимизацию MCP чуть чуть с другого угла. Тем кто используем моего любимого агента постоянно - читать обязательно.
Для остальных ChatGPT сделал маленький конспект:
Вот короткое, простыми словами: ниже — список практичных советов, как сделать MCP‑инструменты понятными для агентов и быстрыми в работе. Берём лучшее из статьи: прототипируем, оцениваем, улучшаем и используем агента (например, Claude Code) для автооптимизации.
Прототип
Начните с мини‑прототипа одного инструмента.
Сразу тестируйте локально через MCP‑сервер/DEXT.
Дайте модели краткую доку и SDK/API.
Проверьте руками типичные реальные сценарии.
Подключите к Claude Code/Claude Desktop.
Оценка (eval)
Сгенерируйте набор реалистичных задач, не «песочницу».
На каждую задачу — чёткий проверяемый результат.
Запускайте простые агентные циклы (LLM ↔ tool).
Собирайте метрики: точность, время, вызовы, токены, ошибки.
Выбор инструментов
Меньше инструментов, больше пользы.
Не оборачивайте API «как есть» без смысла.
Консолидируйте частые цепочки в один вызов.
Делайте инструменты под высокоимпактные флоу.
Неймспейсы и имена
Группируйте по сервису и ресурсу (asana_, jira_).
Делайте говорящие параметры: user_id, а не user.
Тестируйте префиксы vs суффиксы на своём eval.
Возврат контекста
Возвращайте только «высокосигнальные» поля.
Предпочитайте человекочитаемые ID и названия.
Добавьте режимы ответа: concise / detailed.
Тех. идентификаторы — только в detailed, когда нужны цепочки.
Экономия токенов
Введите пагинацию, фильтры, выбор диапазона.
Транкируйте длинные ответы с подсказкой «что дальше».
Поощряйте точечные запросы вместо «широких».
Ограничьте максимальный размер ответа по умолчанию.
Ошибки и валидация
Валидируйте входы рано и строго.
Ошибки пишите полезно: «что исправить» + пример.
Не отдавайте «сырой» трейс без пользы.
Промпт‑инжиниринг описаний
Пишите описания как для нового коллеги.
Явно объясняйте форматы, термины, допущения.
Давайте короткие примеры входов/выходов.
Регулярно обновляйте описания по результатам eval.
Сотрудничество с агентом
Давайте агенту логи/транскрипты для анализа.
Просите предложить правки схем и описаний.
Фиксируйте изменения и переоценивайте на hold‑out наборе.
Сильные задачи для eval
Многошаговые, с несколькими вызовами и проверкой.
Основаны на реальных данных/сервисах.
Избегайте одноходовых задач без контекста.
Формат ответов
Подбирайте JSON/Markdown/XML под задачу.
Смотрите, с чем модель справляется лучше у вас.
Аналитика вызовов
Ищите лишние вызовы — оптимизируйте пагинацию/фильтры.
Снижайте частоту ошибок неверных параметров.
Отслеживайте типовые цепочки — объединяйте их в один инструмент.
Практические замены
Вместо list_* — search_* с релевантным контекстом.
Вместо россыпи get_* — один *_context с агрегированием.
Вместо list_users + list_events + create_event — schedule_event.
Процесс
Цикл: прототип → eval → правки → повтор.
Держите тест‑сеты отдельно (чтобы не переобучиться).
Версионируйте схемы и описания инструментов.
Золотое правило
Если инструмент понятен человеку — он «эргономичен» и для агента.
Сергей Булаев AI 🤖 - об AI и не только
sbulaev |
insta | twitter
Для остальных ChatGPT сделал маленький конспект:
Вот короткое, простыми словами: ниже — список практичных советов, как сделать MCP‑инструменты понятными для агентов и быстрыми в работе. Берём лучшее из статьи: прототипируем, оцениваем, улучшаем и используем агента (например, Claude Code) для автооптимизации.
Прототип
Начните с мини‑прототипа одного инструмента.
Сразу тестируйте локально через MCP‑сервер/DEXT.
Дайте модели краткую доку и SDK/API.
Проверьте руками типичные реальные сценарии.
Подключите к Claude Code/Claude Desktop.
Оценка (eval)
Сгенерируйте набор реалистичных задач, не «песочницу».
На каждую задачу — чёткий проверяемый результат.
Запускайте простые агентные циклы (LLM ↔ tool).
Собирайте метрики: точность, время, вызовы, токены, ошибки.
Выбор инструментов
Меньше инструментов, больше пользы.
Не оборачивайте API «как есть» без смысла.
Консолидируйте частые цепочки в один вызов.
Делайте инструменты под высокоимпактные флоу.
Неймспейсы и имена
Группируйте по сервису и ресурсу (asana_, jira_).
Делайте говорящие параметры: user_id, а не user.
Тестируйте префиксы vs суффиксы на своём eval.
Возврат контекста
Возвращайте только «высокосигнальные» поля.
Предпочитайте человекочитаемые ID и названия.
Добавьте режимы ответа: concise / detailed.
Тех. идентификаторы — только в detailed, когда нужны цепочки.
Экономия токенов
Введите пагинацию, фильтры, выбор диапазона.
Транкируйте длинные ответы с подсказкой «что дальше».
Поощряйте точечные запросы вместо «широких».
Ограничьте максимальный размер ответа по умолчанию.
Ошибки и валидация
Валидируйте входы рано и строго.
Ошибки пишите полезно: «что исправить» + пример.
Не отдавайте «сырой» трейс без пользы.
Промпт‑инжиниринг описаний
Пишите описания как для нового коллеги.
Явно объясняйте форматы, термины, допущения.
Давайте короткие примеры входов/выходов.
Регулярно обновляйте описания по результатам eval.
Сотрудничество с агентом
Давайте агенту логи/транскрипты для анализа.
Просите предложить правки схем и описаний.
Фиксируйте изменения и переоценивайте на hold‑out наборе.
Сильные задачи для eval
Многошаговые, с несколькими вызовами и проверкой.
Основаны на реальных данных/сервисах.
Избегайте одноходовых задач без контекста.
Формат ответов
Подбирайте JSON/Markdown/XML под задачу.
Смотрите, с чем модель справляется лучше у вас.
Аналитика вызовов
Ищите лишние вызовы — оптимизируйте пагинацию/фильтры.
Снижайте частоту ошибок неверных параметров.
Отслеживайте типовые цепочки — объединяйте их в один инструмент.
Практические замены
Вместо list_* — search_* с релевантным контекстом.
Вместо россыпи get_* — один *_context с агрегированием.
Вместо list_users + list_events + create_event — schedule_event.
Процесс
Цикл: прототип → eval → правки → повтор.
Держите тест‑сеты отдельно (чтобы не переобучиться).
Версионируйте схемы и описания инструментов.
Золотое правило
Если инструмент понятен человеку — он «эргономичен» и для агента.
Сергей Булаев AI 🤖 - об AI и не только
sbulaev |
insta | twitter
28
5
5 261 7.3K
Обсуждение 5
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram