Как научить Claude читать любые сайты без ограничений

Меня бесит, когда прошу Claude что-то исследовать, вижу, как он ходит по ссылкам — и получает 403.

Самое забавное: 403 висит даже на сайтах с документацией самой Anthropic.

🔧 Решение: навык с веб-скраппингом

Сделал навык для Claude, который получает веб-страницы через сервис Scrape.do. Когда стандартный fetch не срабатывает, Claude автоматически пробует через скраппер.

Scrape.do обходит Cloudflare, решает CAPTCHA, рендерит JavaScript для SPA-сайтов. У сервиса пул из 100+ миллионов IP-адресов — сайты не распознают запросы как подозрительные.

💡 Бесплатного тарифа (1000 запросов в месяц, обновляются ежемесячно, без привязки карты) хватит для личного использования. Платите только за успешные запросы — неудачные не списываются.

⚙️ Как настроить

1️⃣ Зарегистрируйтесь на scrape.do и получите API-токен

2️⃣ Скачайте навык: GitHub

3️⃣ Добавьте токен в файл config/token.txt

4️⃣ Разрешите домены scrape.do и api.scrape.do в настройках Claude (см. скриншот)

После этого Claude сам поймёт, когда использовать навык. Видите в ризонинге «попробую через scrapedo-web-scraper» — работает.

🌀 В

октябре я писал,

что облачный рантайм не ходит на внешние сайты, вчера увидел

этот твит

и понял, что надо поискать настройку.

🎯 Что умеет

🔸 Извлекает текст из любых страниц
🔸 Рендерит React/Vue/Angular
🔸 Обходит Cloudflare и другие защиты
🔸 Возвращает сырой HTML для парсинга

Пригодится всем, кто использует Claude для ресёрча, анализа конкурентов или просто устал от «Failed to fetch».

А вы сталкивались с блокировками LLM? Как решали?

----

Поляков считает — AI, код и кейсы