Тут на Реддите парень сделал крутой инструмент для скрейперов - caniscrape.org ??

Суть проекта:

Показывает, насколько сложно спарсить любой сайт, прежде чем ты начнешь писать код.

Что проверяет:

• Cloudflare, Akamai и другие защиты
• JavaScript-рендеринг
• CAPTCHAs и honeypots
• TLS-фингерпринтинг
• Рейт-лимиты

На выходе получаешь:

• Оценку сложности от 0 до 10
• Список активных защит
• Рекомендации по инструментам

Фишка в том, что это не обход защиты, а диагностика - чтобы не тратить время на сайты, которые всё равно не получится спарсить.

Есть и веб-версия, и CLI через pip.

А я смотрю и думаю: насколько же выросла индустрия парсинга, если уже появляются такие специализированные инструменты!

Русский ИТ бизнес