Всё чаще слышу про Firecrawl - новый API для универсального скрэйпинга интернет страниц по адекватным ценам (100 тысяч страниц в месяц зв 83 доллара). Сомневаюсь что прямо любые страницы (интересно как с Cloudflare борется). Но может он многое:

Интернет страница -> Markdown
Интернет страница -> JSON
Кроулинг и скрэйпинг в одном API

Вот тут хороший пример скачивания доков по ведущим LLM что бы потом можно было по ним вопросы Клоду задавать. Обязательно сам попробую в ближайшее время - расскажу.

#Скрэйпинг #Кроулинг

Сергей Булаев AI 🤖 - об AI и не только