Полезные библиотеки Python

Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.

Установка:
$ pip install requests-html

Пример использования:

1️⃣

from requests_html import HTMLSession

session = HTMLSession()

r = session.get('https://python.org/')

2️⃣

from requests_html import AsyncHTMLSession

asession = AsyncHTMLSession()

async def get_pythonorg():

     r = await asession.get('https://python.org/')

     return r



async def get_reddit():

    r = await asession.get('https://reddit.com/')

    return r



async def get_google():

    r = await asession.get('https://google.com/')

    return r



results = asession.run(get_pythonorg, get_reddit, get_google)

results # check the requests all returned a 200 (success) code

[<Response [200]>, <Response [200]>, <Response [200]>]



for result in results:

     print(result.html.url)

Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.

GitHub/Инструкция

#python #github #soft