🔥 Полезные библиотеки Python
Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.
Установка:
$ pip install requests-html
Пример использования:
1️⃣
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('
https://python.org/')
2️⃣
from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
r = await asession.get('
https://python.org/')
return r
async def get_reddit():
r = await asession.get('
https://reddit.com/')
return r
async def get_google():
r = await asession.get('
https://google.com/')
return r
results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]
for result in results:
print(result.html.url)
Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.
⚙️ GitHub/Инструкция
#python #github #soft