Andrey PluginДоброго. поделитесь либой.
мне нужно: что то типа на вход url на выходе контент в формате markdown.
Гуглил, нашел этот проект https://github.com/unclecode/crawl4ai, потыкал этот проект в прниципе норм работает но это на базе playwright, но хочется еще варианты может на базе selenium что то есть по
гермес поставь
( O ( вот такие города они дают выбрать для датацентров: ❯ curl -s -x http://global.rotating.proxyrack.net:10000 -U $PROXYRACK_USERNAME:$PROXYRACK_PASSWORD http://api.proxyrack.net/countries | jq -r .[] | tr -d \\r | xargs -i sh -c 'echo -n {}:; curl -s -x http://global.rotating.proxyrack.net:100 00 -U $PROXYRACK_USERNAME:$PROXYRACK_PASSWORD "http://api.proxyrack.net/countries/{}/cities"' GE:[] DE:[ "Berlin" ] HN:[] MD:[ "Chisinau" ] GB:[ "Rainhill", "Birmingham" ] UA:[] US:[ "Camden", "Agawam", "Albany", "Little Rock", "Chicago", "New York", "Birmingham", "Huntington", "Orangeburg", "Newark", "Medford", "Fair Lawn", "Dallas" ] BG:[]
Ссылка
нажмите — покажем
нажмите — покажем
https://github.com/scrapy/scrapy/issues/7820
Обновлял тут Scrapy до последнего 2.17 и наткнулся на багу:
from scrapy.settings import Settings
s = Settings()
s.set("EXTENSIONS", {"nonexistent.module.Extension": None}, priority="cmdline")
s.get_component_priority_dict_with_base("EXTENSIONS")
# Scrapy <=2.14: OK (None-valued key not imported)
# Scrapy 2.17: ModuleNotFoundError: No module named 'nonexistent'
@timofeey_belousov, пожалуйста, нажмите на кнопку ниже в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch