doing something

🐛 Silkworm: асинхронний вебскрапінг на Python з Rust під капотом Потрібно швидко зібрати дані з сайтів без купи шаблонного коду? Знайомтеся з silkworm-rs. Це async-first фреймворк для скрапінгу й краулінгу, побудований на двох швидких бібліотеках: ⚡️ wreq — HTTP-клієнт з імітацією браузерів (TLS/HTTP2-відбитки), редиректами й проксі 🦀 scraper-rs — швидкий парсинг HTML на Rust (CSS-селектори та XPath) Що всередині: • Асинхронний рушій з налаштовуваною конкурентністю, пріоритетною чергою, backpressure і таймаутами • Проста модель Spider / Request / Response. Колбеки можуть повертати і дані, і нові запити • Middlewares: ротація User-Agent і проксі, cookies, retry з експоненційним backoff, затримки, robots.txt • Pipelines з коробки: JSON Lines, CSV, SQLite, XML. Як extras: Parquet, Excel, MongoDB, PostgreSQL, Elasticsearch, S3, DuckDB та інші • Декларативне витягування даних через Item, Text, Attr • Конвертація HTML → Markdown (зручно для LLM-пайплайнів 🤖) • Опційно: рендеринг JS-сторінок через Servo і підтримка `.onion`-сайтів • Запуск на asyncio, uvloop, winloop або trio • Повна типізація, Python 3.13+, експериментальна підтримка free-threaded 3.14 Приклад, що збирає цитати з пагінацією: from silkworm import HTMLResponse, Response, Spider, run_spider from silkworm.pipelines import JsonLinesPipeline class QuotesSpider(Spider): name = "quotes" start_urls = ("https://quotes.toscrape.com/",) async def parse(self, response: Response): if not isinstance(response, HTMLResponse): return for q in await response.select(".quote"): text = await q.select_first(".text") author = await q.select_first(".author") if text and author: yield {"text": text.text, "author": author.text} next_link = await response.select_first("li.next > a") if next_link: yield response.follow(next_link.attr("href"), callback=self.parse) run_spider(QuotesSpider, item_pipelines=[Js

European payments groups join forces to challenge US dominance Article, Comments