پست Scrapy ломается не на парсинге, а на организации пайплайна и дедупликации

Scrapy ломается не на парсинге, а на организации пайплайна и дедупликации У Scrapy сильная сторона — не «качать страницы», а строить конвейер: запросы, ретраи, фильтрация, пайплайн, экспорт. Но в реальных проектах проблемы почти всегда одни и те же. — Не смешивайте сбор и очистку. Spider должен добывать сырой контент, а нормализация — жить в Item Pipeline или отдельном слое. — Дедупликацию делайте по стабильному ключу: URL, внешний ID, комбинация полей. Не полагайтесь только на fingerprint запроса. — Таймауты и ретраи настраивайте под тип источника: для медленных каталогов нужен один профиль, для API — другой. — Если данные идут в БД, пишите идемпотентно: повторный прогон не должен плодить дубликаты. 🧩 Ещё одна типовая ошибка — хранить логику «если поле пропало, то брать из соседнего блока» прямо в spider. Это быстро превращает паука в комок if/else. Лучше вынести правила извлечения в отдельные функции и тестировать их на HTML-фикстурах. И не забывайте про throttling: Scrapy умеет быть вежливым, но только если вы явно задаёте лимиты параллелизма и пауз. Иначе он легко начнёт шуметь там, где нужен аккуратный сбор. Если держать spider тонким, а правила очистки и записи — отдельными, Scrapy остаётся очень живым инструментом для парсинга, ETL и автоматизации.