پست Scrapy ломается не на парсинге, а на мелочах: 5 проверок перед запуском

Scrapy ломается не на парсинге, а на мелочах: 5 проверок перед запуском За неделю в репах чаще всего всплывает одно и то же: spider вроде живой, а данных мало, дубли растут, а сервер отвечает баном. У Scrapy сильная база, но стабильность тут держится не на «магии фреймворка», а на дисциплине вокруг него. • Проверь selector’ы на пустые ответы и fallback-ветки: если верстка поехала, паук не должен молча собирать мусор. • Не смешивай логику обхода и нормализацию данных в parse: сначала достань сырой payload, потом приводи к схеме. • Для дубликатов используй стабильный fingerprint: URL без шума, canonical-поля, нормализация query string. • Retry и timeout настраивай под тип сайта, а не «на глаз»: одна политика для API, другая для тяжелых страниц. Отдельно проверь pipeline: если item валится на валидации, паук не должен падать целиком. Ошибка должна уходить в лог с контекстом, иначе отладка превращается в угадайку. Если нужен устойчивый Scrapy-проект, сначала добейся предсказуемого failure mode, и только потом ускоряй обход и распараллеливание.