دوستان برای جمعآوری دیتا با استفاده از فریمورک scrapy به یک سایتی برخوردم که ریدایرکت نمیشه ولی به عبارت “شما در حال انتقال به صفحه مورد نظر هستید…”مواجه شدم، حدودا ۲۰۰ هزارتا لینک رو باید ریکوئست بزنم و اگر بخوام سر هر لینک سه ثانیه sleep بذارم، خیلی زمانبره. کسی ایده ای داره ؟ هزینش پرداخت میشه.