پیام متد خاصی نیاز نیست که سرور بتونه ببنده ،اگه وب برای یوزر باز باشه برای مثال برای اسکرپی هم بازه ، برای اینکه جلوی اسپاید…

30 مه 2016

متد خاصی نیاز نیست که سرور بتونه ببنده ،اگه وب برای یوزر باز باشه برای مثال برای اسکرپی هم بازه ، برای اینکه جلوی اسپایدرها یا کرولرها رو بگیرن روشهای خاصی دارن

06:55

در همان حوالی فید

Amir06:46خب شما کراولینگ رو با curl انجام می دید؟ نکنه می خواهید سوکت باز کنید؟A

Amir06:47به هر حال شما باید با یه متدی کراول کنید دیگه. با چی می خواهید وصل شید؟

این پیام

Habib Khademhosseini06:56این روشها هم عمدتا بر اساس تفاوت رفتار روبات و انسانه ، نه با بستن متد خاصی H

Habib Khademhosseini06:56https://learn.scrapehero.com/how-to-prevent-getting-blacklisted-while-scraping/