Post در نمونه‌کد بالا تابع load_rows اول همه‌ی داده‌ها را یک‌جا در مموری می‌ریزد و بعد روی آن‌ها loop می‌زند؛ این کار روی فای…

در نمونه‌کد بالا تابع load_rows اول همه‌ی داده‌ها را یک‌جا در مموری می‌ریزد و بعد روی آن‌ها loop می‌زند؛ این کار روی فایل‌های بزرگ باعث Memory مصرفی بالا و حتی کرش برنامه می‌شود. در عوض، با برگرداندن یک generator و استفاده از yield می‌توانید خطوط را به‌صورت lazy و streamشده پردازش کنید تا هم مصرف مموری کم شود و هم عملکرد در سناریوهای پردازش فایل‌های بزرگ (مثلاً لاگ‌های چندگیگابایتی) بهتر شود. به‌خصوص در برنامه‌های ETL، پردازش لاگ و data pipelineها، این الگو نسبت به رویکرد لیست‌محور نمونه‌ی اول یک Design به‌مراتب پایدارتر و scalable محسوب می‌شود. 🔖 #Python #پایتون 👤 Developix 💎 Channel: @DevelopixPython