| کانال توسعه‌دهندگان پایتون |
صورة
انقر للعرض
انقر للعرض
صورة
انقر للعرض
انقر للعرض
در نمونه‌کد بالا تابع load_rows اول همه‌ی داده‌ها را یک‌جا در مموری می‌ریزد و بعد روی آن‌ها loop می‌زند؛ این کار روی فایل‌های بزرگ باعث Memory مصرفی بالا و حتی کرش برنامه می‌شود. در عوض، با برگرداندن یک generator و استفاده از yield می‌توانید خطوط را به‌صورت lazy و streamشده پردازش کنید تا هم مصرف مموری کم شود و هم عملکرد در سناریوهای پردازش فایل‌های بزرگ (مثلاً لاگ‌های چندگیگابایتی) بهتر شود. به‌خصوص در برنامه‌های ETL، پردازش لاگ و data pipelineها، این الگو نسبت به رویکرد لیست‌محور نمونه‌ی اول یک Design به‌مراتب پایدارتر و scalable محسوب می‌شود.
🔖 #Python #پایتون
👤 Developix
💎 Channel: @DevelopixPython
6 · 2.8K ·