讨论串 برای یه سیستم با حدود ۴ ۵ میلیارد یا بیشتر رکورد و زدن کوئری‌های چند تایی مثل select aggregation و order کردن و ... حدود…
17 条消息 · –S این میزان درستی نیست . حجم دیتا مهم تره . میتونی ری پارتیشن کنی دیتاهارو . و ریز . و به اسپارک بدی تا پردازش کنه .. فرضا 1میلیارد رکورد هرکدوم با حجم 1کیلوبایت میشه تقریبا 1ترابایت:)) و اسپارک 1ترابایت رو روی 64گیگ رم براحتی پردازش میکنه .. اما بازم میزان درستی نیستش . .و باید نوع پروسس مشخص باشه .. و همینطور. استفاده از اسپارک روی سینگل نود توصیه نمیشه ..已 S 已 S ببین یه وقتی دیتا روی رم میاری .. و بخای مثلا همونجا یه حرکتی روش بزنی .. خب باز برای اون حرکت . یه منابع کثیری مصرف میشه(فرض کن سورت).. بنابرین سعی کن کوئری بزنی و از فانشنالیتی استفاده کنی.. مثلا دیتا رو ک خوندی.. با خود پایتون دوباره روش حرکت نزن:)) بسپارش به اسپارک .. کوئری سلکت آل هم نزن:D .. لیمیت کن اگه منابع کم داری .. بنچمارک هایی ک من میبینم روی ۱۰نود اسپارک به بالا .. و حداقل 32گیگ رم دارن .. گفتم .. اصلا از اینجا من نمیتونم چیز دقیقی بگم بهت ..