Conversazione برای یه سیستم با حدود ۴ ۵ میلیارد یا بیشتر رکورد و زدن کوئری‌های چند تایی مثل select aggregation و order کردن و ... حدود…

17 messaggi · 15:06–17:05

برای یه سیستم با حدود ۴ ۵ میلیارد یا بیشتر رکورد و زدن کوئری‌های چند تایی مثل select aggregation و order کردن و ... حدودا چقدر رم نیاز هست برای استفاده از اسپارک؟

15:06

S
Salva
این میزان درستی نیست . حجم دیتا مهم تره . میتونی ری پارتیشن کنی دیتاهارو . و ریز . و به اسپارک بدی تا پردازش کنه .. فرضا 1میلیارد رکورد هرکدوم با حجم 1کیلوبایت میشه تقریبا 1ترابایت:)) و اسپارک 1ترابایت رو روی 64گیگ رم براحتی پردازش میکنه .. اما بازم میزان درستی نیستش . .و باید نوع پروسس مشخص باشه .. و همینطور. استفاده از اسپارک روی سینگل نود توصیه نمیشه ..
16:30
1. A
  Account eliminato
  الان مثلا من تقریبا ۱۰ تا ستون داشته باشم تقریبا حجم داده‌هام هم ۶۰۰ گیگ هستش چقدر رم نیاز داره تقریبا؟
  16:32
  1. S
    Salva
    ببین باز بسته به پروسس داره . ..اسپارک تقریبا ۹۰درصد کارش روی رمه .. و رم بالایی مصرف میکنه .. اگه بصورت مثلا active record باهاش کار کنی.. شاید نصف دیتا رو بیاری رو رم .. و آورهد و خدافظی:) .. بنابرین نمیشه از اینجا یه نسخه پیچید .. حداقل من در جریانش نیستم ..
    16:33
    1. A
      Account eliminato
      من خیلی بلد نیستم اسپارک راستش این active record که گفتی یعنی چی؟ من یه کوئری زدم فقط می‌دونم سر ۲۸ گیگ رم terminate شد پروسم الان می‌خوان سخت‌افزار تهیه کنن نیازمندی خواستن و من نمی‌دونم باید چی کار کنم
      16:36
      1. S
        Salva
        ببین یه وقتی دیتا روی رم میاری .. و بخای مثلا همونجا یه حرکتی روش بزنی .. خب باز برای اون حرکت . یه منابع کثیری مصرف میشه(فرض کن سورت).. بنابرین سعی کن کوئری بزنی و از فانشنالیتی استفاده کنی.. مثلا دیتا رو ک خوندی.. با خود پایتون دوباره روش حرکت نزن:)) بسپارش به اسپارک .. کوئری سلکت آل هم نزن:D .. لیمیت کن اگه منابع کم داری .. بنچمارک هایی ک من میبینم روی ۱۰نود اسپارک به بالا .. و حداقل 32گیگ رم دارن .. گفتم .. اصلا از اینجا من نمیتونم چیز دقیقی بگم بهت ..
        16:38
        A
        Account eliminato
        آدرس بدم بیایی؟ :))) فعلا که ۱ نود داریم فقط ۳۲ گیگ رم این حجم دیتا گفتن کار کن باهاش 😐 فکر کنم پس فردا می‌گن نشستی رو صندلی با دستات بال بزن پرواز کن
        16:40
        S
        Salva
        خوشحال میشم افتخار آشنایی داشته باشم:D از نزدیک زیارتت کنم .. ولی حقیقتا درگیرم ..
        16:41
        A
        Account eliminato
        :)))‌ سلامت باشی هممم خیلی ممنون بابت راهنماییت
        16:41
        S
        Salva
        خواهش میکنم:) از این عزیز هم میتونی باز راهنمایی بگیری @Kingeng زیاد تو اینجور کاراست
        16:43
        K
        King Eng
        مرسی حل شد ی جاهایی شو خودم باید کد بزنم باقیشم رواله مرسی 🌹🌹🌹🌹
        16:45
        S
        Salva
        😂😂😂منظورم این بود ک این بنده خدارو راهنمایی کنی:)
        16:45
        K
        King Eng
        😂😂😂😂😂 حله‌ حله
        16:46
        A
        Account eliminato
        می‌تونم خصوصی مزاحمتون بشم؟
        17:02
        K
        King Eng
        درخدمتم
        17:05
        A
        Account eliminato
        ها مرسی ❤️
        16:45
        A
        Account eliminato
        خیلی سعی کردم اوپتیمایز کنم کد رو ولی خب دیگه چاره‌ای نبوده تا اینجاش
        16:41