4 February 2024
5 February 2024
Фотография
click to show
click to show
بنا به درخواست شما عزیزان وبیناری تحت عنوان "بایدها و نباید های ورود به دنیای دیتا" توسط بنده در روز 18 بهمن ماه برگزار خواهد شد تا در این وبینار به چگونگی ورود به دنیای دیتا و پوزیشن های موجود در جهان صحبت کنیم.
لینک ثبت نام:
https://evand.com/events/skillclubbi
✔️Data➕Science
6.5K · 12 February 2024
Amiraliسلام دوستان وقت بخیر ، آیا برای etl یک دیتابیس بیگ دیتا ( حدود ۳ ترابایت ) ، باز هم استفاده از ssis ،ممکن و نسبتا بهینه هس ؟
اگر دیتایی که میارید بصورت load incremental باشد مشکلی نخواهید داشت وگرنه شاید اذیت بشید در پروسه ETL
Mortezaاگر دیتایی که میارید بصورت load incremental باشد مشکلی نخواهید داشت وگرنه شاید اذیت بشید در پروسه ETL
بله منتهی دفعه اول باید full بیارم
15 February 2024
Amiraliبله منتهی دفعه اول باید full بیارم
سلام وقت شما بخیر
بله شدنی هست هیچ مشکلی هم پیش نمیاد
منتهی یسری قوانین رو رعایت کنید
اولا دیتا هارو به صورت بخش بخش بیارید (یه container بذارید و var بهش پاس بدید مثلا دسته های ۵۰ میلیونی بهش پاس بدید)
اینطوری اگر جایی مثلا کانکشن شما ارور خورد ، کلا پکیج شما rollback نمیشه
دوما بر اساس کانفیگ cpu تون تا جایی ک میشه داخل buffer رکورد جا بدید تا تو هر بافر حجم بیشتری از رکورد هارو پوشش بده
سوما از bulk insert یا fast load استفاده کنید
چهارما میتونید اگر کامپوننت هایی که فلوتون رو به چندتا thread پخش میکنن استفاده کنید تا همزمان تعداد هم چند تا thread باهم کار کنن هم تعداد زیادی رکورد بیارن
پنجما تا جایی ک میشه از booking transformation ها (مثل sort) استفاده نکنید.
Mohammad mahdi Siminسلام وقت شما بخیر
بله شدنی هست هیچ مشکلی هم پیش نمیاد
منتهی یسری قوانین رو رعایت کنید
اولا دیتا هارو به صورت بخش بخش بیارید (یه container بذارید و var بهش پاس بدید مثلا دسته های ۵۰ میلیونی بهش پاس بدید)
اینطوری اگر جایی مثلا کانکشن شما ارور خورد ، کلا پکیج شما rollback نمیشه
دوما بر اساس کانفی
سلام شبتون بخیر
بسیار ممنونم از توضیحات کاملتون
من میتونم بعدا در پیوی مزاحمتون شم در خصوص incremental load هم یه راهنمایی بگیرم ازتون؟🙏
16 February 2024
25 February 2024
سلام دوستان وقتتون بخیر باشه
ما میخوایم به یک دیتابیس mysql به صورت ریموت با ssms وصل شیم و دیتاهارو واکشی کنیم و etl انجام بدیم ، منتهی سروری که دیتابیس mysql داخلش هس لینوکس هستش و ما باید job رو طوری بنویسیم که هر بار خودش با یوزر و پسورد و .... از ssh tunel رد بشه و بعد وارد دیتابیس و دیتارو واکشی کنه ، آیا راهی برای این کار هس ؟
Amiraliسلام دوستان وقتتون بخیر باشه
ما میخوایم به یک دیتابیس mysql به صورت ریموت با ssms وصل شیم و دیتاهارو واکشی کنیم و etl انجام بدیم ، منتهی سروری که دیتابیس mysql داخلش هس لینوکس هستش و ما باید job رو طوری بنویسیم که هر بار خودش با یوزر و پسورد و .... از ssh tunel رد بشه و بعد وارد دیتابیس و دیتارو وا
بله، برای اتصال به دیتابیس MySQL از طریق SSH tunneling و انجام ETL میتوانید از ابزارهای مختلفی مانند Apache Airflow، Talend، Pentaho و ... استفاده کنید.
برای اجرای کارهای ETL از طریق SSH tunnel، میتوانید از ابزارهایی مثل SSHuttle یا PuTTY (برای ویندوز) استفاده کنید تا اتصال SSH را ایجاد کنید و سپس به دیتابیس MySQL متصل شوید.
با استفاده از تنظیمات SSH tunneling، میتوانید اتصال امن به دیتابیس MySQL را از راه دور ایجاد کنید و کارهای ETL خود را انجام دهید. همچنین، میتوانید برنامههای کاوش دادهها مانند Python pandas یا R را برای اتصال و انجام تبدیلها و بارگیری دادهها از دیتابیس MySQL از راه دور استفاده کنید.
Sajjad Rahmatiبله، برای اتصال به دیتابیس MySQL از طریق SSH tunneling و انجام ETL میتوانید از ابزارهای مختلفی مانند Apache Airflow، Talend، Pentaho و ... استفاده کنید.
برای اجرای کارهای ETL از طریق SSH tunnel، میتوانید از ابزارهایی مثل SSHuttle یا PuTTY (برای ویندوز) استفاده کنید تا اتصال SSH را ایجاد کنید و س
ممنون منتهی من میخوام با ssms وصل شم ، و نکته بعدی این که با putty میشه تو لحظه اتصال ssh رو برقرار کرد منتهی برای نوشتن job باید چیکار کرد ؟
بله، با استفاده از putty میتوانید اتصال SSH را برقرار کرده و به دیتابیسدMysqL وصل شوید. اما برای اجرای کارهای ETL به صورت خودکار میتوانید از ابزارهای زمانبندی مانند Task Scheduler در ویندوز یا cron job در لینوکس استفاده کنید.
به عنوان مثال، میتوانید یک اسکریپت bash یا PowerShell بنویسید که اتصال SSH را برقرار کند، job را اجرا کند و سپس اتصال SSH را قطع کند. این اسکریپت را میتوانید به عنوان یک cron job در لینوکس یا یک Task در Task Scheduler ویندوز تنظیم کنید تا به صورت دورهای اجرا شود
Sajjad Rahmatiبله، با استفاده از putty میتوانید اتصال SSH را برقرار کرده و به دیتابیسدMysqL وصل شوید. اما برای اجرای کارهای ETL به صورت خودکار میتوانید از ابزارهای زمانبندی مانند Task Scheduler در ویندوز یا cron job در لینوکس استفاده کنید.
به عنوان مثال، میتوانید یک اسکریپت bash یا PowerShell بنویسید که اتصال
اگه اشتباه نکنم این چت جی بی تی هس ، دستتون هم درد نکنه
منتهی باز هم تقریبا نگفته چجوری با ssms این کار رو انجام بدم
Amiraliاگه اشتباه نکنم این چت جی بی تی هس ، دستتون هم درد نکنه
منتهی باز هم تقریبا نگفته چجوری با ssms این کار رو انجام بدم
درسته چت جی بی تی هستش من خودم وقتی مسأله گیر میکردم می پرسیدم جواب میگرفتم مثلا در مورد تخصص خودم که مهندسی داده هستش خیلی کمک گرفتم گفتم شاید به کمک شما هم بیاد
Sajjad Rahmatiدرسته چت جی بی تی هستش من خودم وقتی مسأله گیر میکردم می پرسیدم جواب میگرفتم مثلا در مورد تخصص خودم که مهندسی داده هستش خیلی کمک گرفتم گفتم شاید به کمک شما هم بیاد
خیلی هم ممنون ازتون
حتما این task scheduler رو امتحان میکنم
28 February 2024
id 1425623128بنا به درخواست شما عزیزان وبیناری تحت عنوان "بایدها و نباید های ورود به دنیای دیتا" توسط بنده در روز 18 بهمن ماه برگزار خواهد شد تا در این وبینار به چگونگی ورود به دنیای دیتا و پوزیشن های موجود در جهان صحبت کنیم.
لینک ثبت نام:
https://evand.com/events/skillclubbi
✔️Data➕Science
سلام فایل ضبط شده وبینار رو در کانال قرار میدید؟
Sheida Pourmohammadسلام فایل ضبط شده وبینار رو در کانال قرار میدید؟
سلام وقت بخیر باید از موسسه دریافت کنید