Web appOpen in Telegram
Theme
Web appOpen in Telegram
DDataEngineerGuys

DataEngineerGuys

@DataEngineerGuys · group · Tech · indexed since 2026-07-17
Open in Telegram
1 739members
4 186messages in the index
25 July 2026
H
Hossei
Link
click to show
📚 @datamohandes 🎯 این مجموعه به‌صورت گام‌به‌گام موضوعات زیر را پوشش می‌دهد: ✅ مبانی Big Data (Big Data Fundamentals) ✅ معماری Storage (Storage Architecture) ✅ لایه Processing (Processing Layer) ⬜ Streaming و Kafka ⬜ Change Data Capture (CDC) ⬜ Data Lake و Lakehouse ⬜ Query Engineها ⬜ Orchestration ⬜ Data Quality ⬜ Data Governance ⬜ Modern Data Platform ━━━━━━━━━━━━━━━━━━━━ 📖 فهرست مطالب 1️⃣ چرا Big Data Engineering فقط یادگیری Spark نیست؟ 🔗 https://www.linkedin.com/posts/hossein-narghani_bigdata-dataengineering-apachespark-share-7485297864596901890-jezj/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAke9PsBN9CjbtF3cPOT1S6KZzuHV7tnwmM 2️⃣ از HDFS تا Lakehouse؛ چرا Storage دیگر فقط محل ذخیره فایل نیست؟ 🔗 https://www.linkedin.com/posts/hossein-narghani_aetaevaeuaexaebahyabraexaepaexaev-bigdata-share-7485616364359974913-TvOA/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAke9PsBN9CjbtF3cPOT1S6KZzuHV7tnwmM 3️⃣ پردازش داده | YARN، Spark و موتورهای Query چگونه داده را پردازش می‌کنند؟ 🔗 https://www.linkedin.com/posts/hossein-narghani_aetaevaeuaexaebahyabraexaepaexaev-dataengineering-share-7486661351248003072--3vo/?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAke9PsBN9CjbtF3cPOT1S6KZzuHV7tnwmM 4️⃣ به‌زودی...
  1. A
    ALMA
    سلام دوستان ما در شرکتمون این پوزیشن رو باز داریم اگر خودتون یا فردی علاقه مند هست میتونه رزومه بفرسته ممنونم🙏
Whole thread · 1 reply →
27 July 2026
H
Hossei
Link
click to show
Photo
click to show
این مجموعه به‌صورت گام‌به‌گام مفاهیم و معماری‌های کلیدی Data Engineering را پوشش می‌دهد: ✅ مبانی Big Data (Big Data Fundamentals) ✅ معماری Storage (Storage Architecture) ✅ لایه Processing (Processing Layer) ✅ Streaming و Change Data Capture (CDC) ✅ Lakehouse Architecture ⬜ Query Engineها ⬜ Orchestration ⬜ Data Quality ⬜ Data Governance ⬜ Modern Data Platform ➖➖➖➖➖➖➖➖➖➖ 📖 فهرست مطالب 1️⃣ چرا Big Data Engineering فقط یادگیری Spark نیست؟ 🔗 مطالعه در لینکدین 2️⃣ از HDFS تا Lakehouse؛ چرا Storage دیگر فقط محل ذخیره فایل نیست؟ 🔗 مطالعه در لینکدین 3️⃣ پردازش داده | YARN، Spark و موتورهای Query چگونه داده را پردازش می‌کنند؟ 🔗 مطالعه در لینکدین 4️⃣ Streaming و CDC | چرا Data Platformهای مدرن بدون Real-Time کامل نیستند؟ 🔗 مطالعه در لینکدین 5️⃣ Lakehouse Architecture | چرا معماری داده از Data Warehouse به سمت Lakehouse حرکت کرد؟ 🔗 مطالعه در لینکدین 6️⃣ Query Engineها | چرا Trino، Hive، Impala و Spark SQL هرکدام نقش متفاوتی دارند؟ ⏳ به‌زودی... ➖➖➖➖➖➖➖➖➖➖ 💬 اگر این مجموعه برایتان مفید است، آن را با دوستان و همکاران خود به اشتراک بگذارید و نظراتتان را با ما در میان بگذارید. 📚 @DataMohandes
28 July 2026
  1. A
    Ashkan Goleh
    Photo
    click to show
    اینکه RTM نزدیک شد به فلینک و توی 4.2 مشکل issue سمت pyspark حل شد خودش یک انقلاب توی اسپارک بود و همچنین spark connect. به نظرم سبکی بود که از روش polars cloud رفتن جلو و دیگه نیاز نیست درگیر jar فایلها شد
    2. E
      Ehsan Faraji
      نه حتی به flink نزدیک هم نشد ، دوستان benchmark های شرکتهای که پشت هر پروژه oss هستند رو زیاد جدی نگیرید (حتی benchmark هایی که خودتون هم می گیرید رو زیاد قابل اعتماد ندونید ) . معمولا benchmark های بعضی شرکت های بی طرف و بدون جهت گیری با سخت افزار هایی از جنس workstation و اغلب با شبیه سازی connection های product بیشترین قابلیت اتکا رو دارند
      1. A
        Ashkan Goleh
        احسان جان flink fan عزیز. این بر اساس خود ادعای خود بچه های اسپارک هست، درسته که محوریت مارکتینگ و برندینگ دارن ولی نمیشه نقض کامل هم کرد.
Whole thread · 4 replies →
29 July 2026
R
Raziyeh
سلام دوستان روزتون بخیر ی سوال داشتم، آیا توی مجموعه هاتون بعد از اینکه minio ی سری فیچر برداشت و کم کم داره از نسخه open source فاصله میگیره، به مشکلی خوردین؟ و اینکه برای پیاده سازی جدید توصیه ش می کنید؟
  1. A
    Amir
    سلام سلام رپو minio چند ماه پیش archive شد و دیگه اپدیتی نداره روش پیرو اینکه archive شده بهتره برای پیاده سازی های جدید استفاده نکنیدش اپدیتی دیگه نمیگیره
Whole thread · 1 reply →
R
Raziyeh
اگر پیشنهاد جایگزین بدید هم ممنون میشم، برای پیاده سازی lakehouse
  1. A
    Ashkan Goleh
    علل الحساب روی ورژن ۲۰۲۵ minio برین تا وضعیت rustfs بطور stable کلی ریلیز بشه
    2. S
      Shahin Shaterzade
      منم با نظر اشکان جان موافقم.یکم زوده برای مهاجرت ، تا جایگزین های MinIo مزایا و معایب خودشون تو پروژه های دیتا محور نشون بدن ، باگ هاشون برطرف بشه ، تا با ریسک کمتر و با توجه به نیازمندی پروژه بشه انتخاب مناسب داشت.چون یه بخش وضعیت خود سرویس هست یه بخش اینکه سرویس های دیگه با اون Object Storage کامپتیبل باشن.
  2. H
    Hossei
    SeaweedFS قبلا کار کردم و تجربه خوبی بود. سبک و راه اندازی ساده ای داره. کارایی بالا، سازگاری کامل با S3 API و Replication مناسب میشه در کنار فرمت های جدولی مثل Delta Lake Iceberg Hudi و Apache Paimon استفاده کنید.. البته ما با Paimon یکپارچه کردیم.. در کنار این Apache Ozone هم هست. اگر با اکوسیستم هدوپ کار می کنید گزینه خوبیه، ولی راه اندازی و نگهداری پیچیده‌تری داره..
    1. R
      Raziyeh
      من میخوام در کنار iceberg استفاده کنم، مرسی از توضیحاتتون
Whole thread · 5 replies →
R
Raziyeh
بله دقیقا، منم خیلی سرچ کردم، دیدم ابزارهای دیگه هر کدوم هنوز ی سری مسائل دارن با توجه به شرایط ما
Whole thread · 1 reply →
1 August 2026
A
AI
Photo
click to show
🚀 اشتراک هوش مصنوعی مناسب خودت رو انتخاب کن! 🔐 تمامی سرویس‌ها به‌صورت شخصی و اختصاصی ارائه می‌شوند و هیچ‌کدام اشتراکی نیستند. ✅ 🛡️ تمامی اکانت‌ها دارای گارانتی با Time محدود هستند و در صورت بروز مشکل در بازه گارانتی، تعویض خواهند شد. 🔄 💎 لیست قیمت اشتراک‌ها: 🟢 ChatGPT Plus | اشتراک ۱ ماهه 💰 ۱.۴۵۰.۰۰۰ تومان 🪄 Gemini Google Pro + Flow | اشتراک ۱۸ ماهه 💰 ۱.۳۲۰.۰۰۰ تومان 💠 Gemini Google Pro | اشتراک ۱ ساله 💰 ۹۸۰,۰۰۰ تومان 📩 برای مشاوره و ثبت سفارش 👈 🆔 @Gemini_Center
E
Eichi
Link
click to show
درود بر همه عزیزان نسخه جدید folio منتشر شد توی این نسخه میتونین کتاب هایی که دارین و درحال خوندنشون هستین رو با بقیه هم به اشتراک بزارین و همینطور صفحه ای که خوندین با بقیه دیوایس هاتون به صورت همزمان سینک میشه و به راحتی میتونین روی چند تا دیوایس مختلف آخرین صفحه ای که خوندین رو داشته باشین میتونین نسخه ویندوز لینوکس و اندروید رو از این صفحه دانلود کنین https://github.com/ghaemaghaey/folio/releases/tag/v0.7.0 اینم لینک گیت هابش اگه خواستین استار بدین یا اگه مشکلی دیدین ایشو باز کنین https://github.com/ghaemaghaey/folio با تشکر از همه عزیزانی که از متن باز حمایت میکنن
Open in Telegram Venue catalog Search in ChatCrawler

An open public feed from the search index ChatCrawler — “Google for public Telegram”; refreshed as the venue is crawled. Times are UTC.

Public content only, official Telegram API. About · FAQ · What we do not do · Remove a page · Catalog · Search · How we count