Веб-версияОткрыть в Telegram
DData Engineers Hub

Data Engineers Hub

@dataengineershub · группа · Технологии · в индексе с 2026-05-25
39участников+1 за неделю
201сообщений в индексе
D
Вот и завершается деловая часть нашей программы 🤍 Приглашаем вас присоединиться к закрытию конференции в зале Ratusha в 19:00. А уже в 19:30 мы будем ждать вас на afterparty, где вы сможете расслабиться после насыщенного дня, пообщаться с единомышленниками, обменяться идеями и эмоциями 🔥
183 ·
D
Видео
нажмите — покажем
Делимся моментами с круглого стола «Как вырастить специалиста по базам данных?» ⚡️ #DataInternalsX2025
1 · 217 ·
D
Видео
нажмите — покажем
Видео
нажмите — покажем
Объявляем Data Internals X 2025 закрытой! 🥳🔥 #DataInternalsX2025
275 ·
D
Фотография
нажмите — покажем
Друзья, уже сейчас вы можете найти свои фотографии в нашем паблике ВКонтакте Смотреть, лайкать и скачивать здесь
9 · 562 ·
D
Ссылка
нажмите — покажем
Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объёмами, и в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия. Под катом — статья по мотивам доклада с Highload про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.
2 · 244 ·
D
Фотография
нажмите — покажем
Чтобы принимать верные решения и создавать прорывные продукты, нужно постоянно быть в потоке: знать последние тренды, иметь доступ к лучшим практикам и уметь быстро применять их в работе. Но как успевать за всем? Где брать время на поиск и фильтрацию тонн информации? Представляем вам Поддерживающую базу знаний — ваш персональный пропуск в мир экспертизы для разработчиков, архитекторов и лидеров цифровой индустрии. Что вы получите уже сегодня: 🚀 Мгновенный доступ к инсайдам. Записи всех конференций — уже через две недели после их проведения, а не через полгода, как для всех остальных. Вы будете первыми знать о ключевых обновлениях и трендах. 📚 Более 4000 единиц эксклюзивного контента с профессиональных конференций. Перестаньте тратить время на поиск — начните эффективно учиться и применять. 🔧 Практические руководства от экспертов. Мы не просто даем теорию. Мы собираем готовые алгоритмы действий из видео, статей и кейсов, которые ваша команда сможет использовать в проектах сразу же. 💡 Эксклюзив: встреча с экспертом. К каждому гайду мы организуем live-сессию с экспертом. Получайте ответы на свои вопросы и ценные инсайты из первых рук для ускорения развития и уверенности в каждом решении. Переходите по ссылке https://clck.ru/3PWnhE, регистрируйтесь и получите полный доступ к библиотеке на 1 месяц в подарок.
277 ·
D
С вас честное мнение, с нас приятный бонус 👀 Помогите нам сделать следующую конференцию Data Internals X еще лучше и полезнее, пройдя небольшой опрос! В конце опроса — ссылки на ранний доступ к видео с докладами
245 ·
D
Фотография
нажмите — покажем
В IT и науке в России полно крутых экспертов, которые делают масштабные tech проекты, но редко выходят в публичное пространство. Мы, Tech Kitchen, делаем так, чтобы это менялось: 🙌 Помогаем экспертам делиться знаниями и получать обратную связь от сообщества 🚀 Создаем точку притяжения для тех, кто любит науку, технологии и хочет прокачивать экспертизу 🧠 Показываем технологии «под другим соусом», чтобы заглянуть на технологическую кухню и удивиться, что даже серьезные вещи могут быть увлекательными! Подписывайся и залипай на тех, кто двигает tech!
2 · 301 ·
D
Видео
нажмите — покажем
Современный data engineering — это искусство управления потоками данных в реальном времени. Как построить надежные ETL/ELT пайплайнов, работать с Apache Kafka и Spark в production, организовать data lake и data mesh архитектур? 🖐️ Приглашаем вас на HighLoad++ 2025 — в секции «Data Engineering» вас ждут 9 докладов с ответами на эти вопросы. Вы разберете весь путь данных: от сбора и валидации до обработки и доставки в хранилища. Речь пойдет о системах, обрабатывающих миллиарды событий в день. Узнайте, как обеспечить качество данных, минимизировать задержки и масштабировать обработку. Приходите и забирайте готовые решения для своих проектов! 🔴Форматы участия: онлайн и офлайн Проходите на сайт, выбирайте доклады на актуальные для вас темы и присоединяйтесь к нам 6 и 7 ноября на HighLoad++ 2025 🙌
1 · 252 ·
D
Ссылка
нажмите — покажем
Система управления базами данных — звучит страшно и очень громоздко. Но мы сегодня остановимся только на ключевом с точки зрения производительности компоненте — системе хранения данных. Программист Владимир Комаров рассказал, как развивались системы управления базами данных: ✦ С чего все начиналось ✦ Как система хранения данных СУБД эволюционировала ✦ В каком состоянии эта область находится сейчас ✦ Существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу Читать статью 🔥 — уже читаю ❤️ — сохраню, вернусь позже 👍 — отправлю друллеге
1 · 268 ·
D
Фотография
нажмите — покажем
🚀 Ищем волонтеров на крупнейшие IT-конференции в Москве! HighLoad++ — это конференция в России и СНГ, посвященная разработке высоконагруженных систем, архитектуре, инфраструктуре и масштабированию. TeamLead Conf — единственная профессиональная конференция для тимлидов и руководителей не только из IT. Если тебе интересно увидеть закулисье одного из самых масштабных IT-событий страны, получить опыт организации конференции и стать частью сильной команды — присоединяйся к волонтерам 💪 🗓 Даты участия: 4–11 ноября (можно выбрать 4 дня или один из дней) 📍 Место проведения: Технопарк «Сколково» Что тебя ждет: – доступ к записям выступлений и атмосфера закулисья – уникальный опыт работы на ведущих конференциях в России – общение с экспертами и профессионалами из крупнейших IT-компаний – понятные задачи и поддержка координаторов – полноценное питание в дни работы – и, конечно, участие в легендарном afterparty 🎉 Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки. Участие предполагает присутствие в день до конференции, чтобы познакомиться с командой, подготовиться к работе и пройти инструктаж, и два дня самого события. 📩 Чтобы присоединиться, заполни анкету волонтера — мы свяжемся с тобой после рассмотрения заявки. Расскажи о наборе друзьям, приходите вместе — давайте создавать легендарную атмосферу 🔥
3 · 386 ·
D
Между стабильностью и скоростью: Redpanda или Kafka? Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов: Интересно, как поделились голоса: 40% и 60%. Хотя я и отдал свой голос за Redpanda, ожидал большего разрыва в пользу Kafka. В проде мы с командой по-прежнему используем Kafka и постепенно переезжаем на KRaft. Остаёмся на ней, потому что за годы работы накопили большой опыт её поддержки: от эксплуатации и тюнинга до мониторинга и быстрого решения инцидентов. А главное — мы любим Kafka за большое комьюнити и зрелую экосистему. Но для новых продуктов руки «чешутся» запуститься с Redpanda: один бинарный файл, меньше накладных расходов и более эффективное использование ресурсов. По бенчмаркам она выдаёт более высокую скорость и низкую задержку. Из дополнительных плюсов — совместимость с Kafka API. Но перед тем как смело идти в прод с Redpanda, нужна экспертиза, чтобы уверенно закрывать SLA и обеспечивать доступность без сюрпризов. И вот мы оказываемся в ситуации «палка о двух концах»: без настоящего опыта экспертиза не растёт, а без экспертизы тащить в прод — опасно. Компромисс: пилот на некритичном контуре и релиз с возможностью быстрого отката. А как у вас идет переход на Kafka Kraft? Или уже смигрировали на Redpanda?
254 ·
D
Друзья, добрый день! Мы хотим обсудить с вами первые выводы из нашего двухмесячного исследования на тему "Что же не так с IT-конференциями?". Конечно, очень хочется сказать - это всё экономический кризис, конференции тут ни при чём 🙂 Но это было бы непростительно поверхностно. За последние пару месяцев мы (Онтико) поговорили с парой сотен человек: CTO, HRD, T&D, L&D, спикерами, членами ПК, участниками, в общем - с рынком. Вот что получилось: 1. Знания стали commodity, знания легко найти (как в Интернете / GPT, так и на вендорских конференциях); 2. На первое место вышел контекст, самое сложное - интегрировать знания и решения в свой контур; 3. Взросление индустрии привело к сдвигу в сторону смысла - мы не просто что-то внедряем, мы задаемся вопросом - зачем, почему именно так и сейчас? 4. Лекционный формат перестал быть эффективным, он более не может быть единственным инструментом; 5. Усталость участников от лекционных форматов; 6. Программы конференций сфокусированы на бигтехах, интересы и запросы других акторов рынка учитываются слабо. И если раньше никого кроме бигтехов то и не было, то сейчас есть; 7. Мы наблюдаем смещение фокуса конференций с обмена прикладным опытом в сторону ярмарок тщеславия; 8. Экономическая ситуация требует жесткой связи с производительностью труда и финансовым результатом, многие технические роли начинают включать в себя продуктовое мышление; 9. IV промышленная революция видоизменяет систему разделения труда. EdTech, в целом, и конференции, в частности, не всегда это замечают. Что бы вы добавили? С чем бы поспорили?
1 · 266 ·
  1. E
    10. Парадокс импортозамещения Импортозамещение является способом ведения индустриализации - но она наступает только в паре больших отраслей, а в data мы (что уж говорить) на 70% копируем OSS. В итоге, возникает усталость и непонимание, как, зачем и для кого это делать дальше - если нет задачи экспансии и расширения рынка сбыта. В условиях "внутренний рынок = G + бигтех" нужно что-то придумывать, отвечать "как и на чём мы зарабатываем" - но актора всего два, и парадокс виден и инженерам, и продажникам, и Cxx. Нужно определиться: торгуем или производим, то есть экспансия или индустриализация?
Вся ветка · 1 ответ →
D
Ссылка
нажмите — покажем
Целых полтора года в VK Tech строили MemCS — новый колоночный движок Tarantool для HTAP. И даже с индексами иногда не удавалось уйти от сплошного прохода таблицы. Разработчик СУБД Tarantool Андрей Саранчин поделился в этой статье, почему команда не смогла миновать Sequential Scan и как удалось смягчить эту проблему с помощью Data Skipping ⚡️
1 · 293 ·
D
Фотография
нажмите — покажем
«Я устал слушать доклады, где всё идеально» «Я уже ничего не внедряю после конференций» «Я не могу услышать опыт компаний, похожих на мою» «Бигтехи говорят на своём языке, а мне это бесполезно» «У меня нет инсайтов — только слайды» Знакомые мысли? Мы это изменим, для этого наша команда придумала новый формат конференций — конференции развития. Конференция развития — инструмент решения задач, а не потребления контента. Конференция становится больше практикумом, чем лекциями, а ты — действительно участником, а не просто слушателем (послушать можно и YouTube). Больше интерактивных форматов и нетворкинга: 🔴ты получишь решение своих задач в брейнштормах; 🔴прокачаешь нужные тебе навыки на мастер-классах; 🔴получишь ответы на свои вопросы в экспертных зонах; 🔴прожаришь свой кейс на прожарке; 🔴обсудишь важную для тебя тему в world cafe; 🔴найдешь решение для своего кейса в case clinic; 🔴вступишь в интересное тебе сообщество в community lab; 🔴зафиксируешь опыт, полученный на конференции и спланируешь дальнейшие шаги на ретро-сессии. Доклады, конечно, останутся. Но среди них будет больше докладов с нестандартными ходами и нестандартными решениями. Ведь именно на таких лекциях и рождаются инсайты о себе и своей деятельности. Все подробности о том, как мы планируем пересобрать конференции можно узнать по ссылке. Мы открыты к новому: новая механика, идея, формат — давайте обсуждать!
4 · 541 ·
D
Фотография
нажмите — покажем
Поздравляем с наступающим Новым годом ⭐️ Пусть в новом году ваши кластеры держатся устойчиво, реплики всегда догоняют мастера, а бэкапы проверяются не «на авось», а успешно. Пусть запросы оптимизируются с первого EXPLAIN, алерты срабатывают только на проде по расписанию, а не в 3:17 ночи. Желаем, чтобы данные были консистентными, нагрузки — предсказуемыми, а решения — масштабируемыми не только технически, но и карьерно. Пусть 2026-й принесёт новые архитектуры, смелые миграции без даунтайма и проекты, которыми захочется гордиться (и показывать на нашей конференции 😉). Сохраняйте данные. Масштабируйте идеи. И пусть Новый год закоммитится без конфликтов! 🚀
1 · 579 ·
D
Фотография
нажмите — покажем
🗓 Ближайшие мероприятия ОНТИКО сохраните себе календарь конференций и поделитесь с коллегами В этом году мы обновили концепцию конференций: сократили долю классических лекций и усилили практическую часть. Одна из ключевых идей новой концепции в том, чтобы конференция была инструментом решения профессиональных задач, а не просто способом потребления контента. В программу ближайших мероприятий мы включили и мастер-классы, и воркшопы, и разборы инцидентов, и обратную связь от экспертов. Всё, что может дать результат здесь и сейчас. 2-3 апреля — DevOpsConf 2026 Профессиональная конференция по интеграции процессов разработки, тестирования и эксплуатации. 20 апреля — GolangConf 2026 Конференция для Go-разработчиков и их руководителей. 20 апреля — AiConf 2026 Прикладная техническая конференция по Data Science. 22-23 июня — Saint HighLoad++ 2026 Профессиональная конференция для разработчиков высоконагруженных систем. 25-26 июня — Saint TeamLeadConf 2026 Профессиональная конференция для тимлидов и руководителей инженерных команд. Ноябрь — TeamLeadConf 2026 Крупнейшая конференция для тимлидов и руководителей разработки. Ноябрь — HighLoad++ 2026 Профессиональная конференция для разработчиков высоконагруженных систем. ⚡️Планируйте участие, выступление и командировки заранее — год обещает быть плотным.
239 ·
D
Фотография
нажмите — покажем
🚀 Ищем волонтеров на ближайшие конференции Онтико! Если вам интересно увидеть закулисье крупных IT-событий страны, получить опыт организации конференции и стать частью профессионального сообщества — присоединяйтесь к команде помощников-организаторов 💪 Вас ждет: Доступ к записям выступлений и докладов, классная команда, понятные задачи и поддержка координаторов, общение с экспертами и профессионалами из крупнейших IT-компаний, горячее питание в дни работы, и, конечно, позитивные эмоции и памятные подарки 🎁 Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки. Календарь весенне-летнего периода: 🔴DevOpsConf 2026. Профессиональная конференция по интеграции процессов разработки, тестирования и эксплуатации пройдет 2-3 апреля в Москве 🔴GolangConf 2026. Конференция для Go-разработчиков и их руководителей пройдет 20 апреля в Москве 🔴AiConf 2026. Прикладная техническая конференция по Data Science пройдет 20 апреля в Москве 🔴Saint HighLoad++ 2026. Профессиональная конференция для разработчиков высоконагруженных систем пройдет 22-23 июня в Санкт-Петербурге 🔴Saint TeamLead Conf 2026. Профессиональная конференция для тимлидов и руководителей инженерных команд пройдет 25-26 июня в Санкт-Петербурге. ✅ Отправить заявку на участие можно на сайте Расскажите о наборе друзьям — давайте вместе создавать легендарную атмосферу 🔥
12 · 944 ·
И
Фотография
нажмите — покажем
Всем привет! Хотим поделиться с вами классной новостью:) Запускаем новую конференцию — Agentic Dev Conf 🚀 3 июля 2026, Москва, три потока про внедрение AI в цикл разработки: от сбора требований и дизайна до деплоя и эксплуатации в проде. О чем поговорим? – Основной трек: практика внедрения AI в SDLC. Что работает, что развалилось, какие цифры получили. – Инженерный менеджмент: метрики ROI от внедрения AI, трансформация найма, новые роли в команде, как меняется работа тимлида и CTO. – Tiny Teams, специальный трек для тех, кто строит продукты командой 1–3 человека с парком AI-агентов. Прием заявок на выступления уже открыт — и мы очень ждем ваши! Не обязательно на доклады — это могут быть воркшопы, мастер-классы, панельные дискуссии, разборы кейсов и любые другие форматы. Податься можно до 10 июня на сайте конференции. Там же — ключевые темы и все подробности. А чуть больше подробностей и спойлеры про Saint HighLoad++ и Saint TeamLead Conf — в нашем общем анонсе: https://t.me/onticochannel/55 По любым вопросам пишите в личные сообщения @snezhana_ontico 🙌
D
Фотография
нажмите — покажем
Ищем волонтеров на ближайшие события Онтико, которые пройдут в Москве 🖐️ Если вам интересно увидеть закулисье нашей конференции, получить опыт организации мероприятия такого масштаба и стать частью профессионального сообщества — присоединяйтесь к команде помощников-организаторов. 📍3 июля, Agentic Dev Conf  – конференция о том, что будет представлять из себя профессия айтишника в век AI, в условиях новой промышленной революции. 📍4-5 июля, AI Weekends  — событие выходного дня для профессионалов, которые внедряют AI в свою работу. Вас ждет: классная команда, понятные задачи и поддержка координаторов, доступ к контенту мероприятий, общение с экспертами, и, конечно, позитивные эмоции. Задачи: работа в залах, помощь в логистике на площадке, регистрация участников. ✅ Чтобы присоединиться к команде помощников, заполните эту форму. Мы свяжемся с вами после рассмотрения анкеты. До встречи 🖐️
2 · 364 ·

Открытая публичная лента из поискового индекса ChatCrawler — «Google по публичному Telegram»; обновляется по мере обхода площадки. Время — UTC.

Только публичный контент, официальный API Telegram. О проекте · Вопросы · Чего мы не делаем · Убрать страницу из выдачи · Каталог · Поиск · Как мы считаем