sql_ninja_info

Коллеги и друзья! Наше сообщество SQL Ninja проводит Big Data Мастеркласс на форуме ИТ и Инноваций, который пройдет 4 сентября 2025 в Центре событий РБК, по адресу Москва, Космодамианская наб., 52, стр. 7. Мастеркласс пройдет в зале «Технологии» с 13.20. Тайминг мастеркласса: 13:20–13:30 Приветственное слово модератора: модератор Лестат Ким, директор по данным Wildberries&Russ 13:30–13:45 Выступление: «Data Lakehouse для Retail: как снизить затраты, ускорить аналитику и ML с новым поколением хранилищ данных». Спикер: Екатерина Канунникова, VK Cloud 13:45–14:00 Кейс: «Голосовой интерфейс для корпоративных данных: практический опыт разработки SQL Assistant». Спикер: Матвей Сапрыкин, Стримлид в команде разработки ИИ-Ассистентов, WB Tech 14:00–14:15 Выступление «Возможности гибридных схем по работе с данными». Спикер: Владислав Кирпинский, Selectel 14:15–14:30 Кейс «Классификация чувствительных данных: практические решения без DPO и путь к автоматизации». Спикер: Игорь Дмитриев, Руководитель отдела Data Strategy, WB Tech Желающие могут прийти пораньше и посмотреть выступления в секции Prodata - в том же зале "Технологии" с 11.45. Тайминг секции: 11:45–12:00 Кейс «AI и ML в управлении данными. Тонкая грань между хайпом и реальным применением». Спикер: Роман Грибов, директор по развитию данных и аналитике, Спортмастер 12:00–12:15 Совместное выступление Yandex Cloud и Магнит OMNI «ClickHouse без боли. Наш опыт рефакторинга легаси-кластера и эффект от внедрения шард». Спикер: Михаил Филимонов, руководитель DWH, Магнит OMNI 12:15–12:30 Кейс «Как компания зарабатывает на хранилище данных». Спикер: Максим Смирнов, директор по управлению данными, Hoff 12:30–12:45 Кейс «HR-аналитика. Вчера, сегодня, завтра». Спикер: Артем Небольсин, директор департамента развития данными, X5 GROUP 12:45–13:00 Кейс «Как превратить метаданные в актив и сократить затраты». Спикеры: Мария Мусатова, Дмитрий Коровин, Hoff Внимание! Бесплатная регистрация для представителей розничных, FMC

SELECT name, 'С 23 февраля, защитник!' AS msg, CASE WHEN служил = TRUE THEN 'честь и уважение' WHEN bugs_fixed > 100 THEN 'тоже герой' ELSE 'потенциал есть' END AS respect FROM men WHERE ready_to_defend = TRUE ORDER BY надёжность DESC;

Руководству Oracle угрожают убийством после того, как компания отправила электронные письма об увольнении 30 тыс. сотрудникам в 6 утра. Владелец Ларри Эллисон нанял частную охрану из бывших военных, а руководство работает из «неуказанных мест», так как бывшие сотрудники приходят в штаб-квартиру с распечатанными письмами об увольнении и устраивают митинги. Бывшие сотрудники публикуют видео возле поместья Эллисона в Малибу за $300 млн. Основной офис в Редвуд-Сити превратился в военный комплекс: здесь проверяют удостоверения личности, доступ в гараж ограничен, а исполнительский этаж полностью заблокирован. На охрану руководителей в этом квартале Oracle потратила больше, чем выплатит выходных пособий 30 тыс. семей. За яхтой Эллисона следуют три охранных катера. Бывший гендиректор Oracle Corporation Сафра Кац с момента массовых увольнений не появлялась на публике. Один из уволенных инженеров проехал 800 миль из Остина, чтобы постоять у ворот с табличкой «Я строил вашу облачную инфраструктуру 12 лет». Алгоритмы искусственного интеллекта Oracle могут сократить десятки тысяч рабочих мест за миллисекунды, но не способны предсказать реакцию людей на увольнение. @banksta В Китае набирает популярность ИИ-агент Colleague Skill, который способен полностью заменить уволенных сотрудников. По данным портала Zhihu, система обучается на основе деловой переписки, скриншотов сообщений, рабочих проектов и документации конкретного человека, что позволяет ИИ-двойнику имитировать даже стиль общения. @banksta

Японский GlobalSign начал отзыв «цифровых паспортов» российских сайтов Один из крупнейших глобальных центров сертификации начал отзывать сертификаты безопасности российских сайтов. Под угрозой до 20 тыс. сайтов, говорят эксперты: зарубежные браузеры могут признать их небезопасными https://www.rbc.ru/technology_and_media/13/06/2026/6a2d12da9a7947f7d5334aa0?from=main_lines_1

В РФ вступил в силу закон о штрафах за авторизацию через иностранные сервисы https://habr.com/ru/news/1056470/

2️⃣0️⃣✖️8️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест — 29 августа 2026 ⚡ NVIDIA RAPIDS 25.08 → CUDA-X RAPIDS официально переименован в CUDA-X (11 августа). Релиз 25.08: два новых профилировщика для cuML.accel (function-level и line-level), Polars GPU engine перешёл на streaming executor по умолчанию — обработка датасетов больше GPU-памяти с ~5x ускорением на 300GB workload'ах. Новые алгоритмы: Spectral Embedding, LinearSVC/SVR, KernelRidge. CUDA 11 deprecated. 🔗 https://developer.nvidia.com/blog/nvidia-rapids-25-08-adds-new-profiler-for-cuml-updates-to-the-polars-gpu-engine-additional-algorithm-support-and-more/ 🚀 Apache Spark 4.2 Databricks представил Spark 4.2 в Runtime 19.0: Auto CDC pipelines, нативный semantic layer, GA geospatial SQL, ускоренные PySpark UDF, real-time streaming улучшения. Фокус — AI-аналитика и governed metrics. 🔗 https://www.databricks.com/blog/introducing-apache-spark-42 📦 RustFS Beta + S3 Tables RustFS вышел в Beta: 26.5K GitHub stars, 2.2M Docker pulls, 2800+ коммитов. Позиционируется как S3-совместимое хранилище для AI-эры, в 2.3x быстрее MinIO. Заявлена нативная поддержка Amazon S3 Tables — переход от object storage к AI-native storage. 🔗 https://rustfs.com/blog/announcing-rustfs-beta-the-high-performance-s3-compatible-open-source-storage-for-the-ai-era/ 🔗 https://rustfs.com/blog/rustfs-brings-native-support-for-s3-tables-upgrading-object-storage-to-ai-native-storage/ 🏔 Lakehouse: конвергенция форматов 2026 год — точка схождения Iceberg / Delta / Hudi. Snowflake Iceberg write GA, Unity Catalog открыт, AWS S3 Tables GA. Iceberg — лидер по momentum, Delta силён в Databricks-экосистеме, Hudi держит streaming-нишу. Бенчмарки: Trino 465, Spark 4.0, DuckDB 1.2, StarRocks 3.4. 🔗 https://kga-it.com/en/blog/data-eng-lakehouse-iceberg-delta-vs-hudi-2026 🔗 Zero-Copy тренд Databricks LTAP (One Data Zero Copies) — архитектура без копирования данных, угроза классическим ETL-пайплайнам. Snowflake Summit 2026 тоже продвигал zero-copy data architecture. Confluen

1️⃣✖️0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 1 сентября 2026 Apache Spark • Вышел Spark 4.2.0 — в Databricks Runtime 19.0: Auto CDC пайплайны, нативный semantic layer, GA geospatial SQL, ускоренные PySpark UDF, улучшения стриминга. https://www.databricks.com/blog/introducing-apache-spark-42 • Волна мейнтейн-релизов: 4.1.3, 4.0.4, 3.5.9. https://spark.apache.org/news/index.html Apache Flink • Flink 2.3.0: SQL-операторы changelog conversion, гибкие materialized tables, экспериментальный нативный S3 filesystem (быстрее s3a), application management. https://flink.apache.org/2026/06/25/apache-flink-2.3.0-release-announcement/ • Разбор нативного S3 FS: https://flink.apache.org/2026/06/26/announcing-native-s3-fs/ • Flink Agents 0.3.1 — багфиксы + поддержка Flink 2.3. https://flink.apache.org/2026/07/25/apache-flink-agents-0.3.1-release-announcement/ GPU / CUDA-X • CUDA Python 1.0 (25 авг): стабильные API — GPU для Python-разработчиков без ручных C++-расширений. https://developer.nvidia.com/blog/tag/rapids/ • RAPIDS перешёл под бренд CUDA-X (с 11 авг), функциональность без изменений. RAPIDS 25.08: профайлер cuML, апдейты Polars GPU-движка. • NVIDIA + HP: CUDA-X data processing встраивают в AI-воркстации. https://nvidianews.nvidia.com/news/nvidia-hp-supercharge-data-science-generative-ai-workstations RustFS / S3-хранилища • Официальные RPM/DEB пакеты + гайд установки (19 авг). https://rustfs.com/blog/install-rustfs-with-rpm-and-deb-packages/ • Готовится нативная поддержка Amazon S3 Tables — апгрейд до AI-native storage с табличным API. https://rustfs.com/blog/rustfs-brings-native-support-for-s3-tables-upgrading-object-storage-to-ai-native-storage/ • RustFS 1.0.0-beta.10 — скачок производительности распределённого хранения. https://rustfs.com/blog/rustfs-1-0-0-beta-10-released-a-milestone-leap-forward-in-distributed-storage-performance/ Lakehouse • Apache Iceberg 1.11.0: рантаймы для Spark 4.1/4.0/3.5 и Flink 2.1/2.0/1.20. https://iceberg.apache.org/releases/ По InfiniBand/RD

5️⃣✖️0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 5 сентября 2026 🔒 Безопасность PostgreSQL: «нулевые» релизы от Postgres Pro Postgres Professional первой среди коммерческих форков в РФ выпустила «нулевые» релизы Postgres Pro Enterprise — внеочередные патчи безопасности без новой функциональности. Закрыто 28 уязвимостей, включая CVE-2026-14664 (CVSS 8.8) — переполнение буфера в регулярках с выполнением произвольного кода, и CVE-2026-15741 — SQL-инъекция через EXTRACT(). Для enterprise-заказчиков это возможность закрыть дыры, не дожидаясь минорного релиза и не ломая работающие системы. → https://habr.com/ru/companies/postgrespro/news/1076556/ ☁️ ClickHouse Cloud: новые регионы и приватные подключения ClickHouse Cloud добавил AWS-регионы в Тайбэе и Малайзии (оба Private Regions с поддержкой ClickPipes), а ClickPipes научился работать с Private Service Connect cross-region — теперь можно подключаться к PSC-эндпоинту в другом регионе, включая те, что не поддерживаются нативно. Для distributed data pipelines в Азии — заметное упрощение архитектуры. → https://clickhouse.com/docs/resources/changelogs/cloud/2026 🐘 PostgreSQL 19: графы в ядре, партиции снова отложены В PG 19 завезут стандартизированный SQL/PGQ — запросы к property graph прямо в ядре, без расширений. Зато ALTER TABLE … MERGE/SPLIT PARTITION во второй раз откачены из релиза (первый был в PG 17) — релиз-команда не согласовала дизайн. GA ждём в сентябре–октябре. → https://www.theregister.com/databases/2026/09/04/postgresql-19-connects-the-dots-with-standardized-graph-queries/5294500 📊 Рынок: Postgres выиграл API, но не войну Supabase за 4 месяца вырос с $2B до $5B оценки — инвесторы ставят на PostgreSQL-экосистему. При этом DB-Engines показывает, что из всех баз только Postgres продолжает набирать momentum. MySQL 9.7.1 и PostgreSQL 18 вышли в 2026 с AI-native фичами, но гонка, похоже, уже решена — не в пользу Oracle. → https://devnewsletter.com/p/state-of-databases-2026/ Что запомнить: если у вас Postgres Pro Enterpri

7️⃣✖️0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 4–7 сентября 🔐 PostgreSQL: 12-летняя дыра в логической репликации CVE-2026-6471 («PostGREShell»): учётка с атрибутом REPLICATION при wal_level=logical могла подсунуть произвольную библиотеку в CREATE_REPLICATION_SLOT и исполнить код от имени ОС-пользователя postgres — вплоть до выдачи себе суперпользователя и бэкдора (CVSS 7.2, баг тянется с 9.4/2014). Фикс вышел 13 августа в 18.6/17.11/16.15/15.19/14.24, но после обновления декодеры wal2json и decoderbufs откажутся работать, пока админ не впишет их в новый whitelist output_plugin_libraries. У кого CDC-пайплайны — повод проверить выходные не зря. https://thehackernews.com/2026/09/postgresql-fixes-12-year-old-logical.html Разбор от Cyera: https://www.cyera.com/research/postgreshell-the-database-powering-much-of-the-internet-had-an-open-door-for-12-years 🤝 AWS забирает DuckDB Команда DuckLabs (Амстердам) переходит к AWS, сделка вступает в силу в начале сентября. AWS называет DuckDB «соединительной тканью» своего дата-ландшафта. Что это значит для open-source-версии и MotherDuck — большой вопрос; embedded-OLAP-ландшафт может перекроить. https://www.techzine.eu/news/analytics/143855/developer-duckdb-to-be-acquired-by-aws/ https://www.theregister.com/databases/2026/09/01/aws-duckdb-will-provide-connective-tissue-across-the-data-estate/ 🇷🇺 Российский рынок • Arenadata отчиталась за 1П2026: убыток по OIBDA сжат втрое, чистый убыток — впятеро, при этом расходы на персонал выросли на 18%. Отечественные СУБД-вендоры потихоньку учатся зарабатывать, а не только осваивать бюджеты на импортозамещение. https://www.cnews.ru/news/top/2026-09-03_rossijskij_razrabotchik_subd • Вышло исследование «Отечественные СУБД для DWH» (аналитика круга Громова): системный разбор рынка СУБД для корпоративных хранилищ — полезно тем, кто присматривает замену Oracle/Vertica/Teradata. http://www.press-release.ru/branches/hitech/__03_09_2026_07_43/ 📚 Почитать Murat Demirbas смоделировал в TLA+, как retry-штор

8️⃣✖️0️⃣✖️2️⃣6️⃣ Базы данных PostgreSQL 19 ожидается в сентябре 2026 Новая версия обещает улучшенное секционирование, улучшения в логической репликации, луч мониторинг и поддержку векторного поиска. Планируемая дата релиза - сентябрь 2026. https://versionlog.com/postgresql/19/ ClickHouse Cloud анонсировал Managed Postgres ClickHouse запустил быстрый, масштабируемый и корпоративный управляемый сервис Postgres с нативной интеграцией с ClickHouse, созданный для приложений реального времени и AI. https://clickhouse.com/blog/postgres-managed-by-clickhouse PostgreSQL 18 и SQL Server 2025 с нативными векторами Простое сравнение лицензий показывает огромную разницу между открытым исходным кодом и проприетарными решениями. PostgreSQL 18 полностью бесплатен, в то время как SQL Server 2025 требует около $15K лицензии. https://rivercore.tech/ru/news/postgresql-vs-sql-server-2026 Платформы и обработка Databricks представил инновации для эпохи AI Компания опубликовала четыре исследования, связанные с Lakebase, Spark Structured Streaming и автоматическими оптимизациями Lakehouse. Демонстрация Enzyme engine покажет, как можно инкрементально поддерживать материализованные представления. https://www.databricks.com/blog/building-ai-era-lakebase-streaming-and-lakehouse-innovations-vldb-2026 ClickHouse против Databricks и Snowflake Проведено сравнение производительности JOIN-heavy SQL-запросов на Databricks, Snowflake и ClickHouse Cloud. ClickHouse показал более высокую скорость и более низкую стоимость на всех масштабах, от 721 миллиона до 7.2 миллиарда строк. https://clickhouse.com/blog/join-me-if-you-can-clickhouse-vs-databricks-snowflake-join-performance Российская повестка PGConf Russia 2026 собрала более 2300 специалистов Крупнейшая в России и СНГ конференция по PostgreSQL прошла в Москве с 23 по 24 марта. Были представлены доклады по основным достижениям экосистемы PostgreSQL, включая решение Postgres Pro Backup Enterprise. https://forsd.ru/pgconfrussia2026 https://habr.

2️⃣3️⃣✖️0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 22–23 сентября 2026 🍄 CLICKHOUSE • На этой неделе вышел «осенний» релиз ClickHouse 26.9: 56 новых фич, 135 оптимизаций производительности, 464 багфикса. Из вкусного: жёсткие лимиты на размер и число таблиц (max_table_size_rows / max_tables) — прямая заявка на мультитенантные сервисы; parallel replicas научились читать Merge-таблицы; вся семья SQL-стандартных функций линейной регрессии (regr_slope, regr_intercept, regr_r2…) с теми же именами, что в PostgreSQL/Oracle/Snowflake — запросы портируются as is; bracket-синтаксис для JSON-путей вида json['user']['name']; режим exclusive у S3Queue без координации через Keeper. Разбор релиза: https://presentations.clickhouse.com/2026-release-26.9/ • Mike Scarpelli — бывший CFO Snowflake и ServiceNow — вошёл в совет директоров ClickHouse Inc. Привлечение финансиста такого калибра обычно читают как подготовку к серьёзным корпоративным шагам — за компанией определённо что-то планируют. https://clickhouse.com/blog/clickhouse-appoints-mike-scarpelli-to-board-of-directors ❄️ SNOWFLAKE • Сентябрьский AI Pulse: анонсированы AI Gateway с governance-политиками для LLM-трафика, Semantic Studio для семантического моделирования и обновления агентов Coco/Cowork. Экосистема уверенно дрейфует в «data platform для агентов». https://www.snowflake.com/en/ai-pulse/september-2026/ 📚 ПОЧИТАТЬ • «Postgres on NVMe» от ClickHouse — большой разбор того, как быстрые NVMe сближают транзакционную и аналитическую нагрузки и что из этого следует для HTAP-архитектур. https://clickhouse.com/blog/postgres-on-nvme • Хвост недели от ClickHouse: официальный провайдер для Apache Airflow, интеграция с dbt platform, PromQL TimeSeries-движок (drop-in замена Prometheus) и WalShadow — сабсекундная репликация Postgres из физического WAL. Всё в сентябрьском newsletter: https://clickhouse.com/blog/202609-newsletter • В экосистеме Postgres тихо, но: вышел pgAdmin 4 v9.18 и pgsql-test — инструмент для запуска реальных тесто

2️⃣✖️1️⃣0️⃣✖️2️⃣6️⃣ 🦀 Big Data дайджест · 30 сентября – 2 октября Похороны векторных СУБД Turbopuffer — компания, которая сама строит векторный движок — опубликовала эссе-некролог «RIP, vector database»: отдельная категория векторных СУБД умерла, векторный поиск растворяется в обычных базах и объектном сторе. На HN тред разошёлся: 320+ голосов, ~90 комментариев за сутки. https://turbopuffer.com/blog/rip-vector-database https://news.ycombinator.com/item?id=49923466 Iceberg теперь везде • AWS: Aurora PostgreSQL научилась напрямую запрашивать данные в Apache Iceberg и Parquet — lakehouse читается прямо из OLTP-базы, без отдельного ETL. Конвергенция транзакционного и аналитического миров продолжается. https://aws.amazon.com/about-aws/whats-new/2026/09/aurora-postgresql-query-apache-iceberg-and-parquet/ • Россия: вышла Arenadata DB 7.5.0 (MPP СУБД на базе Greengage) — кардинально переработано управление топологией кластера, мониторинг переехал на Prometheus, а в PXF добавлена поддержка Iceberg-таблиц. Российское DWH подтягивает мировую моду на открытые форматы. https://www.cnews.ru/news/line/2026-09-29_novyj_reliz_arenadata_db_gibkoe Мелким шрифтом DuckDB 1.5.6 (28.09) — плановый релиз с багфиксами и ускорениями; кто уже на 1.5.x — обновляемся спокойно. https://www.duckdb.org/2026/09/28/announcing-duckdb-156 Что запомнить: Apache Iceberg окончательно становится SQL-лингва франка — его уже читают из Aurora и российской Arenadata DB, а категорию «векторных СУБД» первой похоронила сама векторная индустрия.

3⃣✖️1⃣0⃣✖️2⃣6⃣ 🦀 Big Data дайджест · 2–3 октября 2026 🇷🇺 YDB получила встроенный гибридный поиск Яндекс B2B Tech встроил в YDB гибридный поиск: полнотекстовый и векторный индексы живут в той же базе и обновляются в рамках одной транзакции — без отдельной поисковой системы и синхронизации. Заявлена первая российская СУБД с такой фичей из коробки; доступна в Enterprise 26.3 (on-prem) и Managed Service for YDB. https://ixbt.pro/news/2026/10/02/439742-iandeks-zapustil-gibridnyi-poisk-v-baze-dannyx-ydb.html 🦆 DuckDB внутри MariaDB: отчёт быстрее в 63 раза Октябрьский выпуск новостей MariaDB Foundation — по сути манифест гибридных нагрузок: эксперимент с 1 млн заказов Magento показал, что перенос таблиц заказов на движок хранения DuckDB (поставляется с MariaDB 13.0.2, статус gamma — тестировать можно, в прод рано) ускорил отчёт с 18,5 до 0,29 с. InnoDB для транзакций, DuckDB для аналитики — один сервер, один SQL. Бонус: сам DuckDB 2.0 (Cyanoptera) обещают выпустить в октябре. https://mariadb.org/mariadb-foundation-newsletter-october-2026/ https://duckdb.org/2026/09/02/try-duckdb-20-alpha 🐘 PostgreSQL: горячий конец октября PG 19 всё ещё в бете (β4 вышла 24 сентября после рекордных 53 откатов фич, включая SQL/PGQ), GA ждут не раньше конца октября. А 20–23 октября в Валенсии пройдёт PGConf.EU — полная программа из пяти треков уже опубликована. https://www.postgresql.org/about/newsarchive/pgsql/ https://2026.pgconf.eu/ Что запомнить: гибридный поиск (точные совпадения + смыслы) становится встроенной функцией СУБД, а не отдельной подсистемой — YDB тут первая из российских; DuckDB тем временем дозревает до 2.0 и уже встраивается внутрь классических СУБД как аналитический движок.