Пост⚡️ DuckDB разрушает мифы: 1 ТБ данных — за секунды, без Spark

⚡️ DuckDB разрушает мифы: 1 ТБ данных — за секунды, без Spark Принято считать, что терабайты аналитики – это всегда Spark, кластеры и сложная инфраструктура. Но свежий бенчмарк показывает обратное: DuckDB спокойно агрегирует 1 ТБ данных на одном движке — и делает это менее чем за 30 секунд. Запрос самый обычный: группировка по дате, count(*) и sum(value). Никаких синтетических трюков. Локально на MacBook M2 Pro — около 1,5 минуты. В облачном MotherDuck — в среднем ~17 секунд. Финальный буст даёт сортировка данных при загрузке. Благодаря zonemap-индексам одна из итераций укладывается меньше чем в 10 секунд. Просто потому что данные лежат «правильно». Полный разбор, бенчмарки и код — читайте целиком на Хабре.