Пост✨ Станислав Лысиков — StarRocks как ядро современной платформы данных

✨ Станислав Лысиков — StarRocks как ядро современной платформы данных Станислав Лысиков рассказал о внедрении StarRocks в продуктовом финтехе с данными до петабайта. Доклад — это честный разбор опыта перехода на новую аналитическую СУБД. Дисклеймер: Рекомендую не читать этот пост, а посмотреть доклад самим) Смотрится легко и очень интересно) YouTube: https://www.youtube.com/watch?v=oiPXIbX-cTw VK Видео: https://vkvideo.ru/video-147464741_456239483 Сложность: 2/3 (Технически насыщенный доклад, требует понимания архитектуры аналитических баз данных) Кому будет интересно: • Дата-архитекторам и инженерам • Всем, кто выбирает аналитическую СУБД для высокой нагрузки 🔍 Проблемы, которые привели к StarRocks • Старый стек: Микросервисы на MySQL + Go, но аналитика не масштабировалась • Требования к новой БД: ✔️ Дешевое внедрение и масштабируемость ✔️ Высокая скорость на потоковых данных ✔️ Open Source с активным сообществом 🏗 Архитектура и установка Два режима работы: 1 Share Nothing (данные + вычисления на одних нодах) 2 Share Data (отдельное хранилище) Минимальные требования: • 3 ноды для продакшна (рекомендуется 5) • NVMe диски, RAID не требуется • Репликация на уровне серверов Управление: • Готовность к Kubernetes (есть операторы) • Простое ручное развертывание через Helm ⚡️ Ключевые особенности StarRocks Производительность: • Разработан для лямбда-архитектуры • Высокая скорость запросов (сравнима с ClickHouse, быстрее Vertica/Spark) Поддержка форматов: • Нативные коннекторы к HDFS, Iceberg, JSON • Работа с Hive Metastore Уникальные фичи: • Data Recovery — восстановление случайно удаленных данных • Частичные UPDATE по условию • Хранение Kafka-оффсетов в БД (независимость от consumer groups) 🔄 Интеграция с данными Потоковая загрузка: • Нативная поддержка Kafka • Проблема с порядком сообщений решена через таймштампы Работа с Go: • Прямая работа с Go-структурами (команда без Java/.NET специалистов) 🛠 Проблемы и решения 1️⃣ Шардирование данных: • Двухуровневое (партиции + бакеты) • Автоматическое распределение при добавлении нод 2️⃣ Совместимость: • Драйвер через MySQL-протокол • Проблемы с некоторыми системами (например, Vertica) 3️⃣ Decimal типы: • Пришлось реализовывать кастомное решение 📊 Сравнение с аналогами StarRocks vs ClickHouse/Trino: • Выше скорость на аналитических запросах • Лучшая поддержка потоковой загрузки StarRocks vs Doris: • Разная кодовая база • Активное развитие отдельного сообщества 🤝 Сообщество и поддержка • Open Source: Активное развитие, быстрое исправление регрессий • В РФ: Доступна платная поддержка (решение Selena) • Коммерческие внедрения: Успешные кейсы в банках и телекоме 💡 Практические выводы ✅ Плюсы: • Простое развертывание и масштабирование • Высокая скорость работы с потоковыми данными • Активное сообщество ⚠️ Минусы: • Молодая экосистема (проблемы с некоторыми драйверами) • Требует адаптации под специфичные типы данных Итог: StarRocks — мощный вариант для построение DWH и для аналитики в реальном времени. Подходит для компаний, которые хотят быстро развернуть производительное решение без огромных затрат.