Пост✨ Наталья Журавлева — Как быстро запустить каталог данных на примере DataHub

✨ Наталья Журавлева — Как быстро запустить каталог данных на примере DataHub Ссылка на выступление: https://youtu.be/nCt4gYVQdqc?si=Fbwab0cQxgMl4g3a или https://vkvideo.ru/video-147464741_456239425 Сложность: 2/3 (Техники очень мало, но теория и концептуальное погружение в доклад требуется. В фоне смотреть тяжело, нужно погружаться) Кому будет интересно: Аналитикам и архитекторам. Если Вам интересна только техника - пропускайте доклад, примеров по технике и коду в нём нет. Но я очень рекомендую доклад посмотреть, так как Наталья очень интересно рассказывает про проблемы всех хранилищ и как облегчить боль непосредственных пользователей от работы с ними. И не могу не отметить, что Наталья очень захватывающе рассказывает, одно удовольствие её слушать :) --- Наталья поделилась опытом внедрения каталога данных в компании, сделав акцент на важности логической модели и автоматизации процессов. --- 🔍 Ключевые идеи доклада: 1️⃣ Проблемы без каталога данных: - Дублирование данных и непонимание структуры - Зависимость от экспертов и "устных традиций" - Документация в Confluence быстро устаревает 2️⃣ Логическая модель — фундамент каталога: - Три уровня моделирования: • Концептуальный (бизнес-сущности) • Логический (атрибуты и связи) • Физический (реализация в БД) - В якорной модели логическую схему можно сгенерировать в полу автоматическом режиме - Хранится в YAML-файлах с версионностью через merge-реквесты 3️⃣ Процесс работы с моделью: 1. Аналитик описывает сущность в YAML 2. Разработчик реализует маппинг на физическую модель 3. Каталог автоматически подхватывает изменения 4️⃣ Выбор технологий: - Отказ от Confluence в пользу специализированного решения - Выбор DataHub вместо OpenMetadata - Интеграция проверок качества данных (DQ) --- 💡 Преимущества подхода: ✅ Сокращение времени на документирование на 60% ✅ Автоматическое обновление каталога ✅ Обнаружение ошибок в существующей логике хранилища ✅ Единый источник правды для всех команд --- ⚠️ Сложности и ограничения: - Создание логической модели требует времени - Трудности единой модели для всех хранилищ - Необходимость дополнительных инструментов моделирования --- 📌 Практические советы: 1. Начинайте с логической модели, пишите документацию всегда и сразу. 2. Автоматизируйте процесс наполнения каталога 3. Для разных хранилищ используйте разные модели 4. Внедряйте DQ-проверки прямо в каталог --- 🤔 Ответы на вопросы из зала: Q: Как бизнес-пользователи работают с каталогом? A: Через концептуальный уровень, который описывает данные в бизнес-терминах Q: Почему выбрали DataHub? A: Сравнивали с OpenMetadata — DataHub показался более зрелым решением Q: Сколько ресурсов потребовалось? A: Команда из 6 аналитиков, 1 разработчика и 1 DevOps за 6 месяцев --- 📌 Выводы: Внедрение каталога данных через логическую модель и DataHub значительно упростило работу с данными в компании.