Data Apps Design (@data_apps) — посты канала в Telegram

20 февраля 2025

Artemiy Kozyr🔸 Привет! Cursor IDE, dev Containers, Env management, Advancing Github Actions, dbt reusable repo Updates + Ideas Sharing за последние несколько недель: 🟡 Cursor IDE — Установил попробовать IDE with advanced AI support — Довольно просто перейти с VS Code (кто не в курсе, Cursor forked from VS C

В общем, если вы еще не пользуетесь Development Containers, Github Actions, dbt, Cursor то я настоятельно вам советую попробовать. 😘 А если будет интерес, то могу и провести YouTube stream / tutorial со слайдами и демо (как мы любим). Всем успехов. Делитесь своими updates 💬

4 · 1.8K · 12:10

26 февраля 2025

Artemiy Kozyr

Artemiy Kozyr📼 Semantic Layer demystified - всё что вы хотели знать о Семантическом слое Удалось договориться с лидерами/инфлюенсерами в отрасли и в январе планирую выпустить подкаст с участием: — Даня Чепенко – synmetrix.org; автор Tg semanticlayer — Иван Фокеев – founding team Statsbot / Cube.dev; ex-Narrati

😘 Семантический Слой и Метрики - всё что вы хотели знать / Semantic Layer / Gen AI / Synmetrix / Cube 🟢 В новом выпуске подкаста обсудили концепцию Semantic Layer – Семантический слой — Эволюция работы с метриками. Почему вообще возникает проблема которую решает семантический слой — Аналитические потребности компаний — Семантическая модель и BI — Разница между семантическим слоем и дата-каталогом — Семантичская модель и GenAI / LLM / Human language — Где место таким инструментам как Streamlit / Observable / Evidently и смогут ли они заменить BI? — Deployment best practics (fault-tolerance, k8s) — Migration from LookML? — Можно ли создать полноценное решение на основе Open Source / Core опций продукта? 🔵 В подкасте: — Вопросы - ответы - мнения - дискуссия — Live demo, демонстрация интересных фичей и возможностей — Кейсы и опыт различных компаний 🟡 Участники: — Даня Чепенко – synmetrix.org; автор Tg semanticlayer (https://t.me/semanticlayer) — Иван Фокеев – founding team Statsbot / Cube.dev; ex-Narrative BI; автор synmetrix.org — Михаил Шеянов - Head of Data Architecture Practice/Senior PO @ SIBUR — Артемий Козырь - Data Platform Leader @ Wheely 🟤 Timecodes 00:00:00 Что такое семантический слой? Для чего, когда и почему? 00:04:39 Семантический слой как подход к проектированию аналитических систем 00:06:52 Унификация метрик / Single source of truth 00:11:32 Synmetrix Semantic Layer Demo 00:20:30 SQL API 00:23:55 Semantic Layer sync to BI systems 00:27:19 Advanced modeling / measures / window functions 00:29:40 Headless BI / Consuming data / Observable / Embedded analytics 00:33:49 Case SIBUR + Synmetrix 00:52:19 Разница Cube core, Cube cloud, Synmetrix. Как сделать выбор? 00:58:40 Влияние GenAI / LLM, генерация SQL, мнения и прогнозы 01:08:37 Миграция с других реализаций семантического слоя / LookML (Looker) 01:11:05 Отличия Synmetrix & Cube 01:12:40 Synmetrix Roadmap - ближайшие планы развития продукта 01:13:35 Несколько слов о Data Catalog / Data Governanc… Читать полностью →

83 · 2.3K · 16:51

30 марта 2025

Artemiy Kozyr

Фотография

Yandex.Cloud: Unavailability of ru-central1-b. Первый раз с таким сталкиваюсь 😱 Надеюсь, скоро починят. У меня джобы data integration, data modeling встали 🙂 At the moment, the ru-central1-b zone is completely inaccessible due to power issues. The team is currently investigating the causes and working to resolve them. We recommend that clients shift their workload to other zones. We will provide updates around 13:30. https://status.yandex.cloud/en/incidents/1129

2 · 1.4K · 10:33

31 марта 2025

Artemiy Kozyr

Ссылка
нажмите — покажем

✔ Чем быстрее и проще создается ценность для конечного пользователя, тем более востребованы будут ваши решения. Любое решение похоже на пирамиду, каждый новый уровень которой строится на основе предыдущего. Применительно к этому принципу, ранее я демонстрировал проект myBI Showcase, в котором объединял блоки — myBI Connect (Extract - Load tool) — Clickhouse (Database) — dbt (Transformations) + mybi-dbt-core module — Metabase (Business Intelligence) — Github Actions (Continuous Integration + Deployment) ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics: — Configure environment — Install and configure mybi_dbt_core package — Configure data sources — Build staging layer models — Model Data Marts — Visualize on a dashboard — Publish dbt project docs — Introduce Continuous Integration Иногда пирамиду сравнивают с айсбергом, 2/3 которого скрыты под водой (скрыты, незаметны для пользователя). — Зачем мне изобретать свою БД, если я могу взять (например) Clickhouse? — Зачем мне создавать и поддерживать свои Data Integrations / Pipelines ко множеству сервисов-источников, если это можно получить как готовое решение со стабильным результатом? Я могу сфокусироваться на моделировании такой витрины, которая будет отвечать на 99% вопросов бизнеса и нести ценность компании. В итоге, получалось красивое тиражируемое решение для менеджмента и владельцев бизнеса. ▶ Посмотрите здесь: https://github.com/kzzzr/mybi-dbt-showcase Недавно мои друзья из myBI Connect выпустили серию замечательных прикладных материалов по работе с платформой и её возможностями. 📊 Получить доступ: study.mybi.ru Бонусом 1.500 рублей на баланс аккаунта + диплом. А я скоро подготовлю новый кейс и серию видео / публикаций: — Bitrix как источник данных (myBI Connect) — Clickhouse — dbt (моделирование витрин) — ⛈ Cube (semantic layer) — ☄ Observable (data app) — Github Actions (CI / CD) Всё с учетом моего свежего опыта и знаний. 🌐 @data_apps | Навигация по каналу

12 · 1.5K · 09:42

23 апреля 2025

Artemiy Kozyr

⛈ Universal dbt deployment (CD) and testing (CI) workflows, Data Integration via dlt, devcontainers advancements Привет! Updates + ideas sharing за последние несколько недель: 🟡 Мгновенные универсальные и идентичные среды разработки на базе devcontainers 🟡 Я фанат devcontainers, ранее неоднократно писал о них, напоминаю: — Декларативно задал окружение для разработки (например, dbt-проекта) — Установил все зависимости и библиотеки (python, dbt-snowflake, dbt-clickhouse) — Указал необходимые features (e.g. docker-outside-of-docker, aws-cli, terraform) — Задал Extensions (e.g. vscode-dbt-power-user, gitlens, vscode-pull-request-github) — Дополнительные сервисы (например, Cube, Metabase в соседних контейнерах) Ниже новые результаты: — Давай делать регулярный image prebuild где-то на сервере, а на клиентах делать только pull, что сократит время сборки на порядок и позволит избежать ошибок — Давай создадим репо, где в одном месте соберем набор универсальных devcontainers под мои нужды — В качестве postCreateCommand давай проверим наличие всех утилит: dbt -v, docker version, yc -v — Автоматически запустим набор инициализирующих команд как postStartCommand: dbt deps, dbt run-operation initialize_dwh, obsutil config -i=$OBS_ACCESS_KEY_ID -k=$OBS_SECRET_ACCESS_KEY -e=$OBS_ENDPOINT 🔵 Data Integration Pipelines via dlt orchestrated by Github Actions 🔵 Работал над интеграцией данных одного из популярных сервисов через API. — Изучил API, доступные методы и структуру данных — Подготовил скрипт на Python, который осуществляет регулярные выгрузки данных — В структурированный файловый формат .parquet с типизацией — Доступны режимы: 'incremental' and 'historical' (any specified time period) — Запускаю по расписанию как workflow в Github Actions — Сам код и зависимости выполняются в контейнере (конечно, devcontainers) — Уведомления об ошибках отправляет Tg-bot в указанную группу Появилась идея писать универсальные интеграции с использованием некоего фреймворка. Рассматриваю … Читать полностью →

10 · 1.4K · 13:52

— Все интеграции создаются через STAGES, SNOWPIPES, NAMED COLLECTIONS - забыли про указание токенов, секретов, адресов, логинов, паролей, ключей для БД-источников — Возможность указывать (подмножество колонок, явное указание типа данных) и не указывать (SELECT *) схему данных для создаваемых таблиц-источников — Заполнение всех данных по каждому источнику: docs, freshness, tags 🔴 dbt test (CI) - полноценный конвеер Automated Tests с Github Actions 🔴 Ключевая идея в том, чтобы в независимом окружении (TEST) собрать проект и убедиться, что результаты соответствуют ожиданиям: — Код в принципе работает (compile) — Модели собираются в объекты в БД (run) — Пройдены все тесты (test) При этом сделать это оптимальным образом: — Единый универсальный workflow для всех задач CI — Уменьшенный объем данных (быстро) — При необходимости, только изменяемый подграф - DAG subset (еще быстрее) Once PR is opened: — Build related docker image — Deploy code to TEST — Run tests After PR is closed (merged or rejected): — Remove transient database schema — Remove linked docker image as well as old/untagged images from container registry ✅ Скоро добавлю мысли и по этим идеям: ✅ — Разрабатываю и тестирую Github Actions локально с Act CLI + actionlint — Persist docs - Автоматически актуализировать документацию/описания объектов dbt в DWH и далее (downstream) — Пирамида создания ценности в Data — Мне очень понравился Apache Superset и впредь я бы рекомендовал его как замену популярным managed / proprietary BI (Looker, Datalens, Tableau, PowerBI, etc.) — Квест с поиском исчезнувших записей - Debezium, Kafka Connect, Snowflake Sink — Data Compaction в Object Storage (S3 / OBS / MinIO) - множество мелких файлов в один .parquet — Clickhouse production-ready deployment checklist + configurations as code — В целом кристаллизовались идеи по поводу направлений (видов) деятельности в Data — 2025Q1 PERFORMANCE SELF REVIEW + PLANS 💬 А пока - давайте обсудим! Давно не общались. У кого какие нов… Читать полностью →

6 · 1.9K · 13:52

28 апреля 2025

Artemiy Kozyr

Artemiy Kozyr😘 Семантический Слой и Метрики - всё что вы хотели знать / Semantic Layer / Gen AI / Synmetrix / Cube 🟢 В новом выпуске подкаста обсудили концепцию Semantic Layer – Семантический слой — Эволюция работы с метриками. Почему вообще возникает проблема которую решает семантический слой — Аналитические

💬 В тему Semantic Layer и, в частности, Cube.js: У нас недавно был классный выпуск подкаста со множеством тем, ситуаций и прогнозов по развитию. Если у вас всё же остаются вопросы и живой интерес к теме, либо вы на пути внедрения Cube в свои проекты, то приглашаю вступить в Tg-группу Cube.js русскоговрящий чат 🔸 Там в общении с другими людьми на разных этапах внедрения вы сможете найти ответы на вопросы: — Зачем мне в 2025 семантический слой — Production checklist / Architecture — BI-интеграции (Superset, Metabase, Tableau и др.) — Семантические слои в целом – best practices в B2B-аналитике и data-инфре — Разница между Cube core / Cube cloud / Synmetrix — И прочие 📊 Ссылка на TG-чат: https://t.me/cubejsru 💡 Если что в чате есть @jfokeev — один из первых сотрудников statsbot, в котором был разработан фреймворк cube.js и автор synmetrix (https://github.com/synmetrix/synmetrix)

10 · 2K · 08:49

12 мая 2025

Artemiy Kozyr

➕ ОФФЛАЙН МИТАП в Сочи: dbt как де-факто стандарт создания Хранилищ Данных Салют! Выступлю в Сочи на площадке ИТ-хаба СБЕР У меня будет ~30 минут чтобы зарядить вас, сделать увлекательно, интересно и познавательно: — Ликбез для тех, кто пока не в курсе, что такое dbt — Обзор эволюции развития dbt и продуктов dbt Labs — Зачем вам dbt? Сравнение До / После — Лучшие практики без воды после моих 5+ лет в проде 💡Время: 15 мая, сбор с 18:30, старт в 19:00 📍Где: ул. Войкова, 2 — IT-офис Сбера, Сочи Регистрация: https://public.oprosso.sberbank.ru/p/hw0rd7yo 🔻 У кого есть возможность прийти и пообщаться – буду рад. Запись тоже постараюсь сделать. 🌐 @data_apps | Навигация по каналу

9 · 1.7K · 19:05

20 мая 2025

Artemiy Kozyr

▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ Данных Привет, По следам доклада на ОФФЛАЙН митапе в Сочи: 📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing ✅ Основные идеи: 🏆 dbt - индустриальный стандарт для трансформации данных в DWH ✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код ☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.) 🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документация Было много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую: — С т.з. манипуляции данными dbt умеет ровно столько, сколько умеет ваша аналитическая БД — dbt не пропускает данные через себя, а лишь "раздает" команды БД, которая выполняет все операции (heavy lifting) — dbt это просто python package с удобным CLI — Рассматривайте dbt как мультитул-автоматизацию для работы с вашей аналитической БД ❤ Наблюдения и выводы: — Тема вызвала живой интерес и поток вопросов (которые продолжились после выступления) — Отметил, что даже сложные концепты в подаче с простыми примерами и доступными формулировками легко воспринимаются даже неподготовленным слушателем — Обрел старых (Станислав, привет 🙂!) и новых друзей и единомышленников — Стихийно организовалась afterparty в соседнем ресторане с обсуждением смежных тем, обменом опыта и знакомствами — Зарядился на дальнейшие планы и шаги, о которых буду сообщать Запись, к сожалению, не велась. 😘 Если будет хотя бы 3-5 комментариев-запросов, то я сделаю видеозапись по этим слайдам и идеям и выложу на YouTube / RuTube. 🌐 @data_apps | Навигация по каналу

131 · 8.1K · 11:53

22 мая 2025

Artemiy Kozyr

🪙 Почему люди ищут новую работу и проекты? Привет! Рассуждаю вслух и делаю выводы из своего опыта: 🟡 Востребованность результатов — Делать что-то и видеть, как это помогает другим людям — Создавать нечто новое, ранее не существовавшее — Помогать получать конкурентные преимущества и выигрывать борьбу — Непосредственно участвовать в создании ценности — Чувствовать себя незаменимым и востребованным Определенно, это лучше чем: — Быть винтиком системы, который ни на что не влияет — И может быть легко заменен — Не видеть смысла в своей работе — Или обманывать себя насчет этого смысла — Забыть про драйв и позитивные эмоции, связанные с работой 🔵 Технологии, с которыми вы работаете — Использование гибких, передовых решений, отвечающим духу времени — Создание собственных решений — Иметь инструменты и влияние на то как осуществляются операции — Сравнивать и оценивать подходы и инструменты, выбирать лучшее Против: — Работа в заданных рамках со стеком, который вы не выбирали — Копошение в legacy, порожденном чужими ошибками и неправильным выбором — Отставание, устаревание, следование на несколько шагов позади — Невозможность найти адекватное решение для возникающих задач 🩷 Команда и окружение — Работа бок о бок с сильными специалистами — Которые вдохновляют и мотивируют — У которых есть чему учиться — И нет страха показаться глупым или задать вопрос Против: — Работа в токсичной среде — Работа ради выполнения KPI (написания письма, закрытие тикета) — Где нет рычага и ощущуения, что команда это нечто большее чем каждый человек по-отдельности — Где все позиции, продвижения, премии выдаются не за достижения, а "по связям" 🟢 Деньги Это важный аспект, но его ставлю на последнее место. Определенно, труд должен быть оплачен соразмерно результатам и усилиям, в этом сомнений нет. Сегодня размер заработной платы - это одно из основных мерил привлекательности. Плохо, когда она - единственный критерий. Я мыслю с другой стороны: 🪙 Деньги придут, если вы занимаетесь вост… Читать полностью →

14 · 1.8K · 15:16

27 мая 2025

Artemiy Kozyr

🆕 Полностью БЕССЕРВЕРНЫЕ Аналитические Приложения на dlt, DuckDB, dbt, Observable (Streamlit) Или как собрать аналитическое приложение за $2 в месяц. Изучая стек dlt + DuckDB + dbt + Observable (Streamlit), я наткнулся на интересную архитектуру. Оказывается, можно создать функциональное, но в то же время легковесное аналитическое приложение, которое работает почти без серверов. 🟡 Конкретная схема: GitHub Actions (CI) → dlt загружает данные → dbt трансформирует → DuckDB файл → S3/Object storage → Observable/Streamlit читает DuckDB-WASM в браузере 🔵 Реальные цифры: — Object storage / S3: $0.015 за GB хранения — GitHub Actions: 2000 минут бесплатно — Observable: бесплатно — Итого: ~$2/месяц для приложения с 10GB данных 🟢 Что получается: ✅ Дашборд грузится за 200ms (всё в браузере) ✅ Работает офлайн после первой загрузки ✅ Выдерживает любые нагрузки (статика!) ✅ Автообновление через GitHub Actions 🔴 Ограничения (честно): ❌ Размер данных ограничен памятью браузера (~2-4GB), но вряд ли нам вообще понадобится больше (ведь хранить мы будем агрегированные витрины) ❌ Сложные real-time обновления проблематичны ❌ Нет серверной логики для сложной авторизации ❌ Ограниченная интерактивность и self-service (для этого нужны BI типа Superset) 🟤 Где это работает лучше всего: — B2B SaaS аналитика для клиентов / Сквозная аналитика / Sales, Markeplace metrics, etc. — Встраиваемая (Embedded) в web / mobile apps аналитика — Демонстрационные стенды (showcasing) — Публичная аналитика (типа COVID дашбордов) — Дашборды для внутреннего контура компании (до 1000 сотрудников) — Персональные и pet-проекты с историческими данными ✅ Такой подход особенно хорош для стартапов и небольших команд - вместо настройки сервисов, Kubernetes кластеров, организации потоков данных можно получать результат за один коммит в моно-репо в GitHub. ⬇ Конкретный пример использования: — Собираем данные Я.Метрика, Я.Директ, AmoCRM (Bitrix) с помощью dlt в DuckDB — Варим эти данные, чистим, но… Читать полностью →

76 · 3.2K · 09:51

10 июня 2025

Artemiy Kozyr

Фотография

🆕 Что насчет StarRocks? Салют! 19 июня в 19:00 МСК будем слушать 2 шикарных доклада и беседовать с практиками: — Как мы нашли замену vertica, clickhouse и hadoop – Станислав Лысиков — Опыт использования Starrocks как Unified SQL Engine – Алексей Дёмин 🟡В этот раз я буду модератором, готовлю интересные вопросы и гипотезы, и вам рекомендую! 📊 Митап состоится онлайн, регистрация по ссылке. Сообщество пользователей подготовило 2 доклада, охватывающие весь спектр задач - от типичного dwh небольшой компании до использования lakehouse движка поверх S3 и открытых форматов. От часовых витрин до bi безумия из сотен тысяч запросов. Мы постараемся ответить - жив ли еще опенсорс, есть ли альтернатива кликхаузу, гринпламу или трино. А если вдруг что-то забудем, то после докладов приглашаем вас на сессию вопросов и ответов в zoom к докладчикам 👍 🌐 @data_apps | Навигация по каналу

17 · 2.4K · 11:12

23 июня 2025

Artemiy Kozyr

Фотография

💬 Вам пришло сообщение с приглашением на митап 26 июня приглашаем вас в наш уютный IT-офис. Будем общаться, играть в плойку и слушать доклады. 🔘Как сделать приватное облако на базе Kubernetes по цене смартфона Михаил Старостин, технический директор, VYZOR 🔘Магия контейнеров для разработки и развертывания любого приложения Артемий Козырь, независимый Data-консультант Приглашаем к участию IT-специалистов уровня junior+, количество участников ограничено, спешите зарегистрироваться. ➡️ 26 июня, сбор с 18:30, старт в 19:00 📍ул. Войкова, 2 — IT-офис Сбера, Сочи Приходите, обменивайтесь опытом и заряжайтесь новыми идеями. Ждём вас!

3 · 2.5K · 14:16

7 июля 2025

Artemiy Kozyr

Ссылка
нажмите — покажем

😘 Новый доклад: Магия контейнеров для разработки и развертывания (любых!) ваших приложений 🪄 Поделюсь опытом использования Development Containers – технологии, которая радикально упрощает настройку среды разработки для любых проектов. 🎯 О чём расскажу: — Реальный кейс моделирования данных с dbt — Как забыть о "у меня не работает" в команде — Почему devcontainers – это game changer — Практические примеры конфигурации — Оптимизация для CI/CD 💡 Особенно полезно будет: — Тимлидам и техлидам — Data-инженерам — Разработчикам на любом стеке — DevOps-инженерам ⚡️ Ключевые моменты: — Единая среда разработки для всей команды — Работа с микросервисами через docker-compose — Предварительная сборка образов — Поддержка нескольких архитектур (AMD64/ARM) 📺 Смотреть доклад: https://www.youtube.com/watch?v=qTtRF6xpieI 📊 Смотреть слайды: https://drive.google.com/file/d/1-89LR6YQYpHXwzcsGtX4HBquK8vpYHi5/view?usp=sharing 🔗 Полезные ссылки из доклада: — https://containers.dev — https://github.com/devcontainers/spec #devcontainers #development #docker #dbt #dataengineering 💬 P.S.: Задавайте вопросы в комментариях – с радостью отвечу и поделюсь дополнительными материалами! 🙌 🌐 @data_apps | Навигация по каналу

70 · 3.3K · 12:16

21 октября 2025

Artemiy Kozyr

👋 Привет! Давно не виделись. Продуктивно работал, качественно отдыхал. Если сделать выжимку по основным интересам: 🔄 Большой фокус сделал на интеграции данных с помощью dlt. Все пайплайны загрузок (в особенности REST API) теперь строю на этом туле 💾 Запись осуществляю как в традиционные DWH (Snowflake, Clickhouse), так и в Object Storage (Iceberg, Delta) 📊 Значительно продвинулся в использовании Kafka Connect и в частности Debezium для синка данных из операционных СУБД: ad-hoc incremental snapshots, rewind CDC (OpLog) position, преобразования на лету и прочее ☸️ Работал над размещение Kafka + related services в Kubernetes как отказоустойчивого сервиса на базе проекта Strimzi ⚡️ Изучал возможности serverless analytics: (WASM) DuckDB, Matomo 🐳 Вышел на новый уровень использования devcontainer: prebuild & pull, регулярные builds & push свежих версий зависимого ПО, обновления от dependabot 🔐 Совершенствовал безопасность и надежность деплоймента DWH (Snowflake security issues and checklists) 🤖 Прокачивал свой AI enhanced workflow & setup на базе IDE Cursor. В планах пробовать Cline, топовые модельки с OpenRouter ━━━━━━━━━━━━━━━━━━ И, наверное, самая актуальная новость: 🎯 На этой неделе я заканчиваю свою работу в Wheely! Путь длиной в 6 лет подошел к концу. Причины, результаты работы, наблюдения, дальнейшие планы в следующем посте. ━━━━━━━━━━━━━━━━━━ 💬 Какие новости у вас?

19 · 2.9K · 14:20

13 января 2026

Artemiy Kozyr

⚡ ПЕРЕЗАГРУЗКА этого блога Друзья, привет, Всех с наступвшими праздниками, надеюсь все отдохнули и готовы врываться в 2026. 🟡 Регулярность постов в последнее время была довольно низкой. И вот почему: нет целевого действия, призыва. В какой-то момент я осознал, что контента и идей у меня много, но я не веду читателя к какому-то действию. В целом, идеи появляются, об этом позже. 🔵 Напомню об истории и изначальной идее этого блога: — Около 6 лет назад как практику внедрил создание .md-заметок обо всех выполненных задачах — Задач решалось много (сейчас еще больше), технологии были максимально свежие, актуальные, интересные — Фокус был (и остается) на результатах, создании ценности, рассмотрении задач и тулов через прикладные проблемы — Первый пост в канале появился в 2021-01 (5 лет назад! Ура!) — Минимум рекламы. Никогда не размещал за деньги, максимум: репост по сердцу — Только органический рост аудитории 🟢 Теперь о том, что меня драйвит / зажигает / мотивирует / интресует сейчас: — Продолжаем: Траблшутинг (решение актуальных бизнес-проблем) с использованием современных Data-технологий — Овладение технологиями с т.з. решения конкретных бизнес-задач (кейсов) — Рассмотрение технологий вглубь: сильные, слабые стороны, лучшие практики, применения для определенных ситуаций — Быстрое создание MVP и тестирование гипотез (Рынку нравится? Есть спрос?) — Смена парадигмы от монетизации часов (работы) к монетизации сервисов / продуктов 🩷 Что я думаю о блоггинге в Data и IT в целом 🔺 Поизучал ряд каналов. Мой подход и рецепт такой: изучаю последние 10-20 постов и оцениваю: — Сколько из них запустили мыслительный процесс — Сколько из них вдохновили сотворить какой-либо результат — Сколько из них отразили личный опыт, путь, ошибки и достижения 🔹 Качественные материалы однозначно есть, но достаточно много таких: — Ребята из ABC делают буллшит XYZ и у них очень круто получается. Вам обязательно надо попробовать (нет) — Зайчата из ABC устраивают конфу и ва… Читать полностью →

5 · 2.5K · 09:38

16 января 2026

Artemiy Kozyr

📊 Я работал в Wheely 6 лет и вот результаты Результат - единственная валюта, которую принимают в банке жизни 😌 — Спроектировал и реализовал миграцию аналитической платформы Redshift → Snowflake: -45% расходов в моменте ($3.6k → $2k/мес), без простоя бизнеса. — Построил self-hosted платформу real-time streaming (Kafka + Debezium) вместо SaaS-инжеста: ~$20,000/год экономии и полный контроль по security/PII. — Оптимизировал использование и лицензии Looker: ~50% (~$40,000/год) экономии при продлении без ущерба для процессов, и далее переход на Metabase (Open Source) — Участие в разработке MetricView — высокопроизводительный BI-инструмент для C-level (на базе Observable Framework) с надежным CI/CD. — Вёл функцию Data Engineering для компании из 150+ сотрудников; обеспечил 100% покрытие мониторингом пайплайнов и <1 минуты задержку данных для критичных операционных потоков. — Стандартизировал DevEx через DevContainers (онбординг с дней до ~1 часа) и инженерные процессы для data/BI (CI/CD, monitoring, alerting). 🟡 Как всё начиналось На момент найма: — Практики и стандарты Data Engineering не соответствовали реалиям и вызовам — Требовался человек plug-n-play, который придет и быстро наведет порядок — Возьмет под контроль дальнейшее развитие И я им стал. — Сначала у меня было 3 месяца на offboarding ELT SaaS Alooma (куплен Google) без affecting business — Затем оптимизации и устойчивость к ошибкам в dbt (Redshift) - все устали от ежедневных падений и отсутствия данных — Затем миграция с Amplitude на Snowplow — И далее, далее, не останавливаемся Было динамично и интересно. Каждый день новое сражение, перспективные технологии, высокая ответственность и свобода выбора решений (покуда ты создаешь ценность и результаты). ➕ Плюсы 🔵 Гибкость и живость Нужен результат – делаем, чего ждать. Минимум бюрократических процедур, задержек и прочего bullshit. После работы в корпорациях было удивительно, что так быстро можно создавать результаты и влиять на процессы. Буквал… Читать полностью →

99 · 3.7K · 13:59

.. (продолжение) Минусы Постепенно все плюсы стали меркнуть, тучки сгущаться. Процессы стали хиреть, бюрократия - расцветать. ✔ Культура менеджмента и управления по сути сводится к: “Делаем всё как говорит Главный” 🔸 И неважно, прав он или нет. Разбирается в этом вопросе или нет. Просто он так хочет (сказал). Just make him happy. Это в принципе девиз любого менеджера, который хочет успеха в компании. Иначе он долго не задерживается 😆 Sad but true. ✔ Бюрократия и палки в колеса вместо свободы действий и изменений ◻️ Львиная доля моих результатов и изменений - это моя личная инициатива, которую я сам тащил как мог снизу вверх. Менеджеру это не надо. В его глазах такая инциатива – еще один риск: “Сейчас ОК. А вдруг хуже станет. Ну нах, лучше придержу”. Поэтому: “Оцени; Напиши письмо; Сделай созвон; Задай вопрос; Сделай расчет в Google Sheet; Создай страницу на 20 листов в Notion” и прочий булшит. Ну, в принципе, у меня после такого отношения мотивация утрачивается. 🔵 На примере Snowflake: — Я договорился с вендором, общался с сейлзами, постоянные созвоны где тебя пушат: "КУПИИИИ" — Трижды запрашивал trial credits чтобы 120% всё протестить и не обосраться — Писал писульки и странички в Notion — Брал кредит доверия, всех успокаивал, объяснял и пр. — Работал значительно больше всё это время, т.к. никто не отменял основную нагрузку 🟢 В следующую инициативу (Kafka + Debezium) моя мотивация вовсе сломалась. Миграция не прошла 100% гладко (и это ОК). В сухом остатке: избавились от жадного вендора (считай ELT бесплатно), всё стало рилтайм, данные всегда внутри контура компании. 🧐 Но! Я получил отрицательную оценку на perf. review и пришел к странному выводу: Оптимальная стратегия в такой ситуации - минимум инициативности, делаем то, что говорят (хотят), и не больше. (Так нельзя! Беги, если не хочешь покрыться мхом! 🔹) ✔ Низкая динамика в культуре разработки и technology adoption Если коротко, то равняться (быть мотивированным, учиться, следовать, обменивать… Читать полностью →

63 · 3.1K · 15:38

— Всем нужно заполнять какую-то чушь, что-то обещать с три короба, планировать, привязывать к каким-то циферкам — Можно запланировать супер амбициозную и сложную цель и выполнить на 90% - получишь отрицательную оценку (мой случай) — А можно пустить пыль в глаза и перевыполнить легкую цель - можешь получить повышение (не факт) — Оценка – чистая субъективщина — Используется как обоснование для принятия решений, в т.ч. увольнения Иначе говоря, это просто легальное обоснование для принятых неудобных решений. Ну-у, Вася, перформанс у тебя так себе, пора прощаться 🔻 ✔ Сама модель бизнеса зарекомендовала себя как весьма скромный (местами отрицательный) hypergrowth ◻️ Не претензии, просто наблюдение: — За 6 лет он особо не вырос — Потенциала тоже особо нет, есть преграды и барьеры рынков и регуляторов — Мега-фичей и disruption в этом бизнесе не ждите Если бы я 6 лет назад начал работу в бодром ФинТехе, были бы другие результаты. Были за это время интересные офферы. Но, увы, сослагательного наклонения нет. Отдельного внимания заслуживает возня с РКН ◾️ — Они нас вычислили и блокнули! — А мы им новый proxy mega VPN — А мы их по IP и по GEO! ——— Я бы может еще чего накинул, но уже устал. Бывшие коллеги, налетайте 😆 👍 Причины ухода Коротко: — Ты на удаленной работе (да, вы же и заставили меня подписать доп. согл. к Трудовому договору) — Ехать на Кипр не хочешь — Разработай процесс найма, найми людей — Нанял - обучи, передай опыт, объясни всё — Спасибо, люди в РФ не нужны, приняли решение с тобой попрощаться Ехать на Кипр на птичьих правах и работать на контракте, который привязывает к работодателю и может быть не продлен. Может кому-то это и ОК условия, но не мне. Всё ожидаемо и понятно. Претензий нет. ✅ Основные выводы — Автономность, гибкость, свобода выбора и решений, ответственность – редкая ценность — Перестал соответствовать чьим-либо ожиданиям - выбыл. Ты лишнее звено и тебя изымают (однако это работает, в принципе, для всех. Даже для тех, кто эти з… Читать полностью →

53 · 4.1K · 15:38

22 января 2026

Artemiy Kozyr

☄ Открыт к предложениям: Staff Data Engineer / Data Platform Lead За 11+ лет я прошел путь от аналитика до лида и архитектора дата-платформ. Умею строить инфраструктуру, которая создает ценность, экономит деньги бизнесу и нервы инженерам. 🚀 Что могу — Строить платформы с нуля: Greenfield Data Platform (ClickHouse, Trino, Kafka, dbt, dlt, Superset, anything...) — от Excel до enterprise-grade — Снижать TCO в разы: миграции (Snowflake / Clickhouse / Trino), замена SaaS на self-hosted решения, оптимизация костов — Real-time без компромиссов: Kafka + Debezium + Flink — Security by Design: PII/GDPR compliance, RBAC, Data Contracts — DevEx как мультипликатор: Everything as Code, CI/CD, DevContainers 🧠 Мои принципы — Business Value First: Технологии должны окупаться — Maintainability > быстрые хаки: Решения, которые можно развивать, а не только чинить — Инженерная культура > hero-mode: процессы, документация, автоматизация — Build vs Buy > хайп: Open Source там, где это даёт контроль и экономию — Stakeholder Management: управляю ожиданиями, говорю на языке бизнеса 🎯 Что ищу — Роль: Staff/Lead Data Engineer, Data Platform Lead, Solutions Architect — Компания: Продуктовая с сильной инженерной культурой или амбициозный стартап с интересной data-задачей — Интересно: Greenfield, Модернизация стека, Lakehouse, Streaming, ML/AI-платформы — Также открыт к консалтинговым проектам (архитектура, аудит, построение платформ) 💬 КОНТАКТ — Telegram: @kzzzr — Email: [email protected] — CV по запросу Буду благодарен рекомендациям.

47 · 3.1K · 13:24

2 февраля 2026

Artemiy Kozyr

😘 Открываю доступ к закрытым записям цикла Designing Modern Data Apps Всем привет! 🟡 Это первые 4 стрима на темы: — Marketing Analytics – ЧАСТЬ 1 — Data Integration – ЧАСТЬ 2 — Extract-Load – ЧАСТЬ 3 — Data Modeling with dbt – ЧАСТЬ 4 🔵 Ключевые особенности: — Это был закрытый запуск с фокусом на практику (сквозной проект) — Код на Github, вся инфра в Я.Облаке — Материалы записаны до бума AI, но актуальности не утратили — Много полезной, концептуальной, прикладной информации 🟢 Если будет положительный отклик, то вскоре открою остальные стримы и доступ к github-репозиторию: — Business Intelligence – ЧАСТЬ 5 — Вопросы и ответы – ЧАСТЬ 6 — Semantic layer / Семантический слой (Cube) – ЧАСТЬ 7 — Setting up environments / Конфигурация сред – ЧАСТЬ 8 — Orchestrating jobs & DAGs / Оркестрация запусков – ЧАСТЬ 9 — Advanced modeling / Продвинутое моделирование данных – ЧАСТЬ 10 — Вопросы и ответы / Обсуждение результатов – ЧАСТЬ 11 🩷 Если будет очень большой интерес - то сделаю новый, обновленный запуск с учетом всех изменений и моих знаний, полученных за это время. 📊 YouTube плейлист: https://www.youtube.com/playlist?list=PLaJB0sPwixnP1iov175SpkUpzfd_s85s8 💬 Задавайте вопросы, оставляйте комментарии, делитесь с теми, кому может быть интересно. 🌐 @data_apps

129 · 2.9K · 17:31

6 февраля 2026

Artemiy Kozyr

👀 DataLens: Бесплатная сказка закончилась. Кейс миграции на Superset (Open Source BI) 1 марта 2026 года заканчивается пробный период Business-тарифов DataLens для тех, кто сидел на Community. Для многих команд это означает выбор: начать платить за каждого пользователя или искать альтернативы. Проблема часто даже не в деньгах, а в ограничениях: доступные визуализации, проблемы с Embedding, отсутствие кастомизации, необходимых коннекторов и vendor lock-in. ◻️ А у меня уже есть кейс! Для B2B Retail Tech построил Production-ready решение, которое полностью принадлежит ему, а не облачному провайдеру. "Мы растем, но платить за каждого зрителя дашборда не хотим. Нужен полный контроль, управление ролями, Row-level security, брендирование, и широкие возможности для клиентской аналитики". 🔵 Что сделал: Мигрировал аналитику на Open Source & Self-hosted стек: Apache Superset + ClickHouse (+ Сube). — 🛠 Инфраструктура: Docker Compose (или K8s) для оркестрации, PostgreSQL для метаданных и Redis для кэша. — 📱 Mobile-First: Nginx сам определяет устройство пользователя и отдает адаптированную мобильную версию дашборда. — 🔐 Security: RBAC, SSL, Secure Cookies, Каждый клиент видит только свои данные. — 🎨 White Label: Лого, Русский язык, Favicon, Красивый домен. Кто не знает - не догадается, что это Superset 😉 — 📊 Analytics enabled: Включил Я.Метрику для Superset – работает даже веб-визор 😀 🟢 Результаты в цифрах и фактах: — ✅ $0 за лицензии. Цена масштабирования = цена VPS. 5 человек или 500 — бюджет тот же. — ✅ Независимость. Данные и инструмент принадлежат компании, а не облачному провайдеру. — ✅ Функционал. Разнообразие визуализаций (ECharts), Embedding, Drill-down, SQL Lab для профи. 💡 Open Source требует прямых рук. Я собрал Production Checklist по внедрению Superset (Инфраструктура, Компоненты, Конфигурация, Network, Кастомизация / White Labeling, Обслуживание). ⬇ Кому актуально — ставьте «+» или пишите «Чек-лист» в комментариях, пришлю ссылку в ЛС! 👇 … Читать полностью →

35 · 2.7K · 15:58

Ответ👀 DataLens: Бесплатная сказка закончилась. Кейс миграции на Superset (Open Source BI) 1 марта 2026 года заканчивается пробный период Business-тарифов DataLens для тех, кто сидел на Community. Для многих команд это означает выбор: начать платить за каждого пользователя или искать альтернативы. П

Ссылка
нажмите — покажем

Эксперимент успешный 😌 Чек-лист: https://gist.github.com/kzzzr/e49b7e0b2af01e4e1dbc57102d5f70a1

32 · 2.9K · 16:14

27 февраля 2026

Artemiy Kozyr

✅ 3 ОФФЕРА, мои мысли и рекомендации по поиску работы в 2026 в Data и IT в целом Салют! Чуть больше месяца назад публиковал пост о том, что открыт к предложениям. 🟢 Результаты: — 3 толковых оффера - RU BigTech, Международный FinTech, Доля в стартапе — 1 отказ. Без адекватной обратной связи. Скорее всего, просто нет матча по деньгам — Возможность структурировать свой опыт и результаты, грамотно презентовать это в CV — Типы предложений: ТК РФ / Contract / Share % — Виды позиций: Lead DE, Лидер Data Platform, Архитектор, Tech Product Owner 🔵 Мои принципы поиска: — Только Network, подача и интерес через контакты и знакомства. Спасибо всем, кто помогал 🙏 — Без HH и прочих агрегаторов. Не верю в их эффективность сегодня. — Прозрачные ожидания и позиционирование. Что могу предложить, и что хочу взамен. 🟡 Собеседования — Кейс-интервью - лучший способ рассказать об ожиданиях и бизнес-проблеме, и понять как сам будешь структурировать проблему. Респект тем, кто так проводит! — Когда нанимал сам, то тоже давал прикладной кейс (прямо с доступом к данным в Snowflake!) — Даже если у тебя нереально крутые достижения, успех будет только тогда, когда ты сумеешь их правильно подать — Правильно и самому становиться в позицию собеседующего – задавать вопросы, собирать информацию — Признать что чего-то не знаешь или не умеешь – это нормально. Рассуждать вслух – лучше чем молчать — Важная для меня мысль: между умением проходить собеседования и умением структурировать реальные проблемы и решать прикладные задачи нет однозначного тождества 🩷 Ключевые рекомендации: 1. Структурируйте свой опыт для CV — Фокус на результатах (не обязанностях) — Достижения и числа, но без фанатизма и откровенного вранья — Без воды, максимум информации в минимум текста — Будь готов ответить по каждому предложению в CV Я уже лет 5 веду записи обо всех задачах и активностях (по типу STAR: Situation - Task - Action - Result). Мне это помогло структурировать достижения и результаты, сфокуси… Читать полностью →

58 · 2.8K · 15:22

25 августа 2026

Artemiy Kozyr

🔸 Меня заблокировал Cursor Сообщение: Your Cursor account was closed following an account review. We are unable to provide additional details about this decision. Any active Cursor subscriptions have been canceled, and no further charges will occur. Payments already made are not eligible for a refund. Итого: — Аккаунт удален — Причин не называем — Деньги не вернем – у меня оставалось 2/3 месяца подписки за $200 Просто внезапно всплыло сообщение и осталась одна кнопка - log out 😅 💬 У кого-то еще случалось что-то подобное? —— Предположения, почему: — Россия 😁 — Оплата подозрительной картой – пользовался сервисом по выпуску вирт. карт с пополнением СБП / USDT — Помогал оплатить еще одному человеку с той же карты (мультиаккаунт?) Ничем запрещенным или противоправным не занимался, не спрашивал. 💔 В любом случае, реакция сервиса неудовлетворительная. —— Надо сказать, что после этого возвращаться я не собираюсь. Пока подбираю новый стек для своего workflow. Кубики такие: — IDE: VSCodium / Zed — AI: Kilo Code / Cline — Model provider: OpenRouter — Либо CLI: Claude Code / OpenCode 💬 Есть рекомендации? У кого какой сетап? —— P.S.: Всем привет! Коротко, работаю над развитием платформы данных: dlt, dbt, DWH, DataOps + Infra. Работы много, всё очень интересно и быстро меняется. Скоро будут апдейты и полезное. —— UPDATE: Я думаю, что дело в этом – "any U.S. embargoed country or territory" 17.5. Export and Trade Controls. You must comply with all applicable trade laws, including sanctions and export control laws. The Service may not be used in or for the benefit of, or exported or re-exported to (a) any U.S. embargoed country or territory or (b) any individual or entity with whom dealings are prohibited or restricted under applicable trade laws. Our Service may not be used for any end use prohibited by applicable trade laws, and your Input may not include material or information that requires a government license for release or export. https://cursor.com/t… Читать полностью →

18 · 1.2K · 09:13