Веб-версияОткрыть в Telegram
DDATABASE DESIGN

DATABASE DESIGN

@database_design · канал · Технологии · в индексе с 2026-05-29
1 356подписчиков+1 за неделю
4 845постов в индексе
DATABASE DESIGN
Парсинг тарифов интернета и ТВ: Архитектура БД и бэкенд на SQL За 5 лет работы в B2B и B2C сегментах у телеком-провайдеров я столкнулся с одной из проблем: абоненты годами сидят на архивных дорогих тарифах или пользуются услугами операторов, которые не идут на уступки, не снижают цены на тарифы, пользователи просто не знают, что в их же доме есть альтернативные провайдеры с тарифами более выгодными для них. Я решил объединить свой опыт в телекоме с навыками в программировании. Так появилась идея по парсенгу тарифов. Цель — создать инструмент, который автоматически мониторит провайдеров, избавляя пользователей от ручного сравнения и помогая им находить оптимальные условия по тарифу. Сейчас я работаю аналитиком БД, параллельно изучаю архитектуру, построение данных. Решил начать проект с проектирования структуру на PostgreSQL по схеме "Звезда". Таблицей фактов у меня будет таблица со связью города с провайдером, таблицы измерений – таблица с информацией о тарифах, городами и провайдерами. Читать: https://habr.com/ru/articles/983324/ #ru @database_design | Другие наши каналы
4 · 188 ·
D
Как JOIN изменил наш подход к инфраструктуре данных в NAVER После миграции с ClickHouse на StarRocks NAVER существенно оптимизировала обработку многотабличных JOIN. StarRocks повысил производительность запросов, обеспечил бесшовное масштабирование и позволил построить единый слой запросов, совместимый с множеством источников данных. Эти улучшения позволили предоставлять инсайты в реальном времени и поддерживать принятие решений на основе данных во всей экосистеме NAVER. Читать: https://habr.com/ru/articles/983356/ #ru @database_design | Другие наши каналы
2 · 181 ·
DATABASE DESIGN
Изнанка бэкапов YDB: что остаётся за кадром Решил собрать нюансы создания резервных копий и восстановления таблиц в YDB. Это не замена документации, а раскрытие деталей, которые не очевидны для тех, кто начинает работать с этой базой данных. Читать: https://habr.com/ru/articles/983512/ #ru @database_design | Другие наши каналы
2 · 171 ·
D
Очень странные дела или подключаем YDB в AWS NoSQL Workbench При работе с Yandex Database (YDB) часто возникает потребность в удобном визуальном инструменте для работы с данными. AWS NoSQL Workbench — популярное приложение для моделирования и тестирования NoSQL баз можно использовать и с YDB благодаря DynamoDB-совместимому Document API. Читать: https://habr.com/ru/articles/983678/ #ru @database_design | Другие наши каналы
1 · 185 ·
DATABASE DESIGN
Реляционные шарады: превращаем фильмы в таблицы Реляционная модель обычно ассоциируется с аккуратными строками и столбцами, но на практике ей регулярно пытаются скормить то, для чего она будто бы не предназначена. В этой статье — эксперимент на грани здравого смысла: разложить фильм на пиксели, превратить кадры в строки и посмотреть, что получится, если к видео применить привычный SQL. Без обещаний пользы и универсальности — зато с честным разбором того, где такой подход неожиданно работает, а где начинает сопротивляться сама природа данных. Перейти к материалу Читать: https://habr.com/ru/companies/otus/articles/982114/ #ru @database_design | Другие наши каналы
4 · 184 ·
D
Создаем пет-проект по аналитике в связке с GitHub Actions. Часть 2 Привет, Хабр! Продолжаю обозревать GitHub Actions на примере пет проекта для аналитика. Статья будет полезна начинающим аналитикам в поисках хорошего проекта для своего портфолио. В этой части разбираю подход к выбору проекта и источника данных, к сбору и анализу данных и представлении результатов своей работы. Читать: https://habr.com/ru/articles/983926/ #ru @database_design | Другие наши каналы
2 · 192 ·
DATABASE DESIGN
Объектные хранилища: чем заменить minio? Как говорят у меня на родине: корпоративная жадность — двигатель миграций. И именно это мы сейчас можем наблюдать на примере MinIO — некогда любимого инструмента DevOps-инженеров для развёртывания S3-совместимого хранилища. В 2021 году они втихушку сменили лицензию на AGPL v3, а в 2025 году и вовсе выпилили веб-интерфейс из бесплатной версии. Ну и, наверное, можно подумать, что за такой удобный инструмент можно и заплатить. Но тогда встаёт вопрос: какова цена коммерческой лицензии? От $96 000 в год) В этой статье мы разберём, чем можно заменить MinIO, сравним альтернативы в разных сценариях и, конечно же, развернём их руками — потому что теория без практики, как вайбкодер без гпт. Читать: https://habr.com/ru/companies/ruvds/articles/981790/ #ru @database_design | Другие наши каналы
4 · 209 ·
D
Если UPDATE столкнулся с заблокированной строкой В PostgreSQL и Oracle Database команда UPDATE, столкнувшаяся с заблокированной строкой, ведёт себя по-разному. В статье рассматривается, как выполняется UPDATE в этих базах данных. Это может быть полезно при миграции кода приложения мжду этими базами данных. Читать: https://habr.com/ru/articles/983998/ #ru @database_design | Другие наши каналы
4 · 201 ·
D
DATABASE DESIGN
Дефрагментация HDD ускоряет скорость работы, но на сколько? Расчет скорости HDD в зависимости от фрагментации Что такое фрагментация? Фрагментация — это состояние, при котором файлы физически располагаются на разных участках диска, а не непрерывно друг за другом. Из-за этого магнитная головка вынуждена совершать лишние движения, тратя значительное время на поиск нужных участков. По мере накопления фрагментов файлов снижается общая скорость работы накопителя, ухудшается отклик системы и увеличивается износ самого устройства. Введение процедуры дефрагментации способно кардинально изменить ситуацию. Суть дефрагментации заключается в объединении отдельных фрагментов файлов в единую область на диске, сокращая путь движения головок и уменьшая среднее время доступа к данным. Этот процесс оказывает непосредственное влияние на повышение общей производительности системы, снижение нагрузки на аппаратуру и продление срока службы HDD.Далее мы подробно изучим механизм воздействия фрагментации и дефрагментации на показатели скорости работы жесткого диска, используя конкретные расчеты и наглядные примеры. Характеристики HDD Основные характеристики HDD: -Объем, Гб; -Линейная скорость чтения/записи, Mb/s ; -Количество оборотов диска в минуту, rpm; -Время перехода track to track, ms. Возьмем для моделирования HDD со следующими характеристиками / Читать: https://habr.com/ru/articles/984100/ #ru @database_design | Другие наши каналы
1 · 230 ·
DATABASE DESIGN
Как правильно «готовить» RAG: рецепт умного ассистента для вашего отдела Уверены, что вы уже слышали об этой технологии, но сегодня поговорим о ней с практической точки зрения. В этой статье наша Команда AI дает советы тем, кто еще не погружен в технические детали — рассказывает о сложностях, которые могут возникать при работе с этой технологией и о том, как их избегать. Читать: https://habr.com/ru/companies/bitrix/articles/980748/ #ru @database_design | Другие наши каналы
5 · 293 ·
Как DuckDB обрабатывает 1 ТБ данных менее чем за 30 секунд Команда Python for Devs подготовила перевод статьи о том, как DuckDB ломает привычные представления о масштабах аналитических данных. Автор на реальных бенчмарках показывает, что 1 ТБ данных можно агрегировать за считанные секунды — без Spark, без распределённых кластеров и без сложной инфраструктуры. Читать: https://habr.com/ru/articles/984040/ #ru @database_design | Другие наши каналы
4 · 453 ·
DATABASE DESIGN
Ваш IQ в тесте намного меньше чем в жизни Средний IQ по миру ровно 100, но когда вы проходили тест у вас было 110-120 или больше. Получается, вы умнее чем средний человек на земле? Нет. В реальности у вас на 10-20 баллов меньше, вы как раз на уровне среднего человека. Почему средний человек 100 лет назад имел 80 IQ, но не проиграл бы нам по интеллекту? Почему тесты завышают результаты IQ, и влияют ли эти тесты на интеллект и успех в жизни Читать: https://habr.com/ru/companies/femida_search/articles/984754/ #ru @database_design | Другие наши каналы
295 ·
Проектирование целевой архитектуры: второй шаг к быстрой и безопасной миграции ЦОД Обследование инфраструктуры мы пережили в первой части — и те, кто знаком с предысторией, понимают, что слово «пережили» здесь выбрано совсем не случайно. Теперь настало время двигаться дальше — к этапу, где уже не просто ищут проблемы, а проектируют мир, в котором эти проблемы не должны появляться вовсе: к целевой архитектуре. Именно на этом шаге закладывается каркас будущей ИТ-среды: определяются требования к производительности, формируются принципы отказоустойчивости, продумывается структура сетевого взаимодействия и планируется размещение оборудования. Промахнуться здесь — значит допустить трещину в фундаменте: сначала её может быть и не видно, но позже она обязательно даст о себе знать — либо на миграции, либо в самый неподходящий момент эксплуатации. И, как не сложно догадаться, оба варианта одинаково неприятны. Читать: https://habr.com/ru/companies/icore/articles/984844/ #ru @database_design | Другие наши каналы
239 ·
Проектирование целевой архитектуры: второй шаг к быстрой и безопасной миграции ЦОД Обследование инфраструктуры мы пережили в первой части — и те, кто знаком с предысторией, понимают, что слово «пережили» здесь выбрано совсем не случайно. Теперь настало время двигаться дальше — к этапу, где уже не просто ищут проблемы, а проектируют мир, в котором эти проблемы не должны появляться вовсе: к целевой архитектуре. Именно на этом шаге закладывается каркас будущей ИТ-среды: определяются требования к производительности, формируются принципы отказоустойчивости, продумывается структура сетевого взаимодействия и планируется размещение оборудования. Промахнуться здесь — значит допустить трещину в фундаменте: сначала её может быть и не видно, но позже она обязательно даст о себе знать — либо на миграции, либо в самый неподходящий момент эксплуатации. И, как не сложно догадаться, оба варианта одинаково неприятны. Читать: https://habr.com/ru/companies/icore/articles/984844/ #ru @database_design | Другие наши каналы
261 ·
D
CTE (Common Table Expression) / Django CTE Как только ты начинаешь углубляться в изучение баз данных, так сразу на горизонте возникают такие понятия как подзапросы, CTE, представления и временные таблицы. По опыту работы в университете заметил, что с этими темами у людей часто возникают проблемы и недопонимания. В частности больше всего путаницы вносит именно CTE. Поэтому в этой статье я расскажу: 1. что такое CTE 2. зачем оно нужно 3. что такое рекурсивные СТЕ 4. чем СТЕ отличается от временных таблиц, представлений и подзапросов 5. как СТЕ может плохо сказаться на производительности 6. как использовать СTE в самом народном фреймворке Django Использует SELECT со звёздочкой Макс - Lead Backend и автор YouTube-канала PyLounge. Поехали! Читать: https://habr.com/ru/articles/984962/ #ru @database_design | Другие наши каналы
4 · 263 ·
DATABASE DESIGN
Как ускорить SQL-запрос в миллион раз без изменения кода: кейс со STATMULTIPLIER в Postgres Однажды при мониторинге мы обратили внимание на запрос, который занимал первое место по длительности: 40+ секунд на выполнение при 657 вызовах за день. Причина состояла в том, что из-за неточной статистики распределения данных выбирался неподходящий индекс. В статье расскажем о том, как с помощью параметра STATMULTIPLIER в СУБД Tantor Postgres этот проблемный запрос удалось ускорить примерно в миллион раз — до 0.042 миллисекунды, — просто повысив точность статистики без изменения кода или структуры базы данных. Читать: https://habr.com/ru/companies/tantor/articles/985130/ #ru @database_design | Другие наши каналы
6 · 288 ·
D
Как мы измеряем качество в VK Видео Привет, Хабр. Меня зовут Павел Муханов. Я руководитель лаборатории качества видеоплатформы VK. ВКонтакте, ОК, VK Клипы, VK Видео и другие сервисы VK, предоставляющие возможность просмотра видео, используют в качестве core-технологии видеоплатформу VK. Она объединяет видеохостинг, стриминг и облачное хранилище и предоставляет аудитории бесшовный доступ к огромной библиотеке контента. Чтобы гарантировать стабильную работу видеоплатформы — предсказуемое качество видео и корректную работу плеера, — мы в лаборатории качества внимательно следим за метриками. В статье на примере VK Видео расскажу, как мы оцениваем качество и какие результаты получили, когда ввели регулярный мониторинг качества видео и перформанса. Читать: https://habr.com/ru/companies/vk/articles/985120/ #ru @database_design | Другие наши каналы
2 · 361 ·
D
DATABASE DESIGN
Библиотека объектов nanoCAD BIM Строительство 25: настройка и использование в проекте Эта статья – детальный обзор работы с Библиотекой объектов в nanoCAD BIM Строительство 25 – ключевом инструменте для наполнения информационной модели. Рассмотрены принципы работы с параметрическими элементами, структура библиотеки и её интеграция с Диспетчером проекта. Отдельное внимание уделено настройке библиотек в корпоративной среде с помощью Менеджера библиотек, а также процессу создания пользовательских объектов. Материал будет полезен архитекторам и конструкторам, оценивающим российские BIM-решения для типовых и сложных проектов, и позволит понять практические аспекты повышения скорости и стандартизации проектирования. Читать: https://habr.com/ru/companies/nanosoft/articles/985502/ #ru @database_design | Другие наши каналы
1 · 410 ·
DATABASE DESIGN
PostgreSQL для CDC-пайплайна: настраиваем logical replication за 30 минут Вторая статья цикла «CDC Pipeline в домашней лаборатории». В первой мы сделали Telegram-бота для парсинга банковских скриншотов. Теперь подготовим PostgreSQL к тому, чтобы Debezium мог захватывать изменения в реальном времени. Читать: https://habr.com/ru/articles/988114/ #ru @database_design | Другие наши каналы
3 · 387 ·
Когда gfix бессилен: инструмент восстановления БД Firebird, спасаем данные Разбираем бинарный формат Firebird по байтам: структура страниц, транзакции, MVCC. Пишем утилиту на Delphi для восстановления данных, когда gfix и gbak бессильны. Читать: https://habr.com/ru/articles/986764/ #ru @database_design | Другие наши каналы
1 · 453 ·
Postgres по-русски: где наши Aurora, AlloyDB и Neon? Базы данных давно являются фундаментом цифровой экономики. От их архитектуры и производительности во многом зависят скорость вывода продуктов на рынок, стабильность сервисов и итоговая стоимость ИТ-инфраструктуры. В мировой практике одним из основных стандартов де-факто, вокруг которого формируются экосистемы серьезных решений, стала открытая СУБД PostgreSQL. В России она используется во множестве корпоративных приложений, есть целый ряд отечественных форков и дистрибутивов. Но у ряда зарубежных компаний( есть серьезные прорывные реализации, интенсивно развивающие Postgres (например, Aurora, AlloyDB и Neon, об этом ниже), а у российских этого почему-то не наблюдается. Это противоречие между массовым использованием PostgreSQL в нашей стране и отсутствием технологического прорыва задает остроту сегодняшней повестки отечественного СУБД-строения. Читать: https://habr.com/ru/companies/tantor/articles/988340/ #ru @database_design | Другие наши каналы
2 · 598 ·
Как запрос из DuckDB упёрся в PostgreSQL: 507 секунд по EXPLAIN ANALYZE Оконные функции в SQL выглядят безобидно ровно до того момента, пока не попадают на реальные объёмы данных. В этой статье разбирается конкретный аналитический запрос в PostgreSQL: от формулировки задачи и использования lead() до детального анализа плана выполнения с EXPLAIN ANALYZE. Без абстракций и «магии оптимизатора» — только факты, цифры, сортировки на диск, буферы и выводы, которые полезно уметь делать любому аналитику, работающему с большими таблицами. Читать: https://habr.com/ru/companies/otus/articles/989440/ #ru @database_design | Другие наши каналы
3 · 894 ·
D
Postgres Pro Enterprise 18: встроенный in-memory кеш и новые горизонты отказоустойчивости Асинхронный ввод-вывод, ML-оптимизация планов запросов и встроенный пулинг соединений — ключевые особенности новой Postgres Pro Enterprise 18. Релиз объединил возможности ванильного ядра PostgreSQL 18 и Enterprise-инструменты для работы с большими данными. Расскажем про технические детали, новые стратегии сканирования индексов и механизмы масштабирования записи. Читать: https://habr.com/ru/companies/postgrespro/articles/989394/ #ru @database_design | Другие наши каналы
3 · 1K ·
D
DATABASE DESIGN
Ссылка
нажмите — покажем
Один логический оператор ускоряет запрос в 32 раза: почему NOT EXISTS быстрее Если в таблице есть булево поле (например, deleted), и большинство строк имеют одно значение, а меньшинство — другое, то способ написания запроса может кардинально повлиять на скорость. Пример: 50 млн записей, удалено всего 2%. Для активных строк построен большой индекс (1 ГБ), для удалённых — маленький (22 МБ). Логически одинаковые запросы: — EXISTS (SELECT ... WHERE NOT deleted) — ищет в большом индексе, находит строку почти всегда, и затем идёт в основную таблицу, чтобы проверить актуальность данных. — NOT EXISTS (SELECT ... WHERE deleted) — ищет в маленьком индексе, не находит строку в 98% случаев и сразу завершает работу, не обращаясь к основной таблице. Результат: 22,5 секунды против 717 миллисекунд. Разница в 32 раза. Суть в том, что проверка «не найдено» обходится дешево. А «найдено» требует дополнительного чтения из основной таблицы. Эту логику можно применять к любым полям, где одно значение встречается редко: is_archived, is_banned, is_draft. Подробные бенчмарки и объяснения : https://postgres.ai/blog/20260311-not-exists-vs-exists-partial-index
9 · 1.1K ·

Открытая публичная лента из поискового индекса ChatCrawler — «Google по публичному Telegram»; обновляется по мере обхода площадки. Время — UTC.

Только публичный контент, официальный API Telegram. О проекте · Вопросы · Чего мы не делаем · Убрать страницу из выдачи · Каталог · Поиск · Как мы считаем