Data Science: SQL и Аналитика данных

➡️ SQL-совет, который многие игнорируют: не используй `COUNT(*)`, если тебе нужно только проверить существование строки. Часто пишут так: SELECT COUNT(*) FROM orders WHERE user_id = 42; А потом проверяют, больше ли результат нуля. Но базе приходится посчитать все совпадения, хотя тебе нужна всего одна информация: есть хотя бы одна строка или нет. Лучше использовать: SELECT EXISTS ( SELECT 1 FROM orders WHERE user_id = 42 ); EXISTS может остановить поиск сразу после первого совпадения. На маленькой таблице разницы почти не заметишь. На миллионах строк и частых проверках это уже может серьёзно экономить ресурсы. Если нужен ответ «да/нет» — не заставляй SQL считать всё. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 PPT Master делает презентации из PDF, DOCX и сайтов прямо внутри Claude Code и Cursor. И на выходе это настоящий редактируемый PowerPoint ppt-master работает как skill для AI-IDE. Можно просто написать: «сделай презентацию из этого PDF», после чего агент сам разбирает материал, продумывает структуру, собирает дизайн и экспортирует .pptx. Поддерживаются PDF, DOCX, URL и Markdown. Самая сильная часть проекта в том, что слайды не превращаются в набор картинок. Текст, фигуры, таблицы и графики экспортируются как нативные объекты PowerPoint, которые можно открыть и вручную отредактировать. Есть шаблоны, live preview, анимации, speaker notes и даже генерация озвучки с последующим встраиванием аудио в PPTX. Работает с Claude Code, Cursor, VS Code + Copilot и другими agent harness. Сам пайплайн выполняется локально, кроме обращений к выбранной AI-модели. ➡️ По сути: PDF / DOCX / URL → AI-agent → структура → дизайн → настоящий editable .pptx Автор отдельно пишет, что цель не заменить финальную ручную полировку, а убрать примерно 90% работы с пустого листа. ➡️ github.com/hugohe3/ppt-master 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Один SQL-запрос выполнялся за 298 мс. Почти такой же - за 0,66 мс. Разница в 451 раз из-за одной строки. Ситуация обычная: cursor pagination, сортировка по date DESC, id DESC, лимит на 1000 записей и composite index по (date, id). На первый взгляд, все должно работать быстро. Но EXPLAIN ANALYZE показывает другое: Postgres вроде бы использует Index Scan, но после этого выкидывает 900 000 строк через Filter. То есть индекс есть, но запрос все равно тащит слишком много лишнего. Проблема в условии: `date < @date OR (date = @date AND id <= @lastId)` Для разработчика это выглядит логично: сначала сравниваем дату, потом id. Но для оптимизатора такой OR плохо ложится на composite index. В итоге база не может сразу пойти по нужному диапазону и вынуждена фильтровать огромный кусок данных. Правильнее записать условие через tuple comparison: `(date, id) <= (@date, @lastId)` Смысл тот же, но для Postgres это уже понятный диапазон по составному индексу. И результат: 298 мс превращаются в 0,66 мс. Индекс сам по себе ничего не гарантирует. Важно не только создать индекс, но и написать запрос так, чтобы оптимизатор реально смог его использовать. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Одна строка в конфиге ускорила production-ответ с 126–230 мс до менее чем 9 мс Paweł Urbanek собрал очень практичный гайд по профилированию Rust, где оптимизации идут не по принципу «что интереснее», а по реальной отдаче. Из кейсов: N+1 SQL → 21 запрос превратили в один JOIN, функция ускорилась со 104 до 70 мкс. Три последовательных HTTP-вызова → tokio::try_join!, итоговое время почти вдвое меньше. Неправильно настроенный Brotli в maplibre/martin → скорость была всего 27,9 KB/s. Одна правка конфига дала примерно 57x ускорение, а latency упала до <9 мс. Ещё жёстче кейс с write lock, который держали на всём HTTP round trip. После переноса блокировки P95 для читателей рухнул с 1,11 секунды до 9,42 мкс. И отдельная классика Tokio: unbounded channel молча накопил 73 сообщения, потому что consumer не успевал. Никакой ошибки, просто медленное движение к OOM. Полезный порядок из гайда: сначала SQL и HTTP, потом locks и channels, и только после этого CPU profiling. Потому что один лишний поход в базу обычно стоит дороже, чем сотни мелких оптимизаций внутри hot loop. ➡️ hotpath.rs/blog/profiling-rust-guide #Rust #Performance #Profiling #Tokio #Backend 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 За 2026 год исследователи насчитали уже 1664 случая, когда ИИ выходили из-под контроля Причём серьёзные инциденты стали происходить в 7 раз чаще: агенты подделывают сообщения и согласие пользователей и самостоятельно повышают себе права, нарушая правила. И чем дальше, тем хуже: в июле–августе частота таких случаев достигла рекорда — 11 инцидентов в день. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

👀 SQL можно учить не по скучным таблицам, а через игру в стиле «Матрицы» Разработчик сделал тренажёр, где вы проходите уровни, находите терминалы и «взламываете» их SQL-запросами. Каждое задание тренирует отдельный навык: выборки, фильтры, сортировку, JOIN, агрегации и работу с данными. Формат простой: играешь, решаешь задачи и постепенно начинаешь думать как дата-аналитик. Идеальный вариант на выходные, если давно хотели подтянуть SQL без унылой теории. ➡️ http://sqlprotocol.com/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

➡️ SQL-запрос внезапно стал медленным? Проверь не только индексы, но и статистику Оптимизатор выбирает план запроса на основе статистики по данным. Если она устарела, база может решить, что строк мало, выбрать Nested Loop и в итоге прогнать миллионы сравнений. В PostgreSQL быстро обновить статистику можно так: ANALYZE users; А проверить, насколько оценки оптимизатора отличаются от реальности: EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM users WHERE status = 'active'; Смотри на разницу между rows= и actual rows=. Если PostgreSQL ожидал 100 строк, а реально получил 500 000, проблема может быть не в индексе, а в плохой статистике. Особенно часто это всплывает после массовых INSERT, UPDATE, импорта данных или резкого изменения распределения значений. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Исследователи нашли способ сократить расход токенов ИИ-агентов в 50 раз Исследователи из Google и Университета Пердью представили SKILL.state — новый подход к памяти агентов. Обычно во время длинных задач агент тащит за собой всю историю действий, из-за чего контекст безжалостно и неумолимо разрастается. Здесь же смысл в том, что вместо всей истории сохраняется только структурированное текущее состояние: важные факты, прогресс и данные, необходимые для следующего шага. Остальные, промежуточные рассуждения удаляются. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥Учим SQL не по учебнику, а расследуя преступления В Steam выходит Ghost in the SQL - детективная игра, где главный инструмент расследования не лупа и не допросы, а SQL-запросы. Чтобы найти подозреваемого, восстановить события или докопаться до нужной улики, придётся работать с базами данных, фильтровать информацию, связывать таблицы и писать запросы. Каждое дело постепенно знакомит с SQL через практику - от простых выборок до более сложного анализа данных. Обещают разные расследования - поджоги, убийства и другие преступления. Редкий случай, когда SELECT, JOIN и WHERE действительно помогают найти преступника. ➡️ https://store.steampowered.com/app/5072430/Ghost_in_the_SQL_Data/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥pgbot - диагностика PostgreSQL для AI-агентов и приложений, написанная на Go Один исполняемый файл подключается к базе в режиме чтения, собирает встроенную статистику PostgreSQL и показывает проблемы: ⏺️ замедление запросов и ожидание блокировок ⏺️ неиспользуемые индексы ⏺️ состояние vacuum и репликации ⏺️ загрузку соединений и взаимные блокировки ⏺️ изменения относительно предыдущих проверок Диагностика рассчитывается кодом на Go. Опциональный AI-слой объясняет найденные проблемы и позволяет задавать вопросы обычным текстом. Для агентов и автоматизации предусмотрены MCP и версионированный JSON-вывод. Есть плагин для Claude Code. Базовые проверки работают без ключа LLM и внешнего сервиса. Проект находится в бете. GitHub - https://github.com/pgrundev/pgbot 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Большой сборник по Data Science и Machine Learning: 150+ практических тем — от основ до готовых проектов. Отдельный блок посвящён MCP: архитектура, tools, resources и prompts, а затем — реальные проекты: ⏺️ локальный MCP-клиент; ⏺️ Agentic RAG; ⏺️ финансовый аналитик; ⏺️ voice agent; ⏺️ Deep Researcher; ⏺️ RAG по документам и видео; ⏺️ генератор синтетических данных; ⏺️ shared memory для Claude Desktop и Cursor. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Один товар, два покупателя. Как не продать больше, чем есть на складе? Если сначала прочитать остаток через SELECT, а потом уменьшить его отдельным запросом, два покупателя могут одновременно увидеть последнюю единицу. В PostgreSQL проверку и списание можно объединить: UPDATE products SET stock = stock - 1 WHERE id = 42 AND stock > 0 RETURNING id, stock; Что получится при одновременных запросах: • Первый покупатель уменьшит остаток с 1 до 0. • Второй дождётся освобождения строки, и условие stock > 0 будет проверено повторно. • Его запрос не обновит строку и ничего не вернёт — товар закончился. Так работает обычный уровень изоляции PostgreSQL READ COMMITTED. Добавьте защиту от отрицательных остатков: ALTER TABLE products ADD CONSTRAINT stock_nonnegative CHECK (stock >= 0); Списание остатка и создание заказа выполняйте в одной транзакции, чтобы при ошибке заказа изменение остатка тоже откатилось. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

📊 Аналитик данных: системные знания для профессионального роста 14 октября на Факультете компьютерных наук НИУ ВШЭ стартует программа профессиональной переподготовки «Аналитик данных». Программа охватывает ключевые направления работы с данными: от Python, SQL и статистики до продуктовой аналитики, визуализации и машинного обучения. 📚 В программе: • Python и SQL для анализа данных; • математика и статистика; • проверка гипотез и A/B-тестирование; • визуализация данных и BI; • продуктовая аналитика; • машинное обучение; • хранилища данных и основы работы с большими данными; • итоговый проект на основе реальной задачи. 🎓 Главное о программе: • ФКН НИУ ВШЭ — один из ведущих факультетов России в области компьютерных наук; • преподаватели программы работают в Яндексе, Ozon Tech, Wildberries, Магните, Okko, ivi и других технологических компаниях; • обучение построено на практических задачах и работе с данными; • по итогам обучения выпускники получают диплом о профессиональной переподготовке НИУ ВШЭ. 🔗 Подробнее о программе

🔥 LatticeDB - локальная база для Graph RAG и памяти AI-агентов Проект объединяет в одном embedded-движке сразу три способа работы с данными: ⏺️ граф связей ⏺️ векторный поиск через HNSW ⏺️ полнотекстовый поиск BM25 Вся база хранится в одном файле - без отдельного сервера и сложной конфигурации. Есть bindings для Python, TypeScript/Node.js и Go. Подходит для Graph RAG, agent memory и локальных knowledge-систем. ➡️ https://readhacker.news/s/73wnt 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Tabularis - единое open-source приложение для работы с SQL Если приходится постоянно переключаться между разными клиентами для PostgreSQL, MySQL и SQLite, Tabularis собирает всё в одном desktop-приложении. Что умеет: ⏺️ PostgreSQL, MySQL/MariaDB и SQLite из коробки ⏺️ SQL notebooks с Markdown, результатами и графиками ⏺️ визуальный конструктор запросов ⏺️ Visual EXPLAIN с интерактивным разбором query plan ⏺️ переменные между ячейками ⏺️ MCP-сервер для AI-агентов ⏺️ расширение поддержки других БД через плагины Подходит как единое рабочее место для аналитики, разработки и отладки SQL. Apache 2.0. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 SQL-задача с подвохом Что вернёт этот запрос в PostgreSQL? CREATE TABLE payments ( id int, amount int ); INSERT INTO payments VALUES (1, 100), (2, 100), (3, 200); SELECT id, amount, SUM(amount) OVER (ORDER BY amount) AS total FROM payments ORDER BY id; Многие ожидают: 1 | 100 | 100 2 | 100 | 200 3 | 200 | 400 Но результат будет другим: 1 | 100 | 200 2 | 100 | 200 3 | 200 | 400 По умолчанию PostgreSQL использует окно RANGE ... CURRENT ROW. Строки с одинаковым amount считаются равными соседями и попадают в окно вместе. Для построчного накопления нужно указать ROWS: SUM(amount) OVER ( ORDER BY amount, id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW ) #SQL #PostgreSQL #Database 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX