Русский
Открыть в Telegram

Пост Как быстрее загружать грязные данные в PostgreSQL из Python

16 сентября 2026
Z
Zen of Python
Фотография
Как быстрее загружать грязные данные в PostgreSQL из Python Автор берёт постраничный API с данными о пиве, превращает его в генератор и перед записью нормализует поля: извлекает объём из вложенного объекта, а месяц и год приводит к дате. Для замеров 325 записей дублируются 100 раз, получается набор из 32 500 строк. Затем импорт сравнивается через построчные INSERT, executemany, execute_batch, execute_values и COPY. Для пакетных вариантов с итераторами меняется размер страницы, для COPY из строкового итератора — размер буфера. У каждого подхода измеряются время и пиковая память. Явное лучше неявного, особенно когда скорость не приходится угадывать. В подробном разборе есть код генератора, преобразований, профилировщика и всех вариантов загрузки. Его удобно использовать как основу замера на реальных данных.
8 · 1.4K ·

Рядом в ленте

ZZen of PythonКак ждать корутины в asyncio Два последовательных await не дают конкурентности: вторая корутина запустится после первой. Создание двух объектов корутин тоже не ZZen of PythonКак сделать параметризованные тесты pytest читаемыми Обычный список кортежей в @pytest.mark.parametrize быстро усложняет чтение: значения приходится сопоставлят
это сообщение
ZZen of PythonНаследование, композиция или функции: сравниваем на Executor в Python Статья сравнивает три реализации гибридного исполнителя задач: наследование, композицию и ZZen of PythonПочему mock.patch не подменяет функцию в Python После from os import listdir имя listdir привязано в модуле product. Последующая подмена os.listdir эту привязку
ZZen of PythonZen of Python@zen_of_python · канал · Технологии
18 712подписчиков1 126средний охват поста
Лента площадки Открыть в Telegram

Открытая публичная лента из поискового индекса ChatCrawler — «Google по публичному Telegram»; обновляется по мере обхода площадки. Время — UTC.

Только публичный контент, официальный API Telegram. О проекте · Вопросы · Границы индекса · Убрать страницу из выдачи · Каталог · Поиск · Как мы считаем