«Python обработал 7,6 ГБ JSON за 0,12 секунды Здесь интересно, куда ух…»

Zen of Python

Фотография
нажмите — покажем

Python обработал 7,6 ГБ JSON за 0,12 секунды Здесь интересно, куда уходило время. Дэниел Лемир, исследователь производительности, взял 2,2 млн событий GitHub, чтобы посчитать открытые PR по языкам. А Python при обычном разборе создавал кучу словарей, списков и строк, которые для этой задачи вообще не нужны. В эксперименте с fastsimdjson и lazy=True Python-объекты создаются только для запрошенных полей. Сборка Python без GIL позволяет обрабатывать события в 64 потоках внутри одного процесса. У каждого потока свои счётчики, в конце их складывают. Зачем собирать весь объект, если нужна только малая часть? У Лемира получилось около 0,12 секунды. Стенд: два Xeon Gold 6548N, 64 ядра, free-threaded Python 3.14.6 и fastsimdjson 0.6.0. Все 7,6 ГБ уже распакованы в RAM, чтение с диска и распаковка в замер не входят. Это лучший из семи прогонов, одинаковую статистику сверили всеми методами.

9 · 836 · 06:32

Рядом в ленте

Zen of Python11:02Почему subprocess с PIPE может зависнуть Дочерний процесс пишет в stdout, родитель вызывает wait(). На небольшом выводе всё работает. На большом буфер канала за

Zen of Python05:03Что проверить перед переходом на SQLAlchemy 2.1 Обновление зависимости может поменять драйвер подключения, даже если строка подключения осталась прежней. В SQLA

это сообщение

Zen of Python08:04Как сделать бэкап работающей SQLite через Python Просто скопировать файл активной базы рискованно. Во время копирования страницы могут изменяться, а при WAL час

Zen of Python11:03UTF-8 по умолчанию не перекодирует старые файлы В Python 3.15 текстовый ввод-вывод по умолчанию использует UTF-8. Это убирает часть различий между платформами,

ПостPython обработал 7,6 ГБ JSON за 0,12 секунды

Рядом в ленте