Веб-версияОткрыть в Telegram

Пост🐍 Лайфхак: Ленивая загрузка огромных JSON-файлов с помощью ijson

13 июня 2025
P
Python RU
🐍 Лайфхак: Ленивая загрузка огромных JSON-файлов с помощью ijson Ситуация: У вас огромный JSON-файл (гигабайты данных), который не помещается в память. Стандартный json.load() просто упадёт с OOM. Решение: Используйте библиотеку ijson — это парсер JSON "на лету", который читает данные потоково, как SAX для XML. Пример: import ijson with open('huge.json', 'rb') as f: # Предположим, внутри файла — массив объектов for obj in ijson.items(f, 'item'): # obj — очередной элемент массива, не вся структура целиком! # Можно обрабатывать на лету и не держать в памяти гигабайты process(obj) # Ваш код обработки Плюсы: Поддерживает вложенные структуры, сложные схемы JSON Минимальное потребление памяти Подходит для любых задач потоковой обработки 🔥 Если часто работаете с большими файлами — этот инструмент реально спасает время и ресурсы!
👍8❤2
41 · 2.5K ·

Рядом в ленте

PPython RU🗣 Голосовой AI-ассистент на Python (Streamlit, Whisper, ChatGPT, TTS) Пишем готовий проект на Python. Проект объединяет несколько компонентов: - Распознавание рPPython RU🔥 Успех в IT = скорость + знания + окружение Здесь ты найдёшь всё это — коротко, по делу и без воды. Пока другие ищут, где “подглядеть решение”, ты уже использу
это сообщение
PPython RU🐍 Задача на Python — Топ‑3 самых популярных товаров Допустим, у нас есть список покупок пользователей: orders = [ {"user": "alice", "items": ["apple", "banana",PPython RUФотография

Открытая публичная лента из поискового индекса ChatCrawler — «Google по публичному Telegram»; обновляется по мере обхода площадки. Время — UTC.

Только публичный контент, официальный API Telegram. О проекте · Вопросы · Границы индекса · Убрать страницу из выдачи · Каталог · Поиск · Как мы считаем