Python Community | Chat

‍⚡️ Приём на Python под высокой нагрузкой: ограничивай конкуренцию сам, а не доверяй это ОС. Вместо тысячи одновременных задач делай очередь + фиксированное число воркеров. Так ты: - не убиваешь БД/внешний сервис шторма́м запросов - контролируешь задержки - получаешь естественный backpressure Пример для I/O-нагрузки (HTTP запросы) с asyncio: import asyncio import aiohttp from time import perf_counter URLS = [ "https://example.com" for _ in range(10_000) # много запросов под нагрузкой ] MAX_CONCURRENCY = 100 # ограничиваем параллелизм QUEUE_SIZE = 1_000 # ограничиваем длину очереди (backpressure) async def worker(name: int, queue: asyncio.Queue, session: aiohttp.ClientSession): while True: url = await queue.get() if url is None: # сигнал завершения queue.task_done() break try: async with session.get(url, timeout=5) as resp: await resp.text() # или resp.read() # здесь твоя логика обработки except Exception as e: # логируй, но не падай print(f"[worker {name}] error: {e}") queue.task_done() async def main(): queue = asyncio.Queue(maxsize=QUEUE_SIZE) async with aiohttp.ClientSession() as session: # поднимаем ограниченное число воркеров workers = [ asyncio.create_task(worker(i, queue, session)) for i in range(MAX_CONCURRENCY) ] # кидаем задачи в очередь for url in URLS: await queue.put(url) # шлём сигнал завершения воркерам for _ in workers: await queue.put(None) # ждём, пока всё отработает await queue.join() # аккуратно завершаем воркеров for w in workers: await w if __name__ == "__main__": t0 = perf_counter() asyncio.run(main()) print(f"Done in {perf_counter() - t0:.2f}s") Суть приёма: Вместо «одна корутина на каждый запрос» ты держишь фиксированный пул воркеров. Очередь с maxsize работает как предохранитель: если бэкенд/БД не успевают, продюсер начинает тормозиться. Такой подход гораздо стабильнее под всплесками трафика, чем голый gather на десятки тысяч задач. @Python_Community_ru