Ссылка
нажмите — покажем
нажмите — покажем
⚡️ Приём на Python под высокой нагрузкой: ограничивай конкуренцию сам, а не доверяй это ОС.
Вместо тысячи одновременных задач делай очередь + фиксированное число воркеров.
Так ты:
- не убиваешь БД/внешний сервис шторма́м запросов
- контролируешь задержки
- получаешь естественный backpressure
Пример для I/O-нагрузки (HTTP запросы) с asyncio:
import asyncio
import aiohttp
from time import perf_counter
URLS = [
"https://example.com"
for _ in range(10_000) # много запросов под нагрузкой
]
MAX_CONCURRENCY = 100 # ограничиваем параллелизм
QUEUE_SIZE = 1_000 # ограничиваем длину очереди (backpressure)
async def worker(name: int, queue: asyncio.Queue, session: aiohttp.ClientSession):
while True:
url = await queue.get()
if url is None: # сигнал завершения
queue.task_done()
break
try:
async with session.get(url, timeout=5) as resp:
await resp.text() # или resp.read()
# здесь твоя логика обработки
except Exception as e:
# логируй, но не падай
print(f"[worker {name}] error: {e}")
queue.task_done()
async def main():
queue = asyncio.Queue(maxsize=QUEUE_SIZE)
async with aiohttp.ClientSession() as session:
# поднимаем ограниченное число воркеров
workers = [
asyncio.create_task(worker(i, queue, session))
for i in range(MAX_CONCURRENCY)
]
# кидаем задачи в очередь
for url in URLS:
await queue.put(url)
# шлём сигнал завершения воркерам
for _ in workers:
await queue.put(None)
# ждём, пока всё отработает
await queue.join()
# аккуратно завершаем воркеров
for w in workers:
await w
if __name__ == "__main__":
t0 = perf_counter()
asyncio.run(main())
print(f"Done in {perf_counter() - t0:.2f}s")
Суть приёма:
Вместо «одна корутина на каждый запрос» ты де
900 ·