n8n — Ai автоматизация

Обычно время в очереди зависит от приоритета страниц и загрузки сервера. Можно посмотреть логи краулера: там часто пишут estimated wait. По расчету сервера и DR — смотрите на количество запросов в секунду и объем данных. Если лимиты по API, то нужно считать по токенам или запросам в час.

Считать лучше не от «мощности сервера», а разложив очередь на три ограничения: rate limit краулера/API, пропускную способность воркеров и p95 ответа БД/целевого сервиса. Добавьте к каждой задаче 4 timestamp: enqueued_at, started_at, response_at, finished_at. Тогда: — ожидание = started_at − enqueued_at; — обработка = finished_at − started_at; — фактическая пропускная = completed / минуту; — прогноз времени очереди ≈ queue_size / throughput. Если входящий поток λ выше throughput μ, очередь не рассосётся вообще. CPU/RAM имеет смысл добавлять только когда воркеры упираются именно в них. При 429/Retry-After или внешнем лимите запросов/сек можно удвоить сервер — краулер быстрее не станет. Бюджет: requests/day × цена запроса + worker-hours + БД/трафик + 20–30% на ретраи. Если напишете, какой именно краулер, размер очереди, средний/p95 ответа и опубликованные лимиты, это уже можно посчитать числами.

Хотя я поменял title + description + снипит и жду уже почти 3 неделю но не вижу изменений парсил xml на ошибки и тп чисто парсил сайт на копии + каннибализм чисто