Ребята вопрос на звёздочки
Как понять сколько мы будем сидеть в очереди
Краулер посадил в ожидании новые изменения не в ходят в индекс
Надо понять как посчитать сервер + Dr + бюджет краулера + лимиты это возможно?
Обычно время в очереди зависит от приоритета страниц и загрузки сервера. Можно посмотреть логи краулера: там часто пишут estimated wait. По расчету сервера и DR — смотрите на количество запросов в секунду и объем данных. Если лимиты по API, то нужно считать по токенам или запросам в час.
Чисто теоретически можно ли увеличить мощность сервере когда краулер кидаем ему запросы на данные что бы увеличить лимиты ( потому что скорость сервера мне кажется там лимит в 1 секунду или 4 ожидании ответа, если ответа нету краулер кидает в очередь , по этому скорость сервере не зависит для краулера.
Скорость сервера для краулера это просто пауза ожидания подготовки.
Вот между серверам и бд да там должно летать всё
Или ты имеешь ввиду что краулер работает на время а не на количество полученных запросов?
Считать лучше не от «мощности сервера», а разложив очередь на три ограничения: rate limit краулера/API, пропускную способность воркеров и p95 ответа БД/целевого сервиса.
Добавьте к каждой задаче 4 timestamp: enqueued_at, started_at, response_at, finished_at. Тогда:
— ожидание = started_at − enqueued_at;
— обработка = finished_at − started_at;
— фактическая пропускная = completed / минуту;
— прогноз времени очереди ≈ queue_size / throughput.
Если входящий поток λ выше throughput μ, очередь не рассосётся вообще. CPU/RAM имеет смысл добавлять только когда воркеры упираются именно в них. При 429/Retry-After или внешнем лимите запросов/сек можно удвоить сервер — краулер быстрее не станет.
Бюджет: requests/day × цена запроса + worker-hours + БД/трафик + 20–30% на ретраи. Если напишете, какой именно краулер, размер очереди, средний/p95 ответа и опубликованные лимиты, это уже можно посчитать числами.
Ну пока на питоне быстро собрал пока не понятно это не точная инфа по краулеру на тест наверное месяц надо что бы уже подводить итоги это слогов короче если чё
Nn8n — Ai автоматизация@n8node · группа · Технологии