Сообщения за 18 июня 2018

даров банда. буду читать вас иногда. может даже писать

Молодец

Сам хз что там написано)0) Увидел в каком-то арабском чате

😆

Проверим?

Го

⛏

👀

Товарищи, туплю что-то. Как в цикле for итерироваться по list в обратную сторону?

Спасибо!

А кто нить шарит в curl и requests одновременно?)

Надо по https передать параметры через requests.post

Передавай

Народ, подскажите как препятствовать парсингу страницы без капчи? Есть ли какие то элегантные решения?

определить что для вас является парсингом, а потом и препятствовать можно

Сдирание информации из таблиц на сайте

частота, кем, откуда?

то есть открыть броузером не сдереть?

бот на селениум ничем не отличим от юзера, кроме скоростью и, возможно, схожестью запросов

Думаю может таблицы в виде рисунка тогда выкладывать... но честно говоря мне кажется это кастылями

с одного айпи не более 20 запросов в минуту?

Но по сути мера дырявая:)

вот я и говорю, определите, что является парсинг для вас, а дальше вопрос реализации😉

если все с одним юзер агентом ломятся, тоже подозрительно

в том же GrabLib, если память не изменяет, была фича по использованию случайного юзер агента

Ну вот да) просто блин капча остаётся самой действенной тулзой)

не зря умные люди придумали когда то, но индусы с легкостью быстренько распознают вручную😃

[::-1] возвращает реверснутый список

сдается мне что слайсинг наоборот что итератор реверсироания по итогу. ползают по списку с обратной стороны. учитывая что список однонаправленная структура. это всегда долго.

Слишком оффтоп чувак

Не злоупотребляй

✊

Итератор может что угодно. Но обратный проход по списку будет быстрым только если в c++ список сначала будет пройден вдоль с сохранением ссылок на объекты а потом выдачей их в обратном порядке

У меня продолжаются танцы с бубном, почему то не могу достать нужный класс. Я отправляю запрос о городе вылета и о городе прибытия. Но не могу получить обратно полную html страницу, вроде нигде извне она не подгружается. Т.е. я отправляю запрос - выполняется хорошо ——> потом я должен распарсить страницу, чтоб вытащить нужные данные, но нет кода. Не исключено, что я ошибаюсь где то https://pastebin.com/29mr8QSe

Что это?

Смотри через средства разработчика браузера откуда и что он берёт

Это мне советовали уже, но там чет слишком много, смотреть в Сеть ———> HTML? @Vadim_Karpenko

похоже*

Это мне советовали уже, но там чет слишком много, смотреть в Сеть ———> HTML? @Vadim_Karpenko

Да, оно

Но насчёт самого запроса фиг знает

Надо разбиратся сидеть что оно

смотри как общается сайт с сервером

и там есть кнопка "запрос в wget формате"

чето такое кароч

потом идешь на сайт

и конвертишь под питон

так будет реально легче чем через средства браузера. алсо если хочешь через средства браузера то юзай лису

Что такое чарли?

надеюсь нагуглишь

а так, прокси

понял

еще я только что выполнил твой код и понял что он общается с сервером через джс скрипт который находится по адресу poisk.aviabilet.ru/iframe.js

подгружает данные и сует их в фрейм

можешь его ковырять

нашел что можно как то с помощью selenium

Я бы помог но сайт блокнутый у меня в Украине, а через впн трафик приходит какой-то побитый.

Гугли в сторону чарли

Ещё подскажу что запрос уходит на другой сайт, а ответ уже приходит из этого

окей, спасибо

сжечь его

@averutin Быстрее будет)