⚡️ CyberScraper 2077 — когда обычного парсера уже недостаточно
Продвинутый веб-скрапер с поддержкой ИИ, который объединяет парсинг сайтов с возможностями OpenAI, Gemini и Ollama. Вместо простого сбора HTML помогает анализировать контент и превращать полученную информацию в нормальные структурированные данные.
Что умеет:
🖍 работать на Windows и Linux, есть запуск через Docker;
🖍 предоставлять удобный интерфейс для настройки сбора данных;
🖍 подключать ИИ для анализа и структурирования найденной информации;
🖍 экспортировать результат сразу в JSON, CSV, HTML, SQL и Excel;
🖍 использовать stealth-режим при работе с сайтами;
🖍 работать с CAPTCHA и другими препятствиями, которые могут встретиться при автоматизированном сборе данных.
💻 Чтобы ловко обходить капчи, защиту и глубже понимать контент, который вы собираетесь парсить.
🖥 Установка и запуск
Потребуется Python 3.10+.
git clone
https://github.com/itsOwen/CyberScraper-2077.git
cd CyberScraper-2077
virtualenv venv
source venv/bin/activate
pip install -r requirements.txt
playwright install
Добавляем API-ключи:
export OPENAI_API_KEY="ваш-ключ"
export GOOGLE_API_KEY="ваш-ключ"
▶️ Запускаем CyberScraper:
streamlit run main.py
После запуска открываем:
http://localhost:8501
Также проект поддерживает Ollama с локальными моделями и запуск через Docker.
По сути, задаёте, что именно хотите получить с сайта, запускаете сбор — а на выходе получаете уже подготовленные данные вместо необходимости вручную разбирать гору страниц.
💻 Отличная находка для тех, кто работает с Python, автоматизацией, сбором больших объёмов информации и AI-агентами.
♎️ GitHub/Инструкция
😳 Лайф | 📲 Зеркало Max
#python #github #soft