- Python 3.9.10
- Scrapy 2.5.1
- Twisted 22.2.0
Парсер документов PEP на базе фреймворка Scrapy.
Клонируйте репозиторий и перейдите в него в командной строке:
git clone https://github.com/KomkovAleksey/scrapy_parser_pep
cd scrapy_parser_pep
Создайте виртуальное окружение и активируйте его:
python -m venv vevn
source venv/Scripts/activate
Обновите pip:
python -m pip install --upgrade pip
Установите зависимости:
pip install -r requirements.txt
Проект готов к работе!
Создает в папке results два файла:
- pep_ДатаВремя.csv - csv файл со списком всех PEP
- status_summary_ДатаВремя.csv - csv файл с таблицей из двух колонок «Статус» и «Количество»
scrapy crawl pep