Skip to content

Releases: Sorceresssis/TiebaScraper

v1.3.1

19 Oct 05:42
Compare
Choose a tag to compare

Added

  1. 对获取到的数据进行有选择性的保存。新增的 POST_FILTER_TYPE 爬取配置选项将使得用户能够根据不同需求过滤保存的数据。此功能仅对当前爬取批次有效。(#8)
说明
all 所有的 post +  post 下的所有 subpost
author_posts_with_subposts thread_author 的 post + post 下的所有 subpost
author_posts_with_author_subposts thread_author 的 post + post 下的所有 subpost
author_and_replied_posts_with_subposts thread_author 的 post 和 thread_author 回复过的 post + post 下所有的 subpost
author_and_replied_posts_with_author_subposts thread_author 的 post 和 thread_author 回复过的 post + post 下 thread_author 的 subpost
  1. 把每次的爬取配置写入 scrape_info.json 记录下来。

  2. 更新帖子前会检查当前爬取配置是否与上一次爬取配置一样。不一样就等待用户确认是否继续,增加数据操作的安全性

Fixed

  1. 修复了更新帖子时,爬取配置与上一次爬取配置不一致导致的冲突问题

v1.3.0

10 Oct 19:58
Compare
Choose a tag to compare

Added

  • 添加了更新本地帖子的功能。

Fixed

  • 修复了 scrape_post 向 fetch_post 页码分配的错误。

v1.2.1

25 Aug 09:52
d259474
Compare
Choose a tag to compare

Added

  • 可以编译成可执行文件, 方便普通用户使用 (#4 )。

Fixed

  • 修复了远古的 ip 用户没有 user_id 的问题。