feat: 知乎支持创作者主页数据爬取(回答、文章、视频)

This commit is contained in:
Relakkes
2024-10-16 21:02:27 +08:00
parent af9d2d8e84
commit da8f1c62b8
8 changed files with 511 additions and 66 deletions

View File

@@ -1,6 +1,6 @@
# 基础配置
PLATFORM = "xhs"
KEYWORDS = "编程副业,编程兼职"
KEYWORDS = "编程副业,编程兼职" # 关键词搜索配置,以英文逗号分隔
LOGIN_TYPE = "qrcode" # qrcode or phone or cookie
COOKIES = ""
# 具体值参见media_platform.xxx.field下的枚举值暂时只支持小红书
@@ -45,8 +45,8 @@ MAX_CONCURRENCY_NUM = 1
# 是否开启爬图片模式, 默认不开启爬图片
ENABLE_GET_IMAGES = False
# 是否开启爬评论模式, 默认开启爬评论
ENABLE_GET_COMMENTS = False
# 是否开启爬评论模式, 默认开启爬评论
ENABLE_GET_COMMENTS = True
# 是否开启爬二级评论模式, 默认不开启爬二级评论
# 老版本项目使用了 db, 则需参考 schema/tables.sql line 287 增加表字段
@@ -130,6 +130,13 @@ KS_CREATOR_ID_LIST = [
# ........................
]
# 指定知乎创作者主页url列表
ZHIHU_CREATOR_URL_LIST = [
"https://www.zhihu.com/people/yd1234567",
# ........................
]
# 词云相关
# 是否开启生成评论词云图
ENABLE_GET_WORDCLOUD = False