diff --git a/config/__init__.py b/config/__init__.py index ca94b32..1c1e97c 100644 --- a/config/__init__.py +++ b/config/__init__.py @@ -10,4 +10,4 @@ from .base_config import * -from .db_config import * +from .db_config import * \ No newline at end of file diff --git a/config/base_config.py b/config/base_config.py index 12a7abe..b8d535d 100644 --- a/config/base_config.py +++ b/config/base_config.py @@ -10,28 +10,16 @@ # 基础配置 -PLATFORM = "xhs" +PLATFORM = "xhs" # 平台,xhs | dy | ks | bili | wb | tieba | zhihu KEYWORDS = "编程副业,编程兼职" # 关键词搜索配置,以英文逗号分隔 LOGIN_TYPE = "qrcode" # qrcode or phone or cookie COOKIES = "" -# 具体值参见media_platform.xxx.field下的枚举值,暂时只支持小红书 -SORT_TYPE = "popularity_descending" -# 具体值参见media_platform.xxx.field下的枚举值,暂时只支持抖音 -PUBLISH_TIME_TYPE = 0 CRAWLER_TYPE = ( "search" # 爬取类型,search(关键词搜索) | detail(帖子详情)| creator(创作者主页数据) ) -# 微博搜索类型 default (综合) | real_time (实时) | popular (热门) | video (视频) -WEIBO_SEARCH_TYPE = "popular" -# 自定义User Agent(暂时仅对XHS有效) -UA = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0" - # 是否开启 IP 代理 ENABLE_IP_PROXY = False -# 未启用代理时的最大爬取间隔,单位秒(暂时仅对XHS有效) -CRAWLER_MAX_SLEEP_SEC = 2 - # 代理IP池数量 IP_PROXY_POOL_COUNT = 2 @@ -86,9 +74,6 @@ START_PAGE = 1 # 爬取视频/帖子的数量控制 CRAWLER_MAX_NOTES_COUNT = 200 -# 每天爬取视频/帖子的数量控制 -MAX_NOTES_PER_DAY = 1 - # 并发爬虫数量控制 MAX_CONCURRENCY_NUM = 1 @@ -105,101 +90,6 @@ CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTES = 10 # 老版本项目使用了 db, 则需参考 schema/tables.sql line 287 增加表字段 ENABLE_GET_SUB_COMMENTS = False -# 已废弃⚠️⚠️⚠️指定小红书需要爬虫的笔记ID列表 -# 已废弃⚠️⚠️⚠️ 指定笔记ID笔记列表会因为缺少xsec_token和xsec_source参数导致爬取失败 -# XHS_SPECIFIED_ID_LIST = [ -# "66fad51c000000001b0224b8", -# # ........................ -# ] - -# 指定小红书需要爬虫的笔记URL列表, 目前要携带xsec_token和xsec_source参数 -XHS_SPECIFIED_NOTE_URL_LIST = [ - "https://www.xiaohongshu.com/explore/66fad51c000000001b0224b8?xsec_token=AB3rO-QopW5sgrJ41GwN01WCXh6yWPxjSoFI9D5JIMgKw=&xsec_source=pc_search" - # ........................ -] - -# 指定抖音需要爬取的ID列表 -DY_SPECIFIED_ID_LIST = [ - "7280854932641664319", - "7202432992642387233", - # ........................ -] - -# 指定快手平台需要爬取的ID列表 -KS_SPECIFIED_ID_LIST = ["3xf8enb8dbj6uig", "3x6zz972bchmvqe"] - -# 指定B站平台需要爬取的视频bvid列表 -BILI_SPECIFIED_ID_LIST = [ - "BV1d54y1g7db", - "BV1Sz4y1U77N", - "BV14Q4y1n7jz", - # ........................ -] - -# 指定微博平台需要爬取的帖子列表 -WEIBO_SPECIFIED_ID_LIST = [ - "4982041758140155", - # ........................ -] - -# 指定weibo创作者ID列表 -WEIBO_CREATOR_ID_LIST = [ - "5533390220", - # ........................ -] - -# 指定贴吧需要爬取的帖子列表 -TIEBA_SPECIFIED_ID_LIST = [] - -# 指定贴吧名称列表,爬取该贴吧下的帖子 -TIEBA_NAME_LIST = [ - # "盗墓笔记" -] - -# 指定贴吧创作者URL列表 -TIEBA_CREATOR_URL_LIST = [ - "https://tieba.baidu.com/home/main/?id=tb.1.7f139e2e.6CyEwxu3VJruH_-QqpCi6g&fr=frs", - # ........................ -] - -# 指定小红书创作者ID列表 -XHS_CREATOR_ID_LIST = [ - "63e36c9a000000002703502b", - # ........................ -] - -# 指定Dy创作者ID列表(sec_id) -DY_CREATOR_ID_LIST = [ - "MS4wLjABAAAATJPY7LAlaa5X-c8uNdWkvz0jUGgpw4eeXIwu_8BhvqE", - # ........................ -] - -# 指定bili创作者ID列表(sec_id) -BILI_CREATOR_ID_LIST = [ - "20813884", - # ........................ -] - -# 指定快手创作者ID列表 -KS_CREATOR_ID_LIST = [ - "3x4sm73aye7jq7i", - # ........................ -] - - -# 指定知乎创作者主页url列表 -ZHIHU_CREATOR_URL_LIST = [ - "https://www.zhihu.com/people/yd1234567", - # ........................ -] - -# 指定知乎需要爬取的帖子ID列表 -ZHIHU_SPECIFIED_ID_LIST = [ - "https://www.zhihu.com/question/826896610/answer/4885821440", # 回答 - "https://zhuanlan.zhihu.com/p/673461588", # 文章 - "https://www.zhihu.com/zvideo/1539542068422144000", # 视频 -] - # 词云相关 # 是否开启生成评论词云图 ENABLE_GET_WORDCLOUD = False @@ -215,29 +105,3 @@ STOP_WORDS_FILE = "./docs/hit_stopwords.txt" # 中文字体文件路径 FONT_PATH = "./docs/STZHONGS.TTF" - -# 爬取开始的天数,仅支持 bilibili 关键字搜索,YYYY-MM-DD 格式 -START_DAY = "2024-01-01" - -# 爬取结束的天数,仅支持 bilibili 关键字搜索,YYYY-MM-DD 格式 -END_DAY = "2024-01-01" - -# Bilibili 搜索模式,仅在 CRAWLER_TYPE="search" 时生效 -# 1. "normal": 不指定时间范围进行搜索,最多返回约1000条结果。 -# 2. "all_in_time_range": 在 START_DAY 和 END_DAY 指定的时间范围内,尽可能多地爬取数据,每日上限受 MAX_NOTES_PER_DAY 影响,但总数可能超过 CRAWLER_MAX_NOTES_COUNT。 -# 3. "daily_limit_in_time_range": 在指定时间范围内,严格遵守 MAX_NOTES_PER_DAY 的每日上限和 CRAWLER_MAX_NOTES_COUNT 的总上限。 -# 三个选项中,2. 和 3. 需在 media_platform\bilibili\config.py 中设定 MAX_NOTES_PER_DAY -BILI_SEARCH_MODE = "normal" - -#!!! 下面仅支持 bilibili creator搜索 -# 爬取评论creator主页还是爬取creator动态和关系列表(True为前者) -CREATOR_MODE = True - -# 爬取creator粉丝列表时起始爬取页数 -START_CONTACTS_PAGE = 1 - -# 爬取作者粉丝和关注列表数量控制(单作者) -CRAWLER_MAX_CONTACTS_COUNT_SINGLENOTES = 100 - -# 爬取作者动态数量控制(单作者) -CRAWLER_MAX_DYNAMICS_COUNT_SINGLENOTES = 50 diff --git a/media_platform/bilibili/config.py b/media_platform/bilibili/config.py index 6f080cf..8d48a26 100644 --- a/media_platform/bilibili/config.py +++ b/media_platform/bilibili/config.py @@ -9,5 +9,26 @@ # 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 +from config import * + # 每天爬取视频/帖子的数量控制 -MAX_NOTES_PER_DAY = 1 \ No newline at end of file +MAX_NOTES_PER_DAY = 1 + +# Bilibili 平台配置 +BILI_SPECIFIED_ID_LIST = [ + "BV1d54y1g7db", + "BV1Sz4y1U77N", + "BV14Q4y1n7jz", + # ........................ +] +START_DAY = "2024-01-01" +END_DAY = "2024-01-01" +BILI_SEARCH_MODE = "normal" +CREATOR_MODE = True +START_CONTACTS_PAGE = 1 +CRAWLER_MAX_CONTACTS_COUNT_SINGLENOTES = 100 +CRAWLER_MAX_DYNAMICS_COUNT_SINGLENOTES = 50 +BILI_CREATOR_ID_LIST = [ + "20813884", + # ........................ +] diff --git a/media_platform/bilibili/core.py b/media_platform/bilibili/core.py index 16706c7..674316b 100644 --- a/media_platform/bilibili/core.py +++ b/media_platform/bilibili/core.py @@ -25,7 +25,7 @@ import pandas as pd from playwright.async_api import (BrowserContext, BrowserType, Page, Playwright, async_playwright) from playwright._impl._errors import TargetClosedError -import config +from . import config from base.base_crawler import AbstractCrawler from proxy.proxy_ip_pool import IpInfoModel, create_ip_pool from store import bilibili as bilibili_store diff --git a/media_platform/douyin/config.py b/media_platform/douyin/config.py new file mode 100644 index 0000000..c29171f --- /dev/null +++ b/media_platform/douyin/config.py @@ -0,0 +1,23 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 抖音平台配置 +PUBLISH_TIME_TYPE = 0 +DY_SPECIFIED_ID_LIST = [ + "7280854932641664319", + "7202432992642387233", + # ........................ +] +DY_CREATOR_ID_LIST = [ + "MS4wLjABAAAATJPY7LAlaa5X-c8uNdWkvz0jUGgpw4eeXIwu_8BhvqE", + # ........................ +] diff --git a/media_platform/douyin/core.py b/media_platform/douyin/core.py index 05027b7..3934639 100644 --- a/media_platform/douyin/core.py +++ b/media_platform/douyin/core.py @@ -18,7 +18,7 @@ from typing import Any, Dict, List, Optional, Tuple from playwright.async_api import (BrowserContext, BrowserType, Page, Playwright, async_playwright) -import config +from . import config from base.base_crawler import AbstractCrawler from proxy.proxy_ip_pool import IpInfoModel, create_ip_pool from store import douyin as douyin_store diff --git a/media_platform/kuaishou/config.py b/media_platform/kuaishou/config.py new file mode 100644 index 0000000..bbd400f --- /dev/null +++ b/media_platform/kuaishou/config.py @@ -0,0 +1,18 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 快手平台配置 +KS_SPECIFIED_ID_LIST = ["3xf8enb8dbj6uig", "3x6zz972bchmvqe"] +KS_CREATOR_ID_LIST = [ + "3x4sm73aye7jq7i", + # ........................ +] diff --git a/media_platform/kuaishou/core.py b/media_platform/kuaishou/core.py index f92c7f2..c3410cb 100644 --- a/media_platform/kuaishou/core.py +++ b/media_platform/kuaishou/core.py @@ -18,7 +18,7 @@ from typing import Dict, List, Optional, Tuple from playwright.async_api import BrowserContext, BrowserType, Page, Playwright, async_playwright -import config +from . import config from base.base_crawler import AbstractCrawler from proxy.proxy_ip_pool import IpInfoModel, create_ip_pool from store import kuaishou as kuaishou_store diff --git a/media_platform/tieba/config.py b/media_platform/tieba/config.py new file mode 100644 index 0000000..e189cd3 --- /dev/null +++ b/media_platform/tieba/config.py @@ -0,0 +1,21 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 贴吧平台配置 +TIEBA_SPECIFIED_ID_LIST = [] +TIEBA_NAME_LIST = [ + # "盗墓笔记" +] +TIEBA_CREATOR_URL_LIST = [ + "https://tieba.baidu.com/home/main/?id=tb.1.7f139e2e.6CyEwxu3VJruH_-QqpCi6g&fr=frs", + # ........................ +] diff --git a/media_platform/tieba/core.py b/media_platform/tieba/core.py index 01fe21d..c4087ea 100644 --- a/media_platform/tieba/core.py +++ b/media_platform/tieba/core.py @@ -18,7 +18,7 @@ from typing import Dict, List, Optional, Tuple from playwright.async_api import (BrowserContext, BrowserType, Page, Playwright, async_playwright) -import config +from . import config from base.base_crawler import AbstractCrawler from model.m_baidu_tieba import TiebaCreator, TiebaNote from proxy.proxy_ip_pool import IpInfoModel, create_ip_pool diff --git a/media_platform/weibo/config.py b/media_platform/weibo/config.py new file mode 100644 index 0000000..aeaabaa --- /dev/null +++ b/media_platform/weibo/config.py @@ -0,0 +1,22 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 微博平台配置 +WEIBO_SEARCH_TYPE = "popular" +WEIBO_SPECIFIED_ID_LIST = [ + "4982041758140155", + # ........................ +] +WEIBO_CREATOR_ID_LIST = [ + "5533390220", + # ........................ +] diff --git a/media_platform/weibo/core.py b/media_platform/weibo/core.py index ccc0fb1..f31d6e4 100644 --- a/media_platform/weibo/core.py +++ b/media_platform/weibo/core.py @@ -24,7 +24,7 @@ from typing import Dict, List, Optional, Tuple from playwright.async_api import (BrowserContext, BrowserType, Page, Playwright, async_playwright) -import config +from . import config from base.base_crawler import AbstractCrawler from proxy.proxy_ip_pool import IpInfoModel, create_ip_pool from store import weibo as weibo_store diff --git a/media_platform/xhs/config.py b/media_platform/xhs/config.py new file mode 100644 index 0000000..747f067 --- /dev/null +++ b/media_platform/xhs/config.py @@ -0,0 +1,24 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 小红书平台配置 +SORT_TYPE = "popularity_descending" +UA = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0" +CRAWLER_MAX_SLEEP_SEC = 2 +XHS_SPECIFIED_NOTE_URL_LIST = [ + "https://www.xiaohongshu.com/explore/66fad51c000000001b0224b8?xsec_token=AB3rO-QopW5sgrJ41GwN01WCXh6yWPxjSoFI9D5JIMgKw=&xsec_source=pc_search" + # ........................ +] +XHS_CREATOR_ID_LIST = [ + "63e36c9a000000002703502b", + # ........................ +] diff --git a/media_platform/xhs/core.py b/media_platform/xhs/core.py index df65092..67965f7 100644 --- a/media_platform/xhs/core.py +++ b/media_platform/xhs/core.py @@ -19,7 +19,7 @@ from typing import Dict, List, Optional, Tuple from playwright.async_api import BrowserContext, BrowserType, Page, Playwright, async_playwright from tenacity import RetryError -import config +from . import config from base.base_crawler import AbstractCrawler from config import CRAWLER_MAX_COMMENTS_COUNT_SINGLENOTES from model.m_xiaohongshu import NoteUrlInfo diff --git a/media_platform/zhihu/config.py b/media_platform/zhihu/config.py new file mode 100644 index 0000000..bbbbab7 --- /dev/null +++ b/media_platform/zhihu/config.py @@ -0,0 +1,22 @@ +# 声明:本代码仅供学习和研究目的使用。使用者应遵守以下原则: +# 1. 不得用于任何商业用途。 +# 2. 使用时应遵守目标平台的使用条款和robots.txt规则。 +# 3. 不得进行大规模爬取或对平台造成运营干扰。 +# 4. 应合理控制请求频率,避免给目标平台带来不必要的负担。 +# 5. 不得用于任何非法或不当的用途。 +# +# 详细许可条款请参阅项目根目录下的LICENSE文件。 +# 使用本代码即表示您同意遵守上述原则和LICENSE中的所有条款。 + +from config import * + +# 知乎平台配置 +ZHIHU_CREATOR_URL_LIST = [ + "https://www.zhihu.com/people/yd1234567", + # ........................ +] +ZHIHU_SPECIFIED_ID_LIST = [ + "https://www.zhihu.com/question/826896610/answer/4885821440", # 回答 + "https://zhuanlan.zhihu.com/p/673461588", # 文章 + "https://www.zhihu.com/zvideo/1539542068422144000", # 视频 +] diff --git a/media_platform/zhihu/core.py b/media_platform/zhihu/core.py index 9c9e532..84f4bf2 100644 --- a/media_platform/zhihu/core.py +++ b/media_platform/zhihu/core.py @@ -19,7 +19,7 @@ from typing import Dict, List, Optional, Tuple, cast from playwright.async_api import (BrowserContext, BrowserType, Page, Playwright, async_playwright) -import config +from . import config from constant import zhihu as constant from base.base_crawler import AbstractCrawler from model.m_zhihu import ZhihuContent, ZhihuCreator