jiazhizhong/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2026-02-27 02:30:45 +08:00
Code Issues Packages Projects Releases Wiki Activity
552 Commits 9 Branches 0 Tags
3653fe2d37ddbbd4fa47d9c3fb2217a06f68f50a
Commit Graph

71 Commits

Author SHA1 Message Date
persist-1
19df1734f1 chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持，提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程 2025-07-24 22:39:53 +08:00
买定不离手
3365095c62 fix: 完善Bilibili和抖音平台SQLite SQL语句适配 
- 更新 store/bilibili/bilibili_store_sql.py 文件，优化Bilibili平台SQLite数据库SQL语句和查询逻辑
- 更新 store/douyin/douyin_store_sql.py 文件，修复抖音平台SQLite数据存储的SQL语句兼容性问题
 2025-07-14 03:51:19 +08:00
买定不离手
1298022410 refactor: 更新各平台store模块初始化以支持SQLite 
- 更新 store/bilibili/__init__.py 文件，导入SQLite存储实现类和相关模块
- 更新 store/douyin/__init__.py 文件，集成抖音平台的SQLite数据存储接口
- 更新 store/kuaishou/__init__.py 文件，添加快手平台SQLite存储模块的导入声明
- 更新 store/tieba/__init__.py 文件，引入贴吧平台SQLite数据库操作模块
- 更新 store/weibo/__init__.py 文件，整合微博平台SQLite存储功能模块
- 更新 store/xhs/__init__.py 文件，导入小红书平台SQLite数据存储实现
- 更新 store/zhihu/__init__.py 文件，集成知乎平台SQLite数据库存储模块
 2025-07-14 03:51:08 +08:00
买定不离手
6f274d476b feat: 添加各平台SQLite存储实现文件\n\n- 新增 store/bilibili/bilibili_store_impl.py: B站SQLite存储实现\n- 新增 store/douyin/douyin_store_impl.py: 抖音SQLite存储实现\n- 新增 store/kuaishou/kuaishou_store_impl.py: 快手SQLite存储实现\n- 新增 store/tieba/tieba_store_impl.py: 贴吧SQLite存储实现\n- 新增 store/weibo/weibo_store_impl.py: 微博SQLite存储实现\n- 新增 store/xhs/xhs_store_impl.py: 小红书SQLite存储实现\n- 新增 store/zhihu/zhihu_store_impl.py: 知乎SQLite存储实现 2025-07-14 03:36:36 +08:00
买定不离手
fb938f38aa feat: 更新各平台store SQL文件以支持SQLite\n\n- 更新 store/kuaishou/kuaishou_store_sql.py: 快手平台SQLite适配\n- 更新 store/tieba/tieba_store_sql.py: 贴吧平台SQLite适配\n- 更新 store/weibo/weibo_store_sql.py: 微博平台SQLite适配\n- 更新 store/xhs/xhs_store_sql.py: 小红书平台SQLite适配\n- 更新 store/zhihu/zhihu_store_sql.py: 知乎平台SQLite适配 2025-07-14 03:36:20 +08:00
Relakkes
fd33813f8f feat: add like_count field to bilibi for issue #623 2025-06-20 15:50:38 +08:00
Relakkes
d55d8b1efa feat: Douyin supports obtaining video links and cover images. for issue #620 2025-06-14 23:59:08 +08:00
Bowenwin
66843f216a finish_all_for_expand_bili 2025-05-22 22:26:30 +08:00
Bowenwin
59619fff0a finish_all 2025-05-22 22:06:06 +08:00
Bowenwin
44e3d370ff fix_words 2025-05-22 20:31:48 +08:00
Bowenwin
a356358c21 get_fans_and_get_followings 2025-05-19 19:57:36 +08:00
翟持江
b675547aab Update __init__.py，为bilibili的视频信息、up主信息、评论信息添加额外字段 2025-04-19 02:29:22 +08:00
Relakkes
30d0e733d5 feat: douyin adds comment images 2025-01-15 14:50:05 +08:00
HuiLong
d929ad16ae fix xhs get gender 2024-12-28 20:24:37 +08:00
Relakkes
79bf9fc05d chore: add xhs field comment for issue #526 2024-12-26 18:28:23 +08:00
liudongkai
33e7ef016d feat: xhs 非代理模式下增加随机等待间隔, db存储模式下增加存储xsec_token字段 2024-12-05 21:10:31 +08:00
Relakkes
8ab4c67443 feat: 抖音支持评论点赞数量 #495 2024-11-16 00:37:48 +08:00
Relakkes
9fe3e47b0f chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途 2024-10-20 00:43:25 +08:00
Relakkes
da8f1c62b8 feat: 知乎支持创作者主页数据爬取(回答、文章、视频) 2024-10-16 21:02:27 +08:00
Relakkes
b7e57da0d2 feat: 知乎支持（关键词、评论） 2024-09-08 00:00:04 +08:00
tooyang
0c1adb75fe fix: json内容保存格式优化，支持缩进 2024-09-04 11:24:12 +08:00
Relakkes Yang
acb29add28 feat: 百度贴吧支持创作者主页帖子爬取 2024-08-24 11:03:23 +08:00
Relakkes
8adb593ba6 temp commit 2024-08-24 09:12:03 +08:00
Relakkes
65699aa1cb feat: xhs支持获取评论的点赞数量 2024-08-24 06:07:33 +08:00
Relakkes
ab7d8142af feat: weibo支持指定创作者主页 2024-08-24 05:52:11 +08:00
Relakkes
c70bd9e071 feat: 增加搜索词来源渠道 2024-08-23 08:29:24 +08:00
Relakkes
e7c6c57aa6 fix: kuaishou store not implement store_creator 2024-08-08 16:36:33 +08:00
Relakkes
3f42368c02 feat: 百度贴吧done 2024-08-08 14:19:32 +08:00
Relakkes
026d81e131 feat: 百度贴吧一级评论done 2024-08-07 02:34:56 +08:00
Relakkes
3c98808409 feat: 贴吧搜索重构 2024-08-07 01:01:21 +08:00
Relakkes
d347cf5a2c feat: 帖子搜索 & 移除登录代码使用IP代理 2024-08-06 03:37:55 +08:00
Relakkes
a87094f2fd feat: 百度贴吧架子 & 登录done 2024-08-05 18:51:51 +08:00
Relakkes
1c2237a66f fix: 微博登录问题修复 
feat: 微博二级评论
 2024-08-05 00:48:42 +08:00
Relakkes
7229d29123 feat: xhs update 2024-08-04 14:54:03 +08:00
Relakkes
573ca9a659 feat: xhs笔记详情更新 2024-07-25 00:44:46 +08:00
ZhouXSh
3b2cc44750 新增B站创作者（UP主）信息爬取 2024-07-18 20:11:51 +08:00
程序员阿江-Relakkes
13ee7bdf95 Merge pull request #336 from helloteemo/feature/bilibli_video_download 
feat: 支持bilibili视频下载
 2024-07-15 23:05:58 +08:00
helloteemo
d686d17f9b feat: 支持bilibili视频下载 2024-07-15 19:40:17 +08:00
Relakkes
f8096e3d58 feat: 抖音abogus参数更新 2024-07-14 03:20:05 +08:00
helloteemo
6545a15ff3 feature: 支持小红书图片、视频下载 2024-07-11 22:56:30 +08:00
helloteemo
e71690a985 fix: 解决小红书图片水印问题 2024-07-11 17:39:48 +08:00
you@company-pc
409c0ab36d 修复无法采集小红书 creator IP 归属地的问题 2024-06-26 11:56:41 +08:00
Relakkes Yang
a0e5a29af8 fix: weibo bug 2024-06-17 00:25:48 +08:00
HIRO
fd7407cc29 Merge branch 'kuaishou' 2024-06-13 14:54:01 +08:00
HIRO
a001556ba7 快手指定创作者主页和二级评论 2024-06-13 14:49:07 +08:00
Rosyrain
7048f040c9 完成词云图生成函数并添加至存储逻辑中 2024-06-12 15:33:39 +08:00
Relakkes
3c7c678d7a feat: 抖音db存储增加parent_comment_id 2024-06-07 13:32:58 +08:00
Relakkes
6c4116f240 feat: abstract cache class implementation 2024-06-02 11:16:18 +08:00
Zzzendrix
6409b4fecc fix(weibo): weibo data regular 2024-05-28 15:11:52 +08:00
Relakkes
478db4cc4b feat: 抖音指定创作者done 2024-05-28 01:07:19 +08:00