jiazhizhong/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2026-02-25 01:20:47 +08:00
Code Issues Packages Projects Releases Wiki Activity
717 Commits 9 Branches 0 Tags
51a7d94de85f69112ba722ab52679612f5b61e6b
Commit Graph

717 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
程序员阿江-Relakkes
c61ed57a20 fix: 二维码在部分系统无法显示 #685 
fix: #685
 2025-07-30 21:26:41 +08:00
未来可欺
93a1c27fff 通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间 2025-07-30 21:19:56 +08:00
GokoRuri
87caf07495 fix: #685 2025-07-30 21:14:37 +08:00
未来可欺
a7cc18ec7d 修改部分文档 2025-07-30 18:58:10 +08:00
未来可欺
ecddfbe02c 将store文件夹中后缀名为_video或_image的.py文件统一更名为以_media.py为结尾的命名方式，避免某些平台仅有_video.py文件或_image.py文件的单独实现。之后的所有存储视频或图像的代码均放在此文件中实现 2025-07-30 18:32:08 +08:00
未来可欺
173bc08a9d 添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑 2025-07-30 18:24:08 +08:00
程序员阿江(Relakkes)
417c39de69 docs: add a sponsor 2025-07-30 16:44:10 +08:00
程序员阿江-Relakkes
b2d52918ae Merge pull request #684 from 2513502304/main 
添加抖音笔记图片的存储逻辑
 2025-07-30 14:51:46 +08:00
程序员阿江(Relakkes)
8ab1b7ee4c fix: fixed circular import issue 2025-07-30 14:47:11 +08:00
翟持江
214ccaa294 Update sqlite_tables.sql，同步更新sqlite以支持保存笔记下载地址 2025-07-30 10:48:52 +08:00
翟持江
612a9b53d3 Update tables.sql，同步更新该文件以支持保存笔记下载地址 2025-07-30 10:46:46 +08:00
翟持江
e6db6be1ca Update __init__.py，添加了提取抖音笔记图片的逻辑 2025-07-30 10:45:38 +08:00
程序员阿江-Relakkes
72a4d194c0 Merge pull request #680 from korruz/main 
refactor: move format_proxy_info to utils and update crawler classes
 2025-07-29 14:21:48 +08:00
korruz
07a6e387ea refactor: move format_proxy_info to utils and update crawler classes to use it 2025-07-29 14:16:24 +08:00
程序员阿江-Relakkes
2935841872 Merge pull request #676 from andy9468/main 
add aiosqlite
 2025-07-28 11:33:42 +08:00
andy9468
3653fe2d37 add aiosqlite 2025-07-26 16:42:16 +08:00
程序员阿江-Relakkes
dbbc33a0df Merge pull request #674 from persist-1/chore 
chore: 增加--help参数中文显示支持；增加"douyin_aweme"表"music_download_url"字段与功能实现
 2025-07-25 17:23:03 +08:00
persist-1
19df1734f1 chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持，提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程 2025-07-24 22:39:53 +08:00
程序员阿江(Relakkes)
fc06c783f5 fix: fixed xhs req headers 2025-07-23 13:28:58 +08:00
程序员阿江(Relakkes)
b41896f4f3 docs: add a sponsor 2025-07-23 13:17:19 +08:00
程序员阿江(Relakkes)
a4d9aaa34a refactor: xhs update 2025-07-21 21:26:16 +08:00
程序员阿江(Relakkes)
26a43358cb chore: update config 2025-07-20 14:34:56 +08:00
程序员阿江(Relakkes)
13b00f7a36 refactor: config update 2025-07-18 23:26:52 +08:00
程序员阿江(Relakkes)
122978b35c Merge pull request #652 from gaoxiaobei/dev 
feat(bilibili): Add flexible search modes and fix limit logic
 2025-07-18 21:41:20 +08:00
gaoxiaobei
8105b053ed Merge remote-tracking branch 'origin/dev' into devdev 2025-07-18 17:37:29 +08:00
gaoxiaobei
7176956e51 Merge branch 'NanmiCoder:main' into dev 2025-07-18 17:32:04 +08:00
gaoxiaobei
b913db64bb refactor(config): move platform-specific configs to separate files 
- Remove platform-specific configurations from base_config.py
- Create separate config files for each platform in their respective directories
- Update import statements in core files to use new platform-specific config modules
- Clean up unused and deprecated configuration options
 2025-07-18 17:27:37 +08:00
程序员阿江(Relakkes)
2753e7631e Merge pull request #664 from cfl-chenfangliang/feat-dyCommentBug 
feat: 修复抖音二级评论地理位置缺失问题
 2025-07-18 15:53:33 +08:00
chenfangliang
aa54dad9a5 feat: 修复抖音二级评论地理位置缺失问题 2025-07-18 10:48:43 +08:00
gaoxiaobei
5daae04c7d fix: conflict resolution errors 2025-07-17 16:54:17 +08:00
gaoxiaobei
1dc8c1789f docs(config): update Bilibili search mode options 
- Clarify the three search mode options for Bilibili
- Add note about setting MAX_NOTES_PER_DAY in bilibili config
 2025-07-17 07:51:27 +08:00
gaoxiaobei
29b6cee408 Merge pull request #1 from gaoxiaobei/dev 
Enhance robustness.
 2025-07-17 06:45:55 +08:00
gaoxiaobei
6ced357096 Merge branch 'main' into dev 2025-07-17 06:45:30 +08:00
gaoxiaobei
9fb396c7d1 fix(media_platform): handle edge cases and improve error handling for Bilibili client and crawler 
- BilibiliClient:
  - Improve wbi_img_urls handling for better compatibility
  - Add error handling for missing or invalid 'is_end' and 'next' in comment cursor

- BilibiliCrawler:
  - Fix daily limit logic for keyword-based searches
  - Improve logging and break conditions for max notes count limits
  - Ensure proper tracking of total notes crawled for each keyword
 2025-07-17 06:40:56 +08:00
gaoxiaobei
fb846e9060 Merge branch 'NanmiCoder:main' into main 2025-07-17 06:39:04 +08:00
程序员阿江(Relakkes)
08c28e6f7b Merge pull request #658 from persist-1/feature/sqlite-support 
增加对本地Sqlite数据库的支持（在不便于使用Mysql服务时也能使用数据库进行相关操作）
 2025-07-16 20:35:58 +08:00
买定不离手
9457455c18 fix: 修复SQLite数据库初始化问题并重新生成数据库文件 
- db.py: 在init_table_schema函数中增加损坏数据库文件检查和清理逻辑，确保SQLite初始化时能创建干净的数据库文件
- schema/sqlite_tables.db: 重新生成完整的SQLite数据库文件，包含所有平台的表结构和索引
 2025-07-16 19:48:52 +08:00
程序员阿江(Relakkes)
c5509ab91f fix: update ip proxy valid url for #662 2025-07-16 11:06:58 +08:00
程序员阿江(Relakkes)
c795b1316a fix: import error for #663 2025-07-16 10:58:11 +08:00
程序员阿江(Relakkes)
3184e0a8d9 fix: sign data too long error #659 2025-07-14 18:43:17 +08:00
gaoxiaobei
4d743f6c17 debug & resume default configuration 2025-07-14 08:00:48 +08:00
买定不离手
3365095c62 fix: 完善Bilibili和抖音平台SQLite SQL语句适配 
- 更新 store/bilibili/bilibili_store_sql.py 文件，优化Bilibili平台SQLite数据库SQL语句和查询逻辑
- 更新 store/douyin/douyin_store_sql.py 文件，修复抖音平台SQLite数据存储的SQL语句兼容性问题
 2025-07-14 03:51:19 +08:00
买定不离手
1298022410 refactor: 更新各平台store模块初始化以支持SQLite 
- 更新 store/bilibili/__init__.py 文件，导入SQLite存储实现类和相关模块
- 更新 store/douyin/__init__.py 文件，集成抖音平台的SQLite数据存储接口
- 更新 store/kuaishou/__init__.py 文件，添加快手平台SQLite存储模块的导入声明
- 更新 store/tieba/__init__.py 文件，引入贴吧平台SQLite数据库操作模块
- 更新 store/weibo/__init__.py 文件，整合微博平台SQLite存储功能模块
- 更新 store/xhs/__init__.py 文件，导入小红书平台SQLite数据存储实现
- 更新 store/zhihu/__init__.py 文件，集成知乎平台SQLite数据库存储模块
 2025-07-14 03:51:08 +08:00
买定不离手
1673bd5c0c feat: 增强SQLite数据库配置和命令行参数支持 
- 更新 cmd_arg/arg.py 文件，添加SQLite数据库选项的命令行参数解析支持
- 更新 config/base_config.py 文件，集成SQLite数据库的基础配置项和默认设置
- 更新 config/db_config.py 文件，扩展数据库配置以支持SQLite连接和参数管理
- 更新 pyproject.toml 文件，添加SQLite相关依赖包的版本管理和项目配置
 2025-07-14 03:50:54 +08:00
买定不离手
191dd5998d docs: 更新README文档以支持SQLite数据库存储 
- 更新 README.md 文件，在数据保存部分新增SQLite数据库支持说明，强调其轻量级特性和个人使用优势
- 更新 README_en.md 文件，在数据存储部分添加SQLite数据库介绍，提供英文版本的使用指导和示例
- 更新 README_es.md 文件，在数据存储部分增加SQLite数据库说明，提供西班牙语版本的配置和使用方法
 2025-07-14 03:50:32 +08:00
买定不离手
c6b96b7e28 chore: 更新项目依赖锁定文件\n\n- 更新 uv.lock: 同步项目依赖版本 2025-07-14 03:37:10 +08:00
买定不离手
36d4a086dd docs: 在默认说明文档中加入SQLite支持说明\n\n- 更新 docs/index.md 文件，增加对SQLite数据库的支持说明\n- 添加SQLite使用示例和配置说明 2025-07-14 03:36:59 +08:00
买定不离手
f5fbbb36ba fix: 修复SQLite数据库初始化和关闭逻辑\n\n- 更新 main.py: 修复数据库初始化条件，支持sqlite选项\n- 更新 db.py: 添加SQLite数据库初始化和关闭支持 2025-07-14 03:36:48 +08:00
买定不离手
6f274d476b feat: 添加各平台SQLite存储实现文件\n\n- 新增 store/bilibili/bilibili_store_impl.py: B站SQLite存储实现\n- 新增 store/douyin/douyin_store_impl.py: 抖音SQLite存储实现\n- 新增 store/kuaishou/kuaishou_store_impl.py: 快手SQLite存储实现\n- 新增 store/tieba/tieba_store_impl.py: 贴吧SQLite存储实现\n- 新增 store/weibo/weibo_store_impl.py: 微博SQLite存储实现\n- 新增 store/xhs/xhs_store_impl.py: 小红书SQLite存储实现\n- 新增 store/zhihu/zhihu_store_impl.py: 知乎SQLite存储实现 2025-07-14 03:36:36 +08:00
买定不离手
fb938f38aa feat: 更新各平台store SQL文件以支持SQLite\n\n- 更新 store/kuaishou/kuaishou_store_sql.py: 快手平台SQLite适配\n- 更新 store/tieba/tieba_store_sql.py: 贴吧平台SQLite适配\n- 更新 store/weibo/weibo_store_sql.py: 微博平台SQLite适配\n- 更新 store/xhs/xhs_store_sql.py: 小红书平台SQLite适配\n- 更新 store/zhihu/zhihu_store_sql.py: 知乎平台SQLite适配 2025-07-14 03:36:20 +08:00