Commit Graph

528 Commits

Author SHA1 Message Date
chenfangliang
aa54dad9a5 feat: 修复抖音二级评论地理位置缺失问题 2025-07-18 10:48:43 +08:00
程序员阿江(Relakkes)
08c28e6f7b Merge pull request #658 from persist-1/feature/sqlite-support
增加对本地Sqlite数据库的支持(在不便于使用Mysql服务时也能使用数据库进行相关操作)
2025-07-16 20:35:58 +08:00
买定不离手
9457455c18 fix: 修复SQLite数据库初始化问题并重新生成数据库文件
- db.py: 在init_table_schema函数中增加损坏数据库文件检查和清理逻辑,确保SQLite初始化时能创建干净的数据库文件
- schema/sqlite_tables.db: 重新生成完整的SQLite数据库文件,包含所有平台的表结构和索引
2025-07-16 19:48:52 +08:00
程序员阿江(Relakkes)
c5509ab91f fix: update ip proxy valid url for #662 2025-07-16 11:06:58 +08:00
程序员阿江(Relakkes)
c795b1316a fix: import error for #663 2025-07-16 10:58:11 +08:00
程序员阿江(Relakkes)
3184e0a8d9 fix: sign data too long error #659 2025-07-14 18:43:17 +08:00
买定不离手
3365095c62 fix: 完善Bilibili和抖音平台SQLite SQL语句适配
- 更新 store/bilibili/bilibili_store_sql.py 文件,优化Bilibili平台SQLite数据库SQL语句和查询逻辑
- 更新 store/douyin/douyin_store_sql.py 文件,修复抖音平台SQLite数据存储的SQL语句兼容性问题
2025-07-14 03:51:19 +08:00
买定不离手
1298022410 refactor: 更新各平台store模块初始化以支持SQLite
- 更新 store/bilibili/__init__.py 文件,导入SQLite存储实现类和相关模块
- 更新 store/douyin/__init__.py 文件,集成抖音平台的SQLite数据存储接口
- 更新 store/kuaishou/__init__.py 文件,添加快手平台SQLite存储模块的导入声明
- 更新 store/tieba/__init__.py 文件,引入贴吧平台SQLite数据库操作模块
- 更新 store/weibo/__init__.py 文件,整合微博平台SQLite存储功能模块
- 更新 store/xhs/__init__.py 文件,导入小红书平台SQLite数据存储实现
- 更新 store/zhihu/__init__.py 文件,集成知乎平台SQLite数据库存储模块
2025-07-14 03:51:08 +08:00
买定不离手
1673bd5c0c feat: 增强SQLite数据库配置和命令行参数支持
- 更新 cmd_arg/arg.py 文件,添加SQLite数据库选项的命令行参数解析支持
- 更新 config/base_config.py 文件,集成SQLite数据库的基础配置项和默认设置
- 更新 config/db_config.py 文件,扩展数据库配置以支持SQLite连接和参数管理
- 更新 pyproject.toml 文件,添加SQLite相关依赖包的版本管理和项目配置
2025-07-14 03:50:54 +08:00
买定不离手
191dd5998d docs: 更新README文档以支持SQLite数据库存储
- 更新 README.md 文件,在数据保存部分新增SQLite数据库支持说明,强调其轻量级特性和个人使用优势
- 更新 README_en.md 文件,在数据存储部分添加SQLite数据库介绍,提供英文版本的使用指导和示例
- 更新 README_es.md 文件,在数据存储部分增加SQLite数据库说明,提供西班牙语版本的配置和使用方法
2025-07-14 03:50:32 +08:00
买定不离手
c6b96b7e28 chore: 更新项目依赖锁定文件\n\n- 更新 uv.lock: 同步项目依赖版本 2025-07-14 03:37:10 +08:00
买定不离手
36d4a086dd docs: 在默认说明文档中加入SQLite支持说明\n\n- 更新 docs/index.md 文件,增加对SQLite数据库的支持说明\n- 添加SQLite使用示例和配置说明 2025-07-14 03:36:59 +08:00
买定不离手
f5fbbb36ba fix: 修复SQLite数据库初始化和关闭逻辑\n\n- 更新 main.py: 修复数据库初始化条件,支持sqlite选项\n- 更新 db.py: 添加SQLite数据库初始化和关闭支持 2025-07-14 03:36:48 +08:00
买定不离手
6f274d476b feat: 添加各平台SQLite存储实现文件\n\n- 新增 store/bilibili/bilibili_store_impl.py: B站SQLite存储实现\n- 新增 store/douyin/douyin_store_impl.py: 抖音SQLite存储实现\n- 新增 store/kuaishou/kuaishou_store_impl.py: 快手SQLite存储实现\n- 新增 store/tieba/tieba_store_impl.py: 贴吧SQLite存储实现\n- 新增 store/weibo/weibo_store_impl.py: 微博SQLite存储实现\n- 新增 store/xhs/xhs_store_impl.py: 小红书SQLite存储实现\n- 新增 store/zhihu/zhihu_store_impl.py: 知乎SQLite存储实现 2025-07-14 03:36:36 +08:00
买定不离手
fb938f38aa feat: 更新各平台store SQL文件以支持SQLite\n\n- 更新 store/kuaishou/kuaishou_store_sql.py: 快手平台SQLite适配\n- 更新 store/tieba/tieba_store_sql.py: 贴吧平台SQLite适配\n- 更新 store/weibo/weibo_store_sql.py: 微博平台SQLite适配\n- 更新 store/xhs/xhs_store_sql.py: 小红书平台SQLite适配\n- 更新 store/zhihu/zhihu_store_sql.py: 知乎平台SQLite适配 2025-07-14 03:36:20 +08:00
买定不离手
3a2959d86c feat: 添加SQLite数据库支持核心文件\n\n- 新增 async_sqlite_db.py: SQLite异步数据库操作封装\n- 新增 schema/sqlite_tables.sql: SQLite数据库表结构定义\n- 新增 schema/sqlite_tables.db: SQLite数据库文件 2025-07-14 03:36:06 +08:00
程序员阿江(Relakkes)
dd8a3f5db8 docs: add a Sponsor 2025-07-12 23:26:30 +08:00
程序员阿江(Relakkes)
ec0d29cf0f Merge pull request #642 from cllei12/weibo-search-type
增加选择微博搜索类型的配置
2025-07-07 15:05:29 +08:00
程序员阿江(Relakkes)
0d21a27b6e Merge pull request #641 from cllei12/main
Update playwright version to support Ubuntu 24.04
2025-07-07 15:03:42 +08:00
Lei Cao
355ed183dd 增加选择微博搜索类型的配置 2025-07-05 22:14:31 +00:00
Lei Cao
eb03a4f68d Update playwright version to support Ubuntu 24.04 2025-07-05 21:17:52 +00:00
程序员阿江(Relakkes)
3cb0e2f91f Merge pull request #637 from Mirza-Samad-Ahmed-Baig/fix/bilibili-creator-videos
refactor(bilibili): process creator videos in batches
2025-07-05 00:13:49 +08:00
mirza-samad-ahmed-baig
7edf3bcc15 refactor(bilibili): process creator videos in batches 2025-07-04 21:04:10 +05:00
程序员阿江(Relakkes)
66a68fbb13 docs: update multi language badges size 2025-07-04 14:15:03 +08:00
程序员阿江(Relakkes)
8dcc540797 Merge pull request #635 from Root-FTW/main
🌐 Add multilingual documentation support (English & Spanish)
2025-07-04 13:54:31 +08:00
Root-FTW
4a110abebb feat: Add language navigation links to all README files
- Add prominent language selection section at the top of each README
- Include flag emojis and clear language indicators (🇨🇳 中文, 🇺🇸 English, 🇪🇸 Español)
- Format as horizontal table for easy scanning and navigation
- Show current language with arrow indicator (← Current/当前/Actual)
- Use relative links that work on both GitHub and local repositories
- Improve discoverability of multilingual documentation
- Consistent navigation across all three language versions
2025-07-03 17:14:41 -07:00
Root-FTW
3b7726365c feat: Add localized README files in English and Spanish
- Add README_en.md: Complete English translation of project documentation
- Add README_es.md: Complete Spanish translation of project documentation
- Maintain exact same structure, formatting, and technical accuracy as original
- Preserve all markdown formatting, links, code examples, and legal disclaimers
- Keep original Chinese README.md unchanged
- Support for English and Spanish-speaking developers while maintaining educational focus
2025-07-03 17:09:08 -07:00
程序员阿江(Relakkes)
848df2b491 feat: other platfrom support the cdp mode 2025-07-03 17:13:32 +08:00
程序员阿江(Relakkes)
c892c3324c chore: update uv lock file use aliyun pypi 2025-07-03 16:07:07 +08:00
程序员阿江(Relakkes)
452aafeec8 chore: update uv depends source 2025-07-03 15:27:39 +08:00
程序员阿江(Relakkes)
89359aa259 docs: update README.md 2025-07-02 01:20:44 +08:00
程序员阿江(Relakkes)
0514758cff docs: 更新uv安装文档 2025-06-29 00:07:13 +08:00
程序员阿江(Relakkes)
e83b2422d9 feat: 支持playwright通过cdp协议连接本地chrome浏览器
docs: 增加uv来管理python依赖的文档
2025-06-25 23:22:39 +08:00
程序员阿江(Relakkes)
fbc9788d54 docs: update README.md 2025-06-24 17:44:43 +08:00
Relakkes
71210e3f38 chore: delete unnecessary file 2025-06-20 16:26:02 +08:00
Relakkes
fc45b22963 fix: vitepress path problem 2025-06-20 16:10:44 +08:00
Relakkes
22ec34dca3 docs: add list of sponsors 2025-06-20 16:04:04 +08:00
Relakkes
fd33813f8f feat: add like_count field to bilibi for issue #623 2025-06-20 15:50:38 +08:00
Relakkes
31bcdb191f docs: update README.md 2025-06-16 13:58:09 +08:00
Relakkes
d55d8b1efa feat: Douyin supports obtaining video links and cover images. for issue #620 2025-06-14 23:59:08 +08:00
Relakkes
ed1dc7916a docs: update README.md 2025-06-08 15:56:02 +08:00
程序员阿江(Relakkes)
6323e2d45b Merge pull request #616 from chimeElm/main
修复CRAWLER_MAX_NOTES_COUNT在爬取小红书作者帖子时失效的问题
2025-06-07 14:43:37 +08:00
chimeElm
26a845581e Update client.py
修复CRAWLER_MAX_NOTES_COUNT在爬取小红书作者帖子时失效的问题
2025-06-07 02:41:09 +08:00
Relakkes
23c8f8f87b docs: add english license 2025-06-01 23:20:11 +08:00
Relakkes
1e7b950d3e Revert "chore: remove sponor"
This reverts commit 242c06c345.
2025-05-26 22:35:18 +08:00
Relakkes
242c06c345 chore: remove sponor 2025-05-25 11:54:38 +08:00
程序员阿江(Relakkes)
ff41faeb00 Merge pull request #608 from Bowenwin/bili_expand
Bili_function_expand
2025-05-22 23:14:58 +08:00
Bowenwin
66843f216a finish_all_for_expand_bili 2025-05-22 22:26:30 +08:00
Bowenwin
59619fff0a finish_all 2025-05-22 22:06:06 +08:00
Bowenwin
44e3d370ff fix_words 2025-05-22 20:31:48 +08:00