程序员阿江(Relakkes)
d614ccf247
docs: translate comments and metadata to English
...
Update Chinese comments, variable descriptions, and metadata across
multiple configuration and core files to English. This improves
codebase accessibility for international developers. Additionally,
removed the sponsorship section from README files.
2026-02-12 05:30:11 +08:00
ouzhuowei
2a0d1fd69f
补充各平台的媒体存储文件路径适配
...
Co-Authored-By: ouzhuowei <190020754@qq.com >
2026-02-04 09:48:39 +08:00
Doiiars
70a6ca55bb
feat(database): add PostgreSQL support and fix Windows subprocess encoding
2026-01-09 00:41:59 +08:00
程序员阿江(Relakkes)
157ddfb21b
i18n: translate all Chinese comments, docstrings, and logger messages to English
...
Comprehensive translation of Chinese text to English across the entire codebase:
- api/: FastAPI server documentation and logger messages
- cache/: Cache abstraction layer comments and docstrings
- database/: Database models and MongoDB store documentation
- media_platform/: All platform crawlers (Bilibili, Douyin, Kuaishou, Tieba, Weibo, Xiaohongshu, Zhihu)
- model/: Data model documentation
- proxy/: Proxy pool and provider documentation
- store/: Data storage layer comments
- tools/: Utility functions and browser automation
- test/: Test file documentation
Preserved: Chinese disclaimer header (lines 10-18) for legal compliance
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com >
2025-12-26 23:27:19 +08:00
程序员阿江(Relakkes)
6e858c1a00
feat: excel store with other platform
2025-11-28 15:12:36 +08:00
程序员阿江(Relakkes)
ff8c92daad
chore: add copyright to every file
2025-11-18 12:24:02 +08:00
yt210
b61ec54a72
优化mongodb配置获取逻辑，移动存储基类位置。
2025-11-07 17:42:28 +08:00
yt210
ef6948b305
新增存储到mongoDB
2025-11-06 10:40:30 +08:00
persist-1
0d0af57a01
fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug
2025-09-10 23:47:05 +08:00
persist-1
e92c6130e1
fix(store): 修复存储实现的AsyncFileWriter导入
...
重构小红书存储实现，将store_comments方法改为处理单个评论的store_comment
为多个平台添加AsyncFileWriter工具类导入
2025-09-06 04:41:37 +08:00
persist-1
be306c6f54
refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作
...
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
2025-09-06 04:10:20 +08:00
未来可欺
a7cc18ec7d
修改部分文档
2025-07-30 18:58:10 +08:00
未来可欺
ecddfbe02c
将store文件夹中后缀名为_video或_image的.py文件统一更名为以_media.py为结尾的命名方式，避免某些平台仅有_video.py文件或_image.py文件的单独实现。之后的所有存储视频或图像的代码均放在此文件中实现
2025-07-30 18:32:08 +08:00
买定不离手
1298022410
refactor: 更新各平台store模块初始化以支持SQLite
...
- 更新 store/bilibili/__init__.py 文件，导入SQLite存储实现类和相关模块
- 更新 store/douyin/__init__.py 文件，集成抖音平台的SQLite数据存储接口
- 更新 store/kuaishou/__init__.py 文件，添加快手平台SQLite存储模块的导入声明
- 更新 store/tieba/__init__.py 文件，引入贴吧平台SQLite数据库操作模块
- 更新 store/weibo/__init__.py 文件，整合微博平台SQLite存储功能模块
- 更新 store/xhs/__init__.py 文件，导入小红书平台SQLite数据存储实现
- 更新 store/zhihu/__init__.py 文件，集成知乎平台SQLite数据库存储模块
2025-07-14 03:51:08 +08:00
买定不离手
6f274d476b
feat: 添加各平台SQLite存储实现文件\n\n- 新增 store/bilibili/bilibili_store_impl.py: B站SQLite存储实现\n- 新增 store/douyin/douyin_store_impl.py: 抖音SQLite存储实现\n- 新增 store/kuaishou/kuaishou_store_impl.py: 快手SQLite存储实现\n- 新增 store/tieba/tieba_store_impl.py: 贴吧SQLite存储实现\n- 新增 store/weibo/weibo_store_impl.py: 微博SQLite存储实现\n- 新增 store/xhs/xhs_store_impl.py: 小红书SQLite存储实现\n- 新增 store/zhihu/zhihu_store_impl.py: 知乎SQLite存储实现
2025-07-14 03:36:36 +08:00
买定不离手
fb938f38aa
feat: 更新各平台store SQL文件以支持SQLite\n\n- 更新 store/kuaishou/kuaishou_store_sql.py: 快手平台SQLite适配\n- 更新 store/tieba/tieba_store_sql.py: 贴吧平台SQLite适配\n- 更新 store/weibo/weibo_store_sql.py: 微博平台SQLite适配\n- 更新 store/xhs/xhs_store_sql.py: 小红书平台SQLite适配\n- 更新 store/zhihu/zhihu_store_sql.py: 知乎平台SQLite适配
2025-07-14 03:36:20 +08:00
Bowenwin
703a6e84cb
fix_words
2025-05-19 20:07:20 +08:00
Relakkes
9fe3e47b0f
chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途
2024-10-20 00:43:25 +08:00
Relakkes
ab7d8142af
feat: weibo支持指定创作者主页
2024-08-24 05:52:11 +08:00
Relakkes
c70bd9e071
feat: 增加搜索词来源渠道
2024-08-23 08:29:24 +08:00
Relakkes
1c2237a66f
fix: 微博登录问题修复
...
feat: 微博二级评论
2024-08-05 00:48:42 +08:00
Relakkes
573ca9a659
feat: xhs笔记详情更新
2024-07-25 00:44:46 +08:00
Relakkes Yang
a0e5a29af8
fix: weibo bug
2024-06-17 00:25:48 +08:00
Rosyrain
7048f040c9
完成词云图生成函数并添加至存储逻辑中
2024-06-12 15:33:39 +08:00
Relakkes
6c4116f240
feat: abstract cache class implementation
2024-06-02 11:16:18 +08:00
Zzzendrix
6409b4fecc
fix(weibo): weibo data regular
2024-05-28 15:11:52 +08:00
leantli
43acde240b
fix: 捕捉处理 ValueError 报错以及修改错字
2024-05-08 22:26:35 +08:00
KEXNA
9f8ffe1840
Update weibo_store_impl.py
...
Update bilibili_store_impl.py
新增id
Update bilibili_store_impl.py
新增id，解决同一天内的不同查询写入同一个文件的问题
Update douyin_store_impl.py
新增id，解决同一天内的不同查询写入同一个文件的问题
Update kuaishou_store_impl.py
Update weibo_store_impl.py
Update xhs_store_impl.py
Update weibo_store_impl.py
Update kuaishou_store_impl.py
Update bilibili_store_impl.py
Update douyin_store_impl.py
Update kuaishou_store_impl.py
Update xhs_store_impl.py
2024-04-30 21:42:06 +08:00
Relakkes
487afc8e0c
refactor: 修改导报顺心
2024-04-17 23:13:40 +08:00
Er_Meng
9cd6efb916
使用isort对引用进行格式化排序 修改微博获取图片默认配置关闭
2024-04-10 09:54:28 +08:00
Er_Meng
16413c3074
新增对微博博客内照片获取的支持 文件存放路径data/weibo/images
2024-04-09 17:21:52 +08:00
Relakkes
d392747fe7
fix: 移除orm的所有内容
2024-04-06 23:51:03 +08:00
Relakkes
0c8484c334
feat: db数据存储重构完成
2024-04-06 22:11:10 +08:00
Relakkes
e0f9a487e4
refactor: 代码优化
2024-01-16 00:40:07 +08:00
Relakkes
4dfa0d3fbf
feat: 数据保存支持JSON格式
2024-01-14 22:40:01 +08:00
Relakkes
894dabcf63
refactor: 数据存储重构，分离不同类型的存储实现
2024-01-14 22:06:31 +08:00
