10 Commits

Author	SHA1	Message	Date
程序员阿江(Relakkes)	9f4f8bf768	refactor: 教学版移除全平台用户个人信息采集与持久化 ... - 用户 ID 转为匿名 creator_hash，昵称中间脱敏，IP/头像/主页/签名/性别不再采集 - 覆盖 xhs/weibo/bilibili/douyin/kuaishou/tieba/zhihu 7 个平台 - 删除 7 张 creator 档案 ORM 表，15 张内容/评论表新增 creator_hash 列 - B 站禁用粉丝/关注/联系人列表抓取 - 新增 tools/user_hash.py 与 4 个平台的 mock+SQLite 端到端测试 测试: pytest tests/test_no_user_info.py tests/test_weibo_no_user_info.py tests/test_douyin_no_user_info.py tests/test_kuaishou_no_user_info.py (21 passed)	2026-07-01 13:09:55 +08:00
程序员阿江(Relakkes)	0282e626c9	feat: 新增 JSONL 存储格式支持，默认存储格式改为 jsonl ... JSONL（JSON Lines）每行一个 JSON 对象，采用 append 模式写入， 无需读取已有数据，大数据量下性能远优于 JSON 格式。 - 新增 AsyncFileWriter.write_to_jsonl() 核心方法 - 7 个平台新增 JsonlStoreImplement 类并注册到工厂 - 配置默认值从 json 改为 jsonl，CLI/API 枚举同步更新 - db_session.py 守卫条件加入 jsonl，避免误触 ValueError - 词云生成支持读取 JSONL 文件，优先 jsonl 回退 json - 原有 json 选项完全保留，向后兼容 - 更新相关文档和测试	2026-03-03 23:31:07 +08:00
程序员阿江(Relakkes)	157ddfb21b	i18n: translate all Chinese comments, docstrings, and logger messages to English ... Comprehensive translation of Chinese text to English across the entire codebase: - api/: FastAPI server documentation and logger messages - cache/: Cache abstraction layer comments and docstrings - database/: Database models and MongoDB store documentation - media_platform/: All platform crawlers (Bilibili, Douyin, Kuaishou, Tieba, Weibo, Xiaohongshu, Zhihu) - model/: Data model documentation - proxy/: Proxy pool and provider documentation - store/: Data storage layer comments - tools/: Utility functions and browser automation - test/: Test file documentation Preserved: Chinese disclaimer header (lines 10-18) for legal compliance 🤖 Generated with [Claude Code](https://claude.com/claude-code) Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>	2025-12-26 23:27:19 +08:00
程序员阿江(Relakkes)	6e858c1a00	feat: excel store with other platform	2025-11-28 15:12:36 +08:00
程序员阿江(Relakkes)	ff8c92daad	chore: add copyright to every file	2025-11-18 12:24:02 +08:00
yt210	b61ec54a72	优化mongodb配置获取逻辑，移动存储基类位置。	2025-11-07 17:42:28 +08:00
yt210	ef6948b305	新增存储到mongoDB	2025-11-06 10:40:30 +08:00
persist-1	0d0af57a01	fix(store): 修复'crawler_type_var'的不当使用导致csv/json保存文件名异常的bug	2025-09-10 23:47:05 +08:00
persist-1	e92c6130e1	fix(store): 修复存储实现的AsyncFileWriter导入 ... 重构小红书存储实现，将store_comments方法改为处理单个评论的store_comment 为多个平台添加AsyncFileWriter工具类导入	2025-09-06 04:41:37 +08:00
persist-1	be306c6f54	refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作 ... - 删除旧的async_db.py和async_sqlite_db.py实现 - 新增SQLAlchemy ORM模型和数据库会话管理 - 统一各平台存储实现到_store_impl.py文件 - 添加数据库初始化功能支持 - 更新.gitignore和pyproject.toml依赖配置 - 优化文件存储路径和命名规范	2025-09-06 04:10:20 +08:00