jiazhizhong/MediaCrawler
1
0
Fork 0
mirror of https://github.com/NanmiCoder/MediaCrawler.git synced 2026-03-15 02:20:46 +08:00
Code Issues Packages Projects Releases Wiki Activity
740 Commits 9 Branches 0 Tags
4331b91fe1cb675091686bbb797d16ec683cc866
Commit Graph

41 Commits

Author SHA1 Message Date
程序员阿江(Relakkes)
d614ccf247 docs: translate comments and metadata to English 
Update Chinese comments, variable descriptions, and metadata across
multiple configuration and core files to English. This improves
codebase accessibility for international developers. Additionally,
removed the sponsorship section from README files.
 2026-02-12 05:30:11 +08:00
程序员阿江(Relakkes)
6eef02d08c feat: ip proxy expired check 2025-11-25 12:39:10 +08:00
程序员阿江(Relakkes)
ff8c92daad chore: add copyright to every file 2025-11-18 12:24:02 +08:00
程序员阿江(Relakkes)
0074e975dd fix: dy search 2025-11-04 00:14:16 +08:00
程序员阿江(Relakkes)
cae707cb2a feat: douyin support url link 2025-10-18 07:00:21 +08:00
未来可欺
6a10d0d11c 原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型，本次提交修改了捕获异常的类型为httpx模块请求异常的基类：HTTPError，以便捕获在httpx.request方法中引发的任何异常（例如ip被封，服务器拒接连接），正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑 2025-08-06 11:24:51 +08:00
未来可欺
81f2dbe4ab 添加了对媒体资源服务器的异常处理，参见 issue #691 2025-08-05 13:11:00 +08:00
未来可欺
0b81240aed 升级 httpx 版本至 0.28.1，并修改关键字参数 proxies 至 proxy 2025-07-31 22:48:02 +08:00
未来可欺
9d90e9fc6d fix issue #689，目前来看，应该是 httpx 库的问题，因为无论是使用同步还是异步版本，构不构造 httpx.***Client 对象来发起请求，返回的响应都是为空，response.content = b''，response.text = ’‘，但换成 requests 库就能正常获取数据了 2025-07-31 22:01:48 +08:00
未来可欺
93a1c27fff 通过测试search模式，修复部分运行时的bug，并对能够爬取媒体的平台设置了较长的超时时间 2025-07-30 21:19:56 +08:00
未来可欺
173bc08a9d 添加了抖音存储视频以及图片的逻辑，并将config.py中ENABLE_GET_IMAGES参数更名为ENABLE_GET_MEIDAS，在此基础上略微修改存储逻辑 2025-07-30 18:24:08 +08:00
chenfangliang
aa54dad9a5 feat: 修复抖音二级评论地理位置缺失问题 2025-07-18 10:48:43 +08:00
Relakkes
67d31bf42a fix: dy update fp params 2025-04-30 13:26:22 +08:00
unknown
7e53c4acfc All_platform_comments_restrict 2024-10-23 16:32:02 +08:00
Relakkes
9fe3e47b0f chore: 增加代码学习声明，严格禁止非法、禁止商业、不当用途 2024-10-20 00:43:25 +08:00
Relakkes
7b5b099636 feat: update douyin abogus params 2024-09-27 14:58:10 +08:00
Relakkes
04cbe549af fix: 修复抖音关键词搜索bug 2024-08-20 03:09:42 +08:00
Relakkes
548271e537 fix: 修复抖音中文搜索关键二次编码问题 2024-07-16 01:33:58 +08:00
Relakkes
f8096e3d58 feat: 抖音abogus参数更新 2024-07-14 03:20:05 +08:00
Relakkes Yang
a0e5a29af8 fix: weibo bug 2024-06-17 00:25:48 +08:00
xueyueben
576c8e8d9f fix: 修复抖音筛选发布时间和排序失效问题 2024-06-13 11:46:25 +08:00
ZuWard
0ba68809a5 抖音二级评论 2024-05-29 06:35:37 +08:00
Relakkes
478db4cc4b feat: 抖音指定创作者done 2024-05-28 01:07:19 +08:00
Relakkes
764bafc626 feat: 抖音登录态检测逻辑更新支持 2024-05-23 22:15:14 +08:00
Relakkes
87eb8aa6a7 fix: #230 2024-04-13 20:18:04 +08:00
Relakkes
e950e0d6e3 feat: add abstract api client to all platform 2024-03-30 21:27:25 +08:00
Relakkes
149b6bcdc8 fix: 修复抖音关键词搜索为中文的情况下，有bug 2024-03-03 19:36:36 +08:00
Relakkes
384c8f9f7e fix: issue #140 2024-02-26 23:47:02 +08:00
Relakkes
e940a41033 refactor: 移除评论中指定数量和过滤特定关键词的逻辑 2024-01-17 23:02:05 +08:00
peanutsplash
5c6a636352 fix-bug:修复抖音评论筛选 2023-12-14 00:55:06 +08:00
Relakkes
c530bd4219 feat: 代理IP缓存到redis中 2023-12-06 23:49:56 +08:00
Relakkes
a6e877de42 fix: 修复B站搜索Field命名 bug 
refactor: ping接口统一更换为pong
 2023-12-05 22:54:47 +08:00
peanutsplash
ab1a10bac1 添加功能:抖音每个视频抓取评论最大条数限制,抖音评论关键词筛选 2023-12-05 11:21:47 +08:00
Relakkes
81bc8b51e2 feat: 抖音支持指定视频列表爬去 2023-11-18 22:07:30 +08:00
Relakkes
9177c38521 feat: 支持数据保存到CSV中 2023-08-16 19:49:41 +08:00
Relakkes
c1a3f06c7a fix: issue #32 2023-08-16 13:58:44 +08:00
Relakkes
4ff2cf8661 refactor: 优化代码 2023-07-29 15:35:40 +08:00
Nanmi
745e59c875 feat: 完善类型注释，增加 mypy 类型检测 2023-07-16 17:57:18 +08:00
Relakkes
2398a17e21 refactor: 优化抖音Crawler部分代码 
fix: 日志初始化错误修复
 2023-07-15 21:30:12 +08:00
Relakkes
a7c7f9533d feat: 抖音评论done 2023-06-25 21:09:20 +08:00
NanmiCoder
e82dcae02f feat: 小红书笔记搜索，评论获取done 
docs: update docs

Create .gitattributes

Update README.md
 2023-06-12 20:37:24 +08:00