未来可欺
6a10d0d11c
原始的HTTPStatusError不能捕获像ConnectError、ReadError这些异常类型,本次提交修改了捕获异常的类型为httpx模块请求异常的基类:HTTPError,以便捕获在httpx.request方法中引发的任何异常(例如ip被封,服务器拒接连接),正确处理爬取媒体被中断时并不会导致爬取文本的中断逻辑
2025-08-06 11:24:51 +08:00
未来可欺
81f2dbe4ab
添加了对媒体资源服务器的异常处理,参见 issue #691
2025-08-05 13:11:00 +08:00
未来可欺
0b81240aed
升级 httpx 版本至 0.28.1,并修改关键字参数 proxies 至 proxy
2025-07-31 22:48:02 +08:00
未来可欺
93a1c27fff
通过测试search模式,修复部分运行时的bug,并对能够爬取媒体的平台设置了较长的超时时间
2025-07-30 21:19:56 +08:00
翟持江
0118621a79
将微博评论爬取函数get_note_all_comments的max_id_type便为可变请求参数
...
除了原先的max_id参数外,max_id_type参数也附加在上一次api结果的解析中,初始为0,但随着获取的评论越来越多,会更改为1。
此外,修改了WeiboClient类的request函数,将返回的ok_code异常处理进行了优化,细分为0,1,else...。这样即便获取到的max_id和max_id_type为None,也不会触发像'>' not supported between instances of 'NoneType' and 'int'这样模棱两可的异常提示,方便溯源问题所在,即api响应错误。
对于评论的数据获取不全的情况,在浏览器中获取显示的评论数量为1000+,更改此次提交前获取的个数为308条,更改后为319条,使用网页端打开手动刷评论的最后一条和程序获取的最后一条内容一致,可能是微博默认开启的精选评论功能导致无法获取所有的微博...
2025-01-10 19:20:01 +08:00
Relakkes
c12a63acb2
fix: weibo creator duplicate bug
2024-11-13 22:28:54 +08:00
Relakkes
3db2edd479
fix: weibo创作者bugfix
2024-11-06 16:01:07 +08:00
unknown
7e53c4acfc
All_platform_comments_restrict
2024-10-23 16:32:02 +08:00
Relakkes
9fe3e47b0f
chore: 增加代码学习声明,严格禁止非法、禁止商业、不当用途
2024-10-20 00:43:25 +08:00
Relakkes
ab7d8142af
feat: weibo支持指定创作者主页
2024-08-24 05:52:11 +08:00
Relakkes
1c2237a66f
fix: 微博登录问题修复
...
feat: 微博二级评论
2024-08-05 00:48:42 +08:00
Relakkes
487afc8e0c
refactor: 修改导报顺心
2024-04-17 23:13:40 +08:00
Er_Meng
9cd6efb916
使用isort对引用进行格式化排序 修改微博获取图片默认配置关闭
2024-04-10 09:54:28 +08:00
Er_Meng
16413c3074
新增对微博博客内照片获取的支持 文件存放路径data/weibo/images
2024-04-09 17:21:52 +08:00
Relakkes
4de14ad6a8
fix: 修复微博PC端登录后COOKIE在手机端无法使用的bug
2024-01-06 19:18:07 +08:00
Relakkes
38d6f10bf0
feat: 微博二维码登录done
2023-12-30 18:54:21 +08:00
Relakkes
eee81622ac
feat: 微博支持评论 & 指定帖子
2023-12-25 00:02:11 +08:00
Relakkes
c5b64fdbf5
feat: 微博爬虫帖子搜索完成
2023-12-24 17:57:48 +08:00