mirror of
https://github.com/NanmiCoder/MediaCrawler.git
synced 2026-06-06 09:57:25 +08:00
feat: xhs帖子详情获取优化
This commit is contained in:
41
README.md
41
README.md
@@ -24,15 +24,26 @@
|
||||
通过使用此方式,免去了复现核心加密JS代码,逆向难度大大降低
|
||||
|
||||
# 功能列表
|
||||
| 平台 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
|
||||
|-----|-------|---------|-----|--------|-------|-------|-------|
|
||||
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 知乎 | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 平台 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
|
||||
| ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- |
|
||||
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
| 知乎 | ✅ | ❌ | ✅ | ✅ | ✅ | ✅ | ✅ |
|
||||
|
||||
### MediaCrawlerPro重磅发布啦!!!
|
||||
> 主打学习成熟项目的架构设计,不仅仅是爬虫,Pro中的其他代码设计思路也是值得学习,欢迎大家关注!!!
|
||||
|
||||
[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 版本已经重构出来了,相较于开源版本的优势:
|
||||
- 多账号+IP代理支持(重点!)
|
||||
- 去除Playwright依赖,使用更加简单
|
||||
- 支持linux部署(Docker docker-compose)
|
||||
- 代码重构优化,更加易读易维护(解耦JS签名逻辑)
|
||||
- 代码质量更高,对于构建更大型的爬虫项目更加友好
|
||||
- 完美的架构设计,更加易扩展,源码学习的价值更大
|
||||
|
||||
|
||||
# 安装部署方法
|
||||
@@ -92,18 +103,6 @@
|
||||
- 支持保存到csv中(data/目录下)
|
||||
- 支持保存到json中(data/目录下)
|
||||
|
||||
### MediaCrawlerPro重磅发布啦!!!
|
||||
> 主打学习成熟项目的架构设计,不仅仅是爬虫,Pro中的其他代码设计思路也是值得学习,欢迎大家关注!!!
|
||||
>
|
||||
> 订阅Pro源代码访问权限,可以加我微信:yzglan,备注:Pro(有一定的门槛💰)
|
||||
|
||||
[MediaCrawlerPro](https://github.com/MediaCrawlerPro) 版本已经重构出来了,相较于开源版本的优势:
|
||||
- 多账号+IP代理支持(重点!)
|
||||
- 去除Playwright依赖,使用更加简单
|
||||
- 支持linux部署(Docker docker-compose)
|
||||
- 代码重构优化,更加易读易维护(解耦JS签名逻辑)
|
||||
- 代码质量更高,对于构建更大型的爬虫项目更加友好
|
||||
- 完美的架构设计,更加易扩展,源码学习的价值更大
|
||||
|
||||
|
||||
# 其他常见问题可以查看在线文档
|
||||
|
||||
Reference in New Issue
Block a user