feat: 微博帖子支持保存到数据库中

This commit is contained in:
Relakkes
2023-12-24 18:19:26 +08:00
parent c5b64fdbf5
commit b1441ab4ae
3 changed files with 19 additions and 15 deletions

View File

@@ -24,8 +24,8 @@
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✕ |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✕ | ✅ | ✅ | ✅ | ✅ | ✅ | ✕ |
| B 站 | ✅ | ✅ | ✕ | ✅ | ✅ | ✅ | ✅ | ✅ | ✕ |
| 微博 | | ✕ | ✕ | | ✕ | | | | ✕ |
| B 站 | ✅ | ✅ | ✕ | ✅ | ✅ | ✅ | ✅ | ✅ | ✕ |
| 微博 | | ✕ | ✕ | | ✕ | | | | ✕ |
## 使用方法
@@ -66,14 +66,17 @@
# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python3 main.py --platform xhs --lt qrcode --type detail
# 打开对应APP扫二维码登录
# 其他平台爬虫使用示例, 执行下面的命令查看
python3 main.py --help
```
打开对应APP扫二维码登录
等待爬虫程序执行完毕,数据保存到 `data/xhs` 目录下
### 数据保存
- 支持保存到关系型数据库Mysql、PgSQL等
- 支持保存到csv中data/目录下)
## 如何使用 IP 代理
➡️➡️➡️ [IP代理使用方法](docs/代理使用.md)