mirror of
https://github.com/NanmiCoder/MediaCrawler.git
synced 2026-06-07 02:17:25 +08:00
refactor:优化部分代码
feat: 增加IP代理账号池
This commit is contained in:
@@ -13,6 +13,7 @@
|
||||
- [x] 小红书 笔记、评论
|
||||
- [x] 小红书 二维码扫描登录 | 手机号+验证码自动登录 | cookies登录
|
||||
- [x] 爬取抖音视频、评论
|
||||
- [x] IP代理池,账号池
|
||||
- [ ] To do 抖音滑块
|
||||
|
||||
## 技术栈
|
||||
@@ -28,7 +29,7 @@
|
||||
2. 安装playwright浏览器驱动
|
||||
`playwright install`
|
||||
3. 运行爬虫程序
|
||||
`python main.py --platform xhs --keywords 健身 --lt qrcode`
|
||||
`python main.py --platform xhs --lt qrcode`
|
||||
4. 打开小红书扫二维码登录
|
||||
|
||||
## 小红书运行截图
|
||||
@@ -46,8 +47,8 @@
|
||||
- 转发软件中配置WEBHOOK相关的信息,主要分为 消息模板(请查看本项目中的recv_sms_notification.py)、一个能push短信通知的API地址
|
||||
- push的API地址一般是需要绑定一个域名的(当然也可以是内网的IP地址),我用的是内网穿透方式,会有一个免费的域名绑定到内网的web server,内网穿透工具 [ngrok](https://ngrok.com/docs/)
|
||||
- 安装redis并设置一个密码 [redis安装](https://www.cnblogs.com/hunanzp/p/12304622.html)
|
||||
- 执行 `python recv_sms_notification.py` 等待短信转发器发送HTTP通知
|
||||
- 执行手机号登录的爬虫程序 `python main.py --platform xhs --keywords 健身 --lt phone --phone 13812345678`
|
||||
- 执行 `python tools/recv_sms_notification.py` 等待短信转发器发送HTTP通知
|
||||
- 执行手机号登录的爬虫程序 `python main.py --platform xhs --lt phone`
|
||||
|
||||
备注:
|
||||
- 小红书这边一个手机号一天只能发10条短信(悠着点),目前在发验证码时还未触发滑块验证,估计多了之后也会有~
|
||||
|
||||
Reference in New Issue
Block a user