jiazhizhong/wechatmp2markdown
1
0
Fork 0
mirror of https://github.com/fengxxc/wechatmp2markdown.git synced 2026-05-27 21:17:30 +08:00
Code Issues Packages Projects Releases Wiki Activity

fix: 请求头添加User-Agent，解决被官方反爬的问题

Browse Source
This commit is contained in:
fengxxc
2025-03-13 16:28:03 +08:00
parent 6fa0a3a787
commit 48803a65ab
3 changed files with 12 additions and 5 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
Makefile
View File

@@ -1,6 +1,6 @@
BUILD_ENV := CGO_ENABLED=0 BUILD_ENV := CGO_ENABLED=0
APP=wechatmp2markdown APP=wechatmp2markdown
VERSION=v1.1.10 VERSION=v1.1.11
# linux or mac 环境编译 # linux or mac 环境编译
# make [cmd] # make [cmd]

4
README.md
View File

@@ -83,7 +83,7 @@ markdown和图片文件将保存在 `D:\wechatmp_bak\gitcode操你妈\` 下
> "*" -> "⁎" > "*" -> "⁎"
> ``` > ```
> 在linux环境下，使用CLI模式，需要为程序赋予可执行与写权限，例如：` chmod +xw wechatmp2markdown-v1.1.10_linux_amd64`； > 在linux环境下，使用CLI模式，需要为程序赋予可执行与写权限，例如：` chmod +xw wechatmp2markdown-v1.1.11_linux_amd64`；
> 以及，文件或路径名不能包含以下任何字符：/（正斜杠），当标题包含以上字符时，本程序将用相似的Unicode字符进行替换，具体替换规则为： > 以及，文件或路径名不能包含以下任何字符：/（正斜杠），当标题包含以上字符时，本程序将用相似的Unicode字符进行替换，具体替换规则为：
> ``` > ```
> "/" -> "∕" > "/" -> "∕"
@@ -109,7 +109,7 @@ markdown和图片文件将保存在 `D:\wechatmp_bak\gitcode操你妈\` 下
浏览器访问：`localhost:8964?url=https://mp.weixin.qq.com/s/a=1&b=2&image=save`， 浏览器访问：`localhost:8964?url=https://mp.weixin.qq.com/s/a=1&b=2&image=save`，
将返回一个zip文件 将返回一个zip文件
> 在linux环境下，使用web server模式，需要为程序赋予可执行权限，例如：` chmod +x wechatmp2markdown-v1.1.10_linux_amd64` > 在linux环境下，使用web server模式，需要为程序赋予可执行权限，例如：` chmod +x wechatmp2markdown-v1.1.11_linux_amd64`
## 开发 ## 开发
go 1.20 go 1.20

11
parse/parse.go
View File

@@ -227,9 +227,16 @@ func ParseFromHTMLFile(filepath string, imagePolicy ImagePolicy) Article {
} }
func ParseFromURL(url string, imagePolicy ImagePolicy) Article { func ParseFromURL(url string, imagePolicy ImagePolicy) Article {
res, err := http.Get(url) req, err := http.NewRequest("GET", url, nil)
if err != nil { if err != nil {
log.Fatalf(err.Error()) log.Fatalf("new request %s error: %s", url, err.Error())
}
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0")
client := &http.Client{}
res, err := client.Do(req)
if err != nil {
log.Fatalf("request to url %s error: %s", url, err.Error())
} }
defer res.Body.Close() defer res.Body.Close()
if res.StatusCode != 200 { if res.StatusCode != 200 {