[有趣] 使用 wget+proxy 能被 netfilter.org 识别到但是 curl 不会

[ihipop]

实验条件:

• 本机搭建一个没有上级的 http 代理,也就是,使用本机出口,使用 gost https://docs.ginuerzh.xyz/gost/getting-started/ 实现(使用其他软件结果一样的,试过的还有 brook)

gost -L=:8080

• wget 无代理下载 https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 没问题

wget http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -O /dev/null
--2021-11-01 13:56:27--  http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
正在解析主机 netfilter.org (netfilter.org)... 92.243.18.11, 2001:4b98:dc0:43:216:3eff:fe87:a456
正在连接 netfilter.org (netfilter.org)|92.243.18.11|:80... 已连接。
已发出 HTTP 请求，正在等待回应... 301 Moved Permanently
位置： https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 [跟随至新的 URL]
--2021-11-01 13:56:27--  https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
SSL_INIT
已载入 CA 证书“/etc/ssl/certs/ca-certificates.crt”
正在连接 netfilter.org (netfilter.org)|92.243.18.11|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：389639 (381K) [application/x-bzip2]
正在保存至: “/dev/null”

• wget 使用本机代理下载 https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 被拒绝

http_proxy=http://127.0.0.1:8080 https_proxy=http://127.0.0.1:8080 wget http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -O /dev/null 
--2021-11-01 13:58:13--  http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
正在连接 127.0.0.1:8080... 已连接。
已发出 Proxy 请求，正在等待回应... 301 Moved Permanently
位置： https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 [跟随至新的 URL]
--2021-11-01 13:58:14--  https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
SSL_INIT
已载入 CA 证书“/etc/ssl/certs/ca-certificates.crt”
正在连接 127.0.0.1:8080... 已连接。
已发出 Proxy 请求，正在等待回应... 403 Forbidden
2021-11-01 13:58:16 错误 403：Forbidden 。

• curl 使用本机代理下载 https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 没问题

http_proxy=http://127.0.0.1:8080 https_proxy=http://127.0.0.1:8080 curl http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -o /dev/null
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   276  100   276    0     0    524      0 --:--:-- --:--:-- --:--:--   524

抓包看下请求没有什么特色的,把 wget 的 UA 换成 curl 的没用 会是什么检测的呢?

[coolan]

wget 在代理的情况下给 http request header 写了 Proxy-Connection: Keep-Alive 。

[ihipop]

@coolan CURL 也会写的

[coolan]

curl 并没有写，你使用 curl -H 'Proxy-Connection: Keep-Alive' -v https://netfilter.org ，就是 403 。

[pheyx]

curl 默认不跳转，加个-L 试试