新装的 k8s 网络 pod 无法 ping 通 svc

This topic created in 1803 days ago, the information mentioned may be changed or developed.

奇怪的问题，如果部署一个 nginx 的 svc，然后用 kubectl run curl --image=radial/busyboxplus:curl -i --tty --rm，启动一个临时 pod，在里面 ping nginx-svc 不通，但是 ping nginx-svc.default 是通的。如果换个 pod，kubectl run curl --image=busybox -i --tty --rm，在里面 ping nginx-svc 就通了。

如果换到阿里的 k8s 的 ack，起这个 busyboxplus:curl，在里面 nginx-svc 是通的，这是什么古怪问题，有人遇到过吗？

curl

ping

pod

nginx-svc

32 replies • 2021-11-12 13:01:38 +08:00

comphilip

May 28, 2021

这个问题一般是底层的 CNI 插件配置错了。

swulling

May 28, 2021 via iPhone

不要用 Ping 来测试 Service，没有意义。

ping 的通 ping 不通和 Service 可用不可用没啥关系。

CaptainDK

May 28, 2021

几个 node ？ ping 的通和 ping 不通的 pod 分别运行在哪个 node 上？

GjriFeu

May 28, 2021 via iPhone

检查一下 node 上的 cni pod 起来了没

zoharSoul

May 28, 2021

开 ssh，我上去看看

qinxi

May 28, 2021

@zoharSoul #5 哈哈哈哈经典

zoharSoul

May 28, 2021

@qinxi #6 这个楼主整天这么回帖, 我终于有搞回去的机会了 /狗头

defunct9

May 28, 2021

@GjriFeu flannel 正常。注意是换个不同版本的 busybox pod 就可以通

defunct9

May 28, 2021

@CaptainDK 1 个 master，2 个 worker 。无论那个 worker 只要跑这个 radial/busyboxplus:curl 就不行。

defunct9

May 28, 2021

@swulling ping 是个基本测试手段. 用 curl http://nginx-svc 一样不通。curl http://nginx-svc.default 就是通的

defunct9

May 28, 2021

@swulling can't resolve 才去 ping 的

[ root@curl:/ ]$ curl http://my-nginx
curl: (6) Couldn't resolve host 'my-nginx'

[ root@curl:/ ]$ curl http://my-nginx.default
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

daimaosix

May 28, 2021

开 ssh，让我上去看看

masha

May 28, 2021

开 ssh，让我上去看看

masha

May 28, 2021

看下有问题 pod 的 /etc/resolv.conf?

masha

May 28, 2021

看下是不是 https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/这边描述的的 Known issues 里的问题

swulling

May 28, 2021

@defunct9 你这个 debug 顺序好奇怪，都 can't resolve 了，为啥还要 ping

defunct9

May 28, 2021

@swulling nslookup 和 ping 都试试啊。nslookup 和 ping 都不行。

defunct9

May 28, 2021

@masha 跟阿里 ack 正常的 resolv.conf 比过，一样。dns-debugging-resolution 的也试了一遍了，不行。coredns 降到 1.6.7，加上 upstream，同时打开 pods verified 和 autopath @kubernetes，也不行。

defunct9

May 28, 2021

@swulling 这个 debug 顺序没什么奇怪的吧，pod 都是大平板市场，普通开放的 svc 都是 cluster ip，ping 一下，然后再看服务是否正常，是正常顺序吧。

raysonx

May 28, 2021

kube-proxy 默认的 backend

raysonx

May 28, 2021

kube-proxy 默认的 backend 是 iptables，通过 DNAT 做的转发。因为只转发了 service 的端口，你是 ping 不通的。
如果用 ipvs backend，service 的 ip 会自动赋给所有 node 的 ipvs 虚拟网卡，是可以 ping 通的。
如果是有些 node 通有些不通，可能是 cni 有问题，或者是那个节点的 kube-proxy 没启动。

raysonx

May 28, 2021

楼主提供的信息太少了，单纯这样也只是猜测。不如开 SSH 让我上去看看（ doge ）

iphoneXr

May 28, 2021

开 ssh，让我上去看看

Yooloo

May 28, 2021

没头绪, 开 ssh, 让我上去看看

masha

May 28, 2021

@defunct9
不是，我的意思是你看看这个 https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/#known-issues，dns search 记录的问题。从你的现象来看就是从 search 记录找不到*.default 这个后缀。我印象里以前也遇到过这个问题，不过不搞 k8s 比较久了没清晰记忆了。

defunct9

May 28, 2021

不用猜了，busybox 的 bug，升级过的 busybox 就是好的。所以么，不要随便用 radial/busyboxplus:curl 这个镜像。另外，这个镜像在阿里的 ack 居然是好的，猜不透原因。