vps 是之前很火的灵车 claw ,hk 迁到新加坡的难民。
今天早上发现 vps 无法访问了,ping 不通、ssh 超时、web 服务无响应,一开始以为是墙的问题,后来用外面跳板机也访问不了,然后在线测试,全球都访问不了。
登录 claw 后台,显示状态正常。没有头绪,乱点一通,结果发现监控指标里面很异常,cpu 和磁盘 io 都很高,网络流量正常
https://imgur.com/kPSB7bq https://imgur.com/d1Xn6KM https://imgur.com/HFrnmFv
怀疑是不是有什么服务异常,或者被挂马了之类的,于是通过网页执行了重启(上面数据最后降下来就是重启的结果)。然后就悲剧了,所有远程探测都不通了。
最后无意间发现通过网页的控制台还能连上,进去后,发现系统也不正常,通过 systemctl 管理的服务都没有启动(所以 ssh 和 web 服务访问不了),ip address 发现网卡都没启动(状态 down ),mount 发现磁盘都是只读状态。
用ip link set ens5 up
可以手动启动网卡,分配 dhcp ip 后,也可以 ping 通。但是重启后会恢复原样。
现在怀疑问题源头在磁盘只读上,就是不知道原因是什么,是持续的高 io 导致磁盘坏了?还是被 claw 拔网线了?发了工单,也一直没有人回复。
有没有懂哥帮忙分析一下?现在只剩下 console 可以连上,有没有什么排查手段可以用?