内网互拷文件速度今天突然从 100+MB/S 降到 30MB/S 了，找不到问题出在哪

[yao990]

我那个用 centos 作的家庭存储，一直用的好好的，大文件互拷一般都在 100MB/S 以上，今天把机器拉出来吹了下灰尘，然后速度就降到 30+MB/S 了，然后重启电脑、重启路由器、重做水晶头都不顶用，，不知道到底是哪的问题？ 配置如下： cpu：j1800 内存：8G 网卡：PCIE X1 82576 双口千兆 硬盘：HGST 3T *2 路由器：asus ac68u 系统：centos7，挂载 nfs

但是我现在无论是使用 sftp 还是 nfs 或者 smb 都无法再达到之前的速度。。 这个和软件有没有关系？我这两天在折腾 crossover，，

[visitant]

既然每秒 30 多 MB,那网络导致的可能性比较小,测试下 centos 上现在硬盘的速度是多少?

[yao990]

@visitant 测试结果如下
/dev/sda3:
Timing cached reads: 3802 MB in 1.99 seconds = 1907.58 MB/sec
Timing buffered disk reads: 434 MB in 3.00 seconds = 144.45 MB/sec

/dev/sdb1:
Timing cached reads: 3506 MB in 1.99 seconds = 1758.76 MB/sec
Timing buffered disk reads: 452 MB in 3.01 seconds = 150.25 MB/sec

[yao990]

@visitant
我笔记本的速度
/dev/sda2:
Timing cached reads: 10134 MB in 1.99 seconds = 5097.10 MB/sec
Timing buffered disk reads: 350 MB in 3.00 seconds = 116.52 MB/sec

[cev2]

哈哈，又看到你了，只有 30MB/s ？能上个图看看吗，你确定连得不是 WiFi ？

[visitant]

@yao990 timing cached 是啥意思。。该不是读写缓存了吧，写入 5g 每秒也太快了吧

[visitant]

@yao990 这读取速度比 pcie3.0 x 4 都要快了。。。

[catror]

先笔记本网线直连测一下。逐步缩小问题范围，不要盲目的测试。

[yao990]

@cev2 不是 wifi，笔记本和存储都是 centos7，笔记本连的有线网，两边都是千兆。。
这个图片，，，，我这样发出来不知道你能看到不？？
https://s.cxice.com/thread-3816.htm

[yao990]

@visitant 这是笔记本上的读取，是 ssd 的

[cloudbeyond]

千兆是全双工吗？可能是自协商没有到全双工

[yao990]

@catror 我也想直连，但是我发现了一个新问题，只要笔记本有线和路由器一断开立马假死，插别的地方都没用，再怎么搞都没反应，但是一插上路由器立马又好了

[visitant]

@yao990 即使是 ssd 也没有这么快,这测出来的速肯定是用了 cache 了.

[cev2]

不知道你这俩硬盘已用空间占比多少，组没组 raid，50MB/s 的话 SATA 机械硬盘内圈也就这个速度。你从 NAS 里往外拷些老文件也是这个速度嘛？

[ysc3839]

建议先用 iperf3 测速看看。

[yao990]

@cev2 centos 自带的 lvm 卷组，相当于 raid0，只能看到总用量 40.8%,看不到每个硬盘各自用了多少，拷新老文件一样的速度，之前读写都是 100+，今天突然就降了，nfs 模式读 30 多，sftp 模式读 50 多，写比读稍微快一些，60+，没错，写比读还要快了，不知道哪的毛病。。

[woshijidan]

有没有可能是网线的问题?

[yao990]

@ysc3839 这是测速结果
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender
[ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver
看这个好像没啥问题，但是为啥拷文件那么慢？

[cev2]

@yao990 写比读快反过来你确定不是你笔记本的问题？
若没有第三设备测试的话，
先分别查看服务器到路由器、笔记本到路由器网口的协议速度是否正常，然后拷贝一个大文件同时观察服务器、路由器、笔记本 top 命令中各进程负载是否正常。未必是服务器的问题。
ps：你在玩 crossover 莫非是深度？截图不像呀。。

[cev2]

@cev2
@yao990 鉴于之前-_-||你用 NTFS，莫不是你又折腾文件系统了吧。

[yao990]

@woshijidan

@cloudbeyond

网线应该是没问题的，看上面测速结果

[yao990]

@cev2 没有，在想尽办法给 centos 装 microsoft office2007，于是有了 crossover，不是深度，是 centos7.。。。。
网络应该是没问题的，刚才用楼上推荐的 iperf3 测速，能达到 934Mbit/s 的速率，换句话说就是能达到 117MB/S 的网速。。。
[ ID] Interval Transfer Bandwidth Retr
[ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec 0 sender
[ 4] 0.00-45.98 sec 5.00 GBytes 934 Mbits/sec receiver

[ysc3839]

@yao990 那就说明不是网线之类的问题了。至于为什么慢，我也不知道。

[yao990]

@ysc3839 刚才单独测硬盘速度也正常，网速也没问题，莫不是系统问题？额，，，，

[yao990]

@cev2 都是闲出来的问题，用了两年一动不动，一点问题没有，，今天清个灰，就出问题了。。
过个年，我已经折腾 4 次了，第一次是给笔记本换 xfce，结果系统崩了，最后重装，第二回是给音响换电位器，结果音响聋了，还好熬夜修好了，第三回是整白菜白光，结果烙铁不加热了，后来也修好了，这是第四次了，，，，，

[gemini767]

@visitant pcie 比这还是快很多好吧.....pcie 表示存储器用不满，这锅我不背

[woshijidan]

@yao990 reboot 试试?可能是某硬盘配置 bug 了

[augustheart]

1.路由器口插得不对？
2.cat6 换成了 cat5 ？
3.硬盘出现坏道了？
4.该去武当山找张真人做个法了？（调皮）

[augustheart]

ps：硬盘刚出现坏道的时候，可能在多次重试后还是能读取出来，表现出来就是读取速度大幅下降

[visitant]

@gemini767 https://lmgtfy.com/?q=pcie+3.0+x4+%E9%80%9F%E5%BA%A6

[mateor95]

我遇到过一次类似问题，是 usb 3.0 掉成 usb 2.0 的缘故，你的不清楚🤦‍♂️

[yao990]

@woshijidan 已经 reboot 无数次了，然而无一点效果。。。

[yao990]

@augustheart 路由器还是原来的路由器，线还是原来的线，口也是原来的口，水晶头我亲手做的，。，，，硬盘坏道？？这个，我觉得不太至于，要真是硬盘坏道就惨了

[yao990]

@augustheart 等我忙完测下坏道试试，老子保佑硬盘没问题

[cev2]

@yao990 😏若真的硬盘问题岂不可以借此将 lvm 更换为 zfs 或 btrfs，定时快照防手残岂不是美滋滋。单机下用 lvm 岂不是杀鸡屠牛刀。

[yao990]

@cev2 😱😱😱😱😱好恐怖，我决定回去就测下坏道，看到底有没有问题，，，另外，nfs 下为啥比 sftp 要慢？按道理是一样的才对

[augustheart]

@yao990 希望是我敏感了，我有过惨痛的回忆。
手上曾经的某台笔记本，每天都用得好好的，某晚心血来潮装系统（那时候年轻，还有装系统的精力），然后在安装过程中蓝屏，反复几次之后非常困惑，按说已经是 win7 了，不是硬件问题不大可能蓝屏。最后检查硬盘发现，果然红了一片………………

[cev2]

@yao990 #35 按道理也不一样呀，局域网内的话：
NFS 和 SMB 默认数据都是不加密的，而 SFTP 是经过 SSL 加密的，所以如果嵌入式设备性能有限（比如路由器当 NAS ） SFTP 可能跑不满。
NFS 用 UDP/TCP 传输文件，若 挂载的块（ Linux 叫法）大小 与 TCP 包大小 与 硬盘文件系统的簇（ Windows 叫法）大小 还有 以太网的帧大小 对不起来也可能跑不满，既然你以前能跑满又没改动过的话，那问题不大。
ps：以前我在路由器上（ openwrt ）挂载硬盘开 SMB 当 NAS，用 SMB 能跑满，但 SFTP 跑不满（ CPU 不支持加密指令集，满载），但如果开启路由器的硬件 NAT 加速功能 SMB 也跑不满了。。。

[gemini767]

@visitant 点开了，所以呢？ 单 line 是双 lane，至今没看过跑满 pice 的

[bsidb]

可以看看硬盘的 S.M.A.R.T 数据，如果磁盘有坏道，会有大范围异常。

[ym1996]

感觉是硬盘的瓶颈吧

[suspended]

@visitant 你可能对现在的 ssd 有点误解。samsung nvme pm981 这种便宜货都能读 3GB/s，写 1.8GB/s 了。

[visitant]

@suspended 好吧.....但是这个 5GB/s 也太秀了,都超过 pcie3.0x4 的带宽了

[beggarvip]

挂个 ssd 上去再测

[yao990]

@augustheart 目前看来硬盘暂时是正常的，已经扫了 85%了，没发现坏道，，现在排除了硬盘和网络，那就剩系统了，可是系统会出什么问题？？

[yao990]

@cev2 好吧，我现在正在扫硬盘，从下午七点开始扫，现在扫了 85%了，暂时没发现坏道，如果硬盘和网络都被排除了，那好像就只剩下系统问题了，可是系统会出什么问题？

[yao990]

@bsidb 没看 smart，直接扫坏道，目前为止已经扫了接近 7 个小时了，完成了 85%，暂时没法玩坏道。

[optimus]

@yao990 #46 继续追踪此事，楼主更贴啊

[LiYanHong]

再找一台设备当服务器，互拷下看看，确定下是网络设备的问题还是服务器的问题

[dadachen1997]

千兆网口被识别成百兆了？

[csdreamdong]

可以先用 iperf 测下。是不是网络吞吐量的问题。。然后 dd 或者 fio 测下磁盘 io 问题

[xyjincan]

配置 smb 重新设置一下，增加点缓存

[cherryas]

可能和文件有关？表面上是大文件实际上的各种碎片文件的集合。

[laminux29]

直接用替换法不就解决了。

[deef]

你清了个灰...是不是动过网口了？重新用钳子做个头试试呢...

[yao990]

@csdreamdong 测过，吞吐量没问题，磁盘也正常
@dadachen1997 没有，正常千兆，要不然也不能到 50MB/S
@deef 试过，无效。。
@cherryas 这个不应该，因为不可能所有的文件都是碎片，而现在是所有的文件拷贝速度都降下来了。

[yao990]

@optimus
@LiYanHong
@cev2
@augustheart
最新进展
上次测了网络吞吐量，然后对硬盘进行了全盘扫描，最后发现无问题，那就剩下系统了。
那就换个系统再测，打算用 Ubuntu 试用版（像 pe 一样，无需安装就可以用），结果不知道什么原因，在笔记本上访问不到。
那就给移动硬盘里装个系统测试，先把移动硬盘现有分区缩小，腾出空间来装新系统，先用 gnome-disk 缩小，结果半路卡住了，可能是 gnome-disk 对 ntfs 支持的不好，于是分区损坏，于是换到 Windows （笔记本是双系统）下进行 chkdsk,移动硬盘是 1T 的，所以时间比较长，…………接近 10 个小时过去了，眼看快要完工了，结果，电脑突然重启了，完全没有任何预兆，，于是，前功尽弃，，然后又在服务器上换到 pe 下进行 chkdsk，又是十多个小时过去了，，这回成功了，这次在 diskgenius 下缩小分区，成功，重启，装系统，装的时候 U 盘是 uefi 格式，而移动硬盘是 mbr 分区表，装不进去，退出来，转换成 gpt，重启时发现 U 盘自带 mbr 格式，白转换了，既然已经转换了，那就继续装吧，用 uefi 启动 U 盘，安装，一切顺利，安装完成。
再测，一样的结果，那就说明不是系统问题，那是什么问题呢？我把笔记本切到 Windows 下，测试 smb 的速度，稳定 75MB/S，，，我感觉可能是我笔记本的 centos 出问题了，，我再试试用 Ubuntu 启动笔记本，连接服务器试下，希望能确定故障点。。

[yao990]

3 月 9 日更新
这两天我又找来了一台电脑，同样安装 centos 和 win10，分别和服务器、笔记本在不同的系统下进行互拷操作，发现 centos 下的结果一致，sftp 基本在 50MB/S 左右，win10 下都在 75MB/S。都达不到之前的 100MB/S。
顿时我又觉得和系统无关了，，，下午准备再找台交换机再试。

[yao990]

3 月 9 日下午
买来一台华三的 s1209f 八口千兆交换机，分别测试。
win - win，最高 75MB/S，不稳定。
centos smb - win，最高 117MB/S，同样不稳定，一会儿高了一会儿低了。
centos smb - win 中转 - win，稳定 75MB/S。
centos nfs - centos，最高 30MB/S，稳定在 24MB/S，，
centos sftp - centos 中转 - centos nfs，稳定 42MB/S。
头大了，不知道到底哪的问题。。

[webs]

隔壁老王也在拷贝占了带宽吧，或者冠希在下小电影狂写磁盘

[yao990]

3 月 10 日
升级了 nfs v4.1，依然龟速

[yao990]

@webs 没有，就我自己，没别人

[optimus]

继续关注和死磕 ing

[DUSTINTHEWIND]

亲 这边建议把灰重新涂上试试

[yao990]

@DUSTINTHEWIND 🤣🤣🤣🤣🤣这个就不必了，毕竟灰已经没了，找不回来了

[yao990]

@optimus 谢谢关注
3 月 11 日，
今天试着给服务器做端口汇聚，没成功。
然后试着给客户机设置软挂载，以解决 nfs 断线时客户机假死的问题，结果也没有成功，反而出了个新情况
，从客户机往服务器拷东西时，会出现断续的情况，就是传 3 秒，停 3 秒，再传 3 秒，再停 3 秒，就这样，直到传完。这个问题到现在依然没有解决，嗯，雪上加霜。