Windows 系统删除大量小文件速度很慢

[lihongjie0209]

文件量大概是 100W 左右吧, 是 NTFS 的锅还是 Windows 的锅?

Linux 下删除90W小文件, 内容都是 helloWorld, 虚拟机, 机械硬盘

[root@MiWiFi-R3-srv tmp]# time rm -rf smallFiles

real	1m45.096s
user	0m0.813s
sys	1m16.760s

Windows10 删除100W小文件, 内容都是 helloWorld, 固态硬盘

PS D:\> Remove-Item -LiteralPath 'tmp' -Force -Recurse

开始时间 20:25 结束时间 我等结束后更新, 发帖时已经过去了5min还没有删除完成

windows 删除耗时 10min

[ipwx]

别的系统也会很慢。

这是文件系统的固有性质。

[lihongjie0209]

@ipwx linux 下面的简单测试

```
// 生成 10w 个空白文件
[root@MiWiFi-R3-srv smallFiles]# time touch {1..100000}.txt

real 0m5.860s
user 0m0.150s
sys 0m4.933s

// 删除 10w 个空白文件
[root@MiWiFi-R3-srv smallFiles]# time rm -rf *

real 0m3.018s
user 0m0.316s
sys 0m2.543s
```

linux 由于命令行参数的限制, 没办法生成 100W 个文件, 但是 10W 个文件的操作基本都在秒级别, 但是我上次在 windows 下操作耗时是分钟级别的, 这是为什么?

[loading]

windows 下也是命令行下测试吗？

[loading]

你要测试 ntfs，linux 挂一下就能测试。

[minami]

@lihongjie0209 #2 小文件和空白文件不一样的，网上随便搜了下：
“在 ext4 中，是以范围为单位将磁盘空间分割成多个连续的去块的。利用 ext4 的范围预分配能力，可以在几乎一瞬间完成空文件的创建。

对于为新文件保留的范围，ext4 会通过一个标志来标记其尚未被初始化。当对该标志标记的空间进行读取时，文件系统会自动返回 0 值。然而实际上并未把 0 值写入磁盘空间，从而缩短创建空文件的时间。”

[lihongjie0209]

@loading windows 是之前用 python 脚本生成的, 没有具体测试生成速度, 但是删除的时候等了好几分钟都没完成, 就没再关注了, 直接最小化到后台, 估计在删除 100W 文件 在 10min 以上

[lihongjie0209]

@minami 看一下我附言的测试结果

[ryd994]

Linux 下虚拟机是什么虚拟机？虚拟磁盘有没有 cache ？ ext4 的挂载选择是什么，有没有 journal=writeback。测试前后有没有 sync 以排除 cache 影响？
ext4 和 ntfs 都是日志文件系统，理论上应该不怕小文件删除。

[ryd994]

另外这个锅也可以是 PowerShell 的。为什么不用 del /s ？