首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
问与答
HDFS 的 RAM DISK 和普通 HDD 上传速度经测试区别不大,是哪环节做错了吗?
1
cernard
·
2020-04-14 19:32:16 +08:00
· 1114 次点击
这是一个创建于 1829 天前的主题,其中的信息可能已经有所发展或是发生改变。
测试环境:
1 个 namenode,2 个 datanode (其中一个 datanode 和 namenode 一台机器)
RAM DISK 最大大小理论上配置的是 20G
测试方法:
Python 生成 1K~10G 的若干个 CSV 文件,每个文件上传 10 次,每次上传完毕后删除。
统计每个大小文件的 10 次上传平均时间
测试结果: RAM DISK 和 HDD 几乎没有速度上的区别,只有几秒的差异。
请问下造成这个结果的可能性有哪些?
Disk
上传
namenode
datanode
6 条回复
•
2020-04-15 16:58:44 +08:00
1
cernard
OP
2020-04-14 20:38:51 +08:00
忘了说了,是写入速度
2
OSDI
2020-04-14 20:48:59 +08:00
网络带宽多少呢
3
Aruforce
2020-04-14 21:06:15 +08:00 via Android
带宽小于硬盘的读写速度…?
4
cernard
OP
2020-04-14 21:47:55 +08:00
@
OSDI
#2
@
Aruforce
#3 局域网百兆带宽,暂时接的路由器
5
OSDI
2020-04-15 01:54:11 +08:00 via Android
@
cernard
是不是由单个节点发起的 I/O 测试?可以尝试多个节点并发 I/O
6
Aruforce
2020-04-15 16:58:44 +08:00
@
cernard
机械硬盘的读写速度 几乎没见过 100Mbyte/S 以下的 局域网的才 100Mbits/S....你换个 1000mbits 的网络吧
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2335 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms ·
UTC 16:07
·
PVG 00:07
·
LAX 09:07
·
JFK 12:07
Developed with
CodeLauncher
♥ Do have faith in what you're doing.