1
lzxz1234 232 天前
可以 iscsi 套娃?
|
2
rojer12 232 天前
用外置的硬盘供电笼子?有多的 pcie 插槽的话加个 raid 卡之类的,数据线直接连过去,供电由笼子负责
|
3
mayli 232 天前 1
是的,对于优化不好的场景,会有较大的性能损失。
能实现。 你并不需要真的机器,你可以用 vm 起 pve ,然后 vm 里搭建 ceph 集群。 |
4
sinORcos OP @rojer12 如果考虑外置硬盘的方案的话,我可能会直接上 jbod 设备了,整个洋垃圾服务器,用 hba 卡外接 jbod 设备,扩容的上限也可以增加很多,确实也考虑过这个方案
|
5
sinORcos OP @mayli Ceph 的调优大概看了一些资料,感觉非常复杂,好像也不是一个很好的办法,不是专门搞 Ceph 运维的我来弄这种架构,感觉最后只能是“能用”的水平,达不到“好用”
|
6
zx900930 232 天前 1
可以多几台 vm 起 ceph
性能损失肯定有,毕竟套 3 层娃。 所以一般拿来练习 ceph 的,即使是自己用,拿几台旧机器整个真的集群比这个靠谱多了。 因为你这个虽然逻辑上是集群,实际计算和存储都在一台机器上,是个单点。。。所以还不如普通的 raid 。 |
7
Navee 231 天前
司波图最近更了一期 pve 集群+ceph 的视频,可靠性看上去还可以,磁盘容量和和性能会有损失
|
8
njzhx 231 天前
家用搞啥的这么多存储需求。。
|
9
podel 231 天前
我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
Ceph 配置复杂。可靠性也是存疑。 |
11
libook 231 天前 1
有 PCIe 槽吗?有的话几十块钱一张 HBA 卡,浪潮拆机的硬盘笼,直接就有 12 盘位,级联还能再扩 12 盘位。
数据中心的分布式方案是建立在强大的运维部门的基础上的。 |
12
min 231 天前
硬盘也是有寿命的,不如另外搭一套,方案也简单不折腾
|
13
zx900930 231 天前 1
@sinORcos #10 个人使用,建议存储单独弄个 NAS 出来,这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失( 4k 小文件 70%Read 30%Write )对比直接 csi 接入 block storage 平均在 60%以上,瓶颈在网络上,测试时网络是 25G x2 捆绑.
对网络的要求非常非常高,网络抖动可能造成 glusterfs 脑裂-节点损坏,这时候的 file-healing 根据数据量经常是以天为时间单位计算的。 所以先弄清楚自己的需求,大文件还是小文件,读写比例,以及你是否有足够的精力来维护你的存储架构。 小建议:公司里管这些已经够累了,家用真的放过自己吧。 一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。 要扩容,买同样数量的硬盘新建一个 vdev raidz 加入池子吧,这是标准 zfs 扩容的方式。 |
14
wangbin11 231 天前 1
能用即可,你那些需求用 nvme 全都可以解决,剩下的 hdd 做数据落地,有兴趣可以留个联系方式我加你,我可以帮忙
|
15
wangbin11 231 天前
我失业了很无聊,可以留个联系方式我和你一起折腾
|
16
sinORcos OP @zx900930 我也觉得家庭搞 Ceph 太复杂了,就是想搞个可以完全无痛扩容的方案出来,看各位大佬的建议,最后可能还是选择 TrueNAS 的方案,高于服务器硬盘位的扩容就用 jbod 解决,之前 linus 搞过一个 Mother Vault ,可能就使用类似那种的方式才最适合家庭或微型公司,虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车
|
19
xinmans 231 天前
楼主不考虑 zfs 吗? 我目前用 zfs 堆了快 100T 的存储。16T*8 ,打算组两组,全部 smb 挂载使用。
|
20
phrack 231 天前 via iPhone
上集群感觉就很复杂啊,单机几十块硬盘也没问题啊,你这个 8 块硬盘还能翻几倍呢,到时候再考虑集群呗
|
21
NoOneNoBody 231 天前
好奇是什么场景要全部数据在线?
我硬盘已超过 200T ,但从没想过要全部挂上,没必要啊,每天数一遍全部文件个数么? |
22
AS4694lAS4808 231 天前 via Android
真要有多个节点,不如搞个 minio ,当 s3 桶外挂,水平随意扩展。
|
23
xiaoyuesanshui 228 天前
我真的研究过这个方案,底层用 esxi ,然后上几个 CEPH 节点
且不说三层套娃 印象里每 TB 推荐 1GB RAM,感觉不是服务器主板真的带不起这么多内存插槽 且不说家里有没有地方和噪音,电费都吃不消了 后来我认真研究了一下工作站方案,消费级 CPU ,多带几个 PCI 接口,用 PCI 转 sata 扩展出来,其实也挺香的 如果是一般家用存个剧、照片、备份啥的,有个 100T 肯定足够的 |