raid 扩容请教

[weiyan]

虚心请教各位大佬，目前有一台服务器做了 raid5 ，总共 100+TB ，单盘 14TBx12 ，还有两个槽位空着

现在存储空间不够，有 10TB 左右的缺口，想将剩下的两个硬盘槽利用起来，有两种可选方案 1.对 raid 扩容，可以增加 28TB 的容量，但是担心大容量 raid 扩容是否可靠，因为存储的数据都是实验室的实验结果，一定不能出问题（出了问题我就人头落地了！！ 2.两个槽位单独做 raid1 ， 可以买 16TB 或更大的硬盘，缺点是会浪费一半的硬盘空间。 想听一下大家的建议~

以及有个问题不知是否有人大佬了解，服务器用的阵列卡为 MegaRAID 9364-8i ，我看它的参数应该只支持 8 个通道输入，为什么现在可以给 12 个硬盘做阵列呢？谢谢大佬们！！

[my3157]

raid 能不动就不动，建议新建

[xkxwd]

1.扩容时不管可不可靠，都要做备份；
2.可能连接了附加的扩展板或其他控制器来支持更多硬盘；
3.建议新建；

[gvdlmjwje]

1.超过 32TB 还敢用 raid5 ， 胆子挺大的嘛。换我就直接买两个 32TB 的盘做 raid1 了。不过单 raid 卡做两个以上 group 是不推荐的，特别还是不同的 raid level 。
2.https://docs.broadcom.com/doc/pub-005183
1.6.2

[coolloves]

因为存储的数据都是实验室的实验结果，一定不能出问题
既然如此,没有备份,是早晚的事情啊

[life90]

不管你如何操作，建议还是要做冷备份。raid 不是备份，只是提高可靠性的手段。

[kenneth104]

Q1 ，对 raid 扩容，可以增加 28TB 的容量，但是担心大容量 raid 扩容是否可靠
A2 ，担忧正确，RAID5 随着扩大，很可能出问题，但可以数据恢复

Q2 ，服务器用的阵列卡为 MegaRAID 9364-8i ，我看它的参数应该只支持 8 个通道输入，为什么现在可以给 12 个硬盘做阵列呢？
A2 ，8 个通道是正确的，但硬盘背板还可以进一步分割共享这 8 个通道


总结方案 1 ，如你所说，加一组 RAID1
总结方案 2 ，RAID5 添加 2 块转 RAID6 ，容量可以多 14TB
总结方案 3 ，RAID5 添加 1 块转 RAID6 ，另一块单独用于热数据

本人运维人员，上面说的都操作过，严重不建议 RAID5 过大并用于稍微重要的数据

[aheadlead]

[因为存储的数据都是实验室的实验结果，一定不能出问题（出了问题我就人头落地了！！]

把方案换了吧，raid 5 这不是等着人头落地？

[weiyan]

@my3157 好的，感谢！

[weiyan]

@xkxwd 嗯嗯！准备考虑冷备的事情了

[weiyan]

@gvdlmjwje 服务器是我入学前运维设置的，我第一次看到也惊了（ 100+TB 的 raid5

[weiyan]

@coolloves 好的！

[weiyan]

@life90 好！考虑一下冷备份的事情！感谢

[weiyan]

@kenneth104 感谢回复！！和老师沟通一下，准备加一组 raid1~

[weiyan]

@aheadlead （希望等我毕业后再出问题（ bushi

[fangpeishi]

无论如何，做这次变更之前，先备份一份到其他介质。

[Eleutherios]

真猛啊 这么大这么多的盘敢组 RAID5 ，换我至少得拆成 2 个 8 盘 RAID 6 ，或者 1 个 15 盘 RAID Z3+1 热备

[weiyan]

@Eleutherios 没办法，之前的运维搞得方案，现在想换也没啥机会了

[weiyan]

@fangpeishi 好的，感谢！

[Eleutherios]

@weiyan 赶紧把数据导出来，然后重建 RAID 啊。这就是活跃期的冰岛活火山，不知道什么时候炸，但是就这两年了。

[Eleutherios]

话说 RAID5 炸盘后恢复失败数据全丢不是很常见的事么？没想到 4202 还有人在 production env 里用。

MegaRAID 9364-8i 没用过，但是 8i 指 8 SAS/SATA 盘，剩下 6 个怕不是走的主板的 SATA 口吧？空 2 个槽位是因为主板没更多 SATA 口了吧？你们该不会用的是家用主板+CPU+没 ECC 的内存吧？大学里的科研小团队自己搞的么？

[my3157]

话说想起好几年前一个 120T 的 RAID 50, 磁盘已经用了快四年了, 坏了一块盘, rebuild 的时候睡觉都睡不踏实

[wanguorui123]

企业数据还是用 RAID1/10 靠谱

[kenneth104]

先检查现在状态有没有降级，如果没监控手段，那先在服务器的相应 raid 套件里面，可以设置故障后发邮件通知的，你先设置好发到你和老师的常用邮箱。。

PS,看了眼现在正规渠道的企业硬盘，对比 21 年头，居然还涨价

[kenneth104]

@my3157 我的 raid5 用来冷备的，睡得可舒服

[Eleutherios]

OP 打个商量呗，这 RAID 的后续进展都在 V2 发发吧，感觉有乐子看了（奸笑）

[weiyan]

@Eleutherios 笑死哈哈哈哈，不过有什么消息我会发的！我也想看看这个服务器可以撑多久

[gvdlmjwje]

@Eleutherios #25 应该没乐子看了 lz 貌似直接 raid1 了🤭

[weiyan]

@Eleutherios 好！！！已经在和老师商量备份的事情了

[weiyan]

@Eleutherios 这倒不是，用的是正经服务器，超微的主板哈哈哈哈

[weiyan]

@my3157 之前有经历过几次意外断电，每次上电自检的时候我也这样，睡不踏实

[weiyan]

@kenneth104 嗯嗯，倒是没有降级（上天保佑

[Eleutherios]

@gvdlmjwje 我觉得单单是把数据导出+重建 RAID 就会有有趣的事情发生，再加上后续的旧盘复用、新盘购置、可能的配置升级（比如加个 SSD-CACHE 、万兆网口）以及配件采购，感觉会是一部帕鲁血泪史（狗头）

[Eleutherios]

@weiyan 那还行，这种不关机的 NAS ，ECC 还是挺重要的……是什么系统？ TRUENAS 或黑群晖么

[weiyan]

@Eleutherios 是 ubuntu+nfs 的方案

[YostGray]

一般冷备份除了磁带这种难用的，还有啥便宜大碗的嘛

[oColtono]

冷备份其实磁带并不难用，LTO6 磁带 2.3T 一张，就是拷贝起来麻烦，你 100T 的数据，估计得要拷 50 张磁带，LTO6 磁带机算 1600 ，50 张磁带算 50*40=2000 ，一共 3600 就能备份完这一批了，就是耗时久一点。估计得拷一个月才能拷完

[oColtono]

至于 raid ，我手上刚好有一个 8 盘位的群晖软 raid ，组的是 raid6 ，原来是插满了八块 8T ，运行了 5 年，最近刚把这堆盘挨个换成 18T 的，就是直接一块一块换，换一次重建一次 raid ，相当于重建了 8 次。每次都重建成功。

可能是我运气好，单纯觉得 raid 是有风险，但是也没大家说的那么不可靠。备份好数据以后，就安安心心折腾呗

[kenneth104]

被 OP 提醒，我又检查了一下 44 个全新企业盘的集群，都健康，并且确定 5 年保修

[mxT52CRuqR6o5]

感觉 raid 相比 zfs 已经没多少优势了
需要极致专业用 zfs ，需要极致灵活用 unraid ，raid 真有点不上不下

[busier]

胆真大 12 块盘敢用 RAID5 !

[ttyhtg]

既然是实验结果数据，赶紧抓紧时间另外至少再备份一份，不要迷信 raid5

[ttyhtg]

不要乱动

[ttyhtg]

@oColtono 我之前这样设想过，但是还没实验，感谢大佬经验之谈，以后我也这样操做一下，坏了也没事，因为我有异地备份