给公司配一台新的文件服务器，这配置有什么坑么？

虚拟机

extreme6

asrock

服务器

81 条回复 • 2017-07-20 18:18:14 +08:00

1

jarlyyn

OP

2015-09-24 17:01:54 +08:00

连一个吐槽都没么……

2

radio777

2015-09-24 17:16:27 +08:00

我们都是买 HP 或 dell 的服务器，自己搞可以省不少钱

3

xfspace

2015-09-24 17:17:24 +08:00 via iPad

你就不能直接上个服务器么，组装多费事时
Dell R420/R620
HP 什么的

4

jarlyyn

OP

2015-09-24 17:17:59 +08:00

@radio777

小公司内部文件服务器，相对而言不需要这么高的稳定性。

磁盘空间够大，数据安全点，就 Ok 了。

之前是 i3 8g 6*2t raid5,跑了 4 年了，也没啥问题。

5

FifiLyu

2015-09-24 17:19:03 +08:00

1

直接 dell R 系列的，性价比相对不错。不要自己组装。 dell 质量杠杠的

6

jarlyyn

OP

2015-09-24 17:21:37 +08:00

@xfspace

机架在机房，这噪音得起飞吧？

另外配置不说，您说的这两款似乎也不支持 8*3t 的 3.5 寸盘。

但还是多谢您的建议。

7

jarlyyn

OP

2015-09-24 17:21:51 +08:00

@jarlyyn

在会议室

8

sarices

2015-09-24 17:22:50 +08:00

买 dell 塔式服务器，还不错的说

9

sunyang

2015-09-24 17:22:59 +08:00

既然楼主对硬件不了解，还是直接上服务器比较好，这样坑少点。

10

nonozone

2015-09-24 17:23:20 +08:00

搞个 i3 足够了，就一个文件服务器，要这么高配置干嘛...RMB2500 的主机就行了。

11

jarlyyn

OP

2015-09-24 17:25:32 +08:00

@FifiLyu

有哪款推荐？我对比一下，谢谢。

12

jarlyyn

OP

2015-09-24 17:26:28 +08:00

@nonozone

i3 和 i7 的差距也就 1000 多点,毕竟 4 核……

13

xfspace

2015-09-24 17:30:05 +08:00 via iPad

1

@jarlyyn 服务区必然吵。。。你想安静用 HP Gen 8 。
外带一句用 Core™当服务器跑 7x24 ，做 RAID10 ，不然遇上问题，不是钱不钱了。。。我见到是血的教训🌚

14

jarlyyn

OP

2015-09-24 17:35:56 +08:00

@xfspace

谢谢建议。

能否请教下， core 当服务器跑的话， raid10 和 raid6 最大的优势是在？

rebuild 速度吗？

还是安全性？

15

radio777

2015-09-24 17:45:33 +08:00

2

@jarlyyn 服务器永远是数据安全第一，速度其次的，能异地备份最好。
RAID 6 对数据分条后，进行两次奇偶校验，校验结果存储在不同的磁盘存储块中。 RAID 10 首先对数据进行镜像，然后将数据在磁盘中条带化。
RAID 6 能防止两个磁盘同时出现故障，但是主要缺陷是磁盘故障发生后，阵列重建的时间较长。 RAID 10 比较常见一点，重建速度快，大部分控制器都支持 RAID 10 。
建议还是上至强吧， E3-1230V3 足够了。

16

GKLuke

2015-09-24 17:50:11 +08:00

1

@jarlyyn 配置看起来没什么问题，有没有人会配置懂维护的？商用服务器的优势在于售后和兼容性 7x24 稳定性。
至于 r10 和 r6 么，你觉得两块盘同时 down 的可能性大不大？两块 down 掉，所有数据完蛋。
r10 的话，若干块 down 掉都没事，只要在 r1 的边，容错性好多了，虽然 r10 利用率很低，但是数据无价。
安全性和 rebuild 速度都是优势。
还有啊，即使 r6 ，用软 raid ？基于主板 raid ？为什么不上一个列阵卡

17

jarlyyn

OP

2015-09-24 17:50:51 +08:00

@radio777

e3 1230 v3 某东和某讯都没有。

用的是哪个 cpu 真的那么重要么？我一直以为主板会更重要点呢。

18

jarlyyn

OP

2015-09-24 17:53:03 +08:00

@GKLuke

配置和维护我自己来做。

我觉得吧，两块同时 Down 掉和 8 快同时 down 掉的概率应该差不多，比如被水浇了……

数据库 /ldap 我会做热备份到云服务器上。

raid 的话我还是准备软 raid.应为似乎软 raid 只要是同一个软件(mdadm)就能使用。

列阵卡的话，必须同一芯片？

19

lecher

2015-09-24 18:39:09 +08:00 via Android

1

如果你不懂服务器的硬件性能应该如何提升，就买商用的塔式服务器放公司。
我就说几点我知道的性能提升选择，内存一定要多通道，通道越多主线总带宽越大，读写效率越高。
服务器的 CPU 没必要太高。
如果要提高磁盘读写性能，一定要买 raid 卡，软 raid 太耗 CPU ，瓶颈全在计算校验上面了。每种 raid 的读写效率和安全性是不一样的，自己根据需求做权衡。
磁盘一定要同系列同系列同系列，不然做什么 raid 。

20

GKLuke

2015-09-24 19:22:21 +08:00

1

@jarlyyn 看来 LZ 心里是想好了，硬件方面都是没有问题的，现在讨论的更多的是数据安全性，似乎 LZ 对这个安全性也不是特别在意。我个人意见就是 LZ 决定要这么干了，就要想好如果坏了，这个锅背不背得动。商业环境下，数据无价，而且又要软 raid6 ，同等条件下可靠性没有硬件 r10 来的高。希望这套存储不要坏了

21

msg7086

2015-09-24 20:29:33 +08:00

简直虾扯蛋。等我到公司了给你详细解释。

22

GeekTest

2015-09-24 20:37:07 +08:00 via Android

买一堆 SSD 做 raid 然后上 10G 网卡像 linus 那样

23

fo2w

2015-09-24 20:48:57 +08:00

1

之前的文件服务器跑了 4 年了。都是非服务器硬件，不太想让它再跑下去了。

...

然后又重新买了一堆非服务器硬件

24

crowds

2015-09-24 21:11:40 +08:00

low 到一定境界了

25

29488503878

2015-09-24 21:56:49 +08:00

HP Gen8 +8G 内存
两千出头搞定，剩下就是买硬盘的钱

26

jarlyyn

OP

2015-09-24 21:58:11 +08:00

@fo2w

然后再过 4 年再换啊……

我对硬件的信任度有限。

27

jarlyyn

OP

2015-09-24 21:59:48 +08:00

@GKLuke

锅当然背得动，我们公司也没啥我背不动的锅……

其实 raid10 也好， raid6 也好，已经属于小问题了，以数据安全问题来说，最大的问题不是 btrfs 么……毕竟 raid 的硬盘坏 2 块以上我没遇到过， btrfs 出问题我已经遇到过了

28

jarlyyn

OP

2015-09-24 22:01:04 +08:00

@29488503878

似乎加不了那么多硬盘……

29

jarlyyn

OP

2015-09-24 22:03:22 +08:00

@GKLuke

内网服务器罢了，又不跑业务，只要能在 24 小时里重建完就好了……

30

jarlyyn

OP

2015-09-24 22:04:33 +08:00

@lecher

用软 raid 主要考虑重建 raid 的话，只要同一个系统就可以了。

阵列卡万一停产的话岂不是问题很大……

31

jarlyyn

OP

2015-09-24 22:07:51 +08:00

@crowds

那也请教您一下，希望您能不厌其烦的提个 10T 的内网文件服务区方案，谢谢了。

32

lavadore

2015-09-24 22:09:07 +08:00

1

文件服务器直接上个现成的 NAS 不就行了，群晖就挺好的，省事不折腾

33

fo2w

2015-09-24 22:32:46 +08:00

1

@jarlyyn 我也比较倾向现成的多盘 NAS 解决方案
毕竟配套的管理 /维护 /监控, 以及系统预调试都做得七七八八了

说实话我对 linux kernel 对新硬件的支持一直很诟病, 兼容性或者驱动能否发挥 100%硬件性能我都打个问号
稳定性这个东西, 不是说装起来能用, 或者跑个十天半个月就算了
考验的是长期, 且不出细小的"恶心"人的问题才算数

最后, 当然, 实际情况肯定只有 LZ 了解全盘细节, 仅供参考

34

jarlyyn

OP

2015-09-24 22:45:13 +08:00

@fo2w

之前的方案跑了几年了。当中还经过一次发行版升级， debian 6->debian 7 的。

毕竟这个现在还主要是文件，主要放是放设计稿等的服务器。相应的数据库内容也会同步奥数据库上。

还是感谢您的建议。

35

msg7086

2015-09-24 22:47:46 +08:00

5

好了，详细说一下。

# 硬件篇

## 主设备

不推荐买 6 系。不超频不玩高端游戏，买 6 系做什么？
一个二手 3770 ，或者一个全新 47x0 ，都挺好的。
主板要的是扩展性。
不要纠结板载 SATA 口有多少。万一主板坏了或者换平台了，再多的 SATA 口照样只能扔掉。
不如挑一块双 PCI-E 的板子，插上 HBA 来得实在。
主板换了 HBA 照样能一直用下去，反过来 HBA 坏了也不需要扔主板。

RAID 6 就别考虑软 RAID 了，性能估计成翔了。
以及， rebuild 太不靠谱了，降低难度还是用 RAID 10 吧。
而且你现在的机器如果不扔的话，充当第二备份其实是很好用的。

## 内存

如果跑很多虚拟机的话就 i7+32G ，如果跑不多的话 32 似乎是用不完的。
然而如果对内存要求再高的话，说不定要用服务器版阿童木才行了。（比如 Avoton 之类）

## 硬盘

混着买也不是不可以，不过我还是倾向于相近的型号。
HGST 似乎故障率是比较低的，如果不差钱就直接撸一排好了。
我自己是希捷控。

## 散热

给硬盘散热很重要，建议挑那种所有硬盘都有风扇直吹的机箱。
一定要近距离机箱扇直吹的，否则很快温度就彪上 40+了。

# 软件篇

btrfs 坑还是很多，我自己曾经拿来生产用，结果最后坑回 ext4 了。
经常要你手动 rebalance 你怕不怕，不怕的话可以上→_→。

存储的话，根据你们具体情况来定吧。
单盘也可以， RAID 10 也可以，看预算看性能要求。
单盘的话可以用 SnapRAID ，其实是个挺神的东西。
RAID 10 么可靠性高但是成本也高。

定时热备到你二奶服务器上也是个不错的方案，定时 rsync 就好了。
MySQL 也可以实时 Replication 过去。

=*=*=

总之就是，如果没有特殊需要的话（比如 24x7 ），普通家用级硬件就足够了。
（何况家用级硬件我自己家里 24x7 4 年了也没见什么东西坏，除了硬盘要世代更迭以外）
电源买好点，机箱挑个能安插风扇的，别的并没什么要讲究的。

36

crazycen

2015-09-24 22:54:03 +08:00 via Android

看来企业规模不大…

37

jarlyyn

OP

2015-09-24 22:56:01 +08:00

@crazycen
20+……

38

crazycen

2015-09-24 22:56:52 +08:00 via Android

@jarlyyn 买个塔式服务器吧，毕竟有专业的 raid 卡！

39

mmmkik

2015-09-24 22:59:04 +08:00 via iPad

直接找 emc 购买不就完了，省事

40

jarlyyn

OP

2015-09-24 23:01:01 +08:00

@msg7086

非常感谢，除了 cpu 方面我没经验，基本和我之前的体验差不多。

btrfs 主要是神记一样的 subvolume,定时 snapshot,增量备份，这点对于文件服务器来说太重要了。

我们的美工们都习惯找我要某个时间点备份的文件了……

41

lazyyz

2015-09-24 23:02:18 +08:00

@msg7086 强！学到了！

42

msg7086

2015-09-24 23:07:28 +08:00

1

@crazycen 为什么不是买一张专业的 RAID / HBA 卡，而是买一个塔服再用附带的卡……

@jarlyyn btrfs 的 subvolume / snapshot 是很好用，这个是没错。
如果这样的话，开起二奶机做近线备份吧，万一文件系统驾崩至少还有的恢复不至于抓虾。

另外 HBA 的话各路论坛都推荐野生的 M1015 ，性价比很好， 100 刀内一张，该有的都有了，你可以试试。

43

jarlyyn

OP

2015-09-24 23:59:15 +08:00

@msg7086 非常感谢

44

hezhile

2015-09-25 00:42:06 +08:00

1

可以考虑 zfs+虚拟化啊，硬盘或者阵列卡直通，性能损失不大。

45

jarlyyn

OP

2015-09-25 00:45:10 +08:00

@hezhile

zfs on linux 和 btrfs 稳定性差别不大吧？

46

hezhile

2015-09-25 01:47:36 +08:00

1

@jarlyyn

呃我的意思是 zfs （ host os 或者直通） + 虚拟机（跑你的一些 linux only 的应用）
方案嘛 1 ， SmartOS （ solaris 内核原生 zfs kvm 虚拟机）
2 ， esxi （将硬盘直通给其中一台跑 freebsd 的虚拟机，再 iSCSI 或者 NFS 出来）
3 ， freenas （ freebsd 内核原生 zfs ）+virtualbox 插件

zfs 的优点还是挺多的很容易搜索到介绍
使用经历的话我自己单位（非 IT 公司）用一台很破旧的低配置台式机跑 freenas 提供网络邻居共享
同事 A 的家庭 nas 试过电源线问题烧掉一只硬盘因为是 raidz1 数据没事换上一只重建就好了

47

lecher

2015-09-25 02:03:10 +08:00

1

对于要求稳定性的服务器来说，用得起硬件解决的问题尽量用硬件解决。
软件在性能和稳定性上面，和硬件解决方案是有量级的差距的。
硬件架构上面，肯定是要根据需求进行取舍的，又要便宜又要性能和安全性最好是不可能的。

硬盘方案来说，我只说 raid 的事情。单盘不要用 raid ，不管从安全性还是读写效率上面的提升都很有限，效率还不如单盘带日志的 ext4 。做 raid 最好 4 个盘起步。
如果上面要跑虚拟机，最好算一下虚拟机系统正常运行所需的 IOPS ，再选择 raid 方案，磁盘读写速度不够，内存 cpu 配置再高也会卡成狗。
如果是存数据库文件，为了安全最好选 raid10 方案。
如果是给美工用来保存美术文件进行协作读取速度要求高一些，安全性可以降低的， raid5 方案比较合适。 raid6 也可以，冗余更好一些，不过要算两个校验，写入就要牺牲一下了。

家用机配置也带不动多少虚拟机的，主板的内存通道是主要瓶颈。不是内存大就一定能用得上，总线的带宽决定了拖得动几个虚拟机。

48

likuku

2015-09-25 02:16:42 +08:00

Dell 的塔式服务器即可。

见到 Btrfs 就习惯性吐槽。。。真不怕坑了你所有文件么？

ECC 内存的话，直接上 ZFS 吧。

49

likuku

2015-09-25 02:22:09 +08:00

2

ZFS 的成熟度，可靠性 /业内多年实际生产检验，功能丰富性，都不是目前的 Btrfs 能比较的。

zfs on linux 官网说是已经可以放心用于生产环境了。

巴特，我只有 ZFS on OpenSolaris 和 ZFS on FreeBSD 这两的小规模生产环境经验：安全可靠好用

50

likuku

2015-09-25 02:27:15 +08:00

@jarlyyn 「我们的美工们都习惯找我要某个时间点备份的文件了」

Adobe 在 CS3 里都自带了 SVN server 和 SVN client 呢... 意在给设计师推广使用版本控制系统。

51

likuku

2015-09-25 02:34:05 +08:00

1

硬盘故障率嘛...之前看到老外的一篇几乎每年更新的　主流硬盘品牌故障率统计表的可参考：

Hard Drive Reliability Update - Sep 2014 : https://www.backblaze.com/blog/hard-drive-reliability-update-september-2014/

52

radio777

2015-09-25 08:33:01 +08:00

1

@jarlyyn 做好防雷和 UPS 一般没问题，硬盘真的坏掉了恢复数据很麻烦，所以要做异地备份，最不济也拿个移动硬盘备份一下。

53

jarlyyn

OP

2015-09-25 08:39:04 +08:00 via Android

@likuku

zfs on linux 不是在内核里的，是在 fuse 里的吧？这点让我很难完全信任啊……

54

FifiLyu

2015-09-25 09:03:25 +08:00

@jarlyyn http://china.dell.com/cn/business/p/poweredge-r420/pd

根据需要，增加一些内存和硬盘即可。用 dell 不用组装，主要是省心。

55

likuku

2015-09-25 09:37:34 +08:00

@jarlyyn so,我也这么觉得 fuse 的 zfs 还不够可靠，所以当前维护的一台存储备份服务器就选的 freebsd 10.1 release 跑在 dell r520 上。

56

pubby

2015-09-25 09:43:23 +08:00 via Android

一直是 FreeBSD zfs
看读写压力适当加 SSD 做 log 或者 cache 更好

57

likuku

2015-09-25 09:52:15 +08:00

1

因为 ZFS 自身的自动校验+纠错机制，没有 ECC 内存的话，最好不要用它。

半个月前看到的这篇文章讲的很好：
Will ZFS and non-ECC RAM kill your data? | JRS Systems: the blog : http://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

58

jarlyyn

OP

2015-09-25 10:08:56 +08:00

@likuku

bsd 我是真不熟，就不给自己挖坑了……

59

likuku

2015-09-25 10:15:57 +08:00

1

另一篇肯定了 ZFS on Linux 已经足够稳定可投入生产使用的博文，供参考：

The State of ZFS on Linux · ClusterHQ : https://clusterhq.com/2014/09/11/state-zfs-on-linux/

60

likuku

2015-09-25 10:18:11 +08:00

1

@jarlyyn 其实 FreeBSD 演化很平稳有序，官方手册质量也非常高， Linux 发行版的手册里可以和它匹敌的也只有 gentoo 和 arch

当然，选择自己能掌控的是最好。

最后，商业环境里能花钱解决的就不要自己搞了。

61

holinhot

2015-09-25 10:50:43 +08:00

服务器都组装。本身就不靠谱

62

zjqzxc

2015-09-25 11:07:59 +08:00

1

1 、当服务器竟然选用 I 系列 cpu 而不是 E 系列，不能忍。
2 、如果考虑 sata 接口数量就太舍本逐末了。楼主有木有听过一个叫做 raid 卡的东西，一个 pcie 插槽请求松松扩展 8 个或更多 sata 接口，而且 raid 性能也有保证。更别说主板上还不止一个 pcie 接口。
3 、三个品牌混合，这是多想考验 raid 卡的容错能力啊。三个硬盘读写速度、响应时间都不一致， raid 卡为了能工作，最大的可能是以速度最慢的那个作为基准。其实就算有一批硬盘有先天问题，肯定不至于一下坏那么多吧。你都 raid6 了， raid5 都不怕的事儿你 6 怕啥。 raid 硬盘组出问题是要立刻马上不带犹豫去换硬盘，不是说我有 raid5 或者 6 了就可以让他带伤运行。绝对不可以。
4 、高温是硬盘的第一杀手，楼主木有提散热问题。曾经把一台家用机挂 6 硬盘（ 3T*5+250G 系统盘）跑服务器，硬盘溜溜坏，后来查原因是，发现硬盘温度普遍偏高。之前在一台 dell 服务器里面挂的时候没事儿，换过来就开始坏了。
5 、服务器别组装，出力不讨好。

63

zjqzxc

2015-09-25 11:10:00 +08:00

1

补充：软 raid 是坑（性能坑，数据安全性更坑）。。系统崩溃一次有你玩的。

64

jarlyyn

OP

2015-09-25 11:20:08 +08:00

@holinhot

https://www.v2ex.com/t/30044

65

jarlyyn

OP

2015-09-25 11:23:34 +08:00

@zjqzxc
1.E 口淘宝货和 2 手东的 I 卡，我还是选择了二手东的……
2.用软 raid 的理由我也说了。相比硬件，我更相信自由软件一点。硬件指不定哪天就停产了。如果真的觉得不行，我会在测试期再上 pcie 接口的。
3.这个我改了……
4.机箱我看了下，能上 8 硬盘的基本都有硬盘散热位的。我买的那个也有。我会在安装好后根据情况假装风扇。谢谢建议。
5.内网文件服务器……跑业务的都丢阿里云了……

66

likuku

2015-09-25 14:00:02 +08:00

补充：使用冗余配置的 ZFS 被一些资深大牛评价为比很多所谓硬件磁盘阵列柜更加可靠的方式。且不用担心硬件停产后存储坏掉替换硬盘困难的风险。

67

knktc

2015-09-25 14:10:20 +08:00

淘宝上买一台二手的 hp dl180g6 就可以了，可以插 14 块 3.5 寸盘，配双路 cpu 啥的，你的需求轻松满足

68

jarlyyn

OP

2015-09-25 14:12:00 +08:00

@knktc

我连在淘宝买新的服务器 CPU 都不放心……

69

msg7086

2015-09-25 14:20:17 +08:00 via Android

i 系怎么了，感情桌面电脑那么多遍布全球的，都是没事要算错要崩溃的 u 么。 e3 系列无非就是多个 ecc 罢了。稳定性本身就是一样的。

70

kevinreadonly

2015-09-25 14:24:42 +08:00

@jarlyyn 自己用“服务器配件”组装的稳定性比 pc 高不了多少。
公司内部使用，一台 dell 的低端机型即可，省事。

另外， dir 的 raid 卡故障率很高。

71

jarlyyn

OP

2015-09-25 14:38:18 +08:00

@kevinreadonly

普通 PC 的硬件不超频一般也没啥不稳定吧……

不稳定的一般是系统吧……

72

JerningChan

2015-09-25 14:48:46 +08:00

你不是专门的服务器,谈什么稳定呢?对吧
你 cpu 就不够 xeon 的稳定了吧?
还有内存呢?人家服务器都一定要 ecc 的...
还有散热呢?

73

likuku

2015-09-25 15:52:57 +08:00

相关参考:

71 TiB DIY NAS based on ZFS on Linux : http://louwrentius.com/74tb-diy-nas-based-on-zfs-on-linux.html

20 disk 18 TB RAID 6 storage based on Debian Linux : http://louwrentius.com/20-disk-18-tb-raid-6-storage-based-on-debian-linux.html

ZFS 和 ECC 内存:
Please use ZFS with ECC Memory : http://louwrentius.com/please-use-zfs-with-ecc-memory.html

74

kevinreadonly

2015-09-25 15:55:26 +08:00

@jarlyyn 普通 PC 一般是单电源，加装的 raid 卡也不太稳定，大概就这两点劣势。

75

kruskal

2015-09-25 16:07:34 +08:00 via Android

4790 默频 3.6 最大睿频 4.0
4790k 默频 4.0 最大睿频 4.4
jd 差价 200
即使上 i7 也没有必要选 4790 啊！

76

Explorare

2015-09-25 17:24:59 +08:00

不知道笔电上 ZFS 可行不？我之前好像看到有人的方案是 1T HDD + 128G SSD 组了 ZFS ，代码池备份 5 份，系统池三份，真心佩服。现在 2.5 吋的 HDD 都有单盘 1T 的 2T 盘了，感觉牺牲一些容量换稳定也是不错的。可惜 ZFS 不支持 Windows 平台啊。

77

maxbon

2015-09-25 17:32:14 +08:00

E5300 的破电脑当服务器用了好几年，目前稳定没出过问题。=。=

78

gamingcat1234

2015-09-25 17:36:34 +08:00

3tb 硬盘的 fail rate 据说是最高的

79

jarlyyn

OP

2015-09-25 17:48:09 +08:00

@gamingcat1234

被吓到了……

80

jianyunet

2016-05-29 23:59:40 +08:00

1

看帖学到了很多东西，我也贡献一个，怎么没人提到私有云的，用 3 台 pc 就可以搭建 Ceph 存储网络，或者 Gluster

81

jarlyyn

OP

2017-07-20 18:18:14 +08:00

更新 2017-07-20

老服务器还跑着 ldap 和 binddns

新服务器最近有过两次自动重启，然后在我手贱跑了 https://www.v2ex.com/t/376558 的测试程序后

彻底坏了，不停重启……

跟觉 asrock 的 debug 码和替换法，cpu 坏了………………这么多年了第一次看到 cpu 怀了………………

换了一台空闲办公机器的 i3 上去继续顺利的跑了。累计下线半小时左右……