消费降级，尝试把服务器放车库的省钱新玩法，顺带求更优雅的与家庭网络可控隔离方案

[ucaime]

背景

之前每年在云服务器上投入差不多 2-3w ，最近看了下数据其实访问量和稳定性要求没那么高，但存在几个问题一直不好降低配置：

• 服务特别多，一些 ES 、数据库之类的对内存要求高，单机配置不好降下来；
• 存储占比大，非常多的 OSS 文件，且流量大，带宽要求高，遇到过很多次被恶意刷流量；
• 有不少耗 CPU 的转码、计算等任务，收到过很多次轻量云的警告；
• 尝试过 ServerLess ，使用不方便，且附带的数据库、缓存等等一堆东西并不便宜；

在尝试的方案

1. 硬件

• 两台浪潮 5212m5 ，配置拉满 256g 每台内存，不含存储总价 3000 以内每台；
• 6 块 Intel 固态、16 块 希捷银河 x18 16T 拆机 SAS 硬盘（单块 950 左右，在保）；
• 2.5g 交换机 / 从家里机柜到地下室正好有个弱电通道，一根网线搞定；
• UPS 之前淘汰的，换了两组电池继续用；

2. 部署调整

• 原家里机柜两台 NAS 、各种智能家居的设备，现在准备把两台 NAS 停掉，也用地下室的服务器承载服务，硬盘全部迁移过去，本身 unraid 虚拟化迁移很方便；
• 两台服务器放在地下室，取电用了充电桩的，原因是电费无阶梯，峰谷电算下来全天不到 5 毛一度；
• 地下室通风条件极好，冬暖夏凉，噪音无感；

3. 几个核心服务

• Minio 替代 OSS ；
• PG 和 MySQL 有专用配置；
• ES 单独搞了个集群；
• K8S 作为其他服务的统一承载；
• 监控和可观测沿用朋友自己搞的开源的那套；
• 环境监测和用电分析继续用了家里在用的 HA ；
• 两张 2080ti ，做本地 AI 推理，其实可以用 P40 的，正好手头有 2080 先做测试了；

4. 最重要的

• 两台 200m 带宽轻量云，每年不到 200 块；
• 家里服务器和轻量云之间延迟 5ms 以内；
• 备案不用动；
• 两个外网 IP ；
• 轻量云和服务器之间用 WG 组网，延迟控制很好，带宽可以拉满家庭网络上行；
• 家庭网络三年没出过任何问题，且仅一次机房维修中断；
• 轻量云目前用的 iptables 直接转发端口（在尝试反向代理模式，容易触发轻量云性能警告）；
• 目前总功耗最大还不到 1000w ；

4. 效果

• 省钱
• 合计 512G 内存，四路铂金 CPU ，ESXi 随便开机器，从来没打过这么富裕的仗；
• 网络目前看来完全符合最初设想；
• 容灾方面目前没考虑完善，不过因为服务本身做好了各种备份，不担心中断；

问题

• 抱着省电、减小家里噪音的原则本来想出掉原有的各种设备，但目前遇到一个对外服务和家庭网络隔离的问题；
• 有时候需要完全隔离，避免各种外部入侵导致的家庭网络失效，有时候又需要部分服务能和家里无缝集成；
• 单纯 wg 组网的各种尝试都试过，不够完美；
• 主路由双拨，公网出口和子网划分都做了，但好像仍然存在薄弱点；

有啥好办法或者大家在这个基础上有什么新想法，更靠谱的方案可以讨论讨论！

[jdi]

也没必要把家里云迁移到地下室云吧，就还维持原样呗

[zhywang]

两台 200m 带宽轻量云，每年不到 200 块
求教这个是如何做到的？

[3IOhG7M0knRu5UlC]

放家里真的非常香，比云便宜太多了，一年电费只要 4000 左右

[lekai63]

厉害的地下室云。宽带是咋接地下室的？
不过看 op 这配置 大概是别墅。

难道是思聪家！！

[imNull]

同问 200M 的轻量云咋做到 200 块的

[billzhuang]

关键词：地下室

[hefish]

关键词：地下室 + 1

[Ansen]

快进到上传被运营商限速

[0xfb709394]

@zhywang 应该是阿里云新用户 68 块首年 200m 轻量

[heyjei]

地下室潮湿问题如何解决？

[codegenerator]

带宽不好解决，尤其是文件延迟大。可靠性太低，小区停电断网不可控

[springz]

潮湿只要一直开着机问题不大

[moyupai]

天啦 你家还有地下室和充电桩

[Markxu0]

可以考虑托管，50M 电信单线 500 左右，总的下来省心，我就是这么干的

[IsA26hN4DcQDS7Z9]

我就这么干的，夏天潮湿的时候就开除湿机

但我只下载不上传，所以和你也不大一样

[opengps]

我前东家就是在负二车库把一个储藏室改成了机房

[nananqujava]

还是不能解决断电断网后服务不可用问题, 之前我思考过类似方案, 可以以家庭主机为主, 云主机为辅, 云主机上冷部署一套和家庭主机一样的环境, 轻量云上跑个服务, 监控和观测家庭主机的服务是否在线, 假如家庭主机服务下线超过一定时间, 自动启动云主机的服务并把流量切换到云主机, 家庭主机恢复后,再切换回来, 并且把云主机的服务都下线节约钱

[bn]

是的，我也是整两台放车库了 R720xd 和 R730xd ，然后搞了一台 aws lightsail 用 openvpn tcp 组内网反向代理到家里，我倒没有隔离的需求。

[Ipsum]

稳定性不得看大流量下 isp 会不会给你拉闸。

[bigtan]

@Markxu0 这是怎么做到的

[null2error]

羡慕哦~
不知道有没有机会在老家的房子里弄一套~

[qW7bo2FbzbC0]

@Ipsum 家里宽带放了京东云两三年了，最近 Ping 值周期性异常，摘掉京东云路由器就正常了，不知道是不是电信远程施法了

[mh494078416]

我还在同城的两个家里部署了机器，算是同城双机房，加 两台同城云 vm 。通过 wireguard 组网，搭建成 k3s 集群。由 vm 里 traefik 作为流量网关，传递到 k3s 内部服务，东西向流量走 wireguard 内网通信了。
数据库、ingress 都做了主备，可以应对一个家里的断电断网，一个 vm 的故障。

[Markxu0]

@bigtan 是一个月 500 左右，一年得 6k

[mh494078416]

家庭宽带上行能到多少？
云主机和家庭主机延迟 5ms 这个怎么做到的。我的大概是 15ms

[esee]

同问轻量云这个价格怎么做到

[R4rvZ6agNVWr56V0]

我在书房里放工作站，然后接了 5G CPE 。网络断后自动切换到移动运营商的无线网络。我这里市电供应比网络还要稳。

[sgwk]

国内？还是国外？

[daimaosix]

@GooMS 卧槽，我还是用☁️吧，小主机也行，放服务器电费扛不住

[czzshr]

做好 ddns ，
轻量云、5ms 延迟、wireguard 配置都省了。
设置每天 5 点重启路由器，每天断网 1 分钟，其他时间都是稳定的。

[zsh2517]

@imNull
@zhywang 是不是前段时间阿里云出的那个 200Mbps 不限量但是据说共享带宽的那个？

https://www.google.com/search?q=site%3Av2ex.com+%E9%98%BF%E9%87%8C%E4%BA%91+%E8%BD%BB%E9%87%8F+200Mbps