如何低成本地搭建 hadoop、spark 等大数据集群学习

[einvince]

买了两个腾讯云等 1G1 核，发现跑不起来，默认配置太高，调来调去 demo 都 run 不起来

[defunct9]

跑不起来的，自己找台机器，用 vagrant 来吧

[user919lx]

建议自己买一台高配置电脑，开多个虚拟机。同样可以达到模拟集群的效果。

[abmin521]

建议自己买一台高配置电脑，开多个 Docker。同样可以达到模拟集群的效果。

[einvince]

@defunct9 @user919lx 得几核几 G 得机器

[defunct9]

我是用服务器，40 核，128G 内存，4T 盘

[xenme]

去搜 X79，单路或者多路吧。性能高还便宜。

[defunct9]

不用 docker 的理由，vagrant 是 kvm，跟真实环境一样，docker 是半虚拟，还略有不同
真实环境的的应该全是实机，集群大概 600 台，要考虑的也很多（从运维方面）

[depress]

我自己电脑 i7+20G 内存+500G 硬盘，开 4 个虚拟机刚好，你自己看吧...

[whatsmyip]

Spark 可以上 databricks，免费 6G，但是需要信用卡

Hadoop 的环境，可以去撸 Google cloud 的羊毛，学完以后也就用不到了，同样需要信用卡

如果没有信用卡，楼主大概是学生吧，可以联系实验室，进组学习，集群资源还是有的

[einvince]

@defunct9 厉害了，老哥，多谢分享

[einvince]

@whatsmyip Google cloud 等机器配置够吗

[einvince]

@whatsmyip 注册了个 databricks，貌似很猛等样子

[cyspy]

docker

[abmin521]

@defunct9 知乎 狗东的 hbase 都在 docker 上 他们都没有考虑到吗。。。

[bbx]

@defunct9 本地的 docker 就行。这年头还有 barebone machine 上直接跑的？ 600 个 node 不 mesos 之类的不得烦死

[bbx]

话说 spark 本地 docker compose，一个 master，一个 slave。简单到不行，google 一下估计一大堆 docker 现成的
帮你找了一个，我自己没试，不过应该问题不大
https://github.com/gettyimages/docker-spark

[MonoLogueChi]

你是实际生产还是只是用来学习，我前两天开了三个虚拟机搭了一个 Hadoop 和 spark，在我电脑上跑跑还行，但是 spark 负载搞了主机就会炸。后来我把虚拟机导出到我同学电脑上，在他那三台虚拟机刚开机，主机就已经卡得不行了。
所以说，自己想真正跑起来的话，自己花点钱去买两台实体机，或者是收点二手洋垃圾试试看吧

[yuanfnadi]

@einvince 按量付费的机器。选择竞价类型。大约 1 毛一小一台。
10 台机器价格为 1 元 1 小时。
顺便可以学习一下批量机器运维。

[owenliang]

玩的话为什么不在自己笔记本上跑。。

[yuanfnadi]

阿里云 ecs.c5.large 2 核 4g 的 机器竞价 目前价格 ￥ 0.16 /时
自己先买一台。配好环境之后保存成自定义镜像。使用 弹性伸缩 配置好一次开启 10 台和关闭 10 台 使用之前自定义的镜像。
随用随开，成本超低。

[einvince]

@bbx 谢谢，但现在的主要矛盾是机器 CPU 和内存资源有限
@yuanfnadi 老哥，你这方法有点 6，发现新大陆了，就这么搞

[startar]

学习的话，不用搭集群，搭伪分布式模式的 hadoop 就行了，毕竟你的关注点在于在于大数据处理，而不是主备高可用之类的工程问题。我家里的 4 核 16G 机器跑得很 ok。

[startar]

而且不建议用云主机。。还是太贵。自己配一台就是了。内存要尽可能大，其他无所谓

[bbx]

@einvince 目前好点的笔记本 4core 16Gb 外加 ssd 比便宜的所谓的云主机好不知道哪去。百万数据或者几个 G 左右的一台笔记本差不多就行了

[gabon]

1 核 1g。。

[yjd]

淘宝买台二手服务器。便宜

[einvince]

@yjd 666，好便宜

[autogen]

淘宝搜 X79 服务器(16 核 32 线程，64G 内存，整机 3000 元左右)或者 X58 服务器(12 核 /24 线程，48G 内存，整机 1000 元左右)