hadoop 可以两个集群之间做到每个节点之间一一对应实时同步么？

[zpole]

有 a,b 两个集群。 a 接收流数据，然后每个节点都同步到 b 。

a 的 1 节点新收的流同步到 b 的 1 ， a 的 2 到 b 的 2 。。。依次类推

然后a,b各自的修改也要能互相同步。

就是说保证 a ， b 的完全一致。

每秒几亿条。延迟秒级。

感谢各位了。然后很不幸的是。。。要求其实并没有那么高！（懵逼 ing ）经理的话不可信啊。。。跟工程师交流了一下。其实需求是这样的：
每秒大概几万条，峰值几十万条。几亿是数据的总量。
两个数据集群要互相备份，分别跑不同的计算。并且当一边的计算量特别大时要能调度到另一边去跑。
延时五分钟内。
尼玛这跟之前说的完全不一样啊！
现在各位有什么建议么？

[1957704130]

每秒几亿条，什么数据能到这个体量？

[xmoiduts]

看起来可能是金融云解决方案

[zpole]

@1957704130 好像是金融还是银行的

[wander2008]

给我 100w 我来给你解决

[wyntergreg]

每秒几亿就算是银行也是银行总部大机级别的，这事没多少人能给你解决

[czheo]

其他不说， a,b 各自的修改也要能互相同步: a,b 同时修改 conflict 怎么解决？肯定要类似 cassandra 的 eventual consistency 机制。
况且数据如何 replicate 到哪个 datanode 是是 balancer 自动控制的， a1 必须同步 b1 这种需求不理解啊。
你这个构架难度太大，改构架吧。

[czheo]

仔细想想，你这构架完全是 mysql 思维啊

[ten789]

mysql 相互主从 呵呵了

[zpole]

@ten789 大概就是人家公司的某个项目想这样做，但想不到同步机制，然后经理就四处问，然后就到我这里了。我也不是很懂，就把经理说的夸大的需求发 v2 上了。现在跟工程师交流了下把需求改对了，但方案是人家的，也不想变。。。（我就是个小菜鸟，不要打我）（逃

[zpole]

@czheo 需求已改。现在您觉得这样做可行吗？不行的话架构可以怎么改？

[wmttom]

合并成一个集群可破，存储层用一套，想要安全多开副本。感觉搞两个集群应该是为了计算资源隔离吧，但是搞一个集群也能想各种办法分配调度计算任务啊，没必要搞两个。

[zpole]

@wmttom 搞两个集群还有一个目的是一边挂掉了另一边可以跟上，保证应用的不掉线。如果只开一个集群可以做到这个要求么？怎么做？

[czheo]

@zpole 用两套集群也是浪费啊。请搜索 Hadoop High Availability ， namenode 搞 active standby 就可以解决 single point of failure 。

[czheo]

你现在的思路完全是用 mysql 思维来用 Hadoop 啊，手动一个集群同步到另一个集群的做法在 Hadoop 下设置一个 replication factor 就解决了。高可用也只要解决 namenode 的 SPOF 就行了，遇到 job failure 大不了 retry 一下。

[wph95]

@czheo 他思路没问题 airbnb 就是这么搞的， airbnb 叫 gold && silve cluster 。 可以通过这个关键词去找文章

[wph95]

不说机器规模和配置，就只说需求。
可以看看 ReAir ，觉得场景有点像
// 几亿是数据的总量, 这量一点都不多。

[czheo]

@wph95 谢谢分享，有 reair 的话，说不定 lz 这需求还真能实现。

[defunct9]

管过 600 节点 hadoop ，觉得在胡扯

[zpole]

@czheo 个人理解 active standby 里 standby 一般是不参与运算的，是用来受灾的时候恢复的。这个需求要两个数据中心双活，都能做运算。虽然有冗余但利用率更高。

[tinybaby365]

只用一个集群，提高可用性。 Hadoop 设计的目的就是不让你有如此想法。

[czheo]

@zpole 你描述的双数据中心，技术难点在于 hadoop 集群的 replicate 和 sync ， ls 已经有人有人给出 reair 这个轮子了，技术比较新，你调研下这个轮子的可行性。但是 airbnb 只做了单向的 replicate 和 sync ，和你描述的类似 circular replication 还是要再看看能不能像 mysql 一样手动回避 conflict 。

[ten789]

到底是异地容灾还是本地互备呢 异地的不会搞 本地的完全不需要 每一个数据块都分布在 n 个 datanode 上 而且 namenode 你可以再搞 m 个从

[zpole]

@ten789 是我没解释清楚。异地双活互备。

[ooonme]

hdfs 本身是分布式 高容灾的，也支持机架感知。问题是你这是异地 ， io 累死，况且异地灾备 是机房做的吧，业务还需要干预？这块不是很懂；谷歌的论文中提到他们的 GFS 支持多数据中心； but 一切大数据速度的基础是 数据不动代码动；数据跑到代码所在的机器成本得多高，几十 mb 的代码跑到数据所在的机器执行就容易多了。 v2 做大数据的人好少

[ooonme]

@zpole hdfs 已经支持 ha ，放心吧。这些问题都已经被大公司解决了

[ten789]

@zpole 如果不存在 a b 之间的同步 数据源 直接发两份呗 如果 ab 之间的同步 这个难了

[ClassicOldSong]

@zpole 说点题外话，刚刚补完石头门，然后看到了这个帖子标题里“实时”二字突然有一种奇异的感觉，点进来一看你的头像又是红莉栖。。。难道这真的是石头门的选择么 2333333333333333

[zpole]

@ClassicOldSong 这一切都是 Steins;Gate 的选择

[logo1907]

可以尝试 Kafka mirror maker，点对点同步的需求需要用 kafka low level 的 consumer 接口自己实现