为什么 spark,hadoop 不适合你们的场景。
是考虑到 A B B A 无法判断相同？ 这种情况可以将每一条看成一个对象，重写 equals 方法啊。
又或者是考虑到资源不足？

初级：这个需求我不会做
中级：这个需求我可以做
高级：这个需求我不做

是我的话，就北京京东吧，先镀个金，生命在于奋斗

能在家远程上班感觉好爽

大连三倍是多少

我们很相似，我觉得不必要去自我否定，吾性自足，不假外求

你好，这种问题，就和 mapreduce 类似了。如果你不用 mapreduce，可以这样做（其实也是 mapreduce 的原理）
假如数据有 10G，你内存 1G， 假设比较均匀，不存在数据倾斜情况（倾斜不能太严重）。
1. 你先一行一行的读取，然后得到 key 的 hashcode， 然后对%20，得到的数是几，就写到第几个文件去。
2. 由第一步你就得到了 20 个文件了，如果数据没倾斜，大概一个就 500M， 这时候同一个 key 的肯定在同一个文件，进行处理就可以了。
3. 如果有点数据倾斜，就%30, %50 的尝试。如果某一个 key 就超过了 1G，某个 key 很大的情况下，你可以先把这个 key 过滤出来，写入到一个文件中，然后再使用布隆过滤器或者其他什么方法

C

想都不想就要去微软啊！！！！ 你不知道一个公司的品牌多重要。即使不在核心部门又怎么样，做这行肯定会跳槽，微软出来跳槽相对于头条，更加的香饽饽。

集群分布式专家， 这个要一定难度，国内大多数只会造轮子用框架，这方面人才较缺

hexo
http://dangluren.top/
欢迎关注 github

基本就是 csdn，偶尔去 github page 上写一写，不过懒得布局（没有设置好摘要）
http://dangluren.top/

才近百万条数据，就算是海量数据吗，这么点数据，mysql 检索慢和选型有关系吗？ 你直接反问他

感谢分享的经验，参考部分，但是还有很多地方和楼主看法不一样。希望大家也要保持自己的辨识与见解