架构懂点但是不彻底,长期从事 coding 工作,想转行,但是没有方向
1
MetoYou 2018-10-09 10:03:25 +08:00
大数据不是热门吗
|
2
p2pCoder 2018-10-09 10:08:00 +08:00
大数据开发 这种 种类有点多,楼主具体啥方向
|
3
wqzjk393 2018-10-09 10:14:57 +08:00
hadoop 研发调优方向?
|
4
likuku 2018-10-09 11:31:36 +08:00
难道是所谓的“调参员”?
|
5
qiuqiuer 2018-10-09 13:24:57 +08:00 via Android
国企的遗孀。。。
|
6
HGladIator 2018-10-09 13:47:17 +08:00
大数据架构很吃香的好吧 为啥要转行
|
7
Bean0cean 2018-10-09 15:00:14 +08:00
一直扣丁 也想转行 楼主写转行攻略啊..
|
9
simonqian OP @HGladIator 架構要求比較高,小公司不高興去,大公司不要我
|
10
Magic078 2018-10-09 17:43:02 +08:00
小公司业务量都达不到,我用 MySQL 都能搞定,还用个屁的 HBase,Hive。
|
11
xuanbg 2018-10-09 19:32:14 +08:00 2
大数据就是一阵风。。。小数据都没玩好,哪来的大数据需求。
|
12
MontagePa 2018-10-09 23:13:39 +08:00
来二线啊~
|
13
pmsg863 2018-10-09 23:18:54 +08:00
厦门有兴趣吗?做交通行业方面。
|
15
ren2881971 2018-10-10 09:10:25 +08:00
架构懂点但是不彻底 这句话。。。
|
16
fireapp 2018-10-10 09:42:58 +08:00 via iPhone
我干大数据主要做采集,清洗,存储,把数据合理细分,分而治之,尽量控制原始数据复制份数,然后就是 sql 一顿干,然而还真没多少技术含金量,各种框架工具的操作工🤗
|
18
fireapp 2018-10-10 10:28:38 +08:00 via iPhone 1
@simonqian 当然自己管啊,包括机器,然后直接 ambari 一套,自主可控随便玩,挨个尝试一遍😊
采集 flume,fluentd,logstash,filebeat 存储 hdfs,hive,kudu,小强 db,kafka 查询计算 spark,flink,drill |
21
lius931115 2018-10-10 11:22:22 +08:00
@fireapp 重点还是如何分而治之,这个得靠经验吧. 这难道不是个人的积累吗
|
23
fireapp 2018-10-10 13:44:03 +08:00 via iPhone
@dcoder es 内存大户没考虑他,上面都是尝试,最后都切到一套,节省资源
filebeat - kafka 然后 kafka stream 细分成多个 topic 以后的不管实时还是离线,直接拉取 Kafka 数据,处理中间结果丢到 kudu,直接提供在线查询 定期把 Kafka,kudu 中老数据卸载压缩,丢到 hdfs |
25
fireapp 2018-10-10 14:20:26 +08:00 via iPhone
@simonqian 分布式列式关系数据库啊,各种 sql 我查询啊,olap 用的,提供秒级别查询就行
redis 是做缓存的不一样东西 |
26
dcoder 2018-10-10 15:06:07 +08:00
@fireapp 看来 filebeat -> kafka 是王道, 之后怎么折腾都行.
ES maintain 起来确实麻烦了点 logstash 说实话质量很粗糙, 你们用来 parse log? 有啥代替品没? |
29
fireapp 2018-10-10 17:37:59 +08:00 via iPhone
ignite 功能太强大了,能对外提供分布式的关系数据库功能,redis,memcache,kv 数据库,计算平台,微服务平台,还有 ml,野心大了去了🤔
而 kudu 就是一个列式存储,支持二级索引,update,不支持事务,olap 用不上事务 |
32
fireapp 2018-10-11 09:37:44 +08:00 via iPhone
@Archerxx 游戏公司做大数据大部分情况是个坑啊,属于比较偏的支撑部门,可有可无,一堆乱七八糟需求,然鹅没几个人用,除了客服方面查明细多点外
|
33
Archerxx 2018-10-11 09:45:44 +08:00
@fireapp 这么坑吗。。。 我感觉网易的游戏数据量应该还是挺大的....纠结。兄弟,你觉得网易、海康、华为该怎么选,都是大数据研发,网易互娱起薪比较高,但是涨薪可能不太乐观
|