V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
simonqian
V2EX  ›  职场话题

一线大数据码农该何去何从?

  •  
  •   simonqian · 2018-10-09 09:56:05 +08:00 · 8209 次点击
    这是一个创建于 2237 天前的主题,其中的信息可能已经有所发展或是发生改变。

    架构懂点但是不彻底,长期从事 coding 工作,想转行,但是没有方向

    37 条回复    2018-10-11 22:39:26 +08:00
    MetoYou
        1
    MetoYou  
       2018-10-09 10:03:25 +08:00
    大数据不是热门吗
    p2pCoder
        2
    p2pCoder  
       2018-10-09 10:08:00 +08:00
    大数据开发 这种 种类有点多,楼主具体啥方向
    wqzjk393
        3
    wqzjk393  
       2018-10-09 10:14:57 +08:00
    hadoop 研发调优方向?
    likuku
        4
    likuku  
       2018-10-09 11:31:36 +08:00
    难道是所谓的“调参员”?
    qiuqiuer
        5
    qiuqiuer  
       2018-10-09 13:24:57 +08:00 via Android
    国企的遗孀。。。
    HGladIator
        6
    HGladIator  
       2018-10-09 13:47:17 +08:00
    大数据架构很吃香的好吧 为啥要转行
    Bean0cean
        7
    Bean0cean  
       2018-10-09 15:00:14 +08:00
    一直扣丁 也想转行 楼主写转行攻略啊..
    simonqian
        8
    simonqian  
    OP
       2018-10-09 15:20:20 +08:00
    @p2pCoder 基於業務開發 spark 程序
    simonqian
        9
    simonqian  
    OP
       2018-10-09 15:20:48 +08:00
    @HGladIator 架構要求比較高,小公司不高興去,大公司不要我
    Magic078
        10
    Magic078  
       2018-10-09 17:43:02 +08:00
    小公司业务量都达不到,我用 MySQL 都能搞定,还用个屁的 HBase,Hive。
    xuanbg
        11
    xuanbg  
       2018-10-09 19:32:14 +08:00   ❤️ 2
    大数据就是一阵风。。。小数据都没玩好,哪来的大数据需求。
    MontagePa
        12
    MontagePa  
       2018-10-09 23:13:39 +08:00
    来二线啊~
    pmsg863
        13
    pmsg863  
       2018-10-09 23:18:54 +08:00
    厦门有兴趣吗?做交通行业方面。
    Finch
        14
    Finch  
       2018-10-10 00:13:46 +08:00 via iPhone
    @xuanbg 如果是风的话,淘宝双十一怎么做到的
    ren2881971
        15
    ren2881971  
       2018-10-10 09:10:25 +08:00
    架构懂点但是不彻底 这句话。。。
    fireapp
        16
    fireapp  
       2018-10-10 09:42:58 +08:00 via iPhone
    我干大数据主要做采集,清洗,存储,把数据合理细分,分而治之,尽量控制原始数据复制份数,然后就是 sql 一顿干,然而还真没多少技术含金量,各种框架工具的操作工🤗
    simonqian
        17
    simonqian  
    OP
       2018-10-10 10:18:30 +08:00
    @fireapp 我干的活,跟你差不多,还有实时的,批量的,平台的维护,跟全栈工程师差不多了
    fireapp
        18
    fireapp  
       2018-10-10 10:28:38 +08:00 via iPhone   ❤️ 1
    @simonqian 当然自己管啊,包括机器,然后直接 ambari 一套,自主可控随便玩,挨个尝试一遍😊
    采集 flume,fluentd,logstash,filebeat
    存储 hdfs,hive,kudu,小强 db,kafka
    查询计算 spark,flink,drill
    simonqian
        19
    simonqian  
    OP
       2018-10-10 10:34:37 +08:00
    @fireapp 同路人呀!你在哪个公司
    fireapp
        20
    fireapp  
       2018-10-10 10:43:33 +08:00 via iPhone
    @simonqian 游戏公司
    lius931115
        21
    lius931115  
       2018-10-10 11:22:22 +08:00
    @fireapp 重点还是如何分而治之,这个得靠经验吧. 这难道不是个人的积累吗
    dcoder
        22
    dcoder  
       2018-10-10 11:59:55 +08:00
    @fireapp
    fluentd, logstash, filebeat 都有,
    后没没有接 ElasticSearch?
    fireapp
        23
    fireapp  
       2018-10-10 13:44:03 +08:00 via iPhone
    @dcoder es 内存大户没考虑他,上面都是尝试,最后都切到一套,节省资源
    filebeat - kafka 然后 kafka stream 细分成多个 topic
    以后的不管实时还是离线,直接拉取 Kafka 数据,处理中间结果丢到 kudu,直接提供在线查询
    定期把 Kafka,kudu 中老数据卸载压缩,丢到 hdfs
    simonqian
        24
    simonqian  
    OP
       2018-10-10 14:05:33 +08:00
    @fireapp Kudu 用的怎么样,和 redis 相比效果咋样?
    fireapp
        25
    fireapp  
       2018-10-10 14:20:26 +08:00 via iPhone
    @simonqian 分布式列式关系数据库啊,各种 sql 我查询啊,olap 用的,提供秒级别查询就行
    redis 是做缓存的不一样东西
    dcoder
        26
    dcoder  
       2018-10-10 15:06:07 +08:00
    @fireapp 看来 filebeat -> kafka 是王道, 之后怎么折腾都行.
    ES maintain 起来确实麻烦了点
    logstash 说实话质量很粗糙, 你们用来 parse log? 有啥代替品没?
    dcoder
        27
    dcoder  
       2018-10-10 15:07:57 +08:00
    @fireapp Redis 不只能做缓存,能干很多其他的事情
    simonqian
        28
    simonqian  
    OP
       2018-10-10 16:55:52 +08:00
    @fireapp kudu 是不是跟 apche ignite 提供的功能差不多
    fireapp
        29
    fireapp  
       2018-10-10 17:37:59 +08:00 via iPhone
    ignite 功能太强大了,能对外提供分布式的关系数据库功能,redis,memcache,kv 数据库,计算平台,微服务平台,还有 ml,野心大了去了🤔
    而 kudu 就是一个列式存储,支持二级索引,update,不支持事务,olap 用不上事务
    simonqian
        30
    simonqian  
    OP
       2018-10-10 18:17:49 +08:00
    @fireapp ignite 产品不成熟,有好多问题,国内没几个用这个的
    Archerxx
        31
    Archerxx  
       2018-10-11 09:15:56 +08:00
    @fireapp 你好,我目前拿到了网易互娱的数据研发 offer,请问下游戏公司做大数据前景如何?
    fireapp
        32
    fireapp  
       2018-10-11 09:37:44 +08:00 via iPhone
    @Archerxx 游戏公司做大数据大部分情况是个坑啊,属于比较偏的支撑部门,可有可无,一堆乱七八糟需求,然鹅没几个人用,除了客服方面查明细多点外
    Archerxx
        33
    Archerxx  
       2018-10-11 09:45:44 +08:00
    @fireapp 这么坑吗。。。 我感觉网易的游戏数据量应该还是挺大的....纠结。兄弟,你觉得网易、海康、华为该怎么选,都是大数据研发,网易互娱起薪比较高,但是涨薪可能不太乐观
    fireapp
        34
    fireapp  
       2018-10-11 09:46:59 +08:00 via iPhone
    @Archerxx 实时的做一些封号业务,打击下垃圾聊天,广告,外挂之类的,现在好多语音聊天又是个坑
    fireapp
        35
    fireapp  
       2018-10-11 10:02:49 +08:00 via iPhone
    @Archerxx 当然是去互联网的啊,干啥都会有坑,至少互联网的工作氛围好点,管理相对于扁平点,专心填坑挖坑就行,别的其他乱七八糟东西少点
    Archerxx
        36
    Archerxx  
       2018-10-11 11:15:38 +08:00
    @fireapp 好的,明白,多谢啦
    simonqian
        37
    simonqian  
    OP
       2018-10-11 22:39:26 +08:00
    @Archerxx 你也是在杭州?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2800 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 08:32 · PVG 16:32 · LAX 00:32 · JFK 03:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.