V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wloverine
V2EX  ›  程序员

大数据当下都流行哪些技术栈?

  •  
  •   wloverine · 2022-04-06 23:41:54 +08:00 · 2451 次点击
    这是一个创建于 956 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在公司干了三年多的大数据,平时工作中接触到的基本就 hadoop 、spark 、hive 等框架,工作内容基本是 spark 离线处理,现在想去外面看看新的工作,但是由于自己平时没好好学习更新自己技术,所以请教各位 v 站老哥,我该学点什么新的大数据技术栈?

    3 条回复    2022-04-07 13:08:40 +08:00
    vincent7245
        1
    vincent7245  
       2022-04-07 11:00:16 +08:00
    大数据现在也很卷了,坐标北京

    传统技术
    hadoop 3.0/spark 3.0/hive 3.0/kafka 3.0 /zookeeper/hbase 新特性 /原理 /源码

    新技术
    pulsar
    flink 开发 /原理 /源码
    OLAP 技术栈 : impala+kudu /presto / doris /clickhouse
    数据湖 hudi

    架构方面
    数据中台 /大数据云原生 /全域数仓 /onedata/指标平台 等等吧,看你侧重哪个方向了
    wloverine
        2
    wloverine  
    OP
       2022-04-07 11:32:40 +08:00
    @vincent7245 谢谢!
    sadhen
        3
    sadhen  
       2022-04-07 13:08:40 +08:00
    把 Spark 研究透彻!
    目前的趋势是 Spark SQL ---> PySpark 。Data+AI 的结合是当下的热门。

    感兴趣找我内推: https://github.com/da-tubi
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   865 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 21:40 · PVG 05:40 · LAX 13:40 · JFK 16:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.