V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ufo22940268
V2EX  ›  Hadoop

Spark 任务运行监控工具

  •  
  •   ufo22940268 · 2017-11-14 10:21:52 +08:00 · 7299 次点击
    这是一个创建于 2545 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.

    第 1 条附言  ·  2017-11-14 13:57:19 +08:00

    我用了一个很弱智的方法解决这个问题

    1. 在jenkins 上建一个任务来跑 spark 脚本
    2. 用 ccmenu 监控 jenkins 上那个任务是否执行结束
    6 条回复    2017-11-15 10:36:48 +08:00
    Nitromethane
        1
    Nitromethane  
       2017-11-14 11:53:00 +08:00
    没有~
    tinybaby365
        2
    tinybaby365  
       2017-11-14 12:09:31 +08:00
    写个 shell
    apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'`
    配合 mac 的 say 命令,通过喇叭报警; curl 调用 pushover 手机报警
    ufo22940268
        3
    ufo22940268  
    OP
       2017-11-14 13:57:58 +08:00
    @tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我
    CallFold
        4
    CallFold  
       2017-11-14 14:45:05 +08:00
    kex0916
        5
    kex0916  
       2017-11-15 10:07:28 +08:00
    mac 上没有专门的 spark 任务监控工具
    但是 spark 自身提供了一套 REST API,可以监控 application、executor、job、task 等状态,http://spark.apache.org/docs/latest/monitoring.html#rest-api,可以从这方面入手。
    WendellSun
        6
    WendellSun  
       2017-11-15 10:36:48 +08:00
    @kex0916 流弊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   979 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 20:24 · PVG 04:24 · LAX 13:24 · JFK 16:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.