想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.
我用了一个很弱智的方法解决这个问题
1
Nitromethane 2017-11-14 11:53:00 +08:00
没有~
|
2
tinybaby365 2017-11-14 12:09:31 +08:00
写个 shell
apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'` 配合 mac 的 say 命令,通过喇叭报警; curl 调用 pushover 手机报警 |
3
ufo22940268 OP @tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我
|
4
CallFold 2017-11-14 14:45:05 +08:00
|
5
kex0916 2017-11-15 10:07:28 +08:00
mac 上没有专门的 spark 任务监控工具
但是 spark 自身提供了一套 REST API,可以监控 application、executor、job、task 等状态,http://spark.apache.org/docs/latest/monitoring.html#rest-api,可以从这方面入手。 |
6
WendellSun 2017-11-15 10:36:48 +08:00
@kex0916 流弊
|