V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zhoudaiyu
V2EX  ›  程序员

看到有大佬分享故障排查的过程,就觉得紧张刺激

  •  
  •   zhoudaiyu · 2021-09-08 22:20:41 +08:00 via iPhone · 5849 次点击
    这是一个创建于 1164 天前的主题,其中的信息可能已经有所发展或是发生改变。

    作为一名运维,最近看到有大佬分享排查经验,特别是线上故障排查,一步一步推理,就像看侦探小说一样,觉得紧张刺激,很兴奋。大家有这种感觉吗?

    41 条回复    2021-09-11 00:22:41 +08:00
    ericls
        1
    ericls  
       2021-09-08 22:24:26 +08:00 via iPhone
    当然有啊 工作写 feature
    休息 debug, 比游戏好玩儿
    noyidoit
        2
    noyidoit  
       2021-09-08 23:51:32 +08:00
    有,很爽

    缺陷在项目中层层传达后表现成 bug,摸清这个逻辑链跟探案似的,而这个过程越困难,弄清楚之后越爽,跟玩魂系游戏似的
    gBurnX
        3
    gBurnX  
       2021-09-08 23:53:08 +08:00   ❤️ 5
    你如果有时间,可以按照科班的课程,把知识结构体系,完整地梳理一遍。

    接着花半年时间帮大一学生改改 C 语言作业。

    然后你就不喜欢排障了。

    因为,这个阶段,排障对你来说,只是个时间问题,而且看着那帮傻子队友做的乱七八糟的设计与充满 bug 的代码,就算你排除了,也毫无成就感。
    virgoartemis
        4
    virgoartemis  
       2021-09-08 23:53:09 +08:00
    球分享链接
    chendy
        5
    chendy  
       2021-09-09 00:13:24 +08:00   ❤️ 13
    吃瓜围观的时候感觉紧张刺激
    自己要背锅,客户一遍一遍催,领导一轮一轮骂的时候就完全不一样了
    Jaosn
        6
    Jaosn  
       2021-09-09 00:26:00 +08:00
    @chendy 呜呜呜,看到你这发的,突然代入了,手心冒汗,害怕...
    learningman
        7
    learningman  
       2021-09-09 08:09:21 +08:00
    发现 bug,然后顺着链条层层摸清,还是很有成就感的
    当然要是是线上 bug 那就不一样了,那是刺激
    testerzhang
        8
    testerzhang  
       2021-09-09 08:10:17 +08:00   ❤️ 2
    少量的疑难杂症的故障,排查到自然兴奋。
    但是当大故障来临,原则就是尽快恢复业务。
    还是得老老实实完善监控,提早发觉,提早解决,相关的服务要有预案。
    dream4ever
        9
    dream4ever  
       2021-09-09 08:34:57 +08:00
    真遇到重大事故又找不着头绪的时候,心里就完全不是这种感觉了……
    Geekerstar
        10
    Geekerstar  
       2021-09-09 08:39:28 +08:00
    求分享
    defunct9
        11
    defunct9  
       2021-09-09 09:17:42 +08:00
    很刺激,说实在话很喜欢这种感觉。
    snownarrow
        12
    snownarrow  
       2021-09-09 09:18:57 +08:00   ❤️ 1
    估计是非紧急故障,还可以一步一步的慢悠悠的排查,要是遇到大故障找不到问题,还急着恢复的,客户电话打十几通,全公司领导在你座位旁边盯着你,这样的场景来几次一般人的心脏应该就炸了
    Coolxiaobai
        13
    Coolxiaobai  
       2021-09-09 10:05:00 +08:00
    链接呢,给大家瞅瞅啊
    sadfQED2
        14
    sadfQED2  
       2021-09-09 10:06:43 +08:00 via Android   ❤️ 1
    曾经在头部某电商工作,我们部门的缓存出来问题,直接全站崩了,cto 外加各级领导几十人坐我旁边等我排查问题。刺不刺激
    guyueyiren
        15
    guyueyiren  
       2021-09-09 10:07:16 +08:00
    同为运维,深有所感
    chenmobuys
        16
    chenmobuys  
       2021-09-09 10:07:24 +08:00
    排查线上的故障,确实很紧张刺激
    tusj
        17
    tusj  
       2021-09-09 10:07:38 +08:00   ❤️ 1
    多排查几次,你就会发现问题的源头都是些憨憨拉的屎。兴奋个什么劲,只是个擦屎小能手
    Mohanson
        18
    Mohanson  
       2021-09-09 10:10:05 +08:00
    因为一些伞...伞哥哥队友喜欢把所有异常 /错误都吃掉, 打条 log 就让服务继续跑(美名曰健壮性), 事故发生后上下文都找不到, 所以才有的所谓排障
    Ngink
        19
    Ngink  
       2021-09-09 10:14:46 +08:00
    当后面站着一排领导看着你找问题的时候,感觉就不一样了==
    alexsunxl
        20
    alexsunxl  
       2021-09-09 10:40:10 +08:00
    @Ngink 一般都让先恢复 /回退 重新拉起。
    只会看着你回复服务, 不会看着你找问题的。
    ElmerZhang
        21
    ElmerZhang  
       2021-09-09 10:40:29 +08:00
    习惯了就不紧张了,而且越是大故障越不能紧张,紧张容易出错。
    zhoudaiyu
        22
    zhoudaiyu  
    OP
       2021-09-09 10:47:19 +08:00 via iPhone
    Visitor233
        23
    Visitor233  
       2021-09-09 11:02:10 +08:00
    毕业那会数据库死锁修了一个月,超刺激
    Jeansh
        24
    Jeansh  
       2021-09-09 11:03:32 +08:00
    troubleshooting 不是常规工作吗?刺激啥
    salmon5
        25
    salmon5  
       2021-09-09 11:09:27 +08:00
    然并卵,没有造轮子有 KPI
    soupu626
        26
    soupu626  
       2021-09-09 11:14:31 +08:00
    当时压力巨大,背后站一堆老板,如果解决了,事后回想才能爽
    xdzhang
        27
    xdzhang  
       2021-09-09 13:07:48 +08:00
    有些时候莫名其妙的故障想死啊!头发都白了。。。
    zhanggang807
        28
    zhanggang807  
       2021-09-09 13:43:35 +08:00
    @gBurnX 严重同意
    nmap
        29
    nmap  
       2021-09-09 14:30:41 +08:00
    很费脑子,精神压力极大,年龄大点的干这个当心猝死
    echo1937
        30
    echo1937  
       2021-09-09 14:33:56 +08:00
    如何是非线上故障倒还好,线上故障更多是怕,

    重大故障多来几次,运维部门 的 KPI 就会被打低分。

    排障压力大,爆发时间又不可控,干久了听到夜半电话就瘆得慌。
    pusheax
        31
    pusheax  
       2021-09-09 14:59:51 +08:00
    信息安全行业欢迎你。
    溯源排查,应急响应,重保值守更加刺激,就是耗头发。
    zhoudaiyu
        32
    zhoudaiyu  
    OP
       2021-09-09 15:18:21 +08:00 via iPhone   ❤️ 1
    @pusheax 兄弟,你别说,我参与过护网行动,和总公司的信安兄弟值班,最爽的就是和红方斗智斗勇,甚至还🎣红方真的太爽了,但是信安的大佬们的屁股就像粘椅子上了,我是受不了他们那样的工作强度
    JohnChang
        33
    JohnChang  
       2021-09-09 15:43:29 +08:00
    我的成名之作是在大学网管会,去女宿舍修网,学长一通操作猛如虎,各种命令行搞不定,最后我弱弱地说「是不是没插网线?」
    收获无数女同学崇拜的目光。
    zhoudaiyu
        34
    zhoudaiyu  
    OP
       2021-09-09 15:49:21 +08:00 via iPhone
    @zyzhang0417 不如叫女大学生网管会🐶,所以修完了脱单了吗
    flysp
        35
    flysp  
       2021-09-09 15:56:52 +08:00
    不能评论
    onionlc
        36
    onionlc  
       2021-09-09 16:07:54 +08:00
    运维排障?
    大故障或者领导重视的,信不信 大领导就站你身后盯着你操作,架构师时刻和你保持在线联系,头大。
    小故障,哦,没人理你。。
    openbsd
        37
    openbsd  
       2021-09-09 17:59:51 +08:00
    某个功能键按下去了没弹起来
    bk201
        38
    bk201  
       2021-09-09 18:34:46 +08:00
    要是线上问题,别人催的紧,估计都想砸显示器吧。
    israinbow
        39
    israinbow  
       2021-09-09 22:22:22 +08:00
    同感, 现在最喜欢看的文字内容就剩事故报告了
    dany813
        40
    dany813  
       2021-09-10 09:58:12 +08:00
    过于刺激
    rencoo
        41
    rencoo  
       2021-09-11 00:22:41 +08:00
    入职 4 个多月,还没转正,造了个 p1 bug 。基本都是先定位到可能出问题的代码,然后回滚。之后线下复现,重新上线
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   957 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 21:33 · PVG 05:33 · LAX 13:33 · JFK 16:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.