V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
SilenceLL
V2EX  ›  云计算

阿里云大早上来了个惊喜,被客户叼炸了

  •  
  •   SilenceLL · 106 天前 · 44026 次点击
    这是一个创建于 106 天前的主题,其中的信息可能已经有所发展或是发生改变。

    出问题的是我们的供应商,一层一层遭罪。

    尊敬的客户:您好! 北京时间 2025 年 06 月 06 日 02:57 ,阿里云监控发现 aliyuncs.com 域名解析出现异常。04:04 ,阿里云工程师已初步确认导致域名解析出现异常的原因并正在紧急处理中。目前受影响的云产品主要有对象存储 OSS 、内容分发网络 CDN 、容器镜像服务 ACR 、云解析 DNS 等,阿里云工程师正在采取紧急措施以缓解影响,同时我们建议您也可以将本地 localDNS server 指向 223.5.5.5/223.6.6.6 以降低业务影响。若有任何问题,请随时联系我们。

    1 、针对负载均衡 NLB, ALB ,建议客户域名直接修改成 a 记录或者 aaaa 记录调整到 LB 的 Vip 地址快速止血。 注:如果已有 cname 记录,需要将 cname 的先暂停才能增加 a 记录(否则会报冲突)。 阿里云 DNS 增加 DNS A 记录的步骤: https://help.aliyun.com/zh/dns/add-a-dns-record#b79b92b5c7dep a 记录修改成 ipv4 地址解析 aaaa 记录修改成 ipv6 地址解析 2 、客户端侧止血方法:您可以客户端修改本地 localDNS server 指向 223.5.5.5 快速止血。 客户端修改自定义 DNS 服务器地址方法: https://help.aliyun.com/zh/ecs/user-guide/how-do-i-customize-the-dns-settings-of-a-linux-instance 3 、如果您知道业务域名具体解析的 ip , 也可以手工修改客户端的 hosts 文件解析固定 ip 方法快速止血 客户端修改 hosts 方法 https://help.aliyun.com/zh/ecs/user-guide/configure-dns-resolution-for-cloud-assistant 4 、新购买的 ALB ,NLB 的 cname 别名调整到其他域名。存量历史的建议直接改 a 记录或者 aaaa 记录调整到 LB 的 Vip 地址快速止血。"

    240 条回复    2025-06-15 14:15:40 +08:00
    1  2  3  
    realpg
        201
    realpg  
    PRO
       106 天前   ❤️ 1
    @momocraft #193
    实际上 DNS 根早就可以全部国有了...
    你要是懂互联网的自治性 就很容易理解...


    @soTired #191
    不用解释这么多的, 这事儿本身就是纯纯的阴谋...
    你觉得 aws 的 s3 的域名商上要是放了个欺诈 html 会不会被直接无通知不协调就直接有法院发令转移?
    cornorj6
        202
    cornorj6  
       106 天前 via Android   ❤️ 4
    看大家都在喷阿里云,感觉对阿里云不公平。Verisign 改之前都不审核的吗?如果有人让他改 google 的他也会改吗?明明责任就在它。
    wdlth
        203
    wdlth  
       106 天前
    如果有人在 ChatGPT 上生成懂王被脑洞大开的视频,openaiusercontent.com 是不是也要被 Sink ?
    lslqtz
        204
    lslqtz  
       106 天前
    凸显大型基础设施自有控制的重要性, 越大规模的服务越应该避免不可抗力的影响, 太魔幻了. 对于超大规模的基础服务和公司来说其实还是 cn 比较好, 当然用自有根也可以.
    lslqtz
        205
    lslqtz  
       106 天前
    其实大家在上面提到了, 修改为 shadowserver 的 sinkhole 是为了分析, 那以阿里云的基础设施这么大的流量不可能分析不出来其影响范围. 而且这个域名的持有者阿里巴巴好歹也是世界五百强, 不得不阴谋论一下.
    skiy
        206
    skiy  
       106 天前
    @cornorj6 Verisign 家跟阿里云可是有合作关系的。连通知都不通知下阿里云,这合作关系要降低一个等级了。也给国内那些专注于 .com 的企业提了个醒。我看日本的大企业,基本是 co.jp 的。
    Seck
        207
    Seck  
       106 天前
    阿里的云业务啊,前天刚喷它,这就雷了。。。
    deacyn
        208
    deacyn  
       106 天前 via iPhone
    这次事件,理性角度来看,也应该不是阿里技术问题。
    1.首先影响范围太广
    2.修复时间太长

    通过这次事件也算是为未来做一次演练,为真正战斗的到来提前做好准备。
    rnaviruses
        209
    rnaviruses  
       106 天前 via Android   ❤️ 3
    @realpg 阿里 8 点是通过运营商 DNS 做了操作恢复了国内业务,由网安局直接给各省的 DNS 下了指令把域名强解到 ns3 ns4 ns5 去,集团都叫我们确认了指令执行情况
    rnaviruses
        210
    rnaviruses  
       106 天前 via Android
    @fuzzsh 8 点左右网安局给全国运营商的 dns 下了 ns 强解阿里域名到 ns3 ns4 ns5 对应 ip 的指令,并清除了缓存。阿里他们的诉求是 forward 到他们服务器
    mercury233
        211
    mercury233  
       106 天前
    @realpg #201 好像至今都没有正规媒体报导这个新闻,我觉得涉及法院之类正规流程的可能性不大
    duzhuo
        212
    duzhuo  
       105 天前
    直接偷家是真滴牛逼
    expy
        213
    expy  
       105 天前
    动手的人不了解国内政策啊,挂个备案或者反诈页面就能甩锅了。
    billccn
        214
    billccn  
       105 天前   ❤️ 2
    如果是被执法机构要求转走,Verisign 肯定不会自己背这个锅,早把指令的来源公布了,至今还没有信息我觉得不能排除是个乌龙。

    这是有前车之鉴的:之前 Google 还有域名注册业务的时候就被安全研究人员发现有漏洞,可以把 google.com 转到自己的账户下,然后就可以修改 NS 等操作了。

    aliyuncs.com 估计在万网内部和其他域名是用一套系统管理,虽然设置了不可转移但是如果系统有漏洞那肯定可以去掉标记然后再转移。他们的工程师花了两个小时才查出问题我怀疑就和这个有关。

    另外根据楼上发的 whois 信息的缓存,当该域名的还没有从 ROLR 注册商还回来的时候 WHOIS 里面的 NS 就已经恢复了,我猜测是 ROLR 特事特办配合阿里云修改的,这也表明一开始的域名转移可能不是执法机关要求的,否则解铃还须系铃人。

    这个事情可以借鉴当年广东断网事件,一开始就抛出怀疑思科路由器的阴谋论,各路媒体大肆报道,结果把思科去掉还是没解决,但剩下设备的厂商是谁死活不提,后来也没有调查结果公布,就等于默认了那个猜想。我们也来看看后面阿里发不发 root cause 吧。
    wangxiaoer
        215
    wangxiaoer  
       105 天前 via iPhone
    不是很懂,域名解析地址不是自己在域名购买方那里设置的吗?阿里有万网这个顶级域名商,按说自己的人 dns 服务也是级别较高的,怎么还会被 shadowserver 直接修改呢?
    mogutouer
        216
    mogutouer  
       105 天前
    反正我用下来 OSS 香港经常抽风,大陆经常访问不了,香港本地尤其是上传极度不稳定,CDN 开了全球也没啥用。

    并且还有一点,你的图片里面有关键字,即使是非常普通的新闻标题,他居然检测里面的关键字,把香港 OSS 当成大陆论坛发帖一样监控,检查到就给删了,原图都找不到。
    yeh
        217
    yeh  
       105 天前
    @wangxiaoer 每一个后缀的数据库和服务,都有一个维护商。比如 com net 是 versign ,.org 是 pir, cn 是 cnnic

    下面才是域名注册商,比如 aliyun 自己就是注册商,这个 aliyuncs.com 也是它自己注册的。

    注册商就是收钱,除掉自己利润后,剩下交费给后缀维护商,同时 iana 这个国际域名组织也会从中分一部分当运营经费,比如每个 com 域名每年就是给 iana (实际运行是 ICANN 在做)好像是 0.21 美元(大概值,不一定准确)的维护费

    能改 ns 记录,要么是 ali 自己改的,要么是通过 versign 改的。

    iana/icann 是国际组织,美国也早交出了权限。

    但是后缀维护商,是由实体机构,比如 versign 注册在美国,受美国法律管。


    本次不是 ali 改的,就是通过 versign 改的了。

    等公告看看到底谁改的。
    yeh
        218
    yeh  
       105 天前
    更正:

    versign 应为 verisign ,手敲习惯了。
    mytsing520
        219
    mytsing520  
    PRO
       105 天前
    @billccn
    有一点绕不过去,就是 aliyuncs.com 的域名状态是 serverDeleteProhibited 、serverTransferProhibited 和 serverUpdateProhibited ,这是注册局锁;阿里的域名管理员是副总裁级别(名义上)。
    如果需要主动解锁这个状态是需要通过邮件发指令到注册局的,并且整个加锁或解锁,需要持续 2-3 个工作日。
    Kenshiro
        220
    Kenshiro  
       105 天前 via iPhone
    @soTired V2 不给发生成内容的,你发了还不注明,隔这浑水摸鱼
    mytsing520
        221
    mytsing520  
    PRO
       105 天前
    @wangxiaoer 因为域名被转移到了其他注册商
    mytsing520
        222
    mytsing520  
    PRO
       105 天前
    @mogutouer 你在阿里云中国站购买服务,适用中国大陆法律,不管业务服务器在哪里
    gadfly3173
        223
    gadfly3173  
       105 天前 via Android
    @billccn 前面发的只改 ns 没改注册商的 whois 信息不是真实的 whois 信息,virustotal 上没有这个记录。这种情况可能是墙的大手发力了,临时覆盖了
    novaa
        224
    novaa  
       105 天前
    话说有没有赔偿
    mytsing520
        225
    mytsing520  
    PRO
       105 天前
    @gadfly3173 不是墙的问题,我同时在海外 WHOIS 平台上看到的也是同样的信息
    jja
        226
    jja  
       105 天前
    结果公共 DNS 限速,客户又出新问题。
    pike0002
        227
    pike0002  
       105 天前
    大家是不是都在忙着写事故报告
    zfzrx
        228
    zfzrx  
       105 天前 via Android
    阿里的主要业务域名被恶意解析了
    ovtfkw
        229
    ovtfkw  
       105 天前 via iPhone
    止血太口语化了
    cndns
        230
    cndns  
       105 天前 via Android
    aliyuncs.cn 好像没在阿里云手上
    wangxiaoer
        231
    wangxiaoer  
       105 天前 via iPhone
    @yeh 多谢。也就是说顶级域名( com )服务器层面的解析被修改了?

    结合其他回复,是不是说域名先从阿里名下被转移到其他组织下,然后这个组织再联系顶级域名商修改解析?
    wql
        232
    wql  
       105 天前
    @lambdaq 我在网上查到的信息貌似是,Shadowserver 在荷兰捐赠成立了一家基金会,运营“最终解决方案注册商”( RoLR ),这个基金会作为注册商有权强行把域名 takedown ,ICANN 特许的。
    mytsing520
        233
    mytsing520  
    PRO
       105 天前
    @wangxiaoer 先转移了注册商,再改权威 DNS 和解析
    yeh
        234
    yeh  
       105 天前
    @wangxiaoer 不一定要转移,不转移也是能改 ns 记录的,当然转移了更能修改。

    平时改一个域名的 ns 记录,其实就是数据提交到域名注册商,注册商再去更新维护商的数据库。
    wangxiaoer
        235
    wangxiaoer  
       105 天前 via iPhone
    @yeh
    @mytsing520 明白了,多谢两位大佬。
    ayelky
        236
    ayelky  
       104 天前
    这根本不是紧急处理啊,是慢慢处理
    mhycy
        237
    mhycy  
       104 天前   ❤️ 1
    @levelworm
    例如草台班子的 BGP ,只要配错,完全可以全网瘫痪,而 BGP 泄露这事情几乎每天都在大大小小的发生。
    BGP 这个协议的设计初衷就是相信所有 ISP 都是严格遵循各种规范的专业人士。
    也因为当时的性能限制,所以协议架构层面上并并没有什么防御止血措施。
    事实上,ISP 多的是草台班子。
    于是乎,几乎每年都有大大小小的互联网瘫痪事件。

    所以即便我们架构特别也各种价格离大谱,各种的不透明,但你有听说国内 BGP 互通问题导致断网么?
    因为我们全国一张网。
    然而事情有两面性,这是效率最低的架构。
    levelworm
        238
    levelworm  
       104 天前 via Android
    @mhycy #237
    多谢,我对网络技术真不了解。
    lambdaq
        239
    lambdaq  
       103 天前   ❤️ 1
    @wql 单独在荷兰搞一个基金会的目的就是 botnet 和 ddos 往往需要跨网协同,shadowserver 属于黑洞的实施方和数据分析的托管方。
    nook4sh
        240
    nook4sh  
       97 天前
    @soTired #174 @Livid 正常讨论中插入 AI 回复
    1  2  3  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   930 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:47 · PVG 06:47 · LAX 15:47 · JFK 18:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.