运维角度 台湾云服务器稳网互联故障定位与应急恢复流程

1.

准备与预检

- 目标：确认影响范围与关键资源。步骤：1) 获取告警时间、影响服务、客户影响范围；2) 登录监控看板（ICMP/TCP/业务指标）查看突变点；3) 列出涉事IP、域名、负载均衡、NAT、对端ASN和链路接口；4) 记录当前TTL/流量图及配置快照（路由、ACL、SG）。

2.

初步判断：本地还是上游故障

- 操作：1) 从本地和不同公网节点执行 ping/traceroute/mtr 到目标IP。命令示例：ping -c 6 1.2.3.4; traceroute 1.2.3.4; mtr -rw 1.2.3.4。2) 若多点丢包或在同一跳大幅延迟，怀疑上游或海缆；若只在本区域丢包，检查本地网络与云内安全组。3) 检查云厂商状态页与已知事件公告。

3.

主机层基础检查

- 操作：1) 登录受影响主机，查看网卡状态 ip addr show; ethtool eth0; dmesg | tail；2) 查看路由表 ip route show，确认默认网关；3) 检查防火墙/安全组规则 iptables -L -n; ufw status；4) 用 ss -tuna 或 netstat -an 查看端口监听及连接。

4.

云网络（VPC/子网/路由）检查

- 操作：1) 在云控制台核对子网路由表、NAT网关、弹性IP（Floating IP）分配；2) 确认路由表中下一跳是否被改动或黑洞路由；3) 如有私有连接（Direct Connect/Express），检查隧道状态和对等连接。

5.

负载均衡与健康检查

- 操作：1) 到负载均衡控制台查看实例健康检查结果与后端池状态；2) 对单实例直接curl以排除应用层问题 curl -v http://内网IP:端口；3) 若健康检查失败，查看后端实例日志与应用服务。

6.

DNS与解析链路核查

- 操作：1) 使用 dig/nslookup 验证A/AAAA/CNAME 解析：dig +trace 域名; dig @8.8.8.8 域名 A；2) 检查DNS TTL值与最近修改历史；3) 若使用Anycast/CDN，检查边缘节点健康及回源日志。

7.

BGP与互联链路排查

- 操作（涉及BGP时）：1) 在边界路由器上查看BGP邻居状态 show ip bgp summary 或 vtysh -c "show ip bgp summary"；2) 检查路由被撤销或被更具体路由覆盖 show ip route prefix；3) 使用外部平台（如RIPE/Looking Glass）验证全球广告情况；4) 若是对等/上游故障，准备与对端AS或ISP联络。

8.

抓包与流量分析

- 操作：1) 在受影响主机或虚拟路由器上用 tcpdump 捕获：tcpdump -i eth0 host 1.2.3.4 and port 80 -w /tmp/cap.pcap；2) 用 Wireshark 或 tshark 分析握手/RST/ICMP；3) 判断是否为中间丢包、重置、或黑洞转发。

9.

常见快速恢复选项

- 操作清单：1) 切换到预置的弹性IP/浮动IP并在DNS降低TTL后更新；2) 临时将流量导向备用Region或备用实例（LB切换或修改后端池）；3) 如BGP可控，临时announce更具体路由或降低MED/改变本地优先级；4) 在不可控上游故障情况下，通过第三方转发（如通过VPN/隧道到其他地区）恢复访问。

10.

对外沟通与工单模板

- 步骤与内容：1) 在确认影响和初步定位后立刻向客户/业务发送通知（包含影响范围、预计影响、缓解措施）；2) 向云厂商/ISP提交工单，模板应含：发生时间、影响CIDR/IP/域名、Traceroute输出、抓包摘录、监控图；3) 记录工单ID并持续追踪，必要时请求二线或厂商工程师介入。

11.

应急演练与权限预设

- 要点：1) 定期演练跨区切换、DNS回退、BGP撤销/announce 流程；2) 预先配置脚本（例如切换弹性IP、调整路由表的API脚本）并在受控环境验证；3) 明确权限边界与审批流程，确保关键时刻能快速执行。

12.

恢复后核查与事后处理

- 步骤：1) 恢复后确认业务流量正常、错误率回落、监控指标恢复到基线；2) 保存发生时的所有日志、监控图与抓包；3) 完成RCA（原因、影响、修复步骤、预防措施）并更新运维Runbook与自动化脚本。

13.

工具与脚本推荐

- 列表：1) mtr/traceroute/ping/dig/tcpdump 基本排障；2) 使用监控告警（Prometheus+Alertmanager、Grafana）与日志聚合（ELK/Graylog）；3) 准备Terraform/Ansible脚本用于快速重建网络资源与权限回滚。

14.

注意事项与最佳实践

- 要点：1) DNS TTL在变更高影响操作前应提前降低以便快速切换；2) 对关键路由使用BFD/BGP keepalive 缩短检测时间；3) 关键链路准备多家ISP和多区备份，避免单点链路失败。

15.

问：遇到台湾云区域断连但云控制台显示资源正常，我怎样快速定位？

- 答：先从外部节点和云内节点做 traceroute/mtr 找到丢包或跳点，然后在云内检查路由表与安全组，抓包确认流量是否到达实例；若跳点在云边界或ISP，查看BGP邻居与云厂商状态页并提交工单。

16.

问：如何在上游ISP出现问题时最小化业务中断？

- 答：预先准备好多家对等并配置BGP多路由；发生问题时快速announce备份更具体路由或调整本地優先级，将流量切换到备用链路，同时使用低TTL的DNS快速引导用户到备用IP或Region。

17.

问：事后复盘最重要的三件事是什么？

- 答：1) 确认并记录故障根因与触发点（RCA）；2) 更新Runbook和自动化脚本，补足演练中暴露的缺陷；3) 将监控/告警阈值与告警接收路径优化，确保下次更快定位与响应。

来源：运维角度 台湾云服务器稳网互联故障定位与应急恢复流程