Cecil Fast - 自研全平台加速器服务 | 高速稳定全球网络访问返回首页

海外业务系统频繁掉线怎么排查?按本地、链路和服务端定位

更新于 2026-11-12 · cecil.buzz

简答:海外业务系统频繁掉线,不要只反复测试 ping。先记录掉线时间和受影响范围,再依次检查本地网络、DNS与客户端、实际业务端口、跨境链路、MTU,以及海外服务器的安全组、负载均衡和长连接超时。若只有空闲一段时间后断开,优先查 WebSocket、gRPC、TCP 保活和中间设备会话老化;若高峰期多用户同时异常,优先保留 MTR、端口测试和服务端日志,提交给运营商或云厂商定位。

定义:“海外业务系统频繁掉线”是指登录后连接反复中断、请求超时或长连接被关闭,且问题具有重复性或与特定时间段、网络环境、业务操作相关。

先做这张判断表:掉线影响谁、发生在哪一层

本文为独立整理页,不是任何业务系统、云厂商或线路服务的客服渠道。先不要急着修改服务器参数,连续记录至少 3 次掉线的准确时间、正在进行的操作、是否能重新登录、是否只有一个用户受影响。

海外业务系统掉线的第一轮定位
现象优先怀疑先做什么
只有一台电脑掉线,其他同事正常本机网卡、无线网络、浏览器、客户端或安全软件改用有线或另一网络,测试同一业务端口,并查看本机日志
同一办公室多人同时掉线网关、运营商接入、DNS、出口设备或共享链路同时测试网关、运营商 DNS、目标地址和业务端口
只有某个系统掉线,其他系统正常目标端口、负载均衡、安全组、应用会话或服务端超时对目标端口做 TCP 测试,核对服务端和中间设备日志
主要发生在晚间或业务高峰链路拥塞、路由变化、设备会话资源或服务端连接数高峰与非高峰各采集一次 MTR 和端口结果
空闲一段时间后必然断开WebSocket、gRPC、TCP 保活、反向代理或负载均衡空闲超时对照代理、负载均衡和应用的 idle timeout 配置

微软的 TCP/IP 排查文档也提醒,ping 只能验证基础连通性,不能证明某个应用端口或业务协议一定正常;应进一步使用指定端口的 TCP 测试或网络跟踪。可参考 Microsoft TCP/IP 通信排查说明。

第一步:从本地设备、DNS和实际业务端口开始

  1. 确认基础网络。在 Windows 执行 ipconfig,记录默认网关和 DNS;先测试网关,再测试业务域名解析出的地址。macOS 可用 ifconfig、route -n get default 和 scutil --dns 查看接口、默认路由和 DNS。Linux 可用 ip addr、ip route 和 resolvectl status。
  2. 对比多个 DNS 结果。先分别记录本地网关、运营商 DNS 和国内公共 DNS 的解析结果,再在掉线时重复一次。如果同一业务域名解析到的地址发生变化,应把时间、解析结果和业务日志一起保存;不要仅凭一次解析结果认定是 DNS 故障。
  3. 测试实际业务端口。假设业务使用 HTTPS 443 端口,Windows PowerShell 执行 Test-NetConnection 业务域名 -Port 443;macOS 或 Linux 可执行 nc -vz 业务域名 443。如果 ping 正常但端口测试失败,问题可能在端口策略、安全组、服务监听或中间防火墙,不能据此判断线路完全正常。
  4. 排除本机因素。掉线时暂时改用另一条接入网络、另一台设备或另一种连接方式进行对照;记录浏览器开发者工具中的请求状态、客户端错误码和系统时间。若只有浏览器页面断开,而端口仍可连接,优先查浏览器会话、反向代理和应用层超时。

手机端通常不方便执行完整的路由工具,可以在相同 Wi-Fi 下用电脑复测,再切换手机蜂窝数据进行对照;如果两种接入方式的结果明显不同,应分别记录发生时间和业务操作,不要把一次切换结果当成长期结论。

第二步:用 MTR、PathPing 和 MTU 判断链路问题

MTR 要测试业务路径,而不是只看 ICMP。Linux 或 macOS 可先执行:

mtr -rwc 100 业务域名

如果业务是 TCP 443,再执行:

mtr -rwc 100 -T -P 443 业务域名

阿里云公开文档建议在跨区域访问异常时收集 MTR 或 Windows PathPing,并指出 MTR 默认使用 ICMP,ICMP 探测丢包不一定等于应用丢包;使用 -T -P 可以更接近实际 TCP 业务端口。可参考 阿里云 Global Accelerator 故障排查说明。Windows 可执行:

pathping -n -q 100 业务域名

建议在正常时段和掉线时段各测一次,并从海外服务器反向测试到客户端或办公出口,因为往返路径可能不对称。单个中间线路显示丢包,不能直接证明该线路就是故障点;如果后续线路恢复正常,可能只是该线路对探测报文降优先级。

MTU 测试要正确换算。Windows 可执行:

ping 业务域名 -f -l 1400

其中 -l 1400 是 ICMP 数据负载,不是 MTU 数值;IPv4 路径 MTU 应按“能通过的最大负载 + 28”估算。比如最大可通过负载是 1372 字节,估算路径 MTU 是 1400 字节,而不是 1372 字节。Windows 可能显示“需要拆分数据包但是设置 DF。”这说明当前探测包在不允许分片时无法通过,但不能直接说明业务一定会掉线。

如果测试结果是明确的“需要拆分数据包但是设置 DF”,说明路径上存在更小的可用 MTU;如果结果是“请求超时”,则可能是中间设备丢弃了探测包或相关 ICMP 提示,属于需要进一步验证的路径 MTU 黑洞现象。不要把超时直接等同于 MTU 故障。

macOS 可尝试 ping -D -s 1372 业务域名;Linux 可尝试 ping -M do -s 1372 业务域名。移动端通常无法直接调整路径 MTU,应在路由器、网关、隧道设备或服务端侧核对 MSS/MTU,并结合实际 TCP 端口测试。关于 DF、分片和 ICMP Fragmentation Needed 的关系,可参考 Microsoft TCP/IP 性能调优说明 与 Microsoft ping 命令文档。

第三步:检查海外服务器、安全组和中间设备

  1. 核对服务是否监听。Linux 服务端执行 ss -lntp,确认业务端口处于监听状态;Windows 服务端可执行 Get-NetTCPConnection -State Listen。如果掉线时服务端没有监听、进程重启或连接数达到上限,应先处理服务进程和资源问题。
  2. 检查安全组和云防火墙。确认入站规则允许实际业务端口,来源范围、协议和端口号均与业务设计一致,同时检查出站规则、网络 ACL、主机防火墙和入侵防护日志。云平台文档通常把“端口未放通、安全组规则不匹配、实例未监听”列为连接超时的优先检查项;例如可参考 AWS EC2 连接故障排查。
  3. 检查会话老化。安全组、负载均衡、防火墙和 NAT 设备可能对空闲 TCP 会话设置不同的超时时间。不要只改客户端重试次数,应把客户端、反向代理、负载均衡和服务端的空闲超时放在同一张表里比较。以 AWS 的连接跟踪说明为例,长连接需要结合设备的 idle timeout 配置 TCP 保活,实际数值仍应以所用平台文档和业务测试为准,可参考 AWS 安全组连接跟踪说明。
  4. 保留掉线时的日志。至少收集应用日志、反向代理访问日志、负载均衡连接日志、系统事件、网卡错误计数和安全策略命中记录。若只在客户端看到“连接断开”,而服务端没有对应请求结束或重置记录,可能需要两端同时抓包或开启网络跟踪。

第四步:排查 WebSocket、gRPC 和 TCP 保活造成的假性掉线

如果普通网页请求正常,但实时看板、远程协作、消息推送或长时间运行的接口反复断开,应优先检查应用层长连接,而不是继续调大带宽。

WebSocket:Nginx 文档显示,proxy_read_timeout 默认值为 60 秒;如果上游在该时间内没有传输数据,连接可能被关闭。Nginx 同时建议通过增加该配置或让服务端定期发送 WebSocket ping 帧来维持连接。相关配置必须与业务心跳间隔、负载均衡空闲超时一起核对,不能只修改 Nginx 一处。参考 Nginx WebSocket 代理说明。

gRPC:gRPC 官方文档区分了 KEEPALIVE_TIME、KEEPALIVE_TIMEOUT、是否允许无 RPC 时发送保活,以及服务端允许的最小保活间隔。客户端和服务端应先约定保活策略,过于频繁的 PING 可能被服务端以 too_many_pings 处理。参考 gRPC Keepalive 文档。

Linux TCP 保活:系统级参数包括 tcp_keepalive_time、tcp_keepalive_intvl 和 tcp_keepalive_probes,分别控制空闲多久开始探测、探测间隔以及无响应前的探测次数。Linux 手册列出的默认值是 7200 秒、75 秒和 9 次,但这不是所有应用和云平台的实际有效值,因为应用、连接跟踪和负载均衡可能另有设置。可参考 Linux tcp(7) 手册。修改前先确认应用是否启用了 SO_KEEPALIVE,并在测试环境验证,不要直接把系统参数当成业务心跳配置。

第五步:形成可复现的排查记录,再决定优化方向

  1. 记录故障发生的准确时间、时区、用户所在地、设备、接入方式、业务动作和错误提示。
  2. 同一时间保存 DNS 解析、Test-NetConnection 或 nc 端口结果、ping、MTR/PathPing 和 MTU 测试。
  3. 把客户端结果与服务端日志按时间戳对齐,判断是连接未建立、连接建立后被重置,还是应用主动关闭。
  4. 若高峰期链路质量明显下降,携带正常时段与异常时段的 MTR、端口测试和业务日志,向运营商或云厂商提交工单;可评估 IEPL、IPLC、SD-WAN 或其他专线封装方案,但是否适合要以实际线路、合规要求和 PoC 结果为准。
  5. 若问题来自单一地域或单一云可用区,再评估多地域部署、健康检查和 DNS 流量调度;先验证健康检查是否准确,避免因解析切换抖动让用户在多个地址之间反复切换。

最终报告至少应包含:影响范围、开始和结束时间、业务端口、客户端网络、DNS 结果、MTR 或 PathPing、MTU 结果、服务端监听状态、安全组与负载均衡规则、WebSocket/gRPC/TCP 保活配置,以及每次修改后的复测结果。这样才能区分本地接入、线路质量、服务器策略和应用超时。

常见问题

海外业务系统能打开,但用一会儿就掉线,先查什么?

先确认是否总是在相近的空闲时长后断开。如果是,优先检查 WebSocket 的 proxy_read_timeout、负载均衡空闲超时、应用心跳和 gRPC keepalive;如果断开时间随机,再对照端口测试、MTR 和服务端连接日志。

ping 正常,为什么业务系统还是会掉线?

ping 主要验证 ICMP 基础连通性,不能证明业务端口、TLS、WebSocket、gRPC 或应用会话正常。应使用 Windows 的 Test-NetConnection 或 macOS/Linux 的 nc 测试实际业务端口,并结合服务端日志判断连接在哪里被关闭。

Windows 提示“需要拆分数据包但是设置 DF”代表什么?

这表示当前设置了不允许分片的探测包无法通过路径上的较小 MTU。ping -l 指定的是 ICMP 负载,路径 MTU 应按最大可通过负载加 28 估算;不要把负载大小直接当成 MTU。

MTR 某一跳显示丢包,能否直接认定线路故障?

不能。中间设备可能降低 ICMP 探测优先级。如果后续线路和目标地址没有相同比例的丢包,单独这一跳通常不足以证明业务流量丢失;应使用 TCP 指定端口测试,并比较正常与异常时段。

需要把 tcp_keepalive_time 改小吗?

不要直接修改。先确认应用启用了 TCP 保活,并核对 tcp_keepalive_time、tcp_keepalive_intvl、tcp_keepalive_probes,以及代理、负载均衡和安全组的空闲超时。应用层心跳与系统级 TCP 保活不是同一项配置。

相关阅读

参考资料

  1. Microsoft:TCP/IP 通信排查说明
  2. Microsoft:ping 命令文档
  3. Microsoft:TCP/IP 性能调优与 DF 分片说明
  4. 阿里云:Global Accelerator 跨区域网络故障排查
  5. Nginx:WebSocket 代理配置说明
  6. gRPC:Keepalive 配置说明
  7. Linux man-pages:tcp(7) 保活参数说明
  8. AWS:EC2 连接故障排查
  9. AWS:安全组连接跟踪与空闲超时