全站成功率从 99.98% 掉到 41%,元凶是一个导出接口
引言 晚上 21:07,运营在后台点了一次"导出本月订单"。数据量 18 万条,按日期分 200 批,每一批调一次订单服务的 Dubbo 接口。 三分钟后,订单服务的成功率从 99.98% 掉到 41%,商品、库存、用户三个服务跟着一起异常——它们和订单服务在同一批 Pod 里,探针也挂了,K8s 开始滚动重启。 日志里刷的是同一行: Thread pool is EXHAUSTED! Thread Name: DubboServerHandler-10.0.3.17:20880, Pool Size: 200, Active: 200, Task: 4827133, Completed Task: 4820681 Active: 200,线程池满;Task 是个六位数——Dubbo 统计的是"累计提交任务数",不是队列长度,这一点当时把我带偏了十分钟。 结论先给:Dubbo 的线程池不是队列,是稀缺资源。默认 queues=0,200 个线程一满,新请求不是排队,是被直接拒绝——而且整个应用的所有服务共用这一个池。 一、第一反应:流量没涨,为什么 RT 涨了 50 倍 先看监控,几....