大促前把线程池调到 500,结果一个异常都没人看见

引言

大促前一周做容量演练,把订单服务的核心线程池从 50 调到 500。运维在配置中心改了值,点了发布,页面显示"同步成功"。

演练当天压测,P99 还是 3 秒。查了半天才发现:线程池根本没变,还是 50。

失败日志在应用日志的 800 万行里躺着,一秒一条,被淹没了:

java.lang.IllegalArgumentException: corePoolSize > maximumPoolSize

配置中心推下来的是两个独立字段:coreSize=500、maxSize=400(运维抄错了 max)。监听器先执行 setCorePoolSize(500),当场抛异常,后面的 setMaximumPoolSize 也没走。配置中心不知道应用侧失败,应用也没把异常上报回去。

先给结论:ThreadPoolExecutor 确实支持运行时改参数,但只有三个参数能改,而且改的顺序、校验、失败回执必须自己实现——不然"动态调参"就只是一次没人知道的空操作。

一、先分清:哪些能改,哪些改不了

这一步决定了整个方案的边界,别在动手前想当然。

参数能否动态改方法改不了的后果
corePoolSize能setCorePoolSize扩容时线程数不会立刻涨满
maximumPoolSize能setMaximumPoolSize必须 ≥ 当前 core,否则抛异常
keepAliveTime能setKeepAliveTime只影响之后的空闲回收
allowCoreThreadTimeOut能同名方法缩容后 core 线程也能被回收
任务队列容量不能无队列是 final 引用,容量不可变
拒绝策略不能无handler 是 final 字段
线程工厂不能无构造后不可替换

最要命的是中间两行:队列容量和拒绝策略改不了。 很多人以为"把队列从 1 万调到 10 万"能靠动态调参完成,实际上必须重建线程池;而重建意味着队列里的任务要么丢、要么迁、要么等。

为什么 JDK 不提供这些 setter?因为它们的改动会破坏 ThreadPoolExecutor 的核心不变式:workQueue 的容量参与"是否需要新建线程"的判定,跑着改会让正在排队的任务与新容量对不上;handler 决定任务被拒时的行为,跑着改等于同一批任务在同一个池里享受两种待遇,语义上没法解释。能改的参数都是"只影响未来"的,不能改的都是"影响已有任务"的。

所以动态调参能解决的是"并发度不够",解决不了"队列太浅"和"拒绝策略太激进"。后者要改代码,不是改配置。

二、为什么不能直接换个新线程池

直觉方案是"配置变了就 new ThreadPoolExecutor(...),然后替换引用"。这个做法有两个致命问题:

第一,旧池里的任务没人管。 shutdown() 会拒绝新任务、等已有任务跑完,但如果队列里有 3 万个任务,等它跑完可能要几分钟;shutdownNow() 会中断正在执行的任务,业务直接报错。

第二,引用替换不是原子的。 其他线程可能正持有旧池的引用提交任务,替换瞬间提交的任务会进到旧池——旧池可能已经 shutdown,直接拒绝。

还有一种更隐蔽的情况:线程池被 Spring 注入到很多 Bean 里,那些 Bean 持有的是旧引用。就算你把容器里的 Bean 换了,@Async 背后的执行器、CompletableFuture 默认池、第三方组件缓存的池,都还指向旧的。"替换引用"这件事,在依赖注入的世界里根本没有一个可靠的替换点。

所以正确做法是复用同一个 ThreadPoolExecutor 实例,只调它的 setter。这也是 JDK 一直保留这些 setter 的原因。

补充一个细节:即使一定要重建,也得走"新旧并行 + 队列迁移 + 优雅停机"三步。先让新池接新任务,旧池不再接受新任务(shutdown()),再逐批把旧队列里的任务 drainTo 到新池,最后等旧池 awaitTermination。这套流程至少几十行代码,还得处理"迁移途中又来了新任务"的竞态——这也是为什么"能改参数就别重建"。

三、三步实现不停机调参

3.1 顺序:扩容先 core 后 max,缩容反过来

public synchronized void resize(int core, int max) {
    if (core < 0 || max <= 0 || core > max) {
        throw new IllegalArgumentException(
                "invalid pool size: core=" + core + ", max=" + max);
    }
    if (max > this.executor.getMaximumPoolSize()) {       // 扩容
        executor.setMaximumPoolSize(max);
        executor.setCorePoolSize(core);
    } else {                                              // 缩容
        executor.setCorePoolSize(core);
        executor.setMaximumPoolSize(max);
    }
    log.info("pool resized: core={}, max={}, active={}, queue={}",
            core, max, executor.getActiveCount(), executor.getQueue().size());
}

方向决定了顺序,原因是 JDK 的硬约束:setCorePoolSize 要求新值 ≤ 当前 maximumPoolSize,setMaximumPoolSize 要求新值 ≥ 当前 corePoolSize。扩容时先抬 max 才有空间抬 core;缩容时先降 core 才有空间降 max。 顺序反过来,两步都会抛异常。

这个方法要加锁:两个配置推送并发到达时,中间态可能触发上面那条约束。

锁的粒度要覆盖"读旧值 → 改 max → 改 core → 写日志"整段,不能只锁 setter。否则两次并发更新可能交错成 max=400, core=500 的组合,虽然每次 setter 都没抛异常,但最终状态是非法的。我们后来的做法是给 resize 方法加 synchronized,并在方法内重新读一次线程池的当前值,而不是用调用方传进来的旧值做判断。

3.2 校验:先自己算一遍,别把异常交给 JDK

core > max 这种错误必须在入口就拦住并打 ERROR 日志。JDK 抛了 IllegalArgumentException,但它只抛给调用方,配置中心永远不知道。

校验清单要包含:

  • core ≥ 0 && max > 0 && core ≤ max
  • 单次变更幅度限制(比如不超过当前值的 50%),防止误填 5000
  • 新 core 不能小于"当前正在执行的任务数"太多,否则会有一批任务卡在队列里没人接
  • 变更前记录旧值,失败时能回滚

第三条容易被忽略:activeCount 是 180,你把 core 降到 20,不会导致任务丢失(正在跑的不受影响),但队列里的任务吞吐会骤降,表现为"调完之后延迟变高"。所以缩容要参考 activeCount,扩容要参考 queued——两个方向看的是不同指标。

审计日志也要记全:谁改的、改前改后、当前 active 和 queue。出事回滚时,这几行日志就是唯一的时间线。

3.3 接入配置中心:变更要幂等、要有回执

// 以 Nacos 为例,监听器拿到最新配置后走同一个 resize 方法
@NacosConfigListener(dataId = "order.pool")
public void onPoolConfig(String json) {
    PoolConfig cfg = JsonUtil.parse(json, PoolConfig.class);
    try {
        poolManager.resize(cfg.getCore(), cfg.getMax());
        configAck.success(dataId, cfg);        // 回执:告诉配置中心本次生效
    } catch (Exception e) {
        configAck.fail(dataId, cfg, e.getMessage());
        log.error("pool resize failed, keep old config", e);
    }
}

三个要点:监听器收到的是全量配置,不是增量,所以每次都要重新校验一遍,不能假设"只改了一个字段";回执必须双向,配置中心没有回执就只能看"发布成功",看不到"应用生效";变更要幂等,同一份配置重复推送时结果必须一致。

Nacos 和 Apollo 的差异在这一点上很明显:Nacos 的监听器是"内容变化回调",拿不到"哪个字段变了";Apollo 提供 ConfigChange 对象,能拿到 oldValue/newValue,但仍然建议用全量校验——因为一次发布可能改了三个字段,逐字段处理容易漏掉组合约束。把"组合约束"当成唯一真相,比相信增量更可靠。

上线顺序也有讲究:先让应用支持热更新(此时配置不变),再在配置中心开自动刷新。反过来先开刷新、后发应用,会有一批旧实例收不到变更,看起来"更新成功但只生效了一半"。

3.4 缩小 core 时,别指望线程立刻减少

setCorePoolSize 调小时,JDK 只会中断空闲线程,正在执行任务的线程要等它自己跑完。所以调小 core 之后,还要跟上 setCorePoolSize(20) + setMaximumPoolSize(20),再调用 allowCoreThreadTimeOut(true)——让 core 线程也能超时回收。

不开 allowCoreThreadTimeOut,core 线程即使空闲也会一直存在。这是"调小了但线程数没降"的最常见原因。 开了之后,要注意每次新建线程的成本会回来——缩容是为了省资源,不是为了消灭线程。

还有一个容易被忽略的中间态:缩容瞬间如果队列里还有 1 万个任务,core 已经降到 20,那么这 1 万个任务只能靠 20 个线程慢慢消化。缩容的时机应该选在低峰、队列接近空的时候,而不是"大促一结束立刻改"。 我们那次就是因为大促刚结束、队列还有 2,000 多条,缩容后消化了 40 分钟。

四、验证:改完必须看见数字变化

调参不是"改完就算成功",要验证三件事:

第一,poolSize 真的变了。 调大 core 之后线程不是立刻创建,JDK 会按队列里现有任务数补建(最多补到 delta 个)。所以验证要看 getPoolSize(),而不是 getCorePoolSize()——后者只是配置值,前者才是真实线程数。

第二,activeCount 在压测下能上去。 如果 core 调到 500、压测时 active 始终 60,说明瓶颈不在线程池,在数据库或下游。

这里还有个"看起来生效其实没生效"的陷阱:getPoolSize() 涨上去了,但 active 一直很低,可能是因为任务提交得太快、每个任务太短——线程建了、活没干满。判断"要不要继续扩"应该看 active 贴近 poolSize 的时长占比,而不是看峰值。

第三,拒绝数没有异常增长。 调参的目的是少拒绝,改完拒绝数反而涨,说明队列或下游出了问题。

压测验证要按"同一压力、前后对比"做:同样的并发和持续时间,跑两次,看 poolSize、active、p99 三个数。如果 active 上不去、p99 也没降,说明瓶颈不在线程池——这时候继续调大 core 只是把内存和上下文切换成本加上去。我们那次演练就是活例子:配置根本没生效,再怎么压都是 50 个线程的吞吐。

# 指标配置(Micrometer + Prometheus)
management:
  metrics:
    tags:
      application: order-service
    distribution:
      percentiles-histogram:
        executor: true

ExecutorServiceMetrics 会暴露 executor.pool.size、executor.active、executor.queued、executor.completed 四个核心指标。建议把 active / pool.size > 0.8 和 queued 持续增长 做成告警,这比事后看日志有用得多。

五、避坑清单

  • 队列容量和拒绝策略改不了,想改必须重建线程池并处理存量任务。
  • 扩容先抬 max 再抬 core,缩容反过来,顺序错了必抛异常。
  • 失败必须回执给配置中心,否则"发布成功"会掩盖一次空操作。
  • 调小 core 不会立刻减线程,要配 allowCoreThreadTimeOut。
  • 验证看 getPoolSize 不看 getCorePoolSize,后者只是配置,前者才是现实。
  • 两个参数不能分两次推送,非原子更新必然产出非法组合,要么一次推全量,要么在应用侧加锁。
  • 缩容看 activeCount、扩容看 queued,方向不同,参考指标也不同。

收尾

线程池动态调参真正的难点不在 setter——那三个方法 JDK 早给了;难在顺序、校验和"失败要让人知道",这三样没人替你写。

你们的线程池参数是重启生效还是配置中心热更新?改完之后有没有对过 getPoolSize 和压测数据?

关注我,每周拆一个真实生产故障。


标题:大促前把线程池调到 500,结果一个异常都没人看见
作者:jiangyi
地址:http://www.jiangyi.space/articles/2026/11/08/1794145598742.html
公众号:服务端技术精选
    评论
    0 评论
avatar

取消