直接看活跃线程数的波动节奏,比只盯着平均值更能暴露突发性压力源。关键不是“有多少线程在跑”,而是“它们怎么忽高忽低”。波动本身,就是系统正在被某类不规律流量或异常行为冲击的信号。
与其盯着 activeCount 的绝对值,不如观察它的跳变模式。你猜怎么着?getActiveCount() 返回的瞬间正在执行任务的线程数,如果它长期稳定在 3~5(假设核心线程数是 6),说明负载平稳;但若频繁在 0 → 12 → 0 → 8 → 0 之间剧烈跳变,那可就值得深挖了:
- 0 → 高峰 → 0 的尖峰:大概率是定时任务批量触发(比如每分钟一次的报表生成),或是外部系统重试风暴(如下游回调失败后每秒重推 10 次)。
- 持续高位后突然归零:这往往是某个长任务卡死,导致线程阻塞,后续任务无法进入,直到超时或手动干预才释放资源。
- 高频小幅震荡(如 2↔4↔1↔5):对应的是小粒度、高频率的请求,比如健康检查接口被误配为每 200ms 轮询一次。
结合队列长度交叉验证,排除误判
但光看活跃数,很容易被误导。必须得同步采集 getQueue().size(),把它们放在一起看:
- 活跃数跳变 + 队列长度几乎为 0 → 压力来自“短平快”任务,线程刚忙完就空闲,但提交节奏极不均匀。
- 活跃数跳变 + 队列长度同步脉冲式上涨 → 说明任务处理速度跟不上提交速度,瓶颈不在线程本身,而在下游依赖(比如数据库慢查询、远程 HTTP 超时)。
- 活跃数归零但队列长度持续攀升 → 线程全部卡住(常见于锁等待、IO 阻塞、未捕获异常导致线程退出),这可是严重的阻塞信号。
定位到具体任务类型,用执行耗时反向追踪
光知道“有波动”还不够,得锁定是哪类任务在捣乱。建议在线程池的 execute 方法中加一个轻量埋点:
- 记录每个任务提交时的堆栈(可以截取前几层,比如
com.xxx.service.OrderService.submit)。 - 统计同一类任务的平均执行时间与 P95 耗时,如果某类任务的 P95 突然从 50ms 涨到 2s,并且它的提交时刻与活跃数尖峰高度重合,那基本就是根因了。
- 重点关注日志中带 “retry”、“callback”、“sync”、“report” 字样的任务,这些是突发压力的高发区。
设置动态告警阈值,避免噪音干扰
固定阈值(比如 activeCount > 10)在业务低峰期容易乱报。更管用的办法是基于窗口统计,用标准差来算:
- 计算过去 5 分钟
activeCount的标准差,如果当前值大于均值 + 3 倍标准差,触发告警。 - 监控“活跃数从 0 到峰值的上升速率”,比如 1 秒内从 0 冲到 15,这远超正常爬升节奏,直接标定为异常爆发。
- 将告警与业务指标对齐,比如订单创建接口 QPS 上涨 300% 的同时,活跃线程数脉冲式翻倍,那就能确认压力源来自该接口了。