罗罗编程学习记录
本页内容 展开查看

06.5.6.12 协程并发控制与超时取消

所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.6 Swoole

06.5.6.12-001 为什么需要在业务侧限制协程并发?

一句话结论

调度器不限制协程总数,无上限派生协程会把内存、连接、文件描述符与下游服务打满;业务必须按资源预算控制同时在跑的协程数,而不是依赖运行时兜底。

概念解释

协程轻量不等于免费:每个协程有栈与上下文开销,每个并发请求还持有堆对象、连接与缓冲区。循环里直接 go() 处理大批量任务时,协程数随任务量线性增长,瞬时堆积后触发 OOM、fd 耗尽或下游拒绝。并发上限需要与连接池容量、Worker 数、下游承载能力一起规划。

原理流程

  1. 确定任务总量与目标并发度、内存与连接预算。
  2. 引入信号量/计数结构控制同时在跑的协程数。
  3. 协程入口获取配额,出口释放配额。
  4. 压测观察内存、延迟与下游负载,回调并发上限。

代码或图示

use Swoole\Coroutine;
use Swoole\Coroutine\Channel;

$limit = new Channel(8); // 信号量:容量即并发上限
for ($i = 0; $i < 100; $i++) {
    go(function () use ($limit, $i) {
        $limit->push(1); // 获取配额
        echo "task {$i} running\n";
        $limit->pop();   // 释放配额
    });
}

常见误区

  • 以为协程轻就可以无限开:堆对象与连接开销往往大于栈开销。
  • 只限制协程数不限制连接数:协程降下来了,下游连接仍可能被打满。

追问

  • 并发上限怎么定?答:结合 CPU、内存、下游连接数与压测延迟分位值,取保守值并留余量。
  • 信号量用 Channel 还是 Atomic?答:Channel 承载阻塞等待与容量语义,Atomic 只做计数;阻塞排队场景优先 Channel。

06.5.6.12-002 批量创建协程有哪些常见模式与风险?

一句话结论

批量并发分“一次性全量派生”与“限量分批派生”两种模式;全量模式只适合任务量小、资源充足的场景,大批量任务必须限量排队,避免瞬时协程风暴。

概念解释

全量派生:循环内为每个任务 go(),所有协程同时进入调度队列,实现简单但无并发约束。限量模式:信号量控制在跑数量,协程处理完再放下一批。风险点:任务数组过大导致闭包捕获堆积、结果集全部保留在内存、部分协程失败拖垮整体编排。批量场景需同时控制并发度、结果收集量与错误处理策略。

原理流程

  1. 拆分任务列表,估算单任务资源占用。
  2. 小批量:全量派生,Channel 收集结果。
  3. 大批量:信号量限量,处理完一个补一个。
  4. 汇总结果前控制保留数量,避免结果集撑爆内存。

代码或图示

use Swoole\Coroutine\Channel;

$tasks = range(1, 50);
$limit = new Channel(5);   // 并发上限
$results = new Channel(50); // 结果收集通道

foreach ($tasks as $task) {
    go(function () use ($limit, $results, $task) {
        $limit->push(1);
        $results->push($task * 2); // 示意结果
        $limit->pop();
    });
}

常见误区

  • 任务列表与结果数组都在主协程无限累积:并发与结果双重内存压力。
  • 闭包捕获大对象按引用共享:可变状态被多协程并发修改。

追问

  • 分批派生与限量信号量等价吗?答:分批是固定批次切换,信号量是动态补位;后者吞吐更平滑,适合任务耗时不均的场景。
  • 任务量未知时怎么保护?答:入口先限流,队列缓冲设上限;超出部分落库或拒绝,不进进程内存排队。

06.5.6.12-003 用 Channel 实现并发信号量的原理是什么?

一句话结论

固定容量 Channel 充当令牌桶:协程先 push 占用一个令牌位,处理完 pop 归还;通道满时后续协程挂起等待,从而把并发数约束在通道容量以内。

概念解释

Channel 的容量即最大并发数。push 在通道满时阻塞挂起当前协程,直到有位置腾出;pop 取出令牌并释放位置。与计数信号量相比,Channel 自带协程友好的排队与唤醒,不会用进程阻塞锁卡住 Worker。令牌位本身不携带数据,只表达配额。

原理流程

  1. 创建容量为 N 的 Channel,作为信号量。
  2. 协程开始前 push 占位:通道未满则通过,满则挂起排队。
  3. 业务执行期间持有配额。
  4. 结束时 pop 释放位置,唤醒排队协程。

代码或图示

use Swoole\Coroutine\Channel;

$sem = new Channel(3); // 最多 3 个并发
go(function () use ($sem) {
    $sem->push(1);        // 获取令牌
    try {
        // 并发受限的业务逻辑
    } finally {
        $sem->pop();     // 归还令牌
    }
});

常见误区

  • 异常路径漏归还令牌:配额永久占用,并发逐步降为 0。
  • 把信号量 Channel 当结果通道混用:占用与收集语义互相干扰。

追问

  • 信号量需要超时吗?答:需要。等待令牌超时应快速失败,避免协程永久挂在队列上;超时参数以 Channel 版本行为为准。
  • 多组不同并发度的任务怎么隔离?答:每组任务独立信号量,避免互相挤占配额。

06.5.6.12-004 WaitGroup 式等待如何实现?

一句话结论

等待全部子协程完成的常见做法是用 Channel 计数回传:每个子协程结束后向通道发完成信号,主协程按任务数读取完所有信号后继续;扩展是否提供内置 WaitGroup 类需按版本核对,标注待确认。

概念解释

父子协程默认不互相等待:主协程返回不会阻塞子协程。WaitGroup 编排需要显式同步:子协程完成时通知主协程,主协程等待计数归零。Channel 方案用容量等于任务数的结果/完成通道,主协程循环 pop 直到收齐。部分版本可能提供封装好的等待组类,类名与方法签名以官方文档为准,未确认前用 Channel 实现兜底。

原理流程

  1. 创建完成信号 Channel,容量匹配任务数。
  2. 派生全部子协程,每个结束时 push 完成信号。
  3. 主协程循环读取任务数次完成信号。
  4. 收齐后主协程继续汇总流程;超时则按策略中断编排。

代码或图示

use Swoole\Coroutine\Channel;

$done = new Channel(10);
for ($i = 0; $i < 10; $i++) {
    go(function () use ($done, $i) {
        // 业务处理
        $done->push($i);
    });
}
for ($i = 0; $i < 10; $i++) {
    $done->pop(); // 等待每个子协程完成
}
echo "all done\n";

常见误区

  • 主协程不等待就返回:子协程结果无人收集,任务状态不可控。
  • 子协程异常时不发完成信号:主协程永久阻塞在 pop 上。

追问

  • 内置等待组类存在吗?答:需查官方文档类表与 php --ri swoole;若存在,方法名(add/done/wait)与计数语义以版本为准,待确认。
  • 等待需要超时吗?答:需要。给等待编排设总超时,超时后记录未完成任务,避免主协程挂死。

06.5.6.12-005 协程结果如何收集与聚合?

一句话结论

子协程通过 Channel 把结果回传主协程,主协程按约定数量收集后聚合;结果需可序列化/可在进程内传递,收集过程要控制结果集大小与失败占位。

概念解释

扇出(fan-out)派生多个协程,扇入(fan-in)由主协程汇总。每个子协程把结果(或错误标识)推入结果通道,主协程逐条读取、归类成功与失败。结果通道容量与任务数匹配;大结果集不应整体保留在内存,应边收边写下游或分批聚合。错误也要作为结果回传,不能只回传成功数据。

原理流程

  1. 创建结果 Channel,容量匹配任务数。
  2. 子协程执行成功推入结果,失败推入错误标识。
  3. 主协程循环读取,按状态分桶聚合。
  4. 收齐后输出汇总;超限结果分批落盘/写下游。

代码或图示

use Swoole\Coroutine\Channel;

$results = new Channel(4);
foreach ([1, 2, 3, 4] as $id) {
    go(function () use ($results, $id) {
        try {
            $results->push(['ok' => true, 'id' => $id, 'value' => $id * 10]);
        } catch (\Throwable $e) {
            $results->push(['ok' => false, 'id' => $id, 'error' => $e->getMessage()]);
        }
    });
}
$success = [];
$failed = [];
for ($i = 0; $i < 4; $i++) {
    $r = $results->pop();
    $r['ok'] ? $success[] = $r : $failed[] = $r;
}

常见误区

  • 失败协程不回传错误:主协程按成功结果聚合,数据缺失且无感知。
  • 全部结果暂存大数组:任务量大时内存峰值过高,应流式聚合。

追问

  • 结果通道需要关闭吗?答:Channel 关闭语义与版本行为相关;收集方按固定次数读取即可,关闭接口使用前核对文档。
  • 跨进程结果怎么传?答:协程 Channel 只在同进程内通信;跨 Worker 走进程间通信或外部存储,见进程模型与任务投递章节。

06.5.6.12-006 协程超时如何设置与实现?

一句话结论

IO 类调用在客户端方法上设置超时参数;整体编排超时可用定时器或等待通道超时实现,超过时限未完成即按失败处理,避免协程无限等待。

概念解释

超时分两层:单次 IO 超时(连接、查询、请求)由协程客户端参数控制;任务/编排总超时(等待多个协程、等待信号量)需要业务用定时器或 Channel 超时读取实现。超时触发后,当前等待协程被唤醒并走失败分支;正在执行的子协程不会自动停止,需配合取消标志处理。

原理流程

  1. 识别超时层级:单次 IO 还是整体编排。
  2. IO 超时:客户端方法传入超时秒数。
  3. 编排超时:注册定时器或带超时的通道读取,到期唤醒等待方。
  4. 超时分支记录错误、释放配额,必要时通知子协程停止。

代码或图示

use Swoole\Coroutine\Channel;

$ch = new Channel(1);
go(function () use ($ch) {
    // 模拟业务:可能长时间不返回
    $ch->push('done');
});
$ret = $ch->pop(2.0); // 等待 2 秒;返回 false 表示超时,语义以版本为准
if ($ret === false) {
    echo "wait timeout\n";
}

常见误区

  • 只给下游调用设超时,不给等待编排设超时:子协程挂起后主协程永久阻塞。
  • 超时后不清理配额与子协程:资源残留,并发能力逐步下降。

追问

  • 定时器超时与通道超时怎么选?答:等待通道/信号量用通道超时读取;跨多步骤的总时限用定时器记录截止时间,各环节检查剩余时间。
  • 超时参数单位是什么?答:通常为秒(可小数);具体单位与默认值以客户端版本文档为准,待确认。

06.5.6.12-007 超时后协程会自动取消吗?

一句话结论

不会自动取消:超时只唤醒等待方,正在执行的子协程继续跑到结束或异常;需要业务通过取消标志、上下文状态或连接关闭通知其停止。

概念解释

协作式调度没有强制中断机制。等待方超时退出后,被等待的协程仍占用栈、连接与堆对象,直到自身回调返回。若该协程随后写结果通道或访问共享状态,可能出现“编排已结束、残留协程仍在跑”的污染。正确做法:编排超时后标记取消状态,子协程在检查点读取标志并提前退出;持有连接的协程超时后关闭连接兜底。

原理流程

  1. 等待方超时被唤醒,进入失败分支。
  2. 标记编排取消状态,释放已占用配额。
  3. 子协程在执行检查点读取取消标志,提前返回。
  4. 未检查标志的子协程自然结束;其持有的连接需在结束时释放。

代码或图示

use Swoole\Coroutine\Channel;

$cancel = new Channel(1); // 取消标志通道
go(function () use ($cancel) {
    $step = 0;
    while ($step < 10) {
        if ($cancel->pop(0.001) !== false) {
            echo "cancelled early\n";
            return;
        }
        $step++; // 业务步骤
    }
});
$cancel->push(1); // 示意:超时后通知取消

常见误区

  • 以为超时等于取消:残留协程继续运行,资源不释放。
  • 子协程不设检查点:取消标志无人读取,超时兜底失效。

追问

  • 连接类资源超时后怎么办?答:等待方超时后关闭对应连接或归还前标记失效;子协程复用前先检查连接状态。
  • 协程能被强制终止吗?答:扩展提供的主动终止接口及其版本行为待确认;协作式模型下优先用标志位优雅退出。

06.5.6.12-008 取消信号如何在协程间传播?

一句话结论

取消状态由业务通过 Channel、上下文对象或共享标志位显式传递:父协程置取消标志,子协程在检查点读取;运行时不提供跨协程自动取消链,传播路径需要自己设计。

概念解释

与语言层上下文取消不同,Swoole 协程默认无父子取消绑定。传播手段:取消标志 Channel(阻塞/非阻塞读取)、协程上下文存储的取消位、Atomic 标志。子协程应在每个耗时步骤前检查标志,发现取消即释放资源返回。嵌套派生时,取消标志需逐级传入子协程,不会自动继承。

原理流程

  1. 父协程创建取消标志(Channel/上下文/Atomic)。
  2. 派生子协程时把标志传入闭包。
  3. 超时或失败时父协程置取消标志。
  4. 子协程检查点读取标志,清理资源后提前退出。

代码或图示

use Swoole\Coroutine\Channel;

$cancel = new Channel(1);
go(function () use ($cancel) {
    go(function () use ($cancel) { // 嵌套协程显式传入取消标志
        for ($i = 0; $i < 5; $i++) {
            if ($cancel->pop(0.001) !== false) {
                return;
            }
            // 业务步骤
        }
    });
});
$cancel->push(1);

常见误区

  • 假设取消状态自动传给所有后代协程:标志必须显式传递到每一层。
  • 取消标志用普通全局变量:多组并发编排互相覆盖,需按编排实例隔离。

追问

  • 上下文存储能承载取消标志吗?答:协程上下文存取接口及其隔离语义以版本文档为准;取消标志建议随闭包显式传递,避免上下文继承歧义。
  • 取消后共享状态如何回滚?答:子协程退出前按已执行步骤做补偿;取消只停止后续执行,不自动回滚已写入数据。

06.5.6.12-009 子协程未结束时父协程退出会怎样?

一句话结论

父协程返回不影响子协程继续运行,子协程独立被调度;但父协程持有的结果通道、上下文与对象引用若被子协程依赖,父协程退出后可能出现引用失效或结果无人收集。

概念解释

协程之间默认无等待与取消绑定。主协程先返回,子协程仍在事件循环中排队执行。风险在于闭包捕获:子协程引用父协程栈上对象,父协程退出后局部变量生命周期与引用计数需按 PHP 语义判断;结果通道若在父协程栈上创建,子协程回传时通道是否存活要确认。需要收尾的编排必须用等待同步保证父协程不先退出。

原理流程

  1. 父协程派生子协程后提前返回。
  2. 子协程继续在调度队列中执行。
  3. 父协程栈帧销毁,其局部变量按引用计数回收。
  4. 子协程依赖的对象/通道仍有引用则存活,无引用则可能失效。

代码或图示

use Swoole\Coroutine;

go(function () {
    go(function () {
        Coroutine::sleep(0.2); // 父协程返回后仍会执行
        echo "child still running\n";
    });
    echo "parent returns early\n";
});

常见误区

  • 以为父退出会连带停止子协程:默认无父子生命周期绑定。
  • 在父协程局部变量上挂子协程回调:引用生命周期不清,易出悬空访问。

追问

  • 如何保证父协程等待子协程?答:用完成通道/等待组编排,见 WaitGroup 式等待题目。
  • 子协程引用父协程大对象会延长对象寿命吗?答:闭包持有引用即延长引用计数;父退出后对象仍被子协程持有,直到子协程结束。

06.5.6.12-010 协程泄漏有哪些表现与成因?

一句话结论

协程泄漏表现为在跑协程数只涨不落、内存与连接持续增长;常见成因是协程永久挂起等待永不就绪的事件、结果通道无人读取、取消标志未释放,或对象被长生命周期结构长期持有。

概念解释

协程“泄漏”不是栈未释放,而是协程长期处于等待状态无法结束,占用栈、上下文与持有的连接/堆对象。典型场景:向无人消费的 Channel push 后挂起;等待永远不会触发的定时器/信号;子协程引用的对象被静态数组持有导致协程无法回收。排查先看协程数量趋势与挂起点,再沿引用链找残留结构。

原理流程

  1. 监控在跑协程数:请求结束后应回落到基线。
  2. 持续上涨时定位挂起协程的等待事件类型。
  3. 检查 Channel 生产者-消费者是否匹配、取消/完成信号是否释放。
  4. 追踪协程持有对象的外部引用(静态属性、全局数组、Table)。

代码或图示

泄漏典型链路:
协程 push 到无人读取的 Channel → 永久挂起
等待事件永不触发(定时器/信号/连接)→ 无法结束
对象被静态数组/全局结构持有 → 协程与堆对象无法回收
观测:协程数趋势 / 挂起点类型 / 连接与内存配套增长

常见误区

  • 把内存上涨都当协程泄漏:也可能是静态缓存累积、结果集堆积,需分层排查。
  • 协程结束后不检查通道是否排空:残留消息阻塞其他生产者。

追问

  • 如何列出挂起协程及其等待原因?答:扩展提供的协程统计/遍历接口以版本为准,待确认;不可用时在业务入口记录 CID、任务类型与等待步骤。
  • 泄漏协程会自愈吗?答:事件一直不就绪则不会;只能修复代码路径后随进程轮换释放。

06.5.6.12-011 如何识别与回收挂起协程?

一句话结论

先通过协程计数与业务日志识别异常挂起,再区分“正常等待”与“永久挂起”;永久挂起需修复产生路径,回收依赖协程自然结束或进程轮换,运行时不提供强制清理残留协程的通用手段。

概念解释

正常等待:协程在等 IO、通道或定时器,事件就绪后会恢复。永久挂起:等待条件永不满足(通道无消费者、事件不触发)。识别方法:对比请求结束后的协程基线,记录挂起点与等待时长;对长时间挂起的协程结合日志定位。回收:修复后新协程正常结束;存量残留随 Worker max_request 轮换或重启释放。超时与取消标志是防止挂起变成泄漏的主要手段。

原理流程

  1. 采集协程数基线与峰值,标注异常增长时段。
  2. 业务日志记录每个协程的任务标识、进入/等待步骤。
  3. 长时间未结束的协程按等待事件分类排查。
  4. 修复路径;存量残留随进程轮换回收,必要时低峰重启。

代码或图示

识别流程:
协程数基线 → 异常上涨 → 按 CID 关联业务日志
  → 等待事件类型(Channel / 定时器 / 连接)
    → 正常等待 or 永久挂起
回收:修复后自然结束;残留随 Worker 轮换 / 重启释放

常见误区

  • 定期重启掩盖泄漏:根因未修复,轮换只是延缓累积。
  • 在未确认挂起原因时强杀协程:可能中断在途任务,造成数据不一致。

追问

  • 协程统计接口怎么用?答:方法名与字段以官方文档为准,待确认;先在测试环境打印,再接入线上监控。
  • 挂起协程持有的连接何时释放?答:协程结束或连接关闭时;永久挂起期间连接被长期占用,会同时表现为连接池耗尽。

06.5.6.12-012 多个子协程部分失败时如何聚合错误?

一句话结论

每个子协程把成功结果或错误标识作为结果回传,主协程分桶聚合成功与失败;按业务策略决定整体返回部分成功、整体失败还是重试失败项,错误信息需带任务标识便于定位。

概念解释

并发编排中部分失败是常态:下游接口超时、单条数据异常不代表整批失败。结果通道统一回传 {ok, id, value/error} 结构,主协程统计成功数、失败数与失败原因。错误聚合要保留原始错误信息与任务标识,避免只记“批量失败”。是否重试、重试哪些条目在聚合后统一决策,不在子协程内盲目重试。

原理流程

  1. 约定结果结构:成功与失败都可回传。
  2. 子协程 try/catch,异常转为错误标识推入通道。
  3. 主协程逐条读取,分入成功桶与失败桶。
  4. 按策略输出汇总;失败项进入重试或补偿流程。

代码或图示

use Swoole\Coroutine\Channel;

$ch = new Channel(3);
foreach ([1, 2, 3] as $id) {
    go(function () use ($ch, $id) {
        try {
            if ($id === 2) {
                throw new RuntimeException("item {$id} bad");
            }
            $ch->push(['ok' => true, 'id' => $id]);
        } catch (\Throwable $e) {
            $ch->push(['ok' => false, 'id' => $id, 'error' => $e->getMessage()]);
        }
    });
}
$failed = [];
for ($i = 0; $i < 3; $i++) {
    $r = $ch->pop();
    if (!$r['ok']) { $failed[] = $r; }
}

常见误区

  • 子协程异常未捕获:协程静默退出,主协程少收一个结果,永久阻塞。
  • 错误信息不带任务标识:线上无法定位失败条目。

追问

  • 部分成功如何返回给上游?答:按业务约定返回成功清单与失败清单;上游决定重试或补偿,接口语义需提前定义。
  • 失败重试在编排层还是子协程内?答:聚合后统一重试可控性更好;子协程内重试需限次并避免放大下游压力。

06.5.6.12-013 快速失败与全部完成两种编排策略如何选择?

一句话结论

快速失败:任一子协程失败即取消其余并返回错误;全部完成:等待所有子协程结束再聚合,无论成败。选择取决于业务对结果完整性、延迟与下游压力的要求。

概念解释

快速失败适合强一致、单条失败即整体无意义的场景(如事务性批量操作),失败后尽快释放其余配额。全部完成适合可容忍部分失败的批处理(数据同步、报表汇总),失败项单独补偿。两种策略都需要超时兜底;快速失败的取消传播见取消信号题目,全部完成的结果收集见结果聚合题目。

原理流程

  1. 判断业务语义:单条失败是否使整批结果无效。
  2. 强一致场景:快速失败,置取消标志,回收在跑配额。
  3. 可部分成功场景:等待全部结束,分桶聚合后处理失败项。
  4. 两种策略都设总超时,超时按未完成处理。

代码或图示

快速失败(fail-fast):
首个失败 → 置取消标志 → 其余子协程提前退出 → 返回错误
全部完成(wait-all):
等待所有子协程结束 → 成功/失败分桶 → 失败项补偿
选型依据:结果完整性要求、延迟预算、下游承压能力

常见误区

  • 事务性操作选 wait-all:失败条目与成功条目混在一起,补偿成本高。
  • 可降级批处理选 fail-fast:一条抖动导致整批重做,浪费资源。

追问

  • fail-fast 时正在执行的子协程怎么停?答:取消标志 + 检查点;未退出的残留协程按泄漏排查路径处理。
  • 两种策略能组合吗?答:可以。先并发执行,首个失败记录但不中断,超时窗口内收齐其余结果;具体组合按业务设计。

06.5.6.12-014 并发数对下游数据库、Redis、接口有什么影响?

一句话结论

并发协程数直接转化为对下游的并发请求与连接占用;并发超过下游承载会引发排队、超时、连接拒绝,甚至级联雪崩,并发上限必须以下游容量为约束反推。

概念解释

每个在跑协程可能持有数据库连接、Redis 连接或对外 HTTP 请求。并发放大后:数据库活跃会话上升、行锁等待增加;Redis 连接数与命令队列压力上升;下游接口线程池打满。协程侧延迟抬升往往先反映为下游指标恶化。规划并发时要核对下游最大连接数、线程池容量与限流策略,而不是只看本进程 CPU。

原理流程

  1. 统计单请求对各下游的连接/请求占用。
  2. 对照下游连接上限、线程池与限流配置。
  3. 反推各下游允许的最大并发,取最紧约束作为本进程并发上限。
  4. 压测观察下游负载与本进程延迟分位值,回调并发配置。

代码或图示

并发影响链:
协程并发 ↑ → 下游连接/请求并发 ↑
  → 数据库会话/锁等待 ↑、Redis 连接 ↑、下游线程池占用 ↑
    → 下游排队超时 → 本进程请求延迟 ↑ → 连接占用更久 → 雪崩
约束:下游容量 < 本进程资源时,以下游为准

常见误区

  • 按本机 CPU 核数定并发:IO 密集场景瓶颈在下游而非 CPU。
  • 只压单接口不看下游整体:单接口达标不代表叠加其他流量后下游不超载。

追问

  • 下游连接上限在哪查?答:MySQL max_connections、Redis maxclients、下游服务线程池/限流配置;分别核对后汇总。
  • 下游已经变慢怎么办?答:本进程限流与超时降级,避免连接被慢请求占满;配合熔断与排队削峰。

06.5.6.12-015 并发度与连接池大小如何匹配?

一句话结论

同一资源池的并发协程数不应超过池容量:每个在跑协程最多占用一条连接,池上限应略高于峰值在借连接数;信号量并发度、池容量、下游连接额度三者逐层对齐。

概念解释

匹配顺序:先定下游连接额度,再定单进程池容量,最后约束使用该池的协程并发度。若协程并发度高于池容量,多余协程排队等连接,表现为等待耗时上升;若池容量高于下游额度,会把下游连接打满。多数据源、多类型客户端(MySQL/Redis/HTTP)分别建池与配额,互不挤占。

原理流程

  1. 按下游额度拆分单进程各池容量。
  2. 估算峰值在借连接 = 并发协程数 × 单请求持连接数。
  3. 信号量并发度 ≤ 池容量,池容量 ≤ 下游额度。
  4. 压测核对等待队列、在借数与下游负载,回调取值。

代码或图示

对齐层级(由紧到松):
下游连接额度 ≥ 单进程池容量 ≥ 可使用该池的协程并发度
峰值在借连接 = 并发数 × 单次持连接数
观测:池等待时长 / 在借数 / 下游连接使用率

常见误区

  • 协程并发开得比池大:请求在池外排队,延迟计入接口总耗时。
  • 一个大池混放不同下游:容量互相挤占,故障隔离差。

追问

  • 一个请求同时用 MySQL 和 Redis,并发怎么算?答:两组连接分别占用;按各自池容量约束,总并发取两组配额的交集。
  • 池需要预留空闲连接吗?答:需要少量空闲应对突发与探活;池上限不等于并发协程数,留有余量。

06.5.6.12-016 协程上下文在并发编排中如何传递?

一句话结论

链路 ID、用户标识等上下文需随闭包显式传入派生协程;运行时是否自动复制协程私有上下文取决于版本与框架实现,不能默认继承,跨协程共享可变状态需同步保护。

概念解释

协程栈局部变量不自动跨协程传递;框架层封装的请求上下文在协程间的复制/隔离行为属于框架实现,扩展层不保证。并发编排中,上下文对象应作为参数传入子协程闭包;只读标识可共享,可变状态需通过通道或同步原语传递。全局/静态变量在进程内所有协程可见,不能存放请求态上下文。

原理流程

  1. 主协程整理需要传递的上下文(链路 ID、租户标识等)。
  2. 派生子协程时通过闭包 use 显式传入。
  3. 子协程内读取只读标识;需要回写的状态走通道回传。
  4. 核对框架上下文在协程切换时的隔离行为,避免请求串数据。

代码或图示

use Swoole\Coroutine;

$traceId = 'trace-20261119-001';
go(function () use ($traceId) {
    // 上下文随闭包显式传入,不依赖运行时自动继承
    echo sprintf("child trace: %s\n", $traceId);
});

常见误区

  • 把请求态存全局变量再派生协程:多协程并发互相覆盖,出现串数据。
  • 假设上下文自动复制到子协程:继承语义随版本/框架不同,需实测核对。

追问

  • 框架上下文在哪里核对?答:框架封装的上下文存取与协程传播机制属于框架层,本章节只提示风险;具体行为查对应框架文档。
  • 上下文对象跨协程共享安全吗?答:只读安全;可变字段需通道传递或加锁,禁止多协程并发改写。

06.5.6.12-017 批量并发下如何控制内存与结果集?

一句话结论

批量编排要同时限制协程并发数、任务列表持有量与结果保留量;大结果集流式聚合或分批写下游,避免所有结果在主协程内存中堆积。

概念解释

内存压力来自三部分:任务数组、在跑协程及其堆对象、收集到的结果集。限量并发控制前两者,结果收集控制第三者:结果通道边收边处理,成功结果即时写下游或落库,只保留汇总统计。任务数据从外部流读取而非一次性载入;超大批量分多轮编排,每轮独立限量。

原理流程

  1. 任务列表分批/流式获取,避免全量载入内存。
  2. 信号量限制在跑协程数与堆对象占用。
  3. 结果通道逐条消费,聚合统计而非全量保留明细。
  4. 单轮结果处理完再进入下一轮,记录进度可断点续跑。

代码或图示

内存控制三层:
任务列表:分批读取,不全量载入
在跑对象:信号量限量并发
结果集:边收边写下游,只留统计与必要明细
超大批量:多轮编排 + 进度记录 + 断点补偿

常见误区

  • 结果数组 [] 追加全部明细:任务量大时内存峰值随结果数线性增长。
  • 任务与结果都在主协程持有:并发期间两份大数组叠加占用。

追问

  • 结果必须全量返回上游怎么办?答:分页/流式输出;接口层面约定分批拉取,避免单次响应承载全量明细。
  • 中间失败导致进度丢失?答:任务表记录完成进度,重启或失败后从断点继续,已完成条目不重复处理。

06.5.6.12-018 协程调度饥饿与排队如何观测?

一句话结论

观测在跑协程数、等待队列长度、协程等待时长与接口延迟分布;饥饿表现为部分协程长时间排不上执行权或排队等资源,需结合 CPU 负载与下游指标区分是调度问题还是资源瓶颈。

概念解释

排队发生在多个位置:调度就绪队列、信号量等待、结果通道等待、连接池等待。观测指标对应各环节:协程数趋势、通道等待数、池等待时长、任务排队时间。饥饿成因:并发无限制导致就绪队列过长;信号量/池容量不足;纯 CPU 长循环占用 Worker。区分手段:看 CPU 是否打满、下游是否排队、等待集中在哪类资源。

原理流程

  1. 采集协程数、等待队列、池等待时长与接口延迟分位值。
  2. 按等待事件类型归类:调度排队、配额排队、IO 等待。
  3. 对照 CPU、下游负载判断瓶颈位置。
  4. 调整并发度、池容量或拆分长 CPU 任务。

代码或图示

观测指标:
- 在跑协程数 / 就绪队列长度
- 信号量与连接池等待时长、等待超时次数
- 各环节排队时间戳(入队 / 开始执行 / 完成)
分类:CPU 饱和 / 下游瓶颈 / 配额不足 / 阻塞回调

常见误区

  • 延迟高就加协程并发:瓶颈在下游或配额时,加并发只会加重排队。
  • 只看平均等待时长:长尾排队被平均值掩盖,需看分位值。

追问

  • 调度队列长度有接口可读吗?答:扩展统计接口以版本为准,待确认;业务可在编排埋点记录入队与开始执行时间差。
  • 协程饥饿与事件循环阻塞如何区分?答:循环阻塞时所有事件同步延迟;配额/下游排队表现为部分协程等待、CPU 未必打满。

06.5.6.12-019 扇出/扇入编排有哪些标准代码模式?

一句话结论

标准模式为:任务列表 → 限量派生协程(扇出)→ 各自回传结果到通道 → 主协程收集聚合(扇入);按失败策略与超时要求组合信号量、完成通道与取消标志。

概念解释

扇出阶段控制并发与任务拆分,扇入阶段控制结果收集与错误聚合。最小骨架包含:任务通道/任务数组、信号量、结果通道、等待循环。变体:批量分批、部分成功聚合、快速失败取消。模式不变的是“并发受约束、结果有回收、错误有回传、超时兜底”四条底线。

原理流程

  1. 准备任务列表与信号量、结果通道。
  2. 逐个派生协程:取配额 → 执行 → 回传结果 → 释放配额。
  3. 主协程按任务数读取结果,分桶聚合。
  4. 超时/取消分支回收配额并记录未完成项。

代码或图示

use Swoole\Coroutine\Channel;

$tasks = [1, 2, 3, 4];
$sem = new Channel(2);
$out = new Channel(4);

foreach ($tasks as $t) {
    go(function () use ($sem, $out, $t) {
        $sem->push(1);
        try {
            $out->push(['id' => $t, 'value' => $t * 3]);
        } finally {
            $sem->pop();
        }
    });
}
for ($i = 0; $i < 4; $i++) {
    var_dump($out->pop());
}

常见误区

  • 骨架里漏掉释放配额的 finally:异常路径泄漏并发名额。
  • 扇入循环次数与任务数不一致:少收结果导致永久阻塞。

追问

  • 任务量动态增长怎么改扇出?答:任务先入任务通道,固定数量的消费者协程从通道取任务,实现动态补位。
  • 模式中哪些接口行为待确认?答:Channel 超时返回值、内置等待组类、协程统计接口;使用前核对官方文档与本机版本。

06.5.6.12-020 并发控制线上问题排查清单有哪些?

一句话结论

按“并发上限是否生效 → 配额/通道是否匹配 → 超时取消是否兜底 → 错误是否回传聚合”四段排查;先看协程数与等待指标,再下钻具体编排与下游链路。

概念解释

典型线上问题:协程数暴涨、请求挂起、池等待超时、部分结果丢失、残留协程泄漏。排查顺序:确认信号量/并发限制是否生效;检查生产者消费者数量与通道容量;核对超时与取消标志是否设置;核对错误回传与聚合完整性。每段都要有埋点数据支撑,不靠猜。

原理流程

  1. 看协程数趋势与内存/连接配套变化,判断是否失控。
  2. 定位挂起协程的等待类型:通道、配额、IO、定时器。
  3. 核对超时配置、取消标志传递与配额释放路径。
  4. 核对结果收集数量与失败聚合记录,补齐缺失回传。

代码或图示

排查清单:
[上限] 信号量/并发配置是否生效,协程数是否贴顶
[匹配] 生产者-消费者数量、通道容量、池借还是否对齐
[兜底] 编排超时、取消标志、配额 finally 释放
[聚合] 结果回传数量、错误标识、失败清单是否完整
[下游] 下游连接/线程池指标是否同步恶化

常见误区

  • 只看本进程指标不看下游:并发问题常是下游瓶颈的镜像。
  • 修复后不补埋点:同类问题再次发生时仍无法定位。

追问

  • 哪些行为必须在目标版本复核?答:Channel 超时语义、内置等待组类、协程统计接口、上下文传播;记录版本号后对照官方文档,不确定处标注待确认。
  • 上线前并发压测关注什么?答:逐步加压观察协程数、等待时长、延迟分位值与下游负载,找到拐点后把并发上限设在拐点以下。