罗罗编程学习记录
本页内容 展开查看

06.5.7.6 Buffer 与流式 IO

所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.7 Swow

06.5.7.6-001 Swow\Buffer 的定位与适用场景是什么?

一句话结论

Swow\Buffer 是面向二进制字节操作的内存缓冲区对象,提供追加、定点读写、截断、扩容与字符串导出,用于协议分帧、流式拼装、网络/文件数据暂存等场景;与不可变的 PHP string 相比,它支持原地扩容与偏移读写。

概念解释

网络与文件 IO 读到的数据是字节流,不能按“一次调用一条消息”假设。Buffer 在内存中维护一段可增长字节区,业务按偏移读写、按协议规则切包,剩余字节保留等待下次数据。典型场景:TCP 粘包拆包、HTTP 头/体拼装、二进制协议编解码、大块数据分段读写。

原理流程

  1. 从 Socket/文件读取字节写入 Buffer。
  2. 按协议长度或分隔符尝试解析完整消息。
  3. 解析成功的部分从 Buffer 移除/截断,不足部分保留。
  4. 消息体转字符串交给业务处理,Buffer 继续接收后续字节。

代码或图示

<?php
// 文档示例(未实测):Buffer 基本读写形态
use Swow\Buffer;

$buffer = new Buffer(8192);
$buffer->append("hello");
echo $buffer->toString();

常见误区

  • 用 string 拼接做流式缓冲:多次拼接产生拷贝与临时字符串,Buffer 提供更可控的内存区。
  • 把 Buffer 当消息对象:它是字节容器,业务结构需自行编解码。

追问

  • Buffer 与 SharedBuffer 区别?答:命名空间下另有 Swow\SharedBuffer,面向共享内存场景;适用边界以 API 文档为准(待确认)。
  • 二进制安全吗?答:按字节操作,不依赖字符串结束符;多字节字符处理见 06.5.7.6-013。

06.5.7.6-002 Buffer 构造与初始容量、常量如何使用?

一句话结论

new Buffer(int $size) 按指定字节数初始化缓冲区;类常量 COMMON_SIZE = 8192 为常用初始容量,PAGE_SIZE = 4096 为平台页大小(部分平台可能为 16384),alignSize() 用于按对齐要求计算容量。

概念解释

初始容量决定首次分配的内存区大小,过小会触发频繁扩容,过大浪费内存。COMMON_SIZE 覆盖中小消息常见场景;PAGE_SIZE 用于按系统页对齐分配。alignSize(int $size, int $alignment) 静态方法返回对齐后的容量值,适配底层内存分配粒度。具体常量数值以当前版本 API 文档为准。

原理流程

  1. 估算单条消息与积压缓冲的字节规模。
  2. 选择初始容量:常见小消息用 COMMON_SIZE,大消息按预估长度。
  3. 需要对齐时调用 Buffer::alignSize($size, $alignment)。
  4. 构造 Buffer 实例投入读写循环。

代码或图示

<?php
// 文档示例:容量常量与对齐计算
use Swow\Buffer;

$common = new Buffer(Buffer::COMMON_SIZE);
$aligned = Buffer::alignSize(5000, Buffer::PAGE_SIZE);
$page = new Buffer($aligned);

常见误区

  • 初始容量随意给 1:每次追加都扩容,产生多次内存重分配。
  • 混淆字节数与字符数:容量单位是字节,多字节 UTF-8 字符按字节计算。

追问

  • 容量不足时自动扩容吗?答:append/write 超出容量会触发扩容流程;扩容策略见 06.5.7.6-003 与 06.5.7.6-009。
  • PAGE_SIZE 各平台一致吗?答:文档标注平台相关,Linux mips64 与 macOS arm64 可能为 16384;以运行环境为准。

06.5.7.6-003 append() 追加写入与扩容触发规则是什么?

一句话结论

append(Stringable|string $string, int $start, int $length): int 把字符串追加到缓冲末尾,返回写入后的相关长度;剩余空间不足时触发扩容再写入。$start/$length 用于截取输入字符串的片段。

概念解释

append 是流式拼装的主要入口:新字节接到已有内容末尾。输入可传字符串或 Stringable 对象;$start 指定输入起始偏移,$length 限制截取长度,越界抛 ValueError。写入前检查可用空间,不足时按扩容策略扩展内存区。返回值含义(新长度或写入字节数)以 API 文档为准,不凭记忆写死。

原理流程

  1. 校验输入字符串与 start/length 范围。
  2. 检查可用空间是否容纳待写入字节。
  3. 不足:调用扩容接口扩展容量。
  4. 复制字节到末尾,更新长度,返回长度信息。

代码或图示

<?php
// 文档示例:追加写入与片段截取
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
$buffer->append("hello world");
$buffer->append(" swow", 0, 5);
echo $buffer->toString();

常见误区

  • start/length 按字符而非字节理解:越界校验以字节偏移为准。
  • 假设 append 永不触发扩容:大消息追加必然经过扩容路径。

追问

  • 扩容由哪个方法执行?答:extend() 按建议容量扩容,realloc() 直接重设大小;见 06.5.7.6-009。
  • 写入失败抛什么异常?答:BufferException;内存不足与参数错误分别对应不同异常类型(待确认)。

06.5.7.6-004 write() 定点写入与偏移参数规则是什么?

一句话结论

write(int $offset, Stringable|string $string, int $start, int $length): int 从指定偏移处写入字节,覆盖目标位置原有内容;$offset 为 Buffer 内偏移,$start/$length 选择输入片段,越界抛 ValueError。

概念解释

append 只管末尾追加,write 支持定点覆盖:协议头长度字段、字段回填等场景需要按偏移写入。write 不会自动把长度扩展到超出已有内容之外(具体边界行为以文档为准),超出容量时按扩容规则处理。与 read 配合可做原地修改。

原理流程

  1. 确认目标偏移在 Buffer 容量范围内。
  2. 校验输入字符串的 start/length 范围。
  3. 按偏移复制输入片段到缓冲区。
  4. 更新长度元数据,返回写入长度信息。

代码或图示

<?php
// 文档示例:定点回填长度字段
use Swow\Buffer;

$buffer = new Buffer(32);
$buffer->append("body");
$buffer->write(0, "HEAD");
echo $buffer->toString();

常见误区

  • 用 write 做尾部追加:追加场景应使用 append,偏移语义不同。
  • 写入超出现有长度不做检查:边界与扩容行为需对照文档确认(待确认)。

追问

  • write 与 append 返回值区别?答:均返回长度相关整数;具体语义以 API 文档为准,业务不依赖返回值做长度判断时用 getLength()。
  • 偏移从 0 开始吗?答:Buffer 偏移按字节从 0 开始计数。

06.5.7.6-005 read() 按偏移读取与长度限制规则是什么?

一句话结论

read(int $start, int $length): string 从指定偏移读取最多 $length 字节,返回字符串;$start 不小于 0,$length 为 -1 表示不限制或按可用长度处理,越界抛 ValueError。

概念解释

read 不改变 Buffer 内容与长度,只是按偏移切片导出。流式解析时先 read 头部判断协议,再 read 消息体;读取长度受剩余可用字节约束。与截断类方法不同,read 是“只读快照”,解析确认后再用 truncate 移除已消费部分。

原理流程

  1. 确认起始偏移在当前长度范围内。
  2. 计算可读长度:请求长度与剩余长度取小。
  3. 复制字节返回字符串,Buffer 内容不变。
  4. 业务解析完整消息后再执行截断清理。

代码或图示

<?php
// 文档示例:按偏移读取头部与体
use Swow\Buffer;

$buffer = new Buffer(32);
$buffer->append("header-body");
$head = $buffer->read(0, 6);
$body = $buffer->read(6, 4);

常见误区

  • read 后以为数据已移除:不截断的话字节仍留在 Buffer 中。
  • length 传 -1 理解为无限读到底:-1 语义以文档为准,需核实。

追问

  • read 与 toString 区别?答:toString 导出全部内容;read 按偏移与长度切片。
  • 读取二进制安全吗?答:按字节返回 string,可携带 \0 等控制字节。

06.5.7.6-006 toString()、dupString()、fetchString() 有什么区别?

一句话结论

toString() 导出当前内容为字符串;dupString() 复制一份独立字符串;fetchString() 取出内容并清空 Buffer(取走后缓冲不再保留);三者适用场景分别对应查看、独立持有、消费导出。

概念解释

导出策略决定 Buffer 与字符串的内存关系:查看内容用 toString;需要把字符串交给后续长期持有、避免缓冲修改影响时用 dupString;解析完成把字节整体移交业务时用 fetchString,Buffer 随之清空。具体拷贝行为与返回语义以 API 文档为准,不确定项标注待确认。

原理流程

  1. 仅打印/校验内容:toString()。
  2. 字符串需要脱离 Buffer 生命周期:dupString() 复制。
  3. 整条消息已解析、Buffer 准备接收新数据:fetchString() 取走并清空。
  4. 根据后续是否还要使用缓冲内容选择对应方法。

代码或图示

<?php
// 文档示例:三种导出方式
use Swow\Buffer;

$buffer = new Buffer(16);
$buffer->append("payload");
$snapshot = $buffer->toString();
$copy = $buffer->dupString();
$taken = $buffer->fetchString(); // 取出后缓冲清空

常见误区

  • 长期持有 toString 结果却继续改写 Buffer:字符串与缓冲的关联以实现为准,需要独立副本时用 dupString。
  • 消费完忘记清空:残留字节会混入下一条消息。

追问

  • fetchString 后长度是多少?答:取走后缓冲应清空,getLength() 为 0;具体行为待确认。
  • 大消息导出是否全量拷贝?答:导出字符串必然产生 PHP string 拷贝;超大消息需评估内存峰值。

06.5.7.6-007 truncate() 与 truncateFrom() 截断语义是什么?

一句话结论

truncate(int $length): int 把缓冲截断到指定长度;truncateFrom(int $offset, int $length): int 从指定偏移移除一段区间,默认偏移为当前读写位置;返回截断后的长度信息。

概念解释

流式拆包消费完头部/消息后,需要把已处理字节从 Buffer 移除:truncate 保留前 N 字节;truncateFrom 删除 offset 起的一段。截断后剩余字节前移保留,等待下次拼接。偏移与长度越界按参数校验规则抛错。截断是控制 Buffer 长度不无限增长的关键动作。

原理流程

  1. 解析出完整消息,确认已消费字节数。
  2. 保留未消费尾部:truncateFrom(0, $consumed) 或按偏移区间移除。
  3. 若只保留前 N 字节:truncate($length)。
  4. 检查截断后长度,继续接收新数据。

代码或图示

<?php
// 文档示例:移除已消费的前 N 字节
use Swow\Buffer;

$buffer = new Buffer(32);
$buffer->append("consumed-remain");
$consumed = 9;
$buffer->truncateFrom(0, $consumed);
echo $buffer->toString(); // 剩余 "remain"

常见误区

  • 解析成功后不截断:已消费字节反复参与下次解析,产生脏数据。
  • 截断偏移算错:按字节长度计算,注意多字节字符不要按字符数切。

追问

  • 截断后容量会缩小吗?答:截断只改内容长度,底层容量回收需 mallocTrim() 等接口;见 06.5.7.6-008。
  • 返回值含义?答:截断后长度整数;具体以文档为准(待确认)。

06.5.7.6-008 clear() 与 close() 的区别是什么?

一句话结论

clear() 清空缓冲内容但保留 Buffer 对象与已分配容量,可继续复用;close() 关闭/释放缓冲资源,对象进入不可用状态。复用场景用 clear,结束生命周期用 close。

概念解释

clear 重置长度为零,内存区保留,避免反复分配;连接/请求级 Buffer 复用时,每轮消息结束 clear 即可。close 释放底层资源,isAvailable() 转为不可用,后续读写应避免调用。两者与 truncate 的区别:truncate 保留指定区间,clear 清空全部内容。

原理流程

  1. 缓冲复用:消息处理完 clear(),长度归零等待下一轮写入。
  2. 缓冲生命周期结束:close() 释放资源。
  3. 关闭后通过 isAvailable() 判断对象是否可用。
  4. 异常路径也要保证 close/clear 执行,避免资源残留。

代码或图示

<?php
// 文档示例:复用与释放
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
$buffer->append("round-1");
$buffer->clear(); // 复用,容量保留
$buffer->append("round-2");
$buffer->close(); // 生命周期结束

常见误区

  • close 后继续读写:不可用对象上的操作行为未定义,需先判断可用性。
  • 复用时只清长度不清内部状态:按文档确认 clear 是否重置全部元数据(待确认)。

追问

  • Buffer 析构会自动 close 吗?答:对象销毁时底层资源按析构规则释放;显式 close 用于及时回收。
  • 复用 Buffer 有什么收益?答:减少重复内存分配,稳定内存水位;代价是保留容量占用。

06.5.7.6-009 长度、容量、可用空间与扩容接口如何分工?

一句话结论

getLength() 取当前字节长度,getSize() 取已分配容量,getAvailableSize() 取剩余可用空间;extend() 按建议容量扩容,realloc() 重设容量,prepare() 为即将追加的长度预留空间,alloc() 分配指定大小。

概念解释

长度是有效数据字节数,容量是已分配内存大小,可用空间 = 容量 - 长度。扩容接口分工:extend 按推荐值(默认约为当前容量两倍)扩展;realloc 直接指定新容量;prepare 在追加前确保容纳指定长度;alloc 分配指定空间。mallocTrim() 释放未使用内存,isEmpty()/isFull() 提供状态判断。

原理流程

  1. 写入前用 getAvailableSize() 判断剩余空间。
  2. 不足时 prepare($appendLength) 预留或 extend() 扩容。
  3. 写入后 getLength() 跟踪有效数据量。
  4. 大缓冲空闲时 mallocTrim() 回收多余容量。

代码或图示

<?php
// 文档示例:容量查询与预留
use Swow\Buffer;

$buffer = new Buffer(1024);
$buffer->append("abc");
$length = $buffer->getLength();
$size = $buffer->getSize();
$free = $buffer->getAvailableSize();
$buffer->prepare(2048);

常见误区

  • 混淆 length 与 size:长度是数据量,容量是分配量,二者不等。
  • 频繁手动 realloc 到精确值:扩容策略优先用 extend/prepare,减少重分配次数。

追问

  • extend 默认扩容倍数?答:文档标注 recommendSize 默认为 getSize() * 2;实际增长规则以实现为准(待确认)。
  • isFull 判断的是容量还是长度?答:基于容量与长度比较;语义以文档为准。

06.5.7.6-010 二进制安全与多字节字符处理要注意什么?

一句话结论

Buffer 按字节存取,不感知字符编码;按字符长度、字符切分的操作必须先解码为 string 并按 UTF-8 等编码规则计算,不能把字节偏移当字符偏移。

概念解释

UTF-8 中一个汉字占 3 字节左右,按字符数截断会切断多字节序列产生乱码。Buffer 的 read/write/append 偏移与长度单位都是字节。文本消息应在边界处解码处理;二进制协议则直接按字段字节偏移解析。混排文本与二进制时,明确每段的编码与长度前缀。

原理流程

  1. 判断数据类型:二进制协议按字节偏移,文本内容先确认编码。
  2. 计算长度时区分字节数与字符数(strlen vs mb_strlen)。
  3. 截断位置落在完整字符边界内,避免切断序列。
  4. 导出字符串后再做字符级处理。

代码或图示

<?php
// 文档示例:字节长度与字符长度区分
use Swow\Buffer;

$buffer = new Buffer(32);
$buffer->append("中文");
$byteLen = $buffer->getLength();   // 字节数
$charLen = mb_strlen($buffer->toString(), "UTF-8"); // 字符数

常见误区

  • 用字符数作为 Buffer 偏移:多字节编码下偏移错位。
  • 直接在 Buffer 上做正则/字符替换:先导出 string 再处理。

追问

  • 消息边界按什么划分?答:二进制协议按长度前缀或定长字段;文本协议按分隔符;不要按字符宽度猜边界。
  • 编码不一致怎么办?答:入口统一转 UTF-8,记录原始编码;混排场景在协议中显式标注。

06.5.7.6-011 流式分帧场景如何用 Buffer 处理粘包拆包?

一句话结论

流式分帧循环:读到的字节追加进 Buffer → 按协议规则尝试解析完整帧 → 完整帧导出处理、截断移除已消费字节 → 不足部分保留在 Buffer 等待下次数据;循环往复直到连接结束。

概念解释

TCP 是字节流,一次 recv 可能含半条消息、多条消息或跨包消息。Buffer 承担“拼装-解析-剥离”角色:协议可以是定长、长度前缀、分隔符等。解析函数返回已解析帧数与消费字节数;Buffer 保留残尾。每个帧的边界判断必须幂等,重复解析同一残尾不出错。

原理流程

  1. 从 Socket 读取一段字节 append 到 Buffer。
  2. 解析器按协议扫描:有完整帧则导出并累计消费长度。
  3. truncateFrom(0, $consumed) 移除已消费部分。
  4. 无完整帧则保留残尾,等待下一批数据到达。

代码或图示

<?php
// 文档示例:长度前缀分帧骨架
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
// 1. $buffer->append($socketReadBytes);
// 2. 若 getLength() >= 4,先读 4 字节长度前缀
// 3. 长度满足则 read 出消息体,truncateFrom 移除整帧
// 4. 不足整帧则保留残尾

常见误区

  • 一次读取对应一条消息:流协议没有消息边界假设。
  • 解析后不移除残尾:已消费字节重复参与解析,帧错乱。

追问

  • Socket 读取方法有哪些?答:readString($length, $timeout) 读满指定长度,recvString($size, $timeout) 读到任意数据即返回;见 06.5.7.6-014。
  • 半包超时怎么处理?答:记录帧起始时间,超时未凑齐按协议错误断开或丢弃。

06.5.7.6-012 Buffer 与文件流 fd 如何配合?

一句话结论

文件读取场景把分批读到的流内容写入 Buffer 拼装,或把 Buffer 内容分段写入文件流;配合 Swow\fileno() 获取流描述符,注意大文件分块读写与内存上限,避免一次性载入全部内容。

概念解释

PHP stream resource 与 Buffer 之间通过分段读写衔接:读文件按块读到 string 再 append 进 Buffer;写文件从 Buffer read 分段写出。文件 IO 是否被 hook 为协程化需按扩展覆盖范围确认。大文件处理应控制单块大小与 Buffer 水位,不能把整文件读进内存。

原理流程

  1. 打开文件流,确认读取/写入模式。
  2. 读:分块 fread → append 到 Buffer,达到处理条件后解析。
  3. 写:业务数据写入 Buffer,按块 write 到流,及时 clear。
  4. 结束关闭流,释放 Buffer。

代码或图示

<?php
// 文档示例:文件分块读入 Buffer 骨架
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
$stream = fopen("example.bin", "rb");
while (!feof($stream)) {
    $chunk = fread($stream, 4096);
    if ($chunk === false) {
        break;
    }
    $buffer->append($chunk);
}
fclose($stream);

常见误区

  • 大文件一次性 file_get_contents 进 Buffer:内存峰值随文件大小膨胀。
  • 文件 IO 未 hook 时在协程内读大文件:可能阻塞事件循环,需核实覆盖范围。

追问

  • 如何获取流的 fd?答:Swow\fileno(resource $stream) 返回描述符或 null;失败抛 Swow\Exception。
  • 文件 hook 范围待确认吗?答:是。本地文件流是否被 Swow hook、行为如何,以官方文档与实测为准。

06.5.7.6-013 Buffer 与网络 Socket 读写如何配合?

一句话结论

Socket 读到的字节写入 Buffer 做分帧解析,业务响应拼装到 Buffer 后分段写出;Buffer 隔离“网络字节流”与“业务消息结构”,Socket 方法按超时控制单次读写等待。

概念解释

Socket 层负责 fd 连接与收发,Buffer 层负责字节暂存与切包。读路径:recvString/readString 拿到字节 → append → 分帧;写路径:响应序列化 → append 到 Buffer → 按容量分段 send/write。读写超时按毫秒设置,EOF 与超时分别处理。连接异常时 Buffer 随连接关闭释放。

原理流程

  1. 连接建立后为每连接分配 Buffer。
  2. 读循环:收数据 append 到 Buffer,解析完整帧交业务处理。
  3. 业务响应写入 Buffer,按 Socket 可写情况分段发出。
  4. 连接关闭:截断残留、释放 Buffer 与句柄。

代码或图示

<?php
// 文档示例:Socket 与 Buffer 配合骨架
use Swow\Buffer;
use Swow\Socket;

$buffer = new Buffer(Buffer::COMMON_SIZE);
// $socket = new Socket(...);
// $chunk = $socket->recvString(4096, 3000);
// $buffer->append($chunk);
// 解析完成后 $buffer->toString() 作为响应数据

常见误区

  • 把 Buffer 在多连接间共享:每连接独立缓冲,避免帧数据交叉。
  • 写出前不检查缓冲长度:空缓冲与超大片段都需要分支处理。

追问

  • Socket 详细 API 在哪一批?答:06.5.7.9 Server 与网络编程(规划中)。
  • 写阻塞如何处理?答:Socket 写超时与背压策略按连接粒度实现,Buffer 容量限制单次持有数据量。

06.5.7.6-014 Buffer 锁机制 lock/tryLock/unlock 的用途是什么?

一句话结论

Buffer 提供 lock()、tryLock(): bool、unlock()、isLocked()、getLocker() 等锁接口,用于多协程访问同一 Buffer 时保护读写临界区;单协程顺序使用不需要加锁。

概念解释

单个 Buffer 被多个协程共享读写时,追加、截断、读写偏移可能交错产生不一致。锁把临界区串行化:lock 阻塞获取,tryLock 尝试获取并返回是否成功,unlock 释放。锁粒度应尽量小,持锁期间不做阻塞 IO。getLocker() 返回持有锁的协程对象,用于观测与排查。

原理流程

  1. 确认 Buffer 是否被多协程共享;独占使用不加锁。
  2. 共享场景进入临界区前 lock(),结束 unlock()。
  3. 非阻塞探测用 tryLock(),失败走等待或降级分支。
  4. isLocked()/getLocker() 辅助排查持锁状态。

代码或图示

<?php
// 文档示例:共享 Buffer 临界区保护
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
$buffer->lock();
try {
    $buffer->append("shared");
} finally {
    $buffer->unlock();
}

常见误区

  • 持锁期间做网络等待:锁被长时间持有,其他协程排队阻塞。
  • 异常路径不解锁:finally 中 unlock,避免死锁。

追问

  • 锁与 Mutex 区别?答:Buffer 锁绑定缓冲对象;Swow\Mutex 是独立互斥设施,用于通用临界区。
  • 锁重入吗?答:是否支持同协程重复 lock 待确认,以 API 文档为准。

06.5.7.6-015 大消息内存占用如何控制?

一句话结论

大消息控制手段包括:按协议限制单帧上限、流式分段处理、及时截断已消费字节、空闲时 mallocTrim() 回收容量、避免大字符串长期驻留 Channel/结果结构。

概念解释

内存风险来自三个方向:单帧过大一次性载入、残尾不清理导致 Buffer 累积、大对象在队列与结果容器中被多协程持有。防护措施:协议层校验长度前缀,超限直接拒绝;读写按块处理;每轮消息结束 clear/truncate;监控 Buffer 长度与进程内存水位。

原理流程

  1. 入口校验消息长度上限,超限断开或拒绝。
  2. 流式处理:达到条件即解析,不等全量载入。
  3. 每轮结束截断/clear,长空闲缓冲 trim 容量。
  4. 监控最大缓冲长度与内存占用,配置告警阈值。

代码或图示

<?php
// 文档示例:长度上限校验骨架
use Swow\Buffer;

$maxBytes = 65536;
$buffer = new Buffer(Buffer::COMMON_SIZE);
// $buffer->append($chunk);
if ($buffer->getLength() > $maxBytes) {
    // 超限:拒绝并清理缓冲
    $buffer->clear();
}

常见误区

  • 信任对端长度前缀:不校验上限会被恶意大帧撑爆内存。
  • 处理完大消息不释放:字符串与 Buffer 引用留在结果队列中持续占用。

追问

  • 大文件传输怎么做?答:分块读写 + 流协议,避免整文件进内存;具体方案见网络编程批次。
  • 内存指标看哪些?答:Buffer 长度分布、进程内存、Channel 积压长度;纳入可观测性监控。

06.5.7.6-016 Buffer 复用与清零策略怎么定?

一句话结论

高频短消息场景复用 Buffer:每轮结束 clear() 保留容量避免反复分配;复用前确认长度与内部状态归零;长生命周期连接的 Buffer 在连接关闭时 close 释放,不跨连接复用未清空的缓冲。

概念解释

复用收益是减少分配开销,风险是残留字节污染下一轮。clear 后长度归零,但复用代码必须确认没有残留读写位置或缓存状态。连接级 Buffer 跟随连接生命周期;请求级 Buffer 随请求结束释放。复用时优先在同一上下文内使用,避免跨协程共享未同步的缓冲。

原理流程

  1. 判定 Buffer 生命周期:连接级长期持有,请求级随帧释放。
  2. 复用:帧处理完 clear,校验长度为零后再写入新帧。
  3. 不复用:帧处理完 close,交回内存。
  4. 复用缓冲访问按 06.5.7.6-014 加锁保护。

代码或图示

<?php
// 文档示例:连接级 Buffer 复用
use Swow\Buffer;

$buffer = new Buffer(Buffer::COMMON_SIZE);
// 每帧循环:
$buffer->append($chunk);
// 解析与处理
$buffer->clear(); // 等待下一帧

常见误区

  • 跨连接复用同一 Buffer 不清空:上一连接残尾混入新连接数据。
  • 复用时保留上一轮解析状态:解析器状态也要每帧重置。

追问

  • clear 是否释放容量?答:clear 清内容,容量保留;需要释放容量用 mallocTrim/close。
  • 复用池化 Buffer 有现成组件吗?答:以 swow/swow 库清单为准(待确认),无现成池则按对象复用管理。

06.5.7.6-017 越界读写会抛出什么异常?

一句话结论

偏移、长度、起始位置超出范围时抛 ValueError;底层缓冲区操作失败抛 BufferException;业务代码应对参数边界与缓冲状态做前置检查,异常路径清理缓冲。

概念解释

参数校验类错误(负偏移、长度越界)由 PHP 层 ValueError 拦截;内存分配失败、缓冲不可用等底层错误走 BufferException。读写前先用 getLength/getAvailableSize 计算边界,减少异常路径。异常发生时 Buffer 可能处于部分写入状态,需按语义决定 clear 或关闭。

原理流程

  1. 写入/读取前计算偏移与长度边界。
  2. 越界参数直接本地拦截,不进入底层调用。
  3. 底层失败 catch BufferException,记录缓冲快照与错误码。
  4. 清理:可恢复则 clear 重试,不可恢复则关闭缓冲与连接。

代码或图示

<?php
// 文档示例:边界前置检查
use Swow\Buffer;
use Swow\BufferException;

$buffer = new Buffer(16);
$buffer->append("abc");
if ($buffer->getLength() >= 2) {
    $head = $buffer->read(0, 2);
}
try {
    $buffer->write(100, "x");
} catch (BufferException $e) {
    $buffer->clear();
}

常见误区

  • 假设 read 越界返回空字符串:可能直接抛异常,必须覆盖 catch。
  • 异常后继续使用缓冲:部分写入状态未明,先清理再决策。

追问

  • BufferException 错误码在哪查?答:对照 Swow\Errno 常量与 API 文档(待确认)。
  • 如何在测试覆盖边界?答:构造空缓冲、超长偏移、负长度用例验证异常分支。

06.5.7.6-018 与 PHP 原生 string 拼接相比,Buffer 的优势是什么?

一句话结论

string 不可变,多次拼接产生新字符串与拷贝;Buffer 在可增长内存区内追加、定点读写与截断,减少中间拷贝并提供长度/容量控制,适合流式拼装与协议缓冲。

概念解释

PHP string 运算(.=、拼接)在容量不足时重新分配并复制内容,循环拼接成本随长度增长。Buffer 维护一块可扩容内存,追加在剩余空间内写入,截断只调整长度与前移残尾。代价是 Buffer 是对象、使用比 string 多一层 API;短文本处理直接用 string 即可。

原理流程

  1. 评估场景:少量固定文本用 string,流式拼装/协议缓冲用 Buffer。
  2. Buffer 追加写入,避免反复生成临时字符串。
  3. 解析完成后导出 string 交给业务层。
  4. 对比内存分配次数与峰值选择实现。

代码或图示

<?php
// 错误示范(文档示例):循环拼接产生多次拷贝
$text = "";
foreach (["a", "b", "c"] as $part) {
    $text .= $part;
}

// 对照:Buffer 追加
use Swow\Buffer;
$buffer = new Buffer(Buffer::COMMON_SIZE);
foreach (["a", "b", "c"] as $part) {
    $buffer->append($part);
}

常见误区

  • 所有字符串处理都换成 Buffer:短字符串直接操作更简单,Buffer 价值在流式与二进制场景。
  • 以为 Buffer 零拷贝:扩容与导出仍有拷贝,只是减少中间临时串。

追问

  • 性能差异需要实测吗?答:是。按消息大小与频率压测对比内存分配与耗时,不凭印象下结论。
  • Buffer 能序列化进 Channel 吗?答:可传递对象引用;按 06.5.7.4 通道传递规则评估共享状态。

06.5.7.6-019 Buffer 复用在 Channel 流式管道中的组合方式是什么?

一句话结论

流式管道可用 Channel 传递 Buffer 或字节块:生产者把读出的字节块放入通道,消费者取出写入/解析 Buffer;Buffer 在处理侧持有残尾,Channel 只做交接,避免大块字符串在多协程间反复拷贝。

概念解释

组合分工:Channel 负责协程间交接与背压,Buffer 负责单消费者侧的拼装与截断。每连接/每消费者持有自己的 Buffer,不在多个消费者间共享同一个 Buffer 对象。消息粒度与通道容量匹配:块太小调度频繁,块太大内存积压。

原理流程

  1. 读取协程按块收数据,封装字节块 push 到通道。
  2. 处理协程 pop 字节块,append 到私有 Buffer。
  3. Buffer 解析完整帧后导出业务消息,截断残尾。
  4. 结束信号通过通道传递,消费者清空并关闭 Buffer。

代码或图示

<?php
// 文档示例:通道交接字节块 + 私有 Buffer
use Swow\Buffer;
use Swow\Channel;

$channel = new Channel(8);
$buffer = new Buffer(Buffer::COMMON_SIZE);
// 读取协程:$channel->push($chunk, 1000);
// 处理协程:$chunk = $channel->pop(1000); $buffer->append($chunk);

常见误区

  • 多个消费者共用一个 Buffer:帧数据交错,必须每消费者独立缓冲。
  • 通道里传大 Buffer 对象引用:对象被多协程共享需加锁,优先传字节块。

追问

  • 背压如何控制?答:通道有界容量限制积压,push 超时配合下游处理速度。
  • 详细 Channel 语义见哪一页?答:06.5.7.4 Channel 协程通信。

06.5.7.6-020 容量估算与上限设置有哪些建议?

一句话结论

初始容量按典型单帧/单批数据估算并对齐页大小,缓冲上限按协议最大消息与并发连接数设定;上线前压测观测长度分布,按峰值调整初始容量与上限,既避免频繁扩容也防止内存失控。

概念解释

容量估算三个输入:单帧最大字节、单连接残尾规模、并发连接/通道数量。初始容量过小触发多次扩容,过大则每连接浪费内存。上限是安全闸门:超过上限拒绝帧或断开连接。配置应可按环境调整,并在监控中暴露缓冲长度水位。

原理流程

  1. 统计协议消息大小分布,确定常见帧长与最大帧长。
  2. 初始容量取常见帧长附近并对齐 PAGE_SIZE。
  3. 单缓冲上限 = 最大帧长 + 合理残尾;总内存 = 单缓冲上限 × 并发数。
  4. 压测观察 getLength 分布,回调初始容量与上限。

代码或图示

<?php
// 文档示例:容量配置骨架
use Swow\Buffer;

$initSize = Buffer::alignSize(Buffer::COMMON_SIZE, Buffer::PAGE_SIZE);
$maxFrameBytes = 65536;
$buffer = new Buffer($initSize);
// 写入前校验 getLength() + 新块长度不超过 $maxFrameBytes

常见误区

  • 只设初始容量不设上限:异常流量下缓冲无限增长。
  • 按最大帧长给每个缓冲初始容量:小消息连接浪费内存。

追问

  • 如何确认 Buffer 方法与常量在本机可用?答:php --ri swow 加载扩展后反射 Swow\Buffer;本批环境未安装,签名以官方 API 文档为准(待确认)。
  • 扩容策略可调吗?答:extend/realloc/prepare 提供手动控制入口;自动扩容倍数以实现为准,必要时手动预留空间。