docs: 完善三套实时性研究框架与验证方案 #3
@@ -12,6 +12,7 @@
|
||||
6. `05-中断与实时性保障.md`
|
||||
7. `06-能耗与热管理.md`
|
||||
8. `07-方法论与评估工具链.md`
|
||||
9. `参考文件/README.md`
|
||||
|
||||
## 文件说明
|
||||
|
||||
@@ -31,3 +32,5 @@
|
||||
- 能耗约束、温度耦合、频率策略与热稳定性
|
||||
- `07-方法论与评估工具链.md`
|
||||
- 建模、仿真、原型验证和评估方法学
|
||||
- `参考文件/`
|
||||
- 按七个研究方向整理的论文、标准、官方工程资料及其与本项目的证据映射
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
# 推理图任务调度参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向连接两类研究:一类是固定优先级、EDF、响应时间分析等经典实时调度理论;另一类是 LLM 服务中的连续批处理、prefill/decode 分离、分块 prefill 和 SLO 感知调度。本项目的增量应落在两者交叉处:把推理图阶段映射为可度量、可准入、可隔离的 RTOS 任务,同时保障关键周期任务。
|
||||
|
||||
## 2. 核心必引资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| C. L. Liu, J. W. Layland, “Scheduling Algorithms for Multiprogramming in a Hard-Real-Time Environment,” JACM, 1973. [DOI](https://doi.org/10.1145/321738.321743) | A | 周期任务、固定优先级与 EDF 的理论基础 | 定义关键保障任务模型和可调度性讨论的起点 |
|
||||
| N. Audsley et al., “Applying New Scheduling Theory to Static Priority Pre-emptive Scheduling,” 1993. [DOI](https://doi.org/10.1049/sej.1993.0034) | A | 含阻塞和释放抖动的固定优先级响应时间分析 | 为推理、中断与共享资源干扰进入 RTA 提供基础 |
|
||||
| W. Yu et al., “Orca: A Distributed Serving System for Transformer-Based Generative Models,” OSDI 2022. [USENIX](https://www.usenix.org/conference/osdi22/presentation/yu) | A | 迭代级调度和连续批处理 | 作为 LLM 服务调度基线,不作为实时保证 |
|
||||
| W. Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” SOSP 2023. [arXiv](https://arxiv.org/abs/2309.06180) | A/B | 请求调度与 KV 分页耦合、吞吐提升 | 支撑调度与内存联合设计及 vLLM 对照 |
|
||||
| A. Agrawal et al., “Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve,” OSDI 2024. [USENIX](https://www.usenix.org/conference/osdi24/presentation/agrawal) | A | 分块 prefill、decode 干扰与吞吐—时延权衡 | 支撑 prefill 可分段化和关键任务插入点设计 |
|
||||
| Y. Zhong et al., “DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving,” OSDI 2024. [USENIX](https://www.usenix.org/conference/osdi24/presentation/zhong-yinmin) | A | TTFT/TPOT 双 SLO、prefill/decode 解耦和 goodput | 对应本项目 TTFT、TPOT 和有效吞吐联合门槛 |
|
||||
|
||||
## 3. 扩展参考
|
||||
|
||||
| 资料 | 关注点 |
|
||||
|---|---|
|
||||
| A. Gujarati et al., “Serving DNNs like Clockwork: Performance Predictability from the Bottom Up,” OSDI 2020. [USENIX](https://www.usenix.org/conference/osdi20/presentation/gujarati) | DNN 推理可预测性、受控执行和 deadline-aware 调度 |
|
||||
| A. Agrawal et al., “SARATHI: Efficient LLM Inference by Piggybacking Decodes with Chunked Prefills,” 2023. [arXiv](https://arxiv.org/abs/2308.16369) | prefill 分块、decode-maximal batching 与流水线气泡 |
|
||||
|
||||
## 4. 可形成的论文论点
|
||||
|
||||
1. 把 `prefill/decode/postprocess` 从服务框架内部阶段提升为可被 RTOS 观测和治理的任务图节点。
|
||||
2. 比较固定优先级、EDF、混合优先级和准入控制在双目标场景下的边界。
|
||||
3. 以满足 `TTFT + TPOT + 关键任务 deadline` 的有效吞吐,而不是总 tokens/s,作为调度目标。
|
||||
4. 分析推理阶段不可抢占区间、驱动提交和完成中断对 RTA 的附加阻塞项。
|
||||
|
||||
## 5. 对应证据与实验
|
||||
|
||||
- 指标:`TTFT`、`TPOT`、端到端时延、有效吞吐、关键任务 `P99.9/Max`、违约率。
|
||||
- 场景:L1、L2、L3、L5、L7。
|
||||
- 对照:FCFS/默认批处理、连续批处理、分块 prefill、完整 RTOS 方案及消融。
|
||||
- 关键边界:GPU/NPU 内核通常不能被 CPU 调度器直接细粒度抢占,必须实测设备与驱动行为。
|
||||
|
||||
## 6. 不应直接推出的结论
|
||||
|
||||
- 云端 LLM 系统的 SLO 达标不等于硬实时保证。
|
||||
- 平均 tokens/s 提升不能说明关键保障任务更可预测。
|
||||
- RTA 中的执行时间和阻塞项若未经目标硬件测量,不能作为安全上界。
|
||||
@@ -0,0 +1,41 @@
|
||||
# KV Cache 与内存管理参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
KV Cache 同时影响容量、内存带宽、请求并发和尾延迟。在 RTOS 场景中,研究重点不是单纯提高缓存命中率,而是控制动态分配、换入换出、DMA 和回收行为对关键任务造成的不可预测干扰。
|
||||
|
||||
## 2. 核心必引资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| W. Kwon et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” SOSP 2023. [arXiv](https://arxiv.org/abs/2309.06180) | A/B | 块式 KV 分配、碎片控制、共享与调度耦合 | 作为分页池设计和 vLLM 基线 |
|
||||
| Y. Sheng et al., “FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU,” ICML 2023. [PMLR](https://proceedings.mlr.press/v202/sheng23a.html) | A | GPU/CPU/存储分层放置与 I/O 调度 | 支撑分层 KV/权重放置,但需强调其吞吐导向 |
|
||||
| Z. Zhang et al., “H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models,” NeurIPS 2023. [NeurIPS](https://proceedings.neurips.cc/paper_files/paper/2023/hash/6ceefa7b15572587b78ecfcebb2827f8-Abstract.html) | A | 基于重要 token 的 KV 淘汰及质量影响 | 用于“容量—质量—时延”三目标实验 |
|
||||
| W. Lee et al., “InfiniGen: Efficient Generative Inference of Large Language Models with Dynamic KV Cache Management,” OSDI 2024. [USENIX](https://www.usenix.org/conference/osdi24/presentation/lee) | A | KV 预取、CPU offload、动态池管理 | 对应 CPU—加速器带宽与预取干扰研究 |
|
||||
| P. Patel et al., “vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention,” 2024. [arXiv](https://arxiv.org/abs/2405.04437) | B | 利用虚拟内存保持逻辑连续、比较分页内核复杂度 | 作为 PagedAttention 的替代路线和消融参考 |
|
||||
|
||||
## 3. 研究问题映射
|
||||
|
||||
| 本项目问题 | 参考资料启发 | 必须补充的 RTOS 证据 |
|
||||
|---|---|---|
|
||||
| 内存池预分配是否减少尾延迟 | PagedAttention 的块式管理 | 分配路径时延、关键任务 `P99.9/Max`、碎片率 |
|
||||
| KV 换出是否可控 | FlexGen、InfiniGen | DMA/内存带宽竞争、外部接口响应和违约率 |
|
||||
| KV 淘汰如何影响可用性 | H2O | 固定题集质量、输出可用率、恢复到全量 KV 的开销 |
|
||||
| 多请求是否相互污染 | 分页与共享机制 | 每租户上限、OOM 隔离、Jain 指数和逐租户 SLO |
|
||||
| B8/B16 容量边界 | 各类压缩/分页工作 | 峰值驻留集、KV 增长曲线、首次失败点和错误类型 |
|
||||
|
||||
## 4. 建议实验变量
|
||||
|
||||
- KV 块大小、内存池大小、预分配比例和保留余量;
|
||||
- 上下文长度、并发度、输出长度和突发到达;
|
||||
- GPU/NPU 本地、主存和存储三级放置;
|
||||
- 淘汰策略:LRU、近期 token、重要 token、固定配额;
|
||||
- 是否锁页、是否异步预取、DMA 并发数和带宽限额。
|
||||
|
||||
输出至少包括峰值内存、碎片率、分配失败率、KV 迁移字节数、带宽、`TTFT/TPOT`、质量、关键任务尾延迟和 OOM 恢复行为。
|
||||
|
||||
## 5. 不应直接推出的结论
|
||||
|
||||
- 内存占用减少不必然降低端到端时延;压缩、索引和搬移可能增加尾延迟。
|
||||
- 论文中的 perplexity 或准确率保持不代表任务关键应用输出可用。
|
||||
- Linux/CUDA 的虚拟内存和 UVM 机制不能假定在 SylixOS、NPU SDK 或受限 SoC 上等价存在。
|
||||
@@ -0,0 +1,54 @@
|
||||
# 加速器协同调度参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向研究 CPU 调度、驱动提交、DMA、GPU/NPU 执行和完成中断组成的完整链路。核心是识别哪些环节受 RTOS 控制,哪些环节只受厂商运行时或固件控制,并通过端到端时间戳验证协同效果。
|
||||
|
||||
## 2. 核心资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| NVIDIA, “CUDA Programming Guide: Asynchronous Execution, Streams and Events.” [官方文档](https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/asynchronous-execution.html) | A | 流、事件、同步、并发和优先级语义 | 定义 CUDA 路线中的提交和同步边界 |
|
||||
| NVIDIA, “CUDA Programming Guide: Unified Memory.” [官方文档](https://docs.nvidia.com/cuda/cuda-programming-guide/04-special-topics/unified-memory.html) | A | CPU/GPU 统一内存、迁移及流关联 | 解释缺页/迁移引入的不确定性,不能替代实测 |
|
||||
| Z. Bai et al., “PipeSwitch: Fast Pipelined Context Switching for Deep Learning Applications,” OSDI 2020. [USENIX](https://www.usenix.org/conference/osdi20/presentation/bai) | A | GPU 应用切换、模型传输与执行流水化 | 支撑多模型共享和切换开销研究 |
|
||||
| A. Gujarati et al., “Serving DNNs like Clockwork,” OSDI 2020. [USENIX](https://www.usenix.org/conference/osdi20/presentation/gujarati) | A | 可预测 GPU 推理、执行时间建模和准入 | 作为加速器可预测性相邻工作 |
|
||||
| Y. Choi, M. Rhu, “PREMA: A Predictive Multi-task Scheduling Algorithm for Preemptible Neural Processing Units,” HPCA 2020. [DOI](https://doi.org/10.1109/HPCA47549.2020.00030) | A | 可抢占 NPU 多任务预测调度 | 支撑 NPU 细粒度抢占的研究假设,需检查实际硬件支持 |
|
||||
| MLCommons, “MLPerf Inference.” [官方文档](https://docs.mlcommons.org/inference/index_gh/) | A | Edge/Datacenter 场景、负载发生和准确率约束 | 用于外部性能方法对齐,不替代双目标测试 |
|
||||
|
||||
## 3. 硬件路线需单独核对的官方资料
|
||||
|
||||
- NVIDIA:CUDA Toolkit、驱动、MPS/MIG、DCGM 与 NCCL 对应版本文档;
|
||||
- Rockchip:RKNN Toolkit2、RKLLM、RKNPU2 Runtime 与对应芯片技术参考;
|
||||
- 其他 NPU/GPU:运行时队列、优先级、超时、复位、DMA 和性能计数器文档;
|
||||
- SylixOS:BSP、中断、DMA、一致性、IOMMU 和驱动接口资料。
|
||||
|
||||
闭源资料若不能公开引用,应在论文中描述可复现的外部行为,不披露受限内容。
|
||||
|
||||
## 4. 建议链路分解
|
||||
|
||||
```text
|
||||
请求到达
|
||||
→ CPU 预处理
|
||||
→ 驱动/运行时提交
|
||||
→ DMA/内存迁移
|
||||
→ 加速器排队
|
||||
→ kernel/NPU task 执行
|
||||
→ 完成中断
|
||||
→ CPU 后处理
|
||||
→ 外部输出
|
||||
```
|
||||
|
||||
每段都应有时间戳或外部观测点。设备事件只能衡量设备域执行,不能替代 CPU 到结果可用的端到端时延。
|
||||
|
||||
## 5. 可形成的论文论点
|
||||
|
||||
1. RTOS 可通过 CPU/IRQ 亲和性、队列限长、预分配和准入减少主机侧不确定性。
|
||||
2. 加速器运行时不提供硬优先级保证时,RTOS 的收益会受设备不可抢占区间限制。
|
||||
3. 异步流水可能提高吞吐,但需要同时检查关键任务尾延迟、内存带宽和中断干扰。
|
||||
4. 多加速器扩展需分开报告单请求并行、多实例吞吐与通信开销。
|
||||
|
||||
## 6. 不应直接推出的结论
|
||||
|
||||
- CUDA stream priority 是调度提示,不是硬实时保证。
|
||||
- GPU 支持并发 kernel 不代表特定工作负载必然并发执行。
|
||||
- 加速器利用率高不等于有效吞吐高,也不等于关键任务 deadline 达标。
|
||||
@@ -0,0 +1,44 @@
|
||||
# 量化与精度感知调度参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向不只比较 INT4/INT8/FP16 的速度,而是研究在不同任务紧迫度、资源预算和热状态下,能否选择满足质量门槛的最低成本精度,并保证切换过程不会破坏关键任务实时性。
|
||||
|
||||
## 2. 核心必引资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| E. Frantar et al., “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers,” ICLR 2023. [OpenReview](https://openreview.net/forum?id=tcbBPnfwxS) | A | 基于近似二阶信息的低比特权重量化 | 作为 3/4-bit PTQ 方法基线 |
|
||||
| G. Xiao et al., “SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models,” ICML 2023. [PMLR](https://proceedings.mlr.press/v202/xiao23c.html) | A | W8A8、激活离群值平滑、硬件效率 | 作为 INT8 权重—激活量化基线 |
|
||||
| J. Lin et al., “AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration,” MLSys 2024. [MLSys](https://proceedings.mlsys.org/paper_files/paper/2024/hash/42a452cbafa9dd64e9ba4aa95cc1ef21-Abstract-Conference.html) | A | 面向端侧的激活感知权重量化 | 对应 T5/T4/T3 设备端路线 |
|
||||
| T. Dettmers et al., “LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale,” NeurIPS 2022. [NeurIPS](https://proceedings.neurips.cc/paper_files/paper/2022/hash/c3ba4962c05c49636d4c6206a97e9c8a-Abstract-Conference.html) | A | 激活离群值与混合精度分解 | 支撑异常通道和精度保持讨论 |
|
||||
| T. Dettmers et al., “QLoRA: Efficient Finetuning of Quantized LLMs,” NeurIPS 2023. [NeurIPS](https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract.html) | A | NF4、双重量化和分页优化器 | 主要用于背景;本项目若不训练,不作为主实验 |
|
||||
| Z. Lin et al., “QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving,” MLSys 2025. [MLSys](https://proceedings.mlsys.org/paper_files/paper/2025/hash/fbe2b2f74a2ece8070d8fb073717bda6-Abstract-Conference.html) | A | 权重、激活和 KV 联合低比特系统设计 | 支撑量化与内存/内核协同研究 |
|
||||
|
||||
## 3. 精度感知调度应补足的研究空白
|
||||
|
||||
现有量化论文通常回答“某种格式能否保持平均精度并加速推理”,但本项目还需要回答:
|
||||
|
||||
- 精度切换是否引起模型加载、重新编译、缓存失效或内存峰值;
|
||||
- 动态切换期间关键保障负载是否出现尾延迟峰值;
|
||||
- 低比特内核在目标 NPU/GPU 上是否真正加速,而非只有模型更小;
|
||||
- 质量门槛、实时门槛和功耗门槛能否同时满足;
|
||||
- 对不同风险等级请求,能否采用不同的可接受精度下限。
|
||||
|
||||
## 4. 建议实验矩阵
|
||||
|
||||
| 维度 | 建议取值 |
|
||||
|---|---|
|
||||
| 精度 | FP16/BF16、INT8、INT4;仅测试后端真实支持项 |
|
||||
| 模型变量 | 同一模型修订、同一 tokenizer、同一输入与解码参数 |
|
||||
| 质量 | 固定题集、perplexity/准确率/F1/任务判分、输出可用率 |
|
||||
| 性能 | TTFT、TPOT、端到端时延、有效吞吐 |
|
||||
| 系统 | 峰值内存、切换时间、能耗、温度、关键任务违约与尾延迟 |
|
||||
| 调度 | 静态精度、基于 deadline 的精度、基于热/功耗预算的精度 |
|
||||
|
||||
## 5. 不应直接推出的结论
|
||||
|
||||
- 权重压缩比不能替代整机内存、速度或能效实测。
|
||||
- perplexity 接近不等于所有任务质量和安全性等价。
|
||||
- 不同量化后端的算子、校准和数值格式不同,通常只能视为整套软件栈比较。
|
||||
- 动态精度调度若未测切换开销,不能宣称适合实时路径。
|
||||
@@ -0,0 +1,54 @@
|
||||
# 中断与实时性保障参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向为论文的“可保障性”提供理论和系统基础,覆盖固定优先级响应时间、共享资源阻塞、优先级倒置、中断线程化、CPU/IRQ 亲和性以及外部闭环测量。
|
||||
|
||||
## 2. 经典理论资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| C. L. Liu, J. W. Layland, “Scheduling Algorithms for Multiprogramming in a Hard-Real-Time Environment,” 1973. [DOI](https://doi.org/10.1145/321738.321743) | A | RMS/EDF 与周期任务基础 | 建立基本任务模型 |
|
||||
| L. Sha, R. Rajkumar, J. P. Lehoczky, “Priority Inheritance Protocols: An Approach to Real-Time Synchronization,” IEEE TC, 1990. [DOI](https://doi.org/10.1109/12.57058) | A | 优先级继承、优先级上限与有界阻塞 | 支撑锁竞争和优先级倒置分析 |
|
||||
| N. Audsley et al., “Applying New Scheduling Theory to Static Priority Pre-emptive Scheduling,” 1993. [DOI](https://doi.org/10.1049/sej.1993.0034) | A | 含阻塞和抖动的精确固定优先级分析 | 构建含 IRQ/驱动阻塞的 RTA |
|
||||
| K. Tindell, A. Burns, A. Wellings, “An Extendible Approach for Analyzing Fixed Priority Hard Real-Time Tasks,” Real-Time Systems, 1994. [DOI](https://doi.org/10.1007/BF01088593) | A | 固定优先级分析扩展 | 用于更复杂任务和通信分析 |
|
||||
|
||||
## 3. 内核与测量资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 |
|
||||
|---|---|---|
|
||||
| Linux Kernel, “PREEMPT_RT Theory of Operation.” [官方文档](https://docs.kernel.org/core-api/real-time/theory.html) | A | 可抢占锁、rtmutex、优先级继承和线程化中断 |
|
||||
| Linux Kernel, “How realtime kernels differ.” [官方文档](https://docs.kernel.org/core-api/real-time/differences.html) | A | 普通 Linux 与 PREEMPT_RT 的内核语义差异 |
|
||||
| Linux Foundation Real-Time Linux, “Cyclictest.” [官方文档](https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start) | A/B | 唤醒延迟工具、参数、限制和最大值解释 |
|
||||
| Linux `rt-tests` 项目. [kernel.org](https://git.kernel.org/pub/scm/utils/rt-tests/rt-tests.git/) | B | cyclictest、hwlatdetect 等实现与版本记录 |
|
||||
|
||||
## 4. 本项目分析框架
|
||||
|
||||
关键任务响应时间可写为:
|
||||
|
||||
```text
|
||||
R_i = C_i + B_i + I_irq,i + I_sched,i
|
||||
+ sum(ceil((R_i + J_h) / T_h) * C_h)
|
||||
```
|
||||
|
||||
其中 `C_i` 是自身执行时间,`B_i` 是共享资源阻塞,`I_irq,i` 是中断与驱动干扰,`I_sched,i` 是调度器和不可抢占区间干扰,求和项是高优先级任务干扰。该式只用于组织分析;每个项的取值和适用假设必须单独验证。
|
||||
|
||||
实测至少覆盖:
|
||||
|
||||
- 计划释放、就绪、开始和完成时间;
|
||||
- 唤醒延迟、响应时间、完成抖动、违约率和观测最大值;
|
||||
- IRQ 数量、处理时间、CPU 亲和性和最长关中断区间;
|
||||
- 推理提交、DMA 和完成中断与关键任务峰值的时间关联;
|
||||
- GPIO/CAN/RS485/网络外部回路端到端时延。
|
||||
|
||||
## 5. 对照与消融
|
||||
|
||||
- O0 普通 Linux、O1 PREEMPT_RT、O2 SylixOS 默认、O3 SylixOS 优化、必要时 O4 等预算调优;
|
||||
- 逐项去除 CPU 隔离、IRQ 亲和性、优先级继承、内存预分配和推理准入;
|
||||
- 同时报人工智能有效吞吐代价,避免通过饿死推理任务获得低抖动。
|
||||
|
||||
## 6. 不应直接推出的结论
|
||||
|
||||
- cyclictest 测得的是特定路径的唤醒延迟,通常不等于业务任务完整响应时间。
|
||||
- 实测最大值不是 WCET;零违约不是硬实时证明。
|
||||
- PREEMPT_RT 和专用 RTOS 的机制差异必须通过等价任务语义比较,不能只比较工具默认输出。
|
||||
@@ -0,0 +1,51 @@
|
||||
# 能耗与热管理参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向关注满足人工智能和关键实时约束时的能效,而不是脱离任务完成质量的最低功率。功率、温度、频率、有效吞吐和违约必须使用对齐的时间窗口联合分析。
|
||||
|
||||
## 2. 核心资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| MLCommons, “MLPerf Inference Power Measurement.” [官方文档](https://docs.mlcommons.org/inference/power/) | A | 外部功率分析仪、PTDaemon、测量窗口和配置 | 设计整机功耗采集链路 |
|
||||
| MLCommons, “MLPerf Inference Benchmark Suite.” [官方文档](https://docs.mlcommons.org/inference/index_gh/) | A | Edge/Datacenter 场景、性能与准确率约束 | 对齐负载发生和结果报告方法 |
|
||||
| SPEC, “SPECpower_ssj2008.” [官方资料](https://www.spec.org/osg/power_ssj2008/) | A | AC 输入功率—性能联合测量、负载档位 | 借鉴整机边界和多负载点报告 |
|
||||
| W. Huang et al., “HotSpot: A Compact Thermal Modeling Methodology for Early-Stage VLSI Design,” IEEE TVLSI, 2006. [DOI](https://doi.org/10.1109/TVLSI.2006.876103) | A | 热 RC 模型、瞬态与稳态温度 | 支撑热动态建模背景,不替代板级传感器实测 |
|
||||
| NVIDIA, “DCGM Field Identifiers.” [官方文档](https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-api/dcgm-api-field-ids.html) | A | GPU 功率、能量、温度、频率和降频原因 | V100/H100 路线的设备侧归因数据 |
|
||||
|
||||
## 3. 统一计算口径
|
||||
|
||||
```text
|
||||
E_total = integral(P(t), t0, t1)
|
||||
E/token = E_total / N_output
|
||||
effective_E/token = E_total / N_qualified_output
|
||||
tokens/J = N_output / E_total
|
||||
throttling_ratio = throttled_time / valid_measurement_time
|
||||
```
|
||||
|
||||
主结果使用整机输入端测量。设备遥测只作归因;TDP、标称功耗和电源额定值不能替代实测。`N_output=0` 时能效不可计算。
|
||||
|
||||
## 4. 建议实验
|
||||
|
||||
1. 空闲、prefill、decode 和混合负载分阶段功率曲线;
|
||||
2. 25/50/75/100% 负载下的温度—频率—性能耦合;
|
||||
3. 不同固定频率/DVFS/功耗上限下的 `E/token` 与 deadline miss;
|
||||
4. 冷态、热稳态和 24 h 后的 TTFT/TPOT、吞吐与关键任务尾延迟;
|
||||
5. 降频前后同一到达流的有效吞吐变化;
|
||||
6. O0~O4 在相同双目标门槛下的能效比较。
|
||||
|
||||
每次运行记录环境温度、散热方式、风扇策略、功率计型号、量程、精度和采样率。
|
||||
|
||||
## 5. 可形成的论文论点
|
||||
|
||||
- RTOS 的准入、空闲管理和频率策略可能降低无效执行和失败请求的能耗。
|
||||
- 更低精度或更高并发可能降低 `J/token`,但热饱和后可能扩大尾延迟和违约率。
|
||||
- 应寻找满足双目标约束的 Pareto 前沿,而不是独立最小化功率或最大化吞吐。
|
||||
|
||||
## 6. 不应直接推出的结论
|
||||
|
||||
- 芯片遥测功率不能代表整机功率。
|
||||
- 短时冷态跑分不能代表热稳态或 24 h 性能。
|
||||
- 更低平均功率不等于更低任务能耗;运行时间延长可能提高总能量。
|
||||
- 未取得温箱数据时不能宣称覆盖全温域。
|
||||
@@ -0,0 +1,66 @@
|
||||
# 方法论与评估工具链参考
|
||||
|
||||
## 1. 与本项目的关系
|
||||
|
||||
本方向决定实验结果能否复现、能否公平比较,以及能否从“跑分差异”上升为“RTOS 双目标保障边界”的研究结论。
|
||||
|
||||
## 2. 核心资料
|
||||
|
||||
| 资料 | 等级 | 可支撑内容 | 本项目使用方式 |
|
||||
|---|---|---|---|
|
||||
| J. Dean, L. A. Barroso, “The Tail at Scale,” CACM, 2013. [Google Research](https://research.google/pubs/the-tail-at-scale/) | A | 大规模系统尾延迟的来源和重要性 | 支撑 P99/P99.9 而非均值作为核心证据 |
|
||||
| V. J. Reddi et al., “MLPerf Inference Benchmark,” 2019. [arXiv](https://arxiv.org/abs/1911.02549) | A/B | 标准负载发生、场景、准确率与性能方法 | 作为 AI 基准方法学参照 |
|
||||
| MLCommons, “MLPerf Inference Submission Guide.” [官方文档](https://docs.mlcommons.org/inference/submission/) | A | LoadGen、系统描述、Closed/Open division 和可比性 | 设计外部基准对齐和 manifest |
|
||||
| ACM, “Artifact Review and Badging.” [官方政策](https://www.acm.org/publications/policies/artifact-review-and-badging-current) | A | 可用、可运行、可复用与结果复现 | 规划代码、数据和复现包 |
|
||||
| Linux Foundation Real-Time Linux, “Cyclictest.” [官方文档](https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start) | A/B | RT 延迟测试设计、参数和限制 | 作为 Linux 辅助基线及测量避坑依据 |
|
||||
| R. Jain, D.-M. Chiu, W. Hawe, “A Quantitative Measure of Fairness and Discrimination,” DEC TR-301, 1984. [PDF](https://www.cse.wustl.edu/~jain/papers/ftp/fairness.pdf) | A/B | Jain 公平指数 | 多租户相对独占吞吐公平性 |
|
||||
|
||||
## 3. 本项目最低方法要求
|
||||
|
||||
### 3.1 公平对照
|
||||
|
||||
冻结模型修订、tokenizer、量化文件、输入/输出、到达序列、随机种子、硬件、核心数、内存预算、加速器数、功耗策略和散热条件。无法使用同一推理后端时,区分“OS 调度效应”和“整套软件栈效应”。
|
||||
|
||||
### 3.2 样本与重复
|
||||
|
||||
- 普通性能单元至少 5 次独立运行;
|
||||
- 请求级 P99.9 以至少 10 万有效请求为目标,样本不足则降级为 P99 或标为探索性;
|
||||
- 1 ms 周期任务记录计划释放数、缺失数和全部违约;
|
||||
- 长稳运行 24 h,保留完整时间序列;
|
||||
- 跨运行使用中位数、区间及按运行/时间块 bootstrap。
|
||||
|
||||
### 3.3 失败处理
|
||||
|
||||
拒绝、超时、OOM、重启、日志中断和测量失败必须保留并分类。只有仪器、程序或配置失效的批次可标为无效,且需保留原文件和原因。
|
||||
|
||||
### 3.4 三层证据
|
||||
|
||||
```text
|
||||
AI 目标负载:TTFT/TPOT/端到端/质量/可用性
|
||||
关键保障负载:违约率/P99.9/Max/外部闭环
|
||||
系统协同:有效吞吐/E-token/热/公平/恢复/24 h
|
||||
```
|
||||
|
||||
任何“更优”结论都必须说明另外两层是否仍达标。
|
||||
|
||||
## 4. 工具链建议
|
||||
|
||||
| 目的 | 工具或方式 | 注意事项 |
|
||||
|---|---|---|
|
||||
| OS 跟踪 | SylixOS trace、ftrace、perf、事件日志 | 统一事件语义,不直接比较工具自身字段 |
|
||||
| RT 辅助测试 | rt-tests/cyclictest、GPIO 打点 | cyclictest 不等于业务端到端响应 |
|
||||
| 加速器分析 | CUDA profiler/DCGM、RKNN/RKLLM 日志 | 版本固定;设备事件只作阶段分解 |
|
||||
| 外部时序 | 示波器、逻辑分析仪、CAN/RS485 分析仪 | 保存探头、触发、分辨率和空回路基线 |
|
||||
| 功率与热 | 外部功率计/PDU、板载温度与频率 | 时间窗口对齐,遥测不替代整机功率 |
|
||||
| 分析 | R/Python、bootstrap、CDF/ECDF、时间序列 | 不静默删异常,不把相关样本当独立样本 |
|
||||
|
||||
## 5. 推荐数据结构
|
||||
|
||||
每次运行保留 `manifest.json`、`requests.csv`、`rt.csv`、`power.csv`、`thermal.csv`、`events.log` 和 `summary.json`。原始数据只读保存,图表和摘要由版本化脚本生成。
|
||||
|
||||
## 6. 不应直接推出的结论
|
||||
|
||||
- 统计显著不等于工程差异重要,应同时报告效应量与阈值。
|
||||
- 单次最佳结果不能代表配置能力。
|
||||
- 公开基准与本项目负载语义不同,只能用于方法对齐或外部锚点。
|
||||
- 未完成的 T5~T1 档位必须标为计划,不能与实测数据连成“连续规律”。
|
||||
@@ -0,0 +1,57 @@
|
||||
# 标准与工程资料参考
|
||||
|
||||
## 1. 文档定位
|
||||
|
||||
本文件列出论文方向可能涉及但不应与学术论文混为一谈的标准、官方工程文档和安全边界资料。标准是否适用取决于最终行业场景、系统边界和认证目标。
|
||||
|
||||
## 2. 功能安全与任务关键系统
|
||||
|
||||
| 标准/资料 | 适用范围 | 本项目可能的关系 |
|
||||
|---|---|---|
|
||||
| IEC 61508, *Functional safety of electrical/electronic/programmable electronic safety-related systems* | 通用功能安全 | 定义安全生命周期、SIL 和证据要求;本项目不应在未认证时宣称合规 |
|
||||
| ISO 26262, *Road vehicles — Functional safety* | 道路车辆 | 若落到车载控制与 AI 辅助功能,可用于场景和安全目标分解 |
|
||||
| ISO/PAS 8800, *Road vehicles — Safety and artificial intelligence* | 车载 AI 安全 | 用于 AI 输出不确定性、数据和安全论证背景 |
|
||||
| DO-178C | 航空机载软件 | 若研究航空部署,可参考软件保证等级和验证独立性 |
|
||||
| ARINC 653 | 航空综合模块化系统分区 | 支撑时间/空间分区的相邻工程背景 |
|
||||
| IEC 62443 系列 | 工业自动化与控制系统安全 | 涉及联网工业控制时补充网络安全边界 |
|
||||
|
||||
正式引用应从 IEC、ISO、RTCA、EUROCAE、SAE 或 ARINC 的标准目录核对版本与访问权限。标准通常受版权保护,本仓库只保存条目和适用性说明,不复制正文。
|
||||
|
||||
## 3. 实时通信与时间同步
|
||||
|
||||
| 标准/资料 | 作用 | 使用边界 |
|
||||
|---|---|---|
|
||||
| IEEE 802.1AS | 广义精确时间协议 | 跨设备单向时延需要同步精度证据 |
|
||||
| IEEE 802.1Qbv | 时间感知整形 | 可用于 TSN 周期流量窗口规划 |
|
||||
| IEEE 802.1Qbu / IEEE 802.3br | 帧抢占 | 分析关键流量受大帧阻塞的边界 |
|
||||
| IEEE 1588 | 精确时间协议 | 记录 grandmaster、硬件时间戳和误差 |
|
||||
| CAN/CAN FD、RS-485 对应规范 | 工业接口 | 固定波特率、帧长、总线负载和时间戳位置 |
|
||||
|
||||
## 4. 操作系统与处理器接口资料
|
||||
|
||||
- Linux PREEMPT_RT 官方文档:[Real-time preemption](https://docs.kernel.org/core-api/real-time/index.html)。
|
||||
- POSIX 实时扩展:线程调度、时钟、定时器、内存锁定和优先级协议;需按目标 OS 支持集核对。
|
||||
- Arm 架构、GIC、SMMU 和缓存一致性官方手册:用于解释中断路由、DMA 和共享内存边界。
|
||||
- PCIe、IOMMU、NVLink、NCCL 等规范或官方文档:用于多加速器/多节点通信路径。
|
||||
- SylixOS BSP/API/驱动资料:用于确认优先级、中断、内存、设备复位和追踪接口的实际能力。
|
||||
|
||||
## 5. 基准与测量规范
|
||||
|
||||
| 资料 | 可借鉴内容 |
|
||||
|---|---|
|
||||
| [MLPerf Inference](https://docs.mlcommons.org/inference/index_gh/) | 场景、负载发生、准确率约束、系统描述与结果合规 |
|
||||
| [MLPerf Power](https://docs.mlcommons.org/inference/power/) | 外部仪器、时间同步、测量窗口与功率记录 |
|
||||
| [SPECpower_ssj2008](https://www.spec.org/osg/power_ssj2008/) | 整机 AC 功率、多个负载档位与功效比 |
|
||||
| [ACM Artifact Review and Badging](https://www.acm.org/publications/policies/artifact-review-and-badging-current) | 可用、可运行、可复用和结果复现证据 |
|
||||
|
||||
## 6. 论文中的合规表述
|
||||
|
||||
建议使用:
|
||||
|
||||
> 本研究借鉴相关标准中的任务关键性、时间/空间隔离和测量原则,但实验平台与研究原型未经过相应行业认证,因此结果不构成功能安全等级、适航或产品合规声明。
|
||||
|
||||
避免使用:
|
||||
|
||||
- “满足 SIL2/SIL3”——除非完成规定流程并取得正式证据;
|
||||
- “达到航空级/车规级”——除非硬件、软件、流程和环境均符合对应标准;
|
||||
- “证明硬实时安全”——除非有完整时序模型、可信 WCET、可调度性证明和覆盖充分的验证证据。
|
||||
@@ -0,0 +1,51 @@
|
||||
# 论文方向参考文件索引
|
||||
|
||||
## 1. 目录用途
|
||||
|
||||
本目录为 `10-研究框架` 七个研究方向提供可追溯的论文、标准和工程资料入口。它不是完整综述,也不代表文中列出的方案已经在 SylixOS 或本项目硬件上得到验证。
|
||||
|
||||
参考资料按以下证据等级使用:
|
||||
|
||||
| 等级 | 类型 | 建议用途 |
|
||||
|---|---|---|
|
||||
| A | 同行评审论文、正式标准、官方内核/硬件文档 | 支撑定义、方法选择和主要论证 |
|
||||
| B | arXiv 预印本、官方项目文档、开放源码实现 | 支撑前沿方案、实现路线和复现实验 |
|
||||
| C | 厂商白皮书、博客或二手综述 | 仅作背景和线索,不单独支撑核心结论 |
|
||||
|
||||
优先引用论文正式页面、DOI、标准组织或厂商官方文档。正式写作前仍需通过学校或机构数据库核对作者、卷期、页码、版本和 BibTeX。
|
||||
|
||||
## 2. 文件与研究方向映射
|
||||
|
||||
| 文件 | 对应研究文件 | 主要主题 |
|
||||
|---|---|---|
|
||||
| [01-推理图任务调度参考.md](./01-推理图任务调度参考.md) | `01-推理图任务调度.md` | 经典实时调度、LLM 连续批处理、prefill/decode 调度、SLO |
|
||||
| [02-KV-Cache与内存管理参考.md](./02-KV-Cache与内存管理参考.md) | `02-KV-Cache与内存管理.md` | 分页、换出、压缩、淘汰、容量隔离 |
|
||||
| [03-加速器协同调度参考.md](./03-加速器协同调度参考.md) | `03-加速器协同调度.md` | CPU/GPU/NPU 协同、流、事件、DMA、共享与切换 |
|
||||
| [04-量化与精度感知调度参考.md](./04-量化与精度感知调度参考.md) | `04-量化精度感知调度.md` | PTQ、权重量化、激活量化、KV 量化、精度—时延联合约束 |
|
||||
| [05-中断与实时性保障参考.md](./05-中断与实时性保障参考.md) | `05-中断与实时性保障.md` | PREEMPT_RT、优先级继承、响应时间分析、中断线程化、测试 |
|
||||
| [06-能耗与热管理参考.md](./06-能耗与热管理参考.md) | `06-能耗与热管理.md` | 整机功耗、E/token、DVFS、温度、降频与热漂移 |
|
||||
| [07-方法论与评估工具链参考.md](./07-方法论与评估工具链参考.md) | `07-方法论与评估工具链.md` | MLPerf、尾延迟、统计、可复现性、长稳与公平性 |
|
||||
| [08-标准与工程资料参考.md](./08-标准与工程资料参考.md) | 全部方向 | 功能安全、时间敏感网络、硬件接口与工程边界 |
|
||||
| [参考文献.md](./参考文献.md) | 论文十章与整个项目 | 连续编号的论文参考文献候选清单与章节映射 |
|
||||
|
||||
## 3. 建议引用策略
|
||||
|
||||
每项核心主张至少建立“理论基础 + 相邻系统工作 + 本项目实测”三段证据:
|
||||
|
||||
```text
|
||||
经典理论或标准
|
||||
→ LLM/AI 系统领域的相邻工作
|
||||
→ 本项目在 O0~O4、T5~T1 条件下的实测与边界
|
||||
```
|
||||
|
||||
例如,“RTOS 优化提高双目标可保障性”不能只引用 vLLM 或 PREEMPT_RT 文档,而应同时给出实时调度理论、LLM 服务调度工作、对照实验与消融结果。
|
||||
|
||||
## 4. 维护规则
|
||||
|
||||
- 每条新资料需记录标题、作者或组织、年份、正式入口和与本项目的关系。
|
||||
- 预印本被正式会议或期刊接收后,优先替换为正式版本。
|
||||
- 厂商文档需记录访问日期和软件/驱动版本。
|
||||
- 不将论文报告的相对提升直接移植为本项目预期值。
|
||||
- 不将“平均性能改善”表述为硬实时保证;不将“未观测到违约”表述为理论最坏界。
|
||||
|
||||
本目录最后核验日期:**2026-09-21**。
|
||||
@@ -0,0 +1,170 @@
|
||||
# 论文参考文献候选清单
|
||||
|
||||
## 1. 文档说明
|
||||
|
||||
本文依据仓库根目录的 `最终稿文章规划.md`、`00-项目总览`、`10-研究框架`、`20-实验与规划` 以及现有参考文件,整理拟投实时系统、嵌入式系统或机器学习系统会议论文时可使用的参考文献。
|
||||
|
||||
书目格式参照 `GB/T 7714—2015`,英文会议论文保留原始会议名称。在线文档统一记录访问日期 `2026-09-21`。最终投稿时应使用目标会议的 BibTeX/LaTeX 样式重新生成,并再次核对作者、页码、DOI 和版本。
|
||||
|
||||
当前项目已经从旧规划中的“四层谱系”调整为 `T5~T1` 五类部署形态与 11 个代表档位。本文献表按当前项目口径组织,但仍可支撑旧版 `最终稿文章规划.md` 的十章结构。
|
||||
|
||||
## 2. 章节—参考文献映射
|
||||
|
||||
| 论文内容 | 建议优先引用 | 支撑作用 |
|
||||
|---|---|---|
|
||||
| 第1章 引言 | `[1]~[10]`、`[42]`、`[50]~[53]` | 实时保障基础、任务关键 AI 背景和安全边界 |
|
||||
| 第2章 背景与相关工作 | `[1]~[32]` | 经典调度、PREEMPT_RT、LLM 推理服务、KV Cache、加速器和量化 |
|
||||
| 第3章 部署形态与硬件谱系 | `[34]~[39]`、`[43]~[47]` | Edge/Datacenter 方法、功率边界、模型与推理运行时 |
|
||||
| 第4章 SylixOS 调度框架 | `[1]~[9]`、`[12]~[33]`、`[43]~[47]` | 任务图、内存、异构加速、量化、中断与运行时实现 |
|
||||
| 第5章 实验方法学 | `[5]`、`[6]`、`[34]~[42]`、`[48]`、`[49]` | 延迟测试、MLPerf、功率、统计、公平性和可复现性 |
|
||||
| 第6章 模型与负载 | `[11]`、`[12]`、`[27]~[33]`、`[43]~[47]` | Transformer、低比特模型、Qwen、llama.cpp、TensorRT-LLM |
|
||||
| 第7章 实验结果 | `[34]~[41]` | 指标、功率、尾延迟、温度、公平性和统计解释 |
|
||||
| 第8章 深入分析 | `[1]~[33]`、`[37]~[41]` | 根因分析、机制对照与跨层权衡 |
|
||||
| 第9章 威胁有效性 | `[7]~[10]`、`[34]~[42]`、`[48]~[53]` | 系统边界、复现性、功能安全与跨设备测量限制 |
|
||||
| 第10章 结论与展望 | `[23]`、`[24]`、`[26]`、`[33]`、`[50]~[53]` | 动态调度、精度/资源协同、任务关键 AI 和安全论证 |
|
||||
|
||||
## 3. 实时调度、RTOS 与操作系统基础
|
||||
|
||||
[1] LIU C L, LAYLAND J W. Scheduling algorithms for multiprogramming in a hard-real-time environment[J]. Journal of the ACM, 1973, 20(1): 46-61. DOI: [10.1145/321738.321743](https://doi.org/10.1145/321738.321743).
|
||||
|
||||
[2] SHA L, RAJKUMAR R, LEHOCZKY J P. Priority inheritance protocols: An approach to real-time synchronization[J]. IEEE Transactions on Computers, 1990, 39(9): 1175-1185. DOI: [10.1109/12.57058](https://doi.org/10.1109/12.57058).
|
||||
|
||||
[3] AUDSLEY N, BURNS A, RICHARDSON M, et al. Applying new scheduling theory to static priority pre-emptive scheduling[J]. Software Engineering Journal, 1993, 8(5): 284-292. DOI: [10.1049/sej.1993.0034](https://doi.org/10.1049/sej.1993.0034).
|
||||
|
||||
[4] TINDELL K, BURNS A, WELLINGS A J. An extendible approach for analyzing fixed priority hard real-time tasks[J]. Real-Time Systems, 1994, 6(2): 133-151. DOI: [10.1007/BF01088593](https://doi.org/10.1007/BF01088593).
|
||||
|
||||
[5] LINUX KERNEL COMMUNITY. Theory of operation: Real-time preemption[EB/OL]. [2026-09-21]. [https://docs.kernel.org/core-api/real-time/theory.html](https://docs.kernel.org/core-api/real-time/theory.html).
|
||||
|
||||
[6] LINUX FOUNDATION REAL-TIME LINUX. Cyclictest: Test design, interpretation and limitations[EB/OL]. [2026-09-21]. [https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start](https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start).
|
||||
|
||||
[7] 翼辉信息. SylixOS 概述[EB/OL]. [2026-09-21]. [https://docs.acoinfo.com/sylixos/app/introduction_to_operating_systems/sylixos_overview.html](https://docs.acoinfo.com/sylixos/app/introduction_to_operating_systems/sylixos_overview.html).
|
||||
|
||||
[8] 翼辉信息. SylixOS 发展历程[EB/OL]. [2026-09-21]. [https://docs.acoinfo.com/sylixos/start/get_to_know_sylixos/development_history.html](https://docs.acoinfo.com/sylixos/start/get_to_know_sylixos/development_history.html).
|
||||
|
||||
[9] QNX. Priorities and scheduling: QNX Neutrino RTOS[EB/OL]. [2026-09-21]. [https://qnx.com/developers/docs/7.0.0/com.qnx.doc.neutrino.prog/topic/overview_PRIOR.html](https://qnx.com/developers/docs/7.0.0/com.qnx.doc.neutrino.prog/topic/overview_PRIOR.html).
|
||||
|
||||
[10] THE OPEN GROUP. POSIX.1-2024: Realtime functions and general information[S/OL]. 2024[2026-09-21]. [https://pubs.opengroup.org/onlinepubs/9799919799/functions/V2_chap02.html](https://pubs.opengroup.org/onlinepubs/9799919799/functions/V2_chap02.html).
|
||||
|
||||
## 4. Transformer、LLM 推理调度与服务系统
|
||||
|
||||
[11] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems 30. 2017: 5998-6008. [https://proceedings.neurips.cc/paper/7181-attention-is-all-you-need](https://proceedings.neurips.cc/paper/7181-attention-is-all-you-need).
|
||||
|
||||
[12] DAO T, FU D Y, ERMON S, et al. FlashAttention: Fast and memory-efficient exact attention with IO-awareness[C]//Advances in Neural Information Processing Systems 35. 2022. [https://proceedings.neurips.cc/paper/2022/hash/67d57c32e20fd0a7a302cb81d36e40d5-Abstract-Conference.html](https://proceedings.neurips.cc/paper/2022/hash/67d57c32e20fd0a7a302cb81d36e40d5-Abstract-Conference.html).
|
||||
|
||||
[13] DAO T. FlashAttention-2: Faster attention with better parallelism and work partitioning[C]//International Conference on Learning Representations. 2024. [https://openreview.net/forum?id=mZn2Xyh9Ec](https://openreview.net/forum?id=mZn2Xyh9Ec).
|
||||
|
||||
[14] YU G I, JEONG J S, KIM G W, et al. Orca: A distributed serving system for Transformer-based generative models[C]//16th USENIX Symposium on Operating Systems Design and Implementation. 2022. [https://www.usenix.org/conference/osdi22/presentation/yu](https://www.usenix.org/conference/osdi22/presentation/yu).
|
||||
|
||||
[15] KWON W, LI Z, ZHUANG S, et al. Efficient memory management for large language model serving with PagedAttention[C]//Proceedings of the 29th ACM Symposium on Operating Systems Principles. 2023. [https://arxiv.org/abs/2309.06180](https://arxiv.org/abs/2309.06180).
|
||||
|
||||
[16] AGRAWAL A, KEDIA N, PANWAR A, et al. Taming throughput-latency tradeoff in LLM inference with Sarathi-Serve[C]//18th USENIX Symposium on Operating Systems Design and Implementation. 2024: 117-134. [https://www.usenix.org/conference/osdi24/presentation/agrawal](https://www.usenix.org/conference/osdi24/presentation/agrawal).
|
||||
|
||||
[17] ZHONG Y, LIU S, CHEN J, et al. DistServe: Disaggregating prefill and decoding for goodput-optimized large language model serving[C]//18th USENIX Symposium on Operating Systems Design and Implementation. 2024: 193-210. [https://www.usenix.org/conference/osdi24/presentation/zhong-yinmin](https://www.usenix.org/conference/osdi24/presentation/zhong-yinmin).
|
||||
|
||||
[18] SUN B, HUANG Z, ZHAO H, et al. Llumnix: Dynamic scheduling for large language model serving[C]//18th USENIX Symposium on Operating Systems Design and Implementation. 2024: 173-191. [https://www.usenix.org/conference/osdi24/presentation/sun-biao](https://www.usenix.org/conference/osdi24/presentation/sun-biao).
|
||||
|
||||
[19] GUJARATI A, KARANASOS K, CURINO C, et al. Serving DNNs like Clockwork: Performance predictability from the bottom up[C]//14th USENIX Symposium on Operating Systems Design and Implementation. 2020. [https://www.usenix.org/conference/osdi20/presentation/gujarati](https://www.usenix.org/conference/osdi20/presentation/gujarati).
|
||||
|
||||
[20] SHENG Y, ZHENG L, YUAN B, et al. FlexGen: High-throughput generative inference of large language models with a single GPU[C]//Proceedings of the 40th International Conference on Machine Learning. PMLR, 2023, 202. [https://proceedings.mlr.press/v202/sheng23a.html](https://proceedings.mlr.press/v202/sheng23a.html).
|
||||
|
||||
[21] ZHANG Z, SHENG Y, ZHOU T, et al. H2O: Heavy-Hitter Oracle for efficient generative inference of large language models[C]//Advances in Neural Information Processing Systems 36. 2023. [https://proceedings.neurips.cc/paper_files/paper/2023/hash/6ceefa7b15572587b78ecfcebb2827f8-Abstract.html](https://proceedings.neurips.cc/paper_files/paper/2023/hash/6ceefa7b15572587b78ecfcebb2827f8-Abstract.html).
|
||||
|
||||
[22] LEE W, LEE J, SEO J, et al. InfiniGen: Efficient generative inference of large language models with dynamic KV cache management[C]//18th USENIX Symposium on Operating Systems Design and Implementation. 2024: 155-172. [https://www.usenix.org/conference/osdi24/presentation/lee](https://www.usenix.org/conference/osdi24/presentation/lee).
|
||||
|
||||
[23] PRABHU R, NAYAK A, MOHAN J, et al. vAttention: Dynamic memory management for serving LLMs without PagedAttention[EB/OL]. arXiv:2405.04437, 2024[2026-09-21]. [https://arxiv.org/abs/2405.04437](https://arxiv.org/abs/2405.04437).
|
||||
|
||||
[24] BAI Z, ZHANG Z, ZHU Y, et al. PipeSwitch: Fast pipelined context switching for deep learning applications[C]//14th USENIX Symposium on Operating Systems Design and Implementation. 2020: 499-514. [https://www.usenix.org/conference/osdi20/presentation/bai](https://www.usenix.org/conference/osdi20/presentation/bai).
|
||||
|
||||
[25] CHOI Y, RHU M. PREMA: A predictive multi-task scheduling algorithm for preemptible neural processing units[C]//2020 IEEE International Symposium on High Performance Computer Architecture. 2020. DOI: [10.1109/HPCA47549.2020.00030](https://doi.org/10.1109/HPCA47549.2020.00030).
|
||||
|
||||
[26] NVIDIA. CUDA Programming Guide: Asynchronous execution, streams and events[EB/OL]. [2026-09-21]. [https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/asynchronous-execution.html](https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/asynchronous-execution.html).
|
||||
|
||||
## 5. 量化、低比特推理与质量约束
|
||||
|
||||
[27] DETTMERS T, LEWIS M, BELKADA Y, et al. LLM.int8(): 8-bit matrix multiplication for Transformers at scale[C]//Advances in Neural Information Processing Systems 35. 2022. [https://proceedings.neurips.cc/paper_files/paper/2022/hash/c3ba4962c05c49636d4c6206a97e9c8a-Abstract-Conference.html](https://proceedings.neurips.cc/paper_files/paper/2022/hash/c3ba4962c05c49636d4c6206a97e9c8a-Abstract-Conference.html).
|
||||
|
||||
[28] FRANTAR E, ASHKBOOS S, HOEFLER T, et al. GPTQ: Accurate post-training quantization for generative pre-trained Transformers[C]//International Conference on Learning Representations. 2023. [https://openreview.net/forum?id=tcbBPnfwxS](https://openreview.net/forum?id=tcbBPnfwxS).
|
||||
|
||||
[29] XIAO G, LIN J, SEZNEC M, et al. SmoothQuant: Accurate and efficient post-training quantization for large language models[C]//Proceedings of the 40th International Conference on Machine Learning. PMLR, 2023, 202: 38087-38099. [https://proceedings.mlr.press/v202/xiao23c.html](https://proceedings.mlr.press/v202/xiao23c.html).
|
||||
|
||||
[30] LIN J, TANG J, TANG H, et al. AWQ: Activation-aware weight quantization for on-device LLM compression and acceleration[C]//Proceedings of Machine Learning and Systems. 2024, 6. [https://proceedings.mlsys.org/paper_files/paper/2024/hash/42a452cbafa9dd64e9ba4aa95cc1ef21-Abstract-Conference.html](https://proceedings.mlsys.org/paper_files/paper/2024/hash/42a452cbafa9dd64e9ba4aa95cc1ef21-Abstract-Conference.html).
|
||||
|
||||
[31] DETTMERS T, PAGNONI A, HOLTZMAN A, et al. QLoRA: Efficient finetuning of quantized LLMs[C]//Advances in Neural Information Processing Systems 36. 2023. [https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract.html](https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract.html).
|
||||
|
||||
[32] LIN Y, TANG H, YANG S, et al. QServe: W4A8KV4 quantization and system co-design for efficient LLM serving[C]//Proceedings of Machine Learning and Systems. 2025, 7. [https://proceedings.mlsys.org/paper_files/paper/2025/hash/fbe2b2f74a2ece8070d8fb073717bda6-Abstract-Conference.html](https://proceedings.mlsys.org/paper_files/paper/2025/hash/fbe2b2f74a2ece8070d8fb073717bda6-Abstract-Conference.html).
|
||||
|
||||
[33] ZHAO Y, LIN C Y, ZHU K, et al. Atom: Low-bit quantization for efficient and accurate LLM serving[C]//Proceedings of Machine Learning and Systems. 2024, 6. [https://proceedings.mlsys.org/paper_files/paper/2024/hash/5edb57c05c81d04beb716ef1d542fe9e-Abstract-Conference.html](https://proceedings.mlsys.org/paper_files/paper/2024/hash/5edb57c05c81d04beb716ef1d542fe9e-Abstract-Conference.html).
|
||||
|
||||
## 6. 评估、功耗、热管理与可复现性
|
||||
|
||||
[34] REDDI V J, CHENG C, KANTER D, et al. MLPerf Inference Benchmark[EB/OL]. arXiv:1911.02549, 2019[2026-09-21]. [https://arxiv.org/abs/1911.02549](https://arxiv.org/abs/1911.02549).
|
||||
|
||||
[35] MLCOMMONS. MLPerf Inference Benchmark Suite[EB/OL]. [2026-09-21]. [https://docs.mlcommons.org/inference/index_gh/](https://docs.mlcommons.org/inference/index_gh/).
|
||||
|
||||
[36] MLCOMMONS. MLPerf Inference power measurement[EB/OL]. [2026-09-21]. [https://docs.mlcommons.org/inference/power/](https://docs.mlcommons.org/inference/power/).
|
||||
|
||||
[37] DEAN J, BARROSO L A. The tail at scale[J]. Communications of the ACM, 2013, 56(2): 74-80. [https://research.google/pubs/the-tail-at-scale/](https://research.google/pubs/the-tail-at-scale/).
|
||||
|
||||
[38] HUANG W, GHOSH S, VELUSAMY S, et al. HotSpot: A compact thermal modeling methodology for early-stage VLSI design[J]. IEEE Transactions on Very Large Scale Integration Systems, 2006, 14(5): 501-513. DOI: [10.1109/TVLSI.2006.876103](https://doi.org/10.1109/TVLSI.2006.876103).
|
||||
|
||||
[39] STANDARD PERFORMANCE EVALUATION CORPORATION. SPECpower_ssj2008[EB/OL]. [2026-09-21]. [https://www.spec.org/osg/power_ssj2008/](https://www.spec.org/osg/power_ssj2008/).
|
||||
|
||||
[40] JAIN R, CHIU D M, HAWE W R. A quantitative measure of fairness and discrimination for resource allocation in shared computer systems[R]. DEC Research Report TR-301, 1984. [https://www.cse.wustl.edu/~jain/papers/ftp/fairness.pdf](https://www.cse.wustl.edu/~jain/papers/ftp/fairness.pdf).
|
||||
|
||||
[41] EFRON B, TIBSHIRANI R J. An introduction to the bootstrap[M]. New York: Chapman & Hall/CRC, 1993.
|
||||
|
||||
[42] ASSOCIATION FOR COMPUTING MACHINERY. Artifact review and badging policy[EB/OL]. [2026-09-21]. [https://www.acm.org/publications/policies/artifact-review-and-badging-current](https://www.acm.org/publications/policies/artifact-review-and-badging-current).
|
||||
|
||||
## 7. 模型、推理框架与工程实现资料
|
||||
|
||||
[43] YANG A, YANG B, ZHANG B, et al. Qwen2.5 Technical Report[EB/OL]. arXiv:2412.15115, 2024[2026-09-21]. [https://arxiv.org/abs/2412.15115](https://arxiv.org/abs/2412.15115).
|
||||
|
||||
[44] GGERGANOV, GGML-ORG. llama.cpp: LLM inference in C/C++[CP/OL]. [2026-09-21]. [https://github.com/ggml-org/llama.cpp](https://github.com/ggml-org/llama.cpp).
|
||||
|
||||
[45] NVIDIA. TensorRT-LLM architecture overview[EB/OL]. [2026-09-21]. [https://nvidia.github.io/TensorRT-LLM/architecture/overview.html](https://nvidia.github.io/TensorRT-LLM/architecture/overview.html).
|
||||
|
||||
[46] NVIDIA. NVIDIA Data Center GPU Manager: Field identifiers[EB/OL]. [2026-09-21]. [https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-api/dcgm-api-field-ids.html](https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-api/dcgm-api-field-ids.html).
|
||||
|
||||
[47] LINUX KERNEL COMMUNITY. How realtime kernels differ[EB/OL]. [2026-09-21]. [https://docs.kernel.org/core-api/real-time/differences.html](https://docs.kernel.org/core-api/real-time/differences.html).
|
||||
|
||||
## 8. 任务关键 AI、功能安全与时间同步标准
|
||||
|
||||
[48] ULLRICH L, BUCHHOLZ M, DIETMAYER K, et al. AI safety assurance for automated vehicles: A survey on research, standardization, regulation[J]. IEEE Transactions on Intelligent Vehicles, 2024. DOI: [10.1109/TIV.2024.3496797](https://doi.org/10.1109/TIV.2024.3496797).
|
||||
|
||||
[49] IEC. IEC 61508:2010, Functional safety of electrical/electronic/programmable electronic safety-related systems—Parts 1 to 7[S]. 2nd ed. Geneva: International Electrotechnical Commission, 2010. [https://webstore.iec.ch/en/publication/22273](https://webstore.iec.ch/en/publication/22273).
|
||||
|
||||
[50] ISO. ISO 26262:2018, Road vehicles—Functional safety[S]. 2nd ed. Geneva: International Organization for Standardization, 2018. [https://www.iso.org/publication/PUB200262.html](https://www.iso.org/publication/PUB200262.html).
|
||||
|
||||
[51] ISO. ISO/PAS 8800:2024, Road vehicles—Safety and artificial intelligence[S]. Geneva: International Organization for Standardization, 2024. [https://www.iso.org/standard/83303.html](https://www.iso.org/standard/83303.html).
|
||||
|
||||
[52] IEEE. IEEE Std 1588-2019, IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems[S]. New York: IEEE, 2019. [https://standards.ieee.org/ieee/1588/6825/](https://standards.ieee.org/ieee/1588/6825/).
|
||||
|
||||
[53] RTCA. DO-178C: Software considerations in airborne systems and equipment certification[S]. Washington, D.C.: RTCA, 2011. [https://www.rtca.org/do-178/](https://www.rtca.org/do-178/).
|
||||
|
||||
## 9. 使用与取舍建议
|
||||
|
||||
### 9.1 核心正文优先保留
|
||||
|
||||
受篇幅限制时,建议首先保留 `[1]~[6]`、`[11]`、`[14]~[22]`、`[25]~[30]`、`[34]~[42]`、`[49]~[52]`。它们分别支撑实时理论、LLM 服务、异构调度、量化、实验方法与任务关键边界。
|
||||
|
||||
### 9.2 只作工程实现说明
|
||||
|
||||
`[7]~[10]`、`[26]`、`[35]`、`[36]`、`[39]`、`[44]~[47]` 属于官方标准、文档或开源实现,适合说明平台能力、API 语义和实验工具,不宜单独用来证明算法创新或相对性能优势。
|
||||
|
||||
### 9.3 需要谨慎使用
|
||||
|
||||
- `[23]`、`[34]`、`[43]` 为预印本或技术报告,投稿前应检查是否已有正式发表版本。
|
||||
- 功能安全标准只能支撑需求与证据框架;本项目原型未完成对应认证时,不得据此宣称满足 SIL、ASIL 或适航要求。
|
||||
- SylixOS、QNX、CUDA、TensorRT-LLM 等官方资料描述的是产品或接口能力,实际可用性仍需由本项目准入实验验证。
|
||||
- 任何外部论文报告的倍数提升都不能移植为本项目预期结果,只能用于选择对照方案和解释机制。
|
||||
|
||||
## 10. 待补充文献
|
||||
|
||||
正式投稿前还应根据实际实验结果补充:
|
||||
|
||||
1. 最终采用的 RKLLM/RKNN SDK、芯片手册和模型转换工具的固定版本文档;
|
||||
2. 实际使用的 SylixOS BSP、驱动和追踪工具文档;
|
||||
3. 若完成 T1 多节点实验,补充 NCCL、RDMA 和分布式推理的正式文献;
|
||||
4. 若完成 MoE 实验,补充专家路由、负载均衡和专家并行文献;
|
||||
5. 若论文转投 ISLPED,补充 DVFS、race-to-idle 与嵌入式热管理相关工作;
|
||||
6. 若论文面向车载或航空场景,按最终系统边界补充 ISO 26262、ISO/PAS 8800、DO-178C 及行业适用指南。
|
||||
@@ -3,7 +3,6 @@
|
||||
> 版本: v2.1 起草日期: 2026-09-21
|
||||
> 设计目标: 为“**大型跨平台实时操作系统支撑任务关键系统中人工智能目标负载的实时保障机制研究**”建立完整的验证矩阵,并细化为 **T5~T1 五类部署形态 / 11 个代表实验档位**
|
||||
> 说明: 文中的 `T5~T1` 是**设备档位/运行形态代码**,用于组织实验与证据,承担验证矩阵角色
|
||||
> 现有硬件锚点: T2-L(4×V100 SXM 单机多加速器)+ T4-L / T5-H(RK3588 工业盒)| 需新增: T1 集群扩展 + T3/T4 其余档位
|
||||
|
||||
---
|
||||
|
||||
|
||||
+1
-20
@@ -38,26 +38,7 @@
|
||||
|
||||
GPU 显存、主机内存和 SoC 统一内存分别记录,不加总为单一可分配空间。多卡总容量不能代替每卡分片可行性验证;FP16 TFLOPS 与 INT8 TOPS 不直接换算,也不作为实测吞吐。
|
||||
|
||||
### 2.2 平台 A:现有 V100 服务器
|
||||
|
||||
依设备清单配置 H12D-8D 主板、单颗 EPYC 7402(24 核/48 线程)、128 GB DDR4、1 TB NVMe、4×V100 SXM 32 GB、NVLink 底板、双电源及液冷。完整 BOM 见设备文档 T2.2.1。
|
||||
|
||||
实验前采集 CPU/NUMA 拓扑、实际内存通道、PCIe 链路、逐对 GPU 互联与带宽、各卡温度和功率上限。4 卡互联形态以枚举和通信测试为准。双电源输入均纳入整机能耗,不把额定电源瓦数当作运行功耗。
|
||||
|
||||
分别测试 1、2、4 卡;单卡先完成模型与采样链路验证,再加入多卡并行。CPU 实时任务使用固定物理核,记录其 SMT 同胞核的使用方式,避免不同组的物理资源分配不一致。
|
||||
|
||||
### 2.3 平台 B:现有 RK3588 工业盒
|
||||
|
||||
依设备清单采用 4×A76 + 4×A55、16 GB 统一内存、64 GB eMMC,以及实际引出的 GPIO、CAN、RS485 和网络接口。原生 NPU 与外接加速器分开登记。
|
||||
|
||||
- B16:全量 16 GB,记为 T4-L。
|
||||
- B8:同板施加 8 GB 限额,记为 T5-H 受限配置;两种配置顺序运行。
|
||||
- 原生 NPU 是首轮路径;扩展加速器作为独立配置单独验证,待芯片型号、连接方式、模型格式和任务拆分能力完成准入后纳入对照。
|
||||
- 可选 M0、CAN 和 RS485 必须先核对实物与 BSP;缺失的接口实验登记为未开展。
|
||||
|
||||
**内存限额口径**:优先采用能覆盖 OS 可见内存及加速器保留区的启动配置,并记录实际可用容量。若只能限制应用进程,则标为“8 GB 应用预算”,不能称为整机 8 GB。核对驱动缓冲区、DMA/CMA、页缓存、共享内存与交换空间是否受限;禁止将限额实验解释为真实 8 GB 板卡的功耗或带宽结论。
|
||||
|
||||
### 2.4 测量设备
|
||||
### 2.2 测量设备
|
||||
|
||||
| 测量对象 | 工具与接线 | 要求 |
|
||||
|---|---|---|
|
||||
|
||||
+5
-2
@@ -7,8 +7,9 @@
|
||||
1. `01-研究逻辑说明.md`
|
||||
2. `02-基础设备与算力基础.md`
|
||||
3. `03-实验设计.md`
|
||||
4. `04-论文写作规划.md`
|
||||
5. `05-论文结构总览.png`
|
||||
4. `metric.md`
|
||||
5. `04-论文写作规划.md`
|
||||
6. `05-论文结构总览.png`
|
||||
|
||||
## 文件说明
|
||||
|
||||
@@ -18,6 +19,8 @@
|
||||
- T5~T1 五类部署形态、五种算力基础下的十一档设备谱系与分级规则
|
||||
- `03-实验设计.md`
|
||||
- 准入条件、对照原则、混合负载场景、指标与验收方法
|
||||
- `metric.md`
|
||||
- 三层核心证据指标的统一定义、计算公式、采集要求与报告口径
|
||||
- `04-论文写作规划.md`
|
||||
- 论文结构、章节分工、图表规划和证据映射
|
||||
- `05-论文结构总览.png`
|
||||
|
||||
@@ -0,0 +1,397 @@
|
||||
# 核心证据指标说明
|
||||
|
||||
## 1. 文档目的
|
||||
|
||||
本文依据 [01-研究逻辑说明.md](./01-研究逻辑说明.md) 第 8 节,对后续实验必须覆盖的三层核心证据指标给出统一定义、计算方法、采集要求和报告口径。
|
||||
|
||||
本指标体系用于回答一个核心问题:
|
||||
|
||||
> **在人工智能目标负载与关键保障负载并存时,RTOS 能否在不牺牲任务质量和系统有效产出的前提下,提高系统的稳定性、可预测性与可保障性;这种提升在什么负载、功耗、温度和部署档位下成立。**
|
||||
|
||||
指标分为三层:
|
||||
|
||||
1. **人工智能目标负载层**:智能任务是否及时、正确、可用地完成;
|
||||
2. **关键保障负载层**:周期控制、联锁和外部闭环是否仍满足实时约束;
|
||||
3. **系统协同层**:双目标并存时,系统是否保持有效、节能、公平、稳定且可恢复。
|
||||
|
||||
任何单一指标都不能独立支撑系统优越性结论。正式结论必须同时给出三层证据,并说明平台、OS、模型、负载、功耗、温度和运行时长等适用边界。
|
||||
|
||||
## 2. 统一测量原则
|
||||
|
||||
### 2.1 时间点与时钟
|
||||
|
||||
人工智能请求至少记录以下时间点:
|
||||
|
||||
| 符号 | 含义 |
|
||||
|---|---|
|
||||
| `a_i` | 请求计划到达时间 |
|
||||
| `s_i` | 请求实际发送时间 |
|
||||
| `u_i` | 服务端接收时间,可取得时记录 |
|
||||
| `g_i` | 首个有效输出到达时间 |
|
||||
| `c_i` | 完整输出到达或任务完成时间 |
|
||||
|
||||
周期关键任务至少记录:
|
||||
|
||||
| 符号 | 含义 |
|
||||
|---|---|
|
||||
| `r_i` | 计划释放时间 |
|
||||
| `q_i` | 进入就绪态时间,可等价取得时使用 |
|
||||
| `b_i` | 实际开始执行时间 |
|
||||
| `f_i` | 完成时间 |
|
||||
| `T` | 任务周期 |
|
||||
| `D` | 相对截止期 |
|
||||
|
||||
同一指标必须在同一时钟域内计算,优先使用单调时钟。跨设备测量需在 `manifest` 中记录同步方法、同步误差和时间戳位置;同步误差不足以支持单向时延时,改报往返时延,不将往返时延简单除以二作为单向结果。
|
||||
|
||||
### 2.2 统计与报告
|
||||
|
||||
- 时延和抖动至少报告样本数、`P50/P95/P99/P99.9` 和观测最大值;样本不足以稳定估计 `P99.9` 时,明确标为探索性结果并改以 `P99` 为主。
|
||||
- 每个普通性能单元至少独立运行 5 次;跨运行报告中位数、区间和置信区间,不只报告最佳一次。
|
||||
- 最大值只能表述为“指定时长和工况下的观测最大值”,不能写成理论 `WCET`。
|
||||
- 零违约只能表述为“在 `N` 次计划释放中未观测到违约”,不能据此证明绝对硬实时安全。
|
||||
- 原始超时、拒绝、OOM、丢样和失败请求必须保留,不能从分母中静默删除。
|
||||
- OS 对照需冻结硬件、模型与量化版本、输入/输出长度、到达序列、随机种子、CPU/IRQ/频率配置、内存预算、加速器数量、散热条件和测量窗口。
|
||||
|
||||
### 2.3 三层联合判定
|
||||
|
||||
正式实验单元只有同时满足下列条件,才能记为“通过”:
|
||||
|
||||
```text
|
||||
人工智能目标负载达标
|
||||
AND 关键保障负载达标
|
||||
AND 系统协同稳定
|
||||
```
|
||||
|
||||
若通过拒绝大量请求、降低输出质量、缩短输出长度或减少关键任务计划释放次数来改善时延,该配置不能判定为优越。
|
||||
|
||||
## 3. 人工智能目标负载层
|
||||
|
||||
### 3.1 TTFT
|
||||
|
||||
`TTFT`(Time To First Token)用于描述 LLM 请求从实际发出到首个有效 token 到达的时间:
|
||||
|
||||
```text
|
||||
TTFT_i = g_i - s_i
|
||||
```
|
||||
|
||||
该指标包含请求传输、排队、调度和 prefill 阶段。负载发生器还应记录发送滞后 `s_i-a_i`,防止发生器本身饱和导致排队时间被遗漏。
|
||||
|
||||
报告要求:
|
||||
|
||||
- 单位统一为 `ms`;
|
||||
- 按模型、输入长度、并发度和到达率分别汇总;
|
||||
- 至少报告 `P50/P95/P99/P99.9/Max`、样本数和超时数;
|
||||
- 流式接口以客户端收到首个**有效内容 token**为终点,不把连接确认、空片段或仅含元数据的事件作为首 token;
|
||||
- 非生成式人工智能任务不使用 `TTFT`,改用任务对应的首结果时间,并明确终点语义。
|
||||
|
||||
### 3.2 TPOT
|
||||
|
||||
`TPOT`(Time Per Output Token)描述首 token 之后的平均生成间隔。对输出 token 数 `n_i > 1` 的请求:
|
||||
|
||||
```text
|
||||
TPOT_i = (c_i - g_i) / (n_i - 1)
|
||||
```
|
||||
|
||||
报告要求:
|
||||
|
||||
- 单位统一为 `ms/token`;
|
||||
- `n_i <= 1` 的请求记为不可计算,不以 0 填充;
|
||||
- 请求级 `TPOT` 与逐 token 间隔分布分开报告;
|
||||
- 同时报告实际输出 token 数,避免提前终止请求造成虚假的 TPOT 改善;
|
||||
- 按输入长度、输出长度、并发度和到达率分组。
|
||||
|
||||
### 3.3 端到端响应时间
|
||||
|
||||
端到端响应时间描述从请求实际发出到完整可用结果到达的时间:
|
||||
|
||||
```text
|
||||
T_e2e,i = c_i - s_i
|
||||
```
|
||||
|
||||
对于非 LLM 任务,应冻结起点和终点:例如视觉任务可定义为“帧进入应用边界至检测结果可被控制逻辑读取”,语音任务可定义为“音频块提交至最终文本可用”。设备执行事件只能用于阶段归因,不能代替包含排队、传输和后处理的完整链路。
|
||||
|
||||
除分位数外,还需按业务完成期限 `D_ai` 报告按时完成率:
|
||||
|
||||
```text
|
||||
on_time_completion_ratio
|
||||
= count(success_i AND T_e2e,i <= D_ai) / planned_requests
|
||||
```
|
||||
|
||||
### 3.4 成功率、任务质量与输出可用性
|
||||
|
||||
三个概念必须分开计算:
|
||||
|
||||
| 指标 | 定义 | 典型失败 |
|
||||
|---|---|---|
|
||||
| 请求成功率 | 协议和运行时层面正常完成的请求数 / 计划请求数 | 超时、拒绝、崩溃、OOM、传输失败 |
|
||||
| 任务质量 | 输出与冻结的参考答案或数据集指标之间的符合程度 | 精度下降、错误分类、内容偏差 |
|
||||
| 输出可用率 | 同时满足成功、质量和业务格式/安全规则的输出数 / 计划请求数 | 空输出、截断、格式错误、不可解析或不满足质量门槛 |
|
||||
|
||||
计算式:
|
||||
|
||||
```text
|
||||
success_ratio = successful_requests / planned_requests
|
||||
usable_output_ratio = usable_outputs / planned_requests
|
||||
```
|
||||
|
||||
任务质量应按负载类型选择并预先冻结:
|
||||
|
||||
- LLM:固定题集得分、精确匹配、规则判分或人工盲评结果;
|
||||
- 视觉检测:`mAP`、召回率、误检率;
|
||||
- 分类:准确率、F1 等;
|
||||
- 语音识别:`WER/CER`;
|
||||
- 故障诊断:检出率、漏报率、误报率。
|
||||
|
||||
量化或调度优化必须同时报告质量变化。仅提高速度但跌破质量门槛的输出不得计入有效结果。
|
||||
|
||||
### 3.5 长时间运行稳定性
|
||||
|
||||
人工智能负载稳定性用于检查持续运行时的性能和正确性是否退化。至少观测:
|
||||
|
||||
- 每个时间块的 `TTFT/TPOT/T_e2e` 分位数;
|
||||
- 请求成功率、输出可用率和错误类型;
|
||||
- 吞吐、队列长度、内存和 KV Cache 占用;
|
||||
- 温度、实际频率、进程重启和驱动异常。
|
||||
|
||||
建议将 24 h 运行划分为固定时间块,并比较早期稳定段与后期稳定段。可定义时延漂移率:
|
||||
|
||||
```text
|
||||
latency_drift = (late_block_metric - early_block_metric)
|
||||
/ early_block_metric
|
||||
```
|
||||
|
||||
报告时需给出完整时间序列,不能仅给 24 h 总平均值。持续内存增长、尾延迟恶化、成功率下降或周期性驱动错误均应作为稳定性退化证据。
|
||||
|
||||
## 4. 关键保障负载层
|
||||
|
||||
### 4.1 Deadline miss ratio
|
||||
|
||||
对第 `i` 次计划释放,若 `f_i > r_i + D`,则发生截止期违约:
|
||||
|
||||
```text
|
||||
miss_i = 1, if f_i > r_i + D; otherwise 0
|
||||
deadline_miss_ratio = sum(miss_i) / planned_releases
|
||||
```
|
||||
|
||||
要求:
|
||||
|
||||
- 分母必须是计划释放次数,而不是实际完成次数;
|
||||
- 未释放、跳过、丢失或未完成的实例必须单独标记,不能直接从分母删除;
|
||||
- 同时报告违约数、计划释放数、连续违约长度和违约发生时间;
|
||||
- 按场景、负载强度和 OS 配置分别统计。
|
||||
|
||||
### 4.2 P99/P99.9 jitter
|
||||
|
||||
本文默认以完成间隔抖动作为关键保障负载的主抖动口径:
|
||||
|
||||
```text
|
||||
jitter_i = (f_i - f_(i-1)) - T
|
||||
```
|
||||
|
||||
同时可报告绝对抖动 `abs(jitter_i)`。若使用释放抖动、唤醒抖动或响应时间波动,必须另行命名,不能与完成间隔抖动混用。
|
||||
|
||||
报告要求:
|
||||
|
||||
- 有符号抖动报告上下尾,绝对抖动报告 `P99/P99.9/Max`;
|
||||
- 附带时间序列,标出模型加载、突发流量、中断风暴、降频和故障注入事件;
|
||||
- 给出样本量及采样周期;
|
||||
- 不使用均值或标准差替代尾部分位数。
|
||||
|
||||
### 4.3 观测最大响应时间
|
||||
|
||||
关键任务响应时间定义为:
|
||||
|
||||
```text
|
||||
R_i = f_i - r_i
|
||||
R_observed_max = max(R_i)
|
||||
```
|
||||
|
||||
观测最大响应时间需要与截止期 `D` 并列展示,并给出裕量:
|
||||
|
||||
```text
|
||||
deadline_margin = D - R_observed_max
|
||||
```
|
||||
|
||||
`deadline_margin < 0` 表示至少出现一次违约。该指标必须附带运行时长、样本数、负载强度和发生最大值时的系统事件,不得将其描述为理论最坏响应时间。
|
||||
|
||||
### 4.4 外部接口响应时间
|
||||
|
||||
外部接口响应时间用于验证完整物理闭环,而不是仅验证内部线程调度。根据平台选择 GPIO、CAN、RS485 或网络回路:
|
||||
|
||||
```text
|
||||
T_external = t_external_output - t_external_input
|
||||
```
|
||||
|
||||
采集要求:
|
||||
|
||||
- 优先使用示波器、逻辑分析仪、总线分析仪或对端硬件时间戳;
|
||||
- 固定波特率、帧长、总线负载、网络拓扑和时间戳位置;
|
||||
- 报告空回路基线、测量分辨率和仪器误差;
|
||||
- 报告 `P50/P99/P99.9/Max`、超时和丢帧;
|
||||
- 内核或应用日志仅作为归因证据,不能替代外部闭环测量。
|
||||
|
||||
## 5. 系统协同层
|
||||
|
||||
### 5.1 有效吞吐
|
||||
|
||||
有效吞吐只统计同时满足时限、质量和可用性门槛的成功输出:
|
||||
|
||||
```text
|
||||
effective_throughput
|
||||
= qualified_output_units / measurement_window
|
||||
```
|
||||
|
||||
对 LLM,`qualified_output_units` 为合格请求产生的输出 token 数;对视觉任务可使用合格帧数,对请求型任务可使用合格请求数。
|
||||
|
||||
合格请求至少满足:
|
||||
|
||||
```text
|
||||
请求成功
|
||||
AND TTFT/端到端期限达标
|
||||
AND 任务质量达标
|
||||
AND 输出可用
|
||||
AND 同一窗口内关键保障负载达标
|
||||
```
|
||||
|
||||
有效吞吐必须与总吞吐、请求完成率、拒绝率、超时率和错误率并列报告,避免通过拒绝或丢弃工作改善尾延迟。
|
||||
|
||||
### 5.2 E/token
|
||||
|
||||
在与负载统计完全一致的窗口 `[t0,t1]` 内:
|
||||
|
||||
```text
|
||||
E_total = integral(P(t), t0, t1)
|
||||
E/token = E_total / N_output
|
||||
tokens/J = N_output / E_total
|
||||
```
|
||||
|
||||
其中 `N_output` 为窗口内实际收到的输出 token 数。主结果使用整机输入端实测能耗,包含排队、空闲和失败请求消耗;板载或加速器遥测用于归因,不能替代整机测量。
|
||||
|
||||
要求:
|
||||
|
||||
- 单位为 `J/token`,同时报告平均功率、峰值采样功率和仪器采样率;
|
||||
- `N_output = 0` 时记为不可计算,不记为 0;
|
||||
- 同时报有效 `E/token = E_total / N_qualified_output`,以反映失败和不合格输出的成本;
|
||||
- 混合视觉与 LLM 负载时,不将全部能耗归因于 LLM,应使用独立对照或单列场景总能耗;
|
||||
- 只在人工智能与关键保障约束均满足的配置之间比较能效。
|
||||
|
||||
### 5.3 温度、降频与热漂移
|
||||
|
||||
全程同步记录:
|
||||
|
||||
- 环境温度、芯片/板卡温度;
|
||||
- CPU、GPU、NPU 和内存相关实际频率;
|
||||
- 降频事件及其原因;
|
||||
- 功率、风扇/散热策略;
|
||||
- 同时间轴上的时延、吞吐和违约。
|
||||
|
||||
降频时间比例定义为:
|
||||
|
||||
```text
|
||||
throttling_ratio = throttled_time / valid_measurement_time
|
||||
```
|
||||
|
||||
热漂移用于表示系统热稳定后相对冷态或早期稳定段的性能变化:
|
||||
|
||||
```text
|
||||
thermal_drift(metric)
|
||||
= (hot_steady_metric - early_steady_metric) / early_steady_metric
|
||||
```
|
||||
|
||||
时延和能耗类指标的正漂移通常表示恶化;吞吐类指标的负漂移表示恶化。报告必须说明温度传感器来源、采样频率和稳态判定方法,并把温度—频率—性能三者放在同一时间轴分析。
|
||||
|
||||
### 5.4 多任务公平性
|
||||
|
||||
多租户或多模型并发场景使用各任务相对独占性能 `x_i` 计算 Jain 公平指数:
|
||||
|
||||
```text
|
||||
J = (sum(x_i))^2 / (k * sum(x_i^2))
|
||||
```
|
||||
|
||||
其中 `k` 为任务数,`x_i` 可取“共享运行时的有效吞吐 / 独占运行时的有效吞吐”。`J` 越接近 1,吞吐分配越均衡。
|
||||
|
||||
公平性不能只用一个指数概括,还应报告:
|
||||
|
||||
- 每个任务或租户的有效吞吐、`TTFT`、端到端时延和成功率;
|
||||
- 关键任务是否满足各自服务等级;
|
||||
- 饥饿次数、最长无服务时间和优先级倒置事件;
|
||||
- 高优先级保障所造成的低优先级代价。
|
||||
|
||||
对具有不同优先级和服务等级的任务,“公平”不是平均分配资源,而是在满足保障等级后不存在非预期饥饿。因此 Jain 指数只作为补充证据,不能替代逐任务 SLA 结果。
|
||||
|
||||
### 5.5 恢复能力
|
||||
|
||||
恢复测试应预先定义故障注入时刻 `t_fault` 和恢复判据。至少覆盖推理进程重启和队列过载;驱动重置、设备掉线或网络故障仅在存在安全、可恢复路径时执行。
|
||||
|
||||
建议记录:
|
||||
|
||||
| 指标 | 定义 |
|
||||
|---|---|
|
||||
| 故障检测时间 | 检测到故障的时刻减 `t_fault` |
|
||||
| 服务恢复时间 | 恢复到预定成功率和有效吞吐稳定区间的时刻减 `t_fault` |
|
||||
| 数据损失 | 故障窗口内丢失、重复或无法确认的请求数 |
|
||||
| 实时影响 | 故障窗口内关键任务违约数及最大响应时间 |
|
||||
| 重试成功率 | 成功重试请求数 / 发起重试请求数 |
|
||||
| 不可恢复故障数 | 需要人工干预、重启系统或丢失测量链路的次数 |
|
||||
|
||||
恢复完成必须同时满足人工智能服务恢复和关键保障负载重新达标。仅进程重新启动但吞吐、队列或实时任务仍未恢复,不算恢复完成。
|
||||
|
||||
### 5.6 24 h 长稳表现
|
||||
|
||||
24 h 长稳采用人工智能目标负载、关键保障负载及必要伴生竞争负载的混合场景。至少连续记录:
|
||||
|
||||
- 三层核心指标的固定时间块汇总;
|
||||
- 温度、频率、功率和降频事件;
|
||||
- 内存、KV Cache、句柄/线程和队列长度;
|
||||
- OOM、驱动错误、进程重启、接口超时和日志中断;
|
||||
- 注入故障前后恢复曲线。
|
||||
|
||||
长稳通过条件至少包括:
|
||||
|
||||
1. 完成连续 24 h 有效测量;
|
||||
2. 无不可恢复故障;
|
||||
3. 测量与日志链路无中断;
|
||||
4. 无持续、不可解释的内存增长;
|
||||
5. 人工智能输出与关键保障负载在冻结阈值内;
|
||||
6. 故障注入后在冻结时间内恢复。
|
||||
|
||||
若发生故障,必须保留原始数据并分析,不得删除故障批次后宣称长稳通过。
|
||||
|
||||
## 6. 指标—数据源—实验映射
|
||||
|
||||
| 层级 | 指标 | 主要数据源 | 主要实验/场景 |
|
||||
|---|---|---|---|
|
||||
| 人工智能目标负载 | `TTFT/TPOT`、端到端响应时间 | `requests.csv`、负载发生器、推理日志 | E2/E3/E8,L1~L7 |
|
||||
| 人工智能目标负载 | 成功率、质量、输出可用率 | 请求日志、固定题集/数据集、判分程序 | E2/E3/E4/E8 |
|
||||
| 人工智能目标负载 | 长时间稳定性 | 分块请求汇总、内存和错误日志 | E8,24 h |
|
||||
| 关键保障负载 | 违约率、抖动、最大响应时间 | `rt.csv`、RTOS trace、GPIO 打点 | E1/E3/E7/E8,L0/L2~L7 |
|
||||
| 关键保障负载 | 外部接口响应时间 | 示波器、逻辑/总线分析仪、抓包 | E1/E3/E8 |
|
||||
| 系统协同 | 有效吞吐 | 请求、质量和 RT 数据联合计算 | E3/E5/E7/E8 |
|
||||
| 系统协同 | `E/token` | 外部功率计/PDU、`requests.csv` | E2/E6/E8 |
|
||||
| 系统协同 | 温度、降频、热漂移 | `thermal.csv`、频率与功率日志 | E6/E8 |
|
||||
| 系统协同 | 多任务公平性 | 各租户请求日志和独占基线 | E5,L6 |
|
||||
| 系统协同 | 恢复与 24 h 长稳 | `events.log`、三层时间序列 | E8,L7 |
|
||||
|
||||
## 7. 最小数据产物
|
||||
|
||||
每次运行至少保存:
|
||||
|
||||
| 文件 | 必需内容 |
|
||||
|---|---|
|
||||
| `manifest.json` | 平台/档位、OS/BSP/驱动、模型校验值、量化、输入、到达序列、CPU/IRQ/频率/内存配置、环境和仪器信息 |
|
||||
| `requests.csv` | 请求 ID、计划到达、实际发送、首/末输出、输出数、成功、质量、可用性、超时/拒绝原因 |
|
||||
| `rt.csv` | 计划释放、就绪、开始、完成、CPU、违约、丢失/跳过状态 |
|
||||
| `power.csv` | 时间戳、功率、电压、电流、仪器来源 |
|
||||
| `thermal.csv` | 时间戳、环境/芯片温度、实际频率、降频状态 |
|
||||
| `events.log` | OOM、驱动错误、故障注入、重启、网络异常、测量故障 |
|
||||
| `summary.json` | 三层指标、样本量、分位数、最大值、区间、阈值和判定结果 |
|
||||
|
||||
所有派生指标必须能够从原始记录重新计算。汇总程序不得覆盖原始文件,不得静默剔除异常值。
|
||||
|
||||
## 8. 核心证据表述模板
|
||||
|
||||
正式报告应采用带边界的联合表述:
|
||||
|
||||
> 在 `[平台/档位]`、`[模型与输入输出配置]`、`[到达率与竞争负载]`、`[功耗和温度条件]` 下,`[OS/配置]` 在人工智能目标负载达到 `[TTFT/TPOT/质量/可用率]`、关键保障负载达到 `[违约率/P99.9/观测最大响应]` 的同时,实现 `[有效吞吐和 E/token]`,并在 `[故障与 24 h 长稳结果]` 下保持稳定。相对 `[对照组]` 的改善为 `[效应量及置信区间]`。
|
||||
|
||||
不应只写“平均时延更低”“吞吐更高”或“24 小时无故障”。结论必须明确三层约束是否同时满足、比较基线是什么、改善代价是什么,以及结论适用于哪些部署档位和运行条件。
|
||||
Reference in New Issue
Block a user