diff --git a/word格式规范版/基础设备.docx b/word格式规范版/基础设备.docx new file mode 100644 index 0000000..c0c3554 Binary files /dev/null and b/word格式规范版/基础设备.docx differ diff --git a/word格式规范版/基础说明.docx b/word格式规范版/基础说明.docx new file mode 100644 index 0000000..481c04a Binary files /dev/null and b/word格式规范版/基础说明.docx differ diff --git a/word格式规范版/实验设计.docx b/word格式规范版/实验设计.docx new file mode 100644 index 0000000..d407760 Binary files /dev/null and b/word格式规范版/实验设计.docx differ diff --git a/word格式规范版/最终文章规划.docx b/word格式规范版/最终文章规划.docx new file mode 100644 index 0000000..9ab4f76 Binary files /dev/null and b/word格式规范版/最终文章规划.docx differ diff --git a/基础设备.md b/基础设备.md new file mode 100644 index 0000000..fb26be1 --- /dev/null +++ b/基础设备.md @@ -0,0 +1,740 @@ +# 基础设备配置（四层级 × 三档算力分级） + +> 版本: v2.0 起草日期: 2026-09-18 +> 设计目标: 为翼辉 SylixOS 调度框架研究建立 **集群→桌面→边→端** 四级硬件体系，每级内再按 **低/中/高** 三档细分 +> 现有硬件全覆盖: T2-L（4×V100 SXM）+ T3-L / T4-H（RK3588 工业盒）| 需新增: T1 集群扩展 + 其余档位 + +--- + +## 0. 分级体系总览 + +### 0.1 分级维度与分档规则 + +**分级维度**: 以「统一内存 / 显存容量」为第一分类维度——容量直接决定可承载的模型规模，且与功耗、散热、互联架构强相关，四个层级可连续衔接、无断层。 + +**分档规则**: 相邻两档的边界值归入**上界一侧** + +| 层级 | 代码 | 低级 | 中级 | 高级 | +| -------- | --- | --------------- | ---------------- | ---------------- | +| **端级** | T4 | **1~2 G** | **2~4 G** | **4~8 G** | +| **边级** | T3 | **8~16 G** | **16~32 G** | **32~64 G** | +| **桌面级** | T2 | **64~128 G** | **128~256 G** | **256~512 G** | +| **集群级** | T1 | **512 G~1 T** | —（不设中档） | **1 T~2 T** | + +> 边界值归属示例: 8 GB → 端-高；16 GB → 边-低；64 GB → 边-高；128 GB → 桌-低；512 GB → 桌-高；1 TB → 集-低。 + +### 0.2 全谱系总表（11 个档位） + +> 算力单位统一约定: **NVIDIA GPU 用 FP16 Tensor Core TFLOPS（dense）**，**NPU 用 INT8 TOPS**；两者不可直接换算。 + +| 档位 | 容量 | 算力（峰值） | 功耗 | 算力/供电架构 | 代表设备 | 状态 | +| -------- | ------------ | -------------------------- | ------------- | ---------------------------------- | ----------------------------- | ------- | +| **T4-L** | 1~2 G | 0.8~1 TOPS (INT8) | 3~5 W | ARM A55 + 小 NPU；DC 5V/12V 被动散热 | RK3568 1~2GB 核心板 | | +| **T4-M** | 2~4 G | 6 TOPS (INT8) | 5~10 W | ARM A72+A53 + NPU；DC 12V 被动散热 | RK3576 4GB | | +| **T4-H** | 4~8 G | 6~32 TOPS (INT8) | 7~21 W | ARM A76+A55 + M0 + NPU；DC 12V 被动 | **RK3588 8GB** / Jetson Orin Nano 8GB | 现有（16G 板降配） | +| **T3-L** | 8~16 G | 32~100 TOPS (INT8) | 10~30 W | ARM SoC 统一内存 + NPU/GPU；DC 12~24V 被动/小风扇 | **RK3588 16GB 工业盒** / Orin NX 16GB | 现有 | +| **T3-M** | 16~32 G | 275 TOPS (INT8) | 15~60 W | ARM A78AE + Ampere GPU + 2×DLA；DC 19V 主动风冷 | Jetson AGX Orin 32GB | | +| **T3-H** | 32~64 G | 275 TOPS / 91 TFLOPS (FP16) | 60~600 W | ARM 统一内存 或 x86+单卡 CUDA；风冷/液冷 | Jetson AGX Orin 64GB / 边缘工控机 + RTX 6000 Ada 48GB | | +| **T2-L** | 64~128 G | 500 TFLOPS (FP16) | 600~1.65 kW | x86 + 4×V100 SXM NVLink；双电源 + 360 液冷 | **4×V100 32GB SXM 塔式** | 现有 | +| **T2-M** | 128~256 G | 1000 TFLOPS (FP16) | 3.0~3.3 kW | x86 + 8×V100 SXM NVLink；双电源 + 液冷 | 8×V100 32GB SXM 整机 | 需扩展 | +| **T2-H** | 256~512 G | ~4000 TFLOPS (FP16) | 4.5~6.5 kW | x86 + 4×H100 SXM5 NVLink；高压供电 + 强制液冷 | 4×H100 80GB SXM5 工作站 | | +| **T1-L** | 512 G~1 T | ~2000 TFLOPS (FP16) | ~6.6 kW | 4 节点 × x86+4×V100，100GbE RoCE/IB；机房风冷/液冷 | 4×（T2-L 节点）+ IB 交换机 | 需扩展 | +| **T1-H** | 1~2 T | ~16 PFLOPS (FP16) | 20~25 kW | 4 节点 × x86+4×H100，NDR 400G IB；机房级液冷 | 4×（T2-H 节点）+ NDR 交换机 | | + +### 0.3 设计原则 + +1. **容量连续、功耗阶跃**: 从 1 GB / 3 W 到 2 TB / 25 kW，容量每上一档约 ×2，功耗随架构变化阶跃（被动散热 → 主动风冷 → 液冷 → 机房级液冷），形成天然的性能/能效对比曲线。 +2. **CUDA 栈贯通 T1/T2/T3**: 集群/桌面/边级全部或大部分走 NVIDIA CUDA 生态（V100 / Ampere / Hopper），模型与推理框架（vLLM / TensorRT-LLM）可跨档位无缝迁移，变量只有规模。 +3. **非 CUDA 端路线**: T4 全档位与 T3-L 走 RKNN/RKLLM NPU 栈，代表极致资源约束端点，是 RTOS 调度隔离价值最大化的场景。 +4. **现有硬件复用**: **4×V100 SXM（T2-L）** 与 **RK3588 工业盒（T3-L 16GB / T4-H 8GB 两用）** 为零采购成本基线，整条谱系以此为锚点向两侧扩展。 +5. **BSP 最小化**: 全谱系仅需两类 BSP——x86（T1/T2）与 ARM64（T3/T4），档位差异靠设备树与驱动裁剪吸收，不新增架构分支。 + +--- + +## T1. 集群级 — 512 G ~ 2 T + +### T1.1 定位 + +大规模分布式 LLM 推理与多模型并发服务。验证 SylixOS 在**多节点分布式调度**下的实时性——跨节点 RDMA 延迟、NCCL 集合通信抖动、分布式推理框架（vLLM+Ray / TensorRT-LLM+MPI）与实时控制任务的混合负载隔离。 + +### T1.2 档位对比 + +| 维度 | T1-L 集群-低 | T1-H 集群-高 | +| ----------- | --------------------- | --------------------------- | +| **容量** | 512 GB（4 × 128 GB） | 1.28 TB（4 × 320 GB） | +| **节点数** | 4 节点 | 4 节点 | +| **单节点加速器** | 4 × V100 32GB SXM | 4 × H100 80GB SXM5 | +| **集群算力** | ~2000 TFLOPS (FP16) | ~16 PFLOPS (FP16) | +| **节点内互联** | NVLink 300 GB/s | NVLink 900 GB/s | +| **节点间互联** | 100GbE RoCE / IB | NDR 400G IB | +| **整机功耗** | ~6.6 kW | 20~25 kW | +| **散热架构** | 每节点 360 液冷 + 机房风冷 | 机房级液冷（CDU / 后门换热器） | +| **主要模型** | 72B FP16 / 多实例 14B | 671B INT4 / 多实例 72B FP16 | + +#### T1.2.1 T1-L 集群-低 — 4 节点 × 4×V100 = 512 GB（本方案主线） + +| 项目 | 规格 | 数量 | 备注 | +| --------- | ------------------------------------------------ | ------------- | --------------------------- | +| **计算节点** | 同 T2-L 桌面级配置 | **4 台** | 每节点 4×V100 32GB SXM = 128GB | +| 节点内 GPU | NVIDIA V100 32GB SXM (NVLink 全互联) | 4×4 = 16 卡 | 每节点 NVLink 全互联 | +| 节点内 CPU | AMD EPYC 7402 (24C/48T, 2.0-3.2GHz) | 4 | 每节点 1 颗 | +| 节点内内存 | 128GB DDR4-2133 ECC | 4×128 = 512GB | 每节点 128GB | +| **节点间互联** | Mellanox ConnectX-6 100GbE / IB | 4 卡 | 每节点 1 卡，RoCE 或原生 IB | +| 节点间交换机 | 100GbE/IB 交换机 (Mellanox SN2700 或同档) | 1 | 32 端口 | +| 存储 | 共享 NFS / NVMe-oF (每节点 1TB NVMe 本地 + 共享存储) | — | 模型权重共享池 | +| 散热 | 每节点 360 一体液冷 ×2 | — | 同 T2-L | +| 电源 | 每节点 长城 1650W + 1250W 双电源 | 4 套 | 单节点 ~1.65 kW，集群 ~6.6 kW | +| 功率采集 | PDU + Yokogawa WT310 (整机) + nvidia-smi dmon (单卡) | — | 每节点独立采集 | + +**显存与算力** + +| 指标 | 值 | +| --------------- | ---------------------------------- | +| **总显存** | **512 GB** (4 × 128GB) | +| 单卡 FP16 算力 | 125 TFLOPS | +| 集群总算力 (FP16) | ~2000 TFLOPS (NVLink 节点内 + IB 节点间) | +| NVLink 带宽 (节点内) | 300 GB/s (GPU↔GPU) | + +**可运行模型** + +| 模型 | 量化 | 显存占用 | 并发实例数 | 推理框架 | +| ------------------------ | ---------- | ------- | ----- | ------------------ | +| **Qwen2.5-72B-Instruct** | FP16 | ~144 GB | 3+ | vLLM + Ray 分布式 | +| Qwen2.5-72B | INT4 (AWQ) | ~36 GB | 14+ | vLLM + Ray | +| **DeepSeek-V2-Chat** | FP16 | ~210 GB | 2 | TensorRT-LLM + MPI | +| Qwen2.5-14B | FP16 | ~28 GB | 18+ | vLLM (可单节点) | +| LLaMA-3-70B | FP16 | ~140 GB | 3+ | vLLM + Ray | + +> 注: 若已有 1 台 T2-L 节点，仅需追加 3 台。V100 SXM 为二手市场/拆机渠道，价格波动大。也可租用云上 V100 实例替代自建集群。 + +#### T1.2.2 T1-H 集群-高 — 4 节点 × 4×H100 = 1.28 TB（扩展档） + +| 项目 | 规格 | 数量 | 备注 | +| ------- | ----------------------------------------- | --------- | --------------------- | +| 计算节点 | 同 T2-H 桌面级配置 | 4 台 | 每节点 4×H100 80GB SXM5 | +| 节点内 GPU | NVIDIA H100 80GB SXM5 (NVLink 4 卡全互联) | 16 卡 | NVLink 900 GB/s | +| 节点内 CPU | AMD EPYC 9654 (96C/192T) 或 Intel Xeon 8468 | 4 | 每节点 1~2 颗 | +| 节点内内存 | 512GB DDR5-4800 ECC | 4 × 512GB | 每节点 512GB | +| 节点间互联 | NVIDIA ConnectX-7 NDR 400Gb/s IB | 4~8 卡 | 每节点 1~2 卡 | +| 节点间交换机 | NDR 400G IB 交换机 (Quantum-2 / SN5600) | 1 | 32 端口 | +| 存储 | 并行文件系统 (GPFS/Lustre) + 每节点 4TB NVMe | — | 671B 级模型权重池 | +| 散热 | 机房级液冷 (CDU + 冷板) | — | 风冷不可行 | +| 电源 | 每节点 4~6 kW 冗余电源 | 4 套 | 集群 ~20~25 kW | + +**可运行模型** + +| 模型 | 量化 | 显存占用 | 并发实例数 | 推理框架 | +| ------------------------ | ---------- | -------- | ----- | -------------------- | +| **DeepSeek-V3 / R1-671B** | INT4 (AWQ) | ~400 GB | 3+ | vLLM + Ray / SGLang | +| **Qwen2.5-72B** | FP16 | ~144 GB | 8+ | vLLM + TensorRT-LLM | +| LLaMA-3-405B | INT4 | ~230 GB | 5+ | TensorRT-LLM + MPI | +| Qwen2.5-32B | FP16 | ~64 GB | 20+ | vLLM | + +### T1.3 SylixOS 要求（T1 通用） + +| 要求项 | 描述 | 风险 | +| ------------------ | ------------------------------- | ------------------------------ | +| x86 BSP | 每节点运行 SylixOS x86 LTS | 低（T2-L 已验证） | +| **RDMA / RoCE 驱动** | ConnectX-6 / ConnectX-7 在 SylixOS 上的 RDMA 驱动 | **中-高**（需验证 Mellanox OFED 兼容性） | +| NCCL / MPI | 分布式集合通信库在 SylixOS 移植 | 中（NCCL 依赖 CUDA + POSIX） | +| Ray / 分布式框架 | vLLM + Ray 的 SylixOS 适配 | 中（Python + Ray 依赖链） | +| 分布式调度器 | SylixOS 跨节点实时任务调度原型 | **研究贡献点** | + +### T1.4 研究角度 + +- **跨节点调度延迟**: 分布式推理时，1ms 实时任务在跨节点 NCCL all-reduce 期间的尾延迟 +- **RDMA bypass 内核**: SylixOS 是否能利用 RDMA bypass kernel path 降低跨节点通信延迟 +- **分布式公平性**: 多节点并发请求时，高优先级实时任务的跨节点响应稳定性 +- **能效**: 分布式推理的每 token 能耗 vs 单节点（通信开销 vs 并行收益） +- **档位对照**: T1-L 与 T1-H 的**每 token 能耗比**——V100 集群（能效基线）vs H100 集群（能效上限） + +--- + +## T2. 桌面级 — 64 G ~ 512 G + +### T2.1 定位 + +单节点多 GPU 大模型推理。验证 SylixOS 在**单机多卡 NVLink 拓扑**下的 GPU 命令调度延迟、显存管理实时性、多模型并发流水线调度。 + +### T2.2 档位对比 + +| 维度 | T2-L 桌面-低 | T2-M 桌面-中 | T2-H 桌面-高 | +| ----------- | ---------------------- | --------------------------- | --------------------------- | +| **容量** | 128 GB（4 × 32 GB） | 256 GB（8 × 32 GB） | 320 GB（4 × 80 GB） | +| **加速器** | 4 × V100 32GB SXM | 8 × V100 32GB SXM | 4 × H100 80GB SXM5 | +| **算力** | 500 TFLOPS (FP16) | 1000 TFLOPS (FP16) | ~4000 TFLOPS (FP16) | +| **互联** | NVLink 300 GB/s ×4 | NVLink 300 GB/s ×8 | NVLink 900 GB/s ×4 | +| **整机功耗** | ~1.65 kW | ~3.0~3.3 kW | ~4.5~6.5 kW | +| **散热架构** | 360 液冷 ×2 + 塔式风道 | 360 液冷 ×2 + 双路风冷 | 强制液冷 (冷板)，风冷不可行 | +| **电源架构** | 1650W + 1250W 双电源 | 2× 2000W 冗余 / 220V 单相 | 2× 3000W 冗余 / 220V 双相 | +| **形态** | 塔式一体定制机箱 | 4U 机架式 / 塔式 | 4U~5U 机架式液冷 | +| **可运行模型** | 72B INT4 / 14B FP16 | 72B FP16 / 多实例 32B | 671B INT4 / 72B FP16 多并发 | +| **状态** | 现有 | 需扩展（现有平台加卡） | 需 | + +#### T2.2.1 T2-L 桌面-低 — 4×V100 SXM = 128 GB（现有设备，谱系锚点） + +| # | 部件 | 型号 / 规格 | 数量 | 备注 | +| -- | ------- | ---------------------------------------------- | ----- | --------------------------- | +| 1 | 主板 | H12D-8D（双路 EPYC 服务器板） | 1 | | +| 2 | CPU | AMD EPYC 7402 (24C/48T, 2.0-3.2 GHz, TDP 180W) | 1 | | +| 3 | 硬盘 | 长城 M.2 NVMe 1TB | 1 | 系统盘 | +| 4 | 内存 | 三星 DDR4-32G-2133 | 4 | 共 128 GB DDR4 | +| 5 | 散热系统 | 360 一体液冷散热套装 | 2 | 主机 + GPU | +| 6 | 转接卡 | ROHSTNS-2SXM2-2P54E | 2 | | +| 7 | 信号线 | V100 32G × 2 | 4 | NVLink 桥接 | +| 8 | 机箱 | 塔式一体定制机箱 | 1 | | +| 9 | 主电源 | 长城全模组 1650W | 1 | | +| 10 | 副电源 | 长城 1250W 全模组 | 1 | SXM 平台用 | +| 11 | 散热器 | SP3 高性能散热器 | 1 | | +| 12 | SXM 平台 | 300G NVLink 4 卡直连底板 | 1 | | +| 13 | **GPU** | **NVIDIA V100 32GB SXM** | **4** | **NVLink 全互联，共 128GB HBM2** | + +**显存与算力** + +| 指标 | 值 | +| ---------- | --------------------------- | +| **总显存** | **128 GB** (4 × 32GB HBM2) | +| 单卡显存 | 32 GB HBM2 | +| 单卡 FP16 算力 | 125 TFLOPS | +| 总算力 (FP16) | ~500 TFLOPS | +| NVLink 带宽 | 300 GB/s (GPU↔GPU 全互联) | +| 内存带宽 | DDR4-2133 ~170 GB/s (CPU 侧) | +| **整机功耗** | **~1650 W** (满载) | + +**可运行模型** + +| 模型 | 量化 | 显存占用 | 并发实例数 | 推理框架 | +| ------------------------ | ---------- | ------ | ----- | ------------------- | +| **Qwen2.5-7B-Instruct** | FP16 | ~14 GB | 8+ | vLLM / TensorRT-LLM | +| **Qwen2.5-14B-Instruct** | INT4 (AWQ) | ~8 GB | 14+ | vLLM | +| Qwen2.5-14B | FP16 | ~28 GB | 4 | vLLM | +| **Qwen2.5-72B-Instruct** | INT4 (AWQ) | ~36 GB | 3 | vLLM (张量并行 TP=4) | +| LLaMA-3-8B | FP16 | ~16 GB | 7 | vLLM | +| MiniCPM-V 2.6 | INT4 | ~6 GB | 20+ | llama.cpp | +| Whisper-Large-v3 | FP16 | ~3 GB | 40+ | faster-whisper | + +#### T2.2.2 T2-M 桌面-中 — 8×V100 SXM = 256 GB + +在 T2-L 平台基础上**加卡扩容**，是「同一代硬件纵向扩展」的对照档位，最贴近现有设备、改造成本最低。 + +| 项目 | 规格 | 变更点 | +| --------- | ----------------------------------------------- | ------------------ | +| **GPU** | NVIDIA V100 32GB SXM **× 8** | 4 → 8 卡 | +| **SXM 平台** | 300G NVLink **8 卡直连底板** | 更换底板 | +| **转接卡** | ROHSTNS-2SXM2-2P54E | 2 → 4 | +| **NVLink** | 全互联 8 卡，300 GB/s | 拓扑扩展 | +| 主板 / CPU | H12D-8D + EPYC 7402（双路可升级 EPYC 7742 64C） | 建议升双路以喂满 8 卡 | +| 内存 | 128 GB → **256 GB** DDR4-2133 | 8 卡需更大 pinned memory | +| 电源 | 2 × 2000W 冗余（或 220V 单相 16A 回路） | 1650W+1250W 不足 | +| 散热 | 360 液冷 ×2 + 机箱风道强化 | — | +| **整机功耗** | **~3.0~3.3 kW** | +100% | +| **总算力** | **~1000 TFLOPS (FP16)** | +100% | + +**可运行模型（新增/提升）** + +| 模型 | 量化 | 显存占用 | 并发实例数 | 说明 | +| ------------------------ | ---------- | ------ | ----- | ------------------ | +| **Qwen2.5-72B-Instruct** | FP16 | ~144 GB | 1~2 | TP=8 张量并行，无需量化 | +| **Qwen2.5-32B-Instruct** | FP16 | ~64 GB | 3+ | TP=4 | +| DeepSeek-V2-Lite | FP16 | ~31 GB | 8+ | — | +| Qwen2.5-14B | FP16 | ~28 GB | 9+ | 单卡可容，多实例并发 | + +> **备选方案**: 4 × RTX 6000 Ada 48GB = 192 GB，364 TFLOPS (FP16)，整机 ~2.4 kW，风冷即可。优势是无 NVLink 但单卡能效高、显存快；劣势是跨卡走 PCIe Gen5。 + +#### T2.2.3 T2-H 桌面-高 — 4×H100 SXM5 = 320 GB + +| 项目 | 规格 | +| ------- | ---------------------------------------- | +| **GPU** | NVIDIA H100 80GB SXM5 **× 4**（NVLink 全互联） | +| 单卡算力 | ~989 TFLOPS (FP16 Tensor Core, dense) | +| 单卡显存 | 80 GB HBM3 | +| NVLink | 900 GB/s (GPU↔GPU) | +| CPU | AMD EPYC 9654 (96C/192T) ×1~2 | +| 内存 | 512 GB DDR5-4800 ECC | +| 底板 | HGX H100 4-GPU 或 8-GPU 底板（留 4 卡空位） | +| 存储 | 4 TB NVMe RAID0（模型权重加载） | +| 散热 | **强制液冷（冷板式）**，风冷不可行 | +| 电源 | 2 × 3000W 冗余 / 220V | +| **整机功耗** | **~4.5~6.5 kW** | +| **总算力** | **~4000 TFLOPS (FP16)**，稀疏 ~8000 TFLOPS | + +**备选方案**: 8 × RTX 6000 Ada 48GB = 384 GB，728 TFLOPS (FP16)，~4.0 kW，风冷可行——容量更大、功耗更低，代价是无 NVLink 与算力密度。 + +**可运行模型（新增/提升）** + +| 模型 | 量化 | 显存占用 | 并发实例数 | 说明 | +| ------------------------ | ---------- | ------- | ----- | ----------------- | +| **Qwen2.5-72B-Instruct** | FP16 | ~144 GB | 2 | TP=4，H100 下 TTFT 极低 | +| LLaMA-3-70B | FP16 | ~140 GB | 2 | — | +| **DeepSeek-V2-Chat** | FP16 | ~210 GB | 1 | 单机可跑 | +| Mixtral-8x7B | FP16 | ~93 GB | 3 | MoE 专家并行 | + +### T2.3 SylixOS 要求（T2 三档通用） + +| 要求项 | 描述 | 风险 | +| ----------------- | ----------------------------- | ------------------- | +| x86 BSP | SylixOS 2.x LTS x86 | 低 | +| **CUDA 驱动** | V100 SXM / H100 SXM 在 SylixOS 的 CUDA 驱动 | **中**（需翼辉确认） | +| NVLink 支持 | 4 卡 / 8 卡 NVLink 拓扑在 SylixOS 可用 | 中 | +| vLLM / llama.cpp | Python + CUDA 推理框架适配 | 中（llama.cpp 优先，依赖少） | +| nvidia-smi / DCGM | GPU 监控 + 功耗采集 | 低 | +| 8 卡 / 4 卡拓扑切换 | 同一 BSP 支持 T2-L/M/H 不同卡数 | 低（设备树 + 枚举） | + +### T2.4 对照组 OS + +- **主对照**: Ubuntu 22.04 LTS + `linux-image-rt` (PREEMPT_RT) + vLLM +- **辅助对照**: CentOS Stream 9 + RT 内核（可选） + +--- + +## T3. 边级 — 8 G ~ 64 G + +### T3.1 定位 + +边缘 AI 推理与工业控制并发。验证 SylixOS 在**统一内存架构**（CPU+加速器共享 LPDDR）下的实时性——推理任务与实时控制任务共享内存带宽时的隔离能力。 + +### T3.2 档位对比 + +| 维度 | T3-L 边-低 | T3-M 边-中 | T3-H 边-高 | +| --------- | ---------------------------- | -------------------------- | ----------------------------- | +| **容量** | 16 GB 统一内存 | 32 GB 统一内存 | 64 GB 统一内存 / 48 GB 独立显存 | +| **加速器** | RK3588 NPU 6+26 TOPS / Ampere | Ampere GPU + 2×DLA | AGX Orin 64GB / RTX 6000 Ada | +| **算力** | 32 TOPS / 100 TOPS (INT8) | 275 TOPS (INT8) | 275 TOPS / 91 TFLOPS (FP16) | +| **功耗** | 10~30 W | 15~60 W | 60~600 W | +| **供电架构** | DC 12~24 V，无风扇/小风扇 | DC 19 V，主动风冷 | DC 19 V 或 ATX，风冷/液冷 | +| **工作温度** | -40~60 ℃ 工业级 | -25~80 ℃ | -25~80 ℃ / 0~50 ℃ | +| **SylixOS 风险** | **极低**（RK3588 BSP 复用 T4） | **高**（T234 BSP 需验证） | 高 / 中 | +| **状态** | （RK3588 16GB 工业盒） | | | + +#### T3.2.1 T3-L 边-低 — RK3588 16GB 工业盒（现有设备） + +**这是现有 RK3588 设备的标准归属档位**（16 GB 统一内存落在边级区间内），也是唯一可零成本立即开展研究的边级档位。 + +| 项目 | 规格 | 备注 | +| --------- | --------------------------------------- | --------------------- | +| SoC | Rockchip RK3588（同 T4-H） | SylixOS BSP 与 T4 共用 | +| 内存 | **16 GB LPDDR4X**（统一内存） | -40~60 ℃ 工业宽温 | +| NPU | 6 TOPS 原生 + **26 TOPS 算力棒扩展 = 32 TOPS** | 算力棒走 M.2 2280 | +| 功耗 | ~21~30 W（含算力棒） | 被动散热，可选小风扇 | +| 内存带宽 | ~51.2 GB/s (128-bit LPDDR4X) | 与 T4 相同，是带宽瓶颈点 | +| 模型 | Qwen2.5-3B/7B INT4（RKLLM） | 比 T4-H 内存翻倍，可跑更大模型 | + +**备选方案（同档位、CUDA 路线）**: NVIDIA Jetson Orin NX 16GB — 100 TOPS (INT8, sparse)，1024 CUDA + 32 Tensor Core，16 GB LPDDR5 / 102.4 GB/s，10~25 W，**CUDA 生态与 T1/T2 打通**。代价是 SylixOS T234 BSP 风险高。 + +#### T3.2.2 T3-M 边-中 — NVIDIA Jetson AGX Orin 32GB + +| 项目 | 规格 | +| --------- | -------------------------------------------------- | +| **SoC** | NVIDIA T234（Grace 系列衍生） | +| **CPU** | 12× ARM Cortex-A78AE @ 2.0 GHz（64-bit） | +| **GPU** | NVIDIA Ampere 架构，2048 CUDA cores + 64 Tensor cores | +| **DLA** | 2× DLA v2.0（深度学习加速器，可异步推理） | +| **AI 算力** | **275 TOPS** (INT8) / 137.5 TOPS (INT8+INT8 双精度) | +| **内存** | **32 GB LPDDR5**（统一内存，CPU/GPU 共享） | +| 内存带宽 | 204.8 GB/s | +| **功耗** | **15 W ~ 60 W**（可配置功率模式：15W/30W/50W/60W） | +| 工作温度 | -25 ~ 80°C（工业级，但不如 RK3588 的 -40~60°C 宽） | +| 存储 | 64GB eMMC + M.2 NVMe（可扩展） | +| 网络 | 2× 10GbE（RJ45）+ 1× 千兆 | +| 视频接口 | HDMI 2.1 + DP 1.4a | +| USB | 4× USB 3.2 + 2× USB 2.0 | +| PCIe | PCIe Gen4 ×4（可扩展外设） | +| MIPI CSI | 4 通道（可接工业相机） | +| 尺寸 | 100mm × 87mm（核心模块） | +| **出厂 OS** | Ubuntu 20.04 LTS (L4T) | +| 价格 | ~$2,000-4,000（~15,000-28,000 RMB） | + +**选择 Jetson AGX Orin 的理由** + +1. **CUDA 生态统一**: 与 T1/T2 同为 NVIDIA GPU，vLLM / TensorRT / llama.cpp 可直接移植，无需切换到 RKLLM 栈 +2. **统一内存架构**: CPU 和 GPU 共享 32GB LPDDR5，无独立显存——LLM 推理和实时控制任务**争抢同一内存带宽**，是验证内存带宽管控（RQ2）的理想平台 +3. **DLA 异步推理**: 2 个 DLA 可在 GPU/CPU 不介入时执行推理，适合"LLM 推理让出 CPU/GPU 给实时任务"的调度策略验证 +4. **功率可配置**: 15W/30W/50W/60W 多档功率模式，可在不同功耗预算下测试 +5. **丰富 I/O**: 10GbE + MIPI CSI + PCIe Gen4，可接工业相机、高速网络、扩展卡 + +#### T3.2.3 T3-H 边-高 — 64 GB 档（两条路线） + +| 路线 | 主推 A: Jetson AGX Orin 64GB | 主推 B: 边缘工控机 + RTX 6000 Ada 48GB | +| ---------- | -------------------------------- | -------------------------------- | +| **架构** | ARM A78AE + Ampere GPU（统一内存） | x86 (Xeon/Core) + 独立 CUDA 显卡 | +| **容量** | 64 GB LPDDR5（统一内存） | 48 GB GDDR6 ECC（独立显存） | +| **算力** | 275 TOPS (INT8) | 91 TFLOPS (FP16) / 182 TFLOPS 稀疏 | +| **功耗** | 15~60 W | 整机 ~600 W | +| **散热** | 被动/主动风冷 | 主动风冷或液冷 | +| **生态** | CUDA + DLA，与 T3-M 同 BSP | 完整 CUDA + NVLink 可选 | +| **优势** | 能效极高、宽温、无风扇可行 | 算力密度高、显存带宽大、生态完整 | +| **劣势** | 统一内存带宽仅 204.8 GB/s，带宽受限 | 功耗/体积/散热不适合现场部署 | +| **适用场景** | 边缘现场、宽温环境、低功耗 | 边缘机柜、算力下沉、多模型并发 | + +**可运行模型（T3 三档合并）** + +| 模型 | 量化 | 显存占用 | 预期 tokens/s | 适用档位 | 推理框架 | +| ------------------------ | ------------ | ------- | ----------- | ------------- | ------------------------ | +| **Qwen2.5-1.5B-Instruct** | INT4 | ~1.2 GB | ~40-60 | T3-L | RKLLM | +| **Qwen2.5-3B-Instruct** | INT4 | ~2.5 GB | ~50-80 | T3-L / T3-M | TensorRT-LLM / RKLLM | +| **Qwen2.5-7B-Instruct** | INT4 (W4A16) | ~5 GB | ~30-50 | T3-L / T3-M | TensorRT-LLM / llama.cpp | +| **Qwen2.5-14B-Instruct** | INT4 | ~8 GB | ~20-35 | T3-M | TensorRT-LLM | +| **Qwen2.5-32B-Instruct** | INT4 | ~18 GB | ~12-20 | T3-M / T3-H | TensorRT-LLM | +| **Qwen2.5-72B-Instruct** | INT4 (AWQ) | ~36 GB | ~5-8 | T3-H | TensorRT-LLM / vLLM | +| MiniCPM-V 2.6 | INT4 | ~6 GB | ~15-25 | T3-L 以上 | llama.cpp | +| Whisper-Large-v3 | INT8/FP16 | ~1.5 GB | 流式 ASR | T3-L 以上 | faster-whisper | +| YOLOv8n | INT8 | ~0.1 GB | 200+ FPS | T3 全档 | TensorRT / RKNN | + +### T3.3 SylixOS 要求（T3） + +| 要求项 | 描述 | 风险 | +| -------------------- | --------------------------------------- | ---------------------------- | +| **ARM64 BSP (T234)** | SylixOS 需提供 NVIDIA T234 SoC 的 ARM64 BSP | **高**（需翼辉确认是否支持 Jetson Orin） | +| **RK3588 BSP（T3-L）** | 与 T4-H 共用同一 BSP，零额外风险 | **极低** | +| CUDA 驱动 | Jetson 专用 CUDA（L4T 驱动栈）在 SylixOS 适配 | 高 | +| DLA 驱动 | DLA 异步推理在 SylixOS 的可用性 | 高 | +| 功率模式 API | 15W/30W/50W/60W 切换在 SylixOS 的实现 | 中 | +| 内存监控 | 统一内存架构下的内存带宽监控（PMU 计数器） | 中 | +| 独立显存管理（T3-H B 路线） | x86 + 独显的显存分配与实时性 | 中 | + +> **取舍**: Jetson 路线优势在 CUDA 生态统一 + 275 TOPS + DLA；RK3588-16GB（T3-L）优势在 SylixOS BSP 风险极低 + -40~60℃ 工业级宽温。**建议 T3-L 直接用现有 RK3588 起步，T3-M/H 待 Jetson BSP 确认后再采购。** + +### T3.4 对照组 OS + +| 档位 | 主对照 | 辅助对照 | +| ---- | -------------------------------- | ----------------------------- | +| T3-L | Ubuntu 22.04 + PREEMPT_RT（RK3588） | OpenHarmony 4.x + RT patch（可选） | +| T3-M | Ubuntu 20.04 LTS (L4T) + PREEMPT_RT | Ubuntu 22.04 + Docker（容器隔离方案） | +| T3-H | Ubuntu 22.04 + PREEMPT_RT（x86/ARM） | Docker + KVM | + +### T3.5 功率采集 + +| 设备 | 用途 | 适用档位 | +| ----------------------------- | --------------------- | ----------- | +| DC 功率计（USB 接口型） | 整机 DC 输入端功耗 | T3-L / T3-M | +| INA226 采集板 | SoC 主电源轨（若可接入） | 全档 | +| `jetson_stats` / tegrastats | 内部功耗代理（辅助，非主报） | T3-M / T3-H | +| 交流功率计（PZEM / 智能插座） | 边缘工控机整机功耗 | T3-H B 路线 | + +--- + +## T4. 端级 — 1 G ~ 8 G + +### T4.1 定位 + +工业端点超低功耗 LLM 推理与硬实时控制。验证 SylixOS 在**极致资源约束**（3~21 W / 1~8 GB / 0.8~32 TOPS）下的 LLM + 1ms 实时控制并发能力。这是 RTOS 杀手锏场景——资源越紧张，RTOS 调度隔离的价值越大。 + +### T4.2 档位对比 + +| 维度 | T4-L 端-低 | T4-M 端-中 | T4-H 端-高 | +| ----------- | ---------------------- | -------------------- | ------------------------------ | +| **容量** | 1~2 GB LPDDR4X | 2~4 GB LPDDR5 | 4~8 GB LPDDR4X / LPDDR5 | +| **SoC** | RK3568 (4×A55) | RK3576 (4×A72+4×A53) | RK3588 (4×A76+4×A55+M0) / Orin Nano | +| **NPU 算力** | 0.8~1 TOPS (INT8) | 6 TOPS (INT8) | 6~32 TOPS / 40~67 TOPS (INT8) | +| **功耗** | 3~5 W | 5~10 W | 7~21 W | +| **散热架构** | 无风扇被动 | 无风扇被动 | 无风扇被动（可选小风扇） | +| **供电** | DC 5V / 12V | DC 12V | DC 12V | +| **工作温度** | -40~85 ℃ 工业级 | -40~85 ℃ 工业级 | -40~60 ℃ / 0~50 ℃ | +| **可运行模型** | 0.5B INT4 / Whisper-Tiny | 1.5B INT4 / YOLO 系列 | 3B~7B INT4 / MiniCPM-V | +| **状态** | | | ✅ 现有（RK3588 16GB 降配） | + +#### T4.2.1 T4-L 端-低 — RK3568 核心板（1~2 GB） + +| 项目 | 规格 | +| --------- | -------------------------------------- | +| SoC | Rockchip RK3568 (22nm) | +| CPU | 4× Cortex-A55 @ 2.0 GHz | +| **NPU** | **0.8~1 TOPS (INT8)**（RKNN 原生栈） | +| **内存** | **1~2 GB LPDDR4X**（统一内存，板贴） | +| 内存带宽 | ~25.6 GB/s | +| GPU | Mali-G52（仅辅助显示） | +| 存储 | 8~16 GB eMMC | +| 网络 | 1× 千兆 + 可选 WiFi | +| 工业接口 | CAN ×2 / RS485 ×2 / GPIO（典型核心板引出） | +| **功耗** | **3~5 W**（无风扇被动散热） | +| 工作温度 | -40 ~ 85 ℃ 工业级 | +| 出厂 OS | Buildroot / Ubuntu 20.04（可换 SylixOS） | +| 参考价格 | ~300~800 RMB（核心板/开发板） | + +**可运行模型**: Qwen2.5-0.5B INT4（~0.5 GB）、Whisper-Tiny INT8（~0.2 GB）、YOLOv5n INT8。 +**定位价值**: 谱系最低档，用于测出「LLM 推理到底能把实时性压到多差」的**下界**，以及 RTOS 在极小内存下能否守住 1ms。 + +#### T4.2.2 T4-M 端-中 — RK3576 核心板（2~4 GB） + +| 项目 | 规格 | +| --------- | ---------------------------------------- | +| SoC | Rockchip RK3576 (8nm) | +| CPU | 4× Cortex-A72 + 4× Cortex-A53（异构大小核） | +| **NPU** | **6 TOPS (INT8)** + 可扩展算力棒 | +| **内存** | **2~4 GB LPDDR5**（统一内存） | +| 内存带宽 | ~40 GB/s | +| **功耗** | **5~10 W**（无风扇被动） | +| 工作温度 | -40 ~ 85 ℃ 工业级 | +| 参考价格 | ~600~1,500 RMB | + +**可运行模型**: Qwen2.5-1.5B INT4（~1.2 GB，~15-25 tok/s）、Qwen2.5-0.5B INT4 多实例、YOLOv8s INT8。 +**定位价值**: 端级主力档，算力是 T4-L 的 6 倍而功耗仅翻倍，是**能效拐点**档位。 + +#### T4.2.3 T4-H 端-高 — RK3588 8GB（现有设备降配）/ Jetson Orin Nano 8GB + +**路线 A（现有设备，零成本）: RK3588 工业盒 8GB 配置** + +| 项目 | 规格 | 说明 | +| --------- | --------------------------------------------------- | ------------------------ | +| SoC | Rockchip RK3588 (8nm) | 与现有 16GB 工业盒**同板同 BSP** | +| CPU | 4×A76 @2.4 GHz + 4×A55 @1.8 GHz | 异构大小核 | +| MCU | Cortex-M0 @200 MHz（协处理，可选） | 跨核通信验证 | +| GPU | Mali-G610 MC4 | 仅辅助显示 | +| **NPU** | **6 TOPS**（内置, INT8）/ **32 TOPS**（板贴 26 TOPS 算力芯片扩展） | 两档可切换 | +| **内存** | **4~8 GB LPDDR4X**（统一内存） | 现有 16GB 板通过**内存分区限额**降配运行 | +| 内存带宽 | ~51.2 GB/s (128-bit) | 与 T3-L 同 | +| **功耗** | **7~21 W**（无风扇被动散热） | 6 TOPS 档 ~12W / 32 TOPS 档 ~21W | +| 工作温度 | -40 ~ 60 ℃ 工业级 | 宽温优势 | +| 出厂 OS | Ubuntu 22.04 | 换 SylixOS BSP | + +> **现有 16GB 工业盒的双档位用法**: 同一台设备既可作为 **T3-L（16 GB 全量）** 也可作为 **T4-H（分区限额 8 GB）** 运行，通过 SylixOS 内存分区 / cgroup 限额切换，一台设备覆盖两个档位的对照实验，是本方案的成本关键。 + +**路线 B（CUDA 生态）: NVIDIA Jetson Orin Nano 8GB** + +| 项目 | 规格 | +| --------- | --------------------------------------------------- | +| SoC | NVIDIA T234（Ampere 1024 CUDA + 32 Tensor Core） | +| **AI 算力** | **40 TOPS (INT8, 稀疏)**（Super 模式 67 TOPS） | +| **内存** | **8 GB LPDDR5**（统一内存，102.4 GB/s） | +| **功耗** | **7~25 W**（可配置 7W/15W/25W） | +| 优势 | **T4 档内唯一 CUDA 路线**，TensorRT-LLM 与 T1/T2/T3-M 同栈 | +| 劣势 | SylixOS T234 BSP 风险高，宽温不如 RK3588 | +| 参考价格 | ~$249（开发套件） | + +**可运行模型（T4-H）** + +| 模型 | 量化 | 显存占用 | 预期 tokens/s | 推理框架 | +| ------------------------- | ---- | ------- | ----------- | ----- | +| **Qwen2.5-3B-Instruct** | INT4 | ~2.5 GB | ~40-60 | RKLLM | +| **Qwen2.5-7B-Instruct** | INT4 | ~5 GB | ~20-30 | RKLLM | +| MiniCPM-V 2.6 | INT4 | ~6 GB | ~15-25 | RKLLM | +| Whisper-Large-v3 | INT8 | ~1.5 GB | 流式 ASR | RKLLM | + +#### T4.2.4 硬件配置明细（RK3588 工业级边缘计算盒子，现有设备） + +**系统 (System)** + +| 项目 | 规格 | +| ------- | ---------------------------------------------------- | +| SoC | Rockchip RK3588 (8nm) | +| CPU | 4×Cortex-A76 @2.4 GHz + 4×Cortex-A55 @1.8 GHz（异构大小核） | +| MCU | Cortex-M0 @200 MHz（协处理，可选） | +| GPU | Mali-G610 MC4 | +| **NPU** | **6 TOPS**（内置, INT8）/ **32 TOPS**（板贴 26 TOPS 算力芯片扩展） | +| **内存** | **16 GB LPDDR4X**（板贴，不可升级）→ 可按 8 GB 分区用作 T4-H | +| **显存** | 统一内存（NPU 与 CPU 共享） | + +**存储 / 扩展** + +- EMMC 64 GB（系统盘） +- 1× TF 卡槽（存储扩展） +- 1× M.2 2280 NVMe（可扩展 SSD / 算力棒） + +**出厂软件** + +- 操作系统: **Ubuntu 22.04**（出厂预装） +- 验证方案: 替换为 SylixOS BSP for RK3588，保留 Ubuntu 22.04 作为对照组 + +**算力与功耗（T4-H 档）** + +| 指标 | 值 | +| ------------------ | ------------------------------- | +| **可用显存** | **8 GB**（16 GB 板分区限额） | +| NPU 算力 (6 TOPS 档) | 6 TOPS (INT8) | +| NPU 算力 (32 TOPS 档) | 32 TOPS (INT8, 含 26 TOPS 扩展) | +| GPU 算力 | Mali-G610 MC4（仅辅助，非主推理路径） | +| 内存带宽 | LPDDR4X ~51.2 GB/s (128-bit) | +| **TDP** | **7~21 W**（无风扇被动散热） | + +### T4.3 SylixOS 要求（T4） + +| 要求项 | 描述 | 风险 | 适用档位 | +| ---------------------- | --------------------------------------- | -------------------- | --------- | +| **RK3588 BSP** | SylixOS BSP for RK3588（A76+A55 大小核 SMP） | 中（需翼辉提供） | T4-H | +| **RK3576 BSP** | SylixOS BSP for RK3576 | 中-高（需翼辉确认） | T4-M | +| **RK3568 BSP** | SylixOS BSP for RK3568 | 中（RK3568 生态成熟，风险低于 T234） | T4-L | +| **rknn / RKLLM 驱动** | NPU 驱动在 SylixOS 移植 | **高**（平台B 模型适配核心风险） | T4 全档 | +| 板贴 26 TOPS 算力芯片驱动 | 算力棒 SDK | 高（厂商支持度） | T4-H | +| M0 核 BSP + RPMsg | 跨核通信 | 高（需翼辉 + 板卡引出 M0 调试口） | T4-H | +| **内存分区限额机制** | 16 GB 板按 8 GB 分区运行（T3-L/T4-H 切换） | 中（需 SylixOS 内存域支持） | T4-H | +| CAN ×2 驱动 | 工业现场总线 | 中 | T4 全档 | +| RS485 ×2 + RS232 ×1 | 串口 | 低 | T4 全档 | +| 双千兆 + WiFi + 4G/5G | 网络 | 中 | T4-H | +| 看门狗 / RTC | 工业可靠性 | 低 | T4 全档 | +| Jetson Orin Nano BSP | T234 低配版 BSP（路线 B） | 高 | T4-H 路线B | + +### T4.4 对照组 OS + +- **主对照**: Ubuntu 22.04（RK3588 出厂预装，完美匹配，直接对照） +- **辅助对照**: OpenHarmony 4.x + RT patch（可选） +- T4-L / T4-M: Buildroot + PREEMPT_RT + +--- + +## 5. 跨档位对比总表 + +### 5.1 全档位硬件规格对比 + +| 档位 | 容量 | 算力 | 功耗 | 加速器架构 | 散热架构 | 互联 | SylixOS BSP 风险 | +| -------- | ---------- | ------------------- | ----------- | ------------------ | ----------- | ---------------- | ------------- | +| **T4-L** | 1~2 GB | 0.8~1 TOPS | 3~5 W | ARM A55 + NPU | 被动无风扇 | GPIO/CAN/RS485 | 中 | +| **T4-M** | 2~4 GB | 6 TOPS | 5~10 W | ARM A72+A53 + NPU | 被动无风扇 | 千兆 + CAN | 中-高 | +| **T4-H** | 4~8 GB | 6~32 TOPS | 7~21 W | ARM A76+A55+M0+NPU | 被动无风扇 | 双千兆 + CAN + M.2 | 中 / 高（路线B） | +| **T3-L** | 8~16 GB | 32~100 TOPS | 10~30 W | ARM 统一内存 + NPU/GPU | 被动/小风扇 | 双千兆 + M.2 | **极低**（现有） | +| **T3-M** | 16~32 GB | 275 TOPS | 15~60 W | A78AE + Ampere + DLA | 主动风冷 | 10GbE + PCIe Gen4 | **高** | +| **T3-H** | 32~64 GB | 275 TOPS / 91 TFLOPS | 60~600 W | ARM 统一内存 / x86+独显 | 风冷 / 液冷 | 10GbE + PCIe | 高 / 中 | +| **T2-L** | 64~128 GB | 500 TFLOPS (FP16) | ~1.65 kW | x86 + 4×V100 NVLink | 360 液冷 + 风道 | NVLink | 低（现有） | +| **T2-M** | 128~256 GB | 1000 TFLOPS (FP16) | ~3.0~3.3 kW | x86 + 8×V100 NVLink | 360 液冷 + 风道 | NVLink | 低 | +| **T2-H** | 256~512 GB | ~4000 TFLOPS (FP16) | ~4.5~6.5 kW | x86 + 4×H100 NVLink | 强制液冷 | NVLink + PCIe | 中 | +| **T1-L** | 512 GB~1 T | ~2000 TFLOPS (FP16) | ~6.6 kW | 4 节点 × 4×V100 | 机房风冷 + 液冷 | NVLink + 100GbE | 中-高 | +| **T1-H** | 1~2 T | ~16 PFLOPS (FP16) | ~20~25 kW | 4 节点 × 4×H100 | 机房级液冷 | NVLink + NDR 400G | 中-高 | + +### 5.2 模型规模梯度 + +| 档位 | 代表模型 | 量化 | 显存占用 | 角色 | +| -------- | --------------------------- | ---------- | ------- | -------------- | +| T4-L | Qwen2.5-0.5B / Whisper-Tiny | INT4/INT8 | 0.5 GB | 谱系下界，实时性基准 | +| T4-M | Qwen2.5-1.5B | INT4 | 1.2 GB | 端级能效拐点 | +| T4-H | Qwen2.5-3B / 7B | INT4 | 2.5 / 5 GB | 端点可跑 7B | +| T3-L | Qwen2.5-3B / 7B | INT4 | 2.5 / 5 GB | 边缘推理 + 工业控制 | +| T3-M | Qwen2.5-14B / 32B | INT4 | 8 / 18 GB | 边缘多模型并发 | +| T3-H | Qwen2.5-72B | INT4 (AWQ) | 36 GB | 边缘可跑 72B | +| T2-L | Qwen2.5-72B / 14B | INT4 / FP16 | 36 / 28 GB | 桌面多模型并发 | +| T2-M | Qwen2.5-72B | FP16 | 144 GB | 桌面单机无量化 72B | +| T2-H | DeepSeek-V2 / 72B | FP16 | 210 / 144 GB | 桌面单机超大模型 | +| T1-L | Qwen2.5-72B / DeepSeek-V2 | FP16 | 144 / 210 GB | 多节点分布式推理 | +| T1-H | DeepSeek-V3/R1 671B | INT4 | ~400 GB | 超大模型分布式服务 | + +### 5.3 SylixOS 调度框架验证重点 + +| 档位 | 验证重点 | 核心实时指标 | 核心吞吐指标 | +| ----- | ----------- | ---------------------------------- | -------------------------- | +| T4-L | 极小内存下保号 | 1ms RT 任务延迟（1GB 内存约束下） | 0.5B tokens/s、内存占用上限 | +| T4-M | 能效拐点 | 1ms RT 任务 P99.9、CPU 频率调节影响 | 1.5B tokens/s、E_per_token | +| T4-H | 极致资源约束下保号 | **1ms RT 任务最大延迟 + CAN/RS485 延迟** | 3B/7B tokens/s、E_per_token | +| T3-L | 统一内存带宽隔离（NPU） | NPU 推理 + 实时任务共享 51.2 GB/s 带宽时 RT 抖动 | 7B INT4 tokens/s | +| T3-M | 统一内存带宽隔离（GPU） | LLM+RT 共享内存带宽时 RT 任务 P99.9 | 14B tokens/s、DLA 异步收益 | +| T3-H | 大容量边缘并发 | 72B 推理与 RT 任务共存时的优先级反转 | 72B INT4 tokens/s、多模型 QPS | +| T2-L | 单机多卡 NVLink 调度 | GPU 命令端到端延迟、多模型并发公平性 | 14B/72B tokens/s、TTFT P99.9 | +| T2-M | 8 卡拓扑调度 | 8 卡 NVLink 全互联下的集合通信抖动 | 72B FP16 tokens/s | +| T2-H | 高算力密度下的隔离 | H100 满负载时 RT 任务 P99.9 | 72B FP16 TTFT、671B 分片吞吐 | +| T1-L | 跨节点分布式调度隔离 | RDMA 延迟、NCCL all-reduce 期间 RT 任务抖动 | 72B 模型 tokens/s、多模型 QPS | +| T1-H | 超大规模分布式调度 | NDR IB 延迟、671B 推理期间 RT 抖动 | 671B tokens/s、能效比 | + +### 5.4 基线 OS 对照 + +| 档位 | SylixOS 实验组 | 主对照 (Linux RT) | 虚拟化对照 | 容器对照 | +| ------- | ---------------------- | --------------------- | -------------- | --------- | +| T4-L | SylixOS ARM64 (RK3568) | Buildroot + RT | — | Docker | +| T4-M | SylixOS ARM64 (RK3576) | Buildroot + RT | — | Docker | +| T4-H | SylixOS ARM64 (RK3588) | Ubuntu 22.04 + RT | KVM (RT VM) | Docker | +| T3-L | SylixOS ARM64 (RK3588) | Ubuntu 22.04 + RT | KVM (RT VM) | Docker | +| T3-M | SylixOS ARM64 (T234) | L4T Ubuntu 20.04 + RT | KVM (RT VM) | Docker | +| T3-H | SylixOS ARM64 / x86 | Ubuntu 22.04 + RT | KVM (RT VM) | Docker | +| T2-L/M | SylixOS x86 | Ubuntu 22.04 + RT | KVM (RT VM) | Docker | +| T2-H | SylixOS x86 | Ubuntu 22.04 + RT | KVM (RT VM) | Docker | +| T1-L | SylixOS x86 ×4 节点 | Ubuntu 22.04 + RT ×4 | KVM (RT VM) ×4 | Docker ×4 | +| T1-H | SylixOS x86 ×4 节点 | Ubuntu 22.04 + RT ×4 | KVM (RT VM) ×4 | Docker ×4 | + +--- + +## 6. 采购与获取计划 + +| 优先级 | 档位 | 设备 | 估算费用 (RMB) | 备注 | +| ------ | ------- | ----------------------------- | -------------------- | ---------------------- | +| **P0** | T3-L | **RK3588 16GB 工业盒**（现有） | **0** | 现有设备，立即可用 | +| **P0** | T2-L | **4×V100 SXM 塔式整机**（现有） | **0** | 现有设备，谱系锚点 | +| **P0** | T4-H | **RK3588 工业盒 8GB 分区**（现有） | **0** | 与 T3-L 同机双档位 | +| **P1** | T4-L | RK3568 1~2GB 核心板 | ~300-800 | 谱系下界，必做 | +| **P1** | T4-M | RK3576 4GB 核心板 | ~600-1,500 | 端级能效拐点 | +| **P1** | T3-M | Jetson AGX Orin 32GB | ~15,000-28,000 | 需尽早确认 SylixOS T234 BSP | +| **P2** | T3-M 备选 | RK3588 32GB 工业盒 + 26 TOPS 算力棒 | ~3,000-5,000 | 若 Jetson BSP 不支持 | +| **P2** | T3-H | Jetson AGX Orin 64GB | ~30,000-50,000 | 边缘可跑 72B | +| **P2** | T4-H 备选 | Jetson Orin Nano 8GB 开发套件 | ~1,800-2,500 | CUDA 路线对照 | +| **P3** | T2-M | 4× V100 32GB SXM + 8 卡底板 + 电源 | ~70,000-100,000 | 现有平台加卡扩容 | +| **P3** | T2-H | 4× H100 80GB SXM5 工作站 | ~800,000-1,200,000 | 可租云实例替代 | +| **P3** | T1-L | 3× 计算节点 + 12× V100 + IB | ~270,000 | 可用云实例替代 | +| **P4** | T1-H | 4 节点 × 4×H100 + NDR IB | ~3,000,000+ | 强烈建议云租替代 | +| — | 仪器 | DC 功率计 ×2 (T3+T4) | ~6,000 | T4 强制 | +| — | 仪器 | INA226 采集板 ×2 | ~500 | T3+T4 | +| — | 仪器 | 交流功率计 / 智能插座 | ~1,000 | T3-H / T2 档 | +| — | 仪器 | 示波器 (Tektronix MDO34) | ~30,000 | GPIO 环回延迟（可借用） | +| — | 仪器 | 红外测温枪 ×2 | ~1,000 | 被动散热档位 | +| — | 仪器 | CANalyzer | ~20,000 | T4 CAN 总线延迟（可借用） | +| **合计** | | **P0~P2 必做项** | **~55,000-95,000** | 不含 T1/T2 扩展 | + +### 降本策略 + +1. **P0 零成本起步**: T2-L + T3-L + T4-H 三个档位由现有硬件直接覆盖，可立即启动 SylixOS 适配与基线数据采集，无需等待采购。 +2. **一机两档**: RK3588 16GB 工业盒通过内存分区同时充当 T3-L（16 GB）与 T4-H（8 GB），省去一台设备与一套 BSP 验证成本。 +3. **档位跳跃验证**: 若某档位 SylixOS BSP 不可行，可直接跳过该档（如 T4-M 若 RK3576 BSP 不可用，用 T4-H 降配替代），谱系不断。 +4. **T1/T2-H 云替代**: H100 集群强烈建议租用云实例（阿里云 GN7 / AWS p5），按需付费，避免百万级 CAPEX 与机房改造。 +5. **T3-M Jetson**: 可先用 NVIDIA 开发者板（约 $2,000）验证 SylixOS BSP 可行性后再采购工业级版本。 +6. **仪器借用**: 示波器和 CANalyzer 可从实验室借用，不必专门采购。 + +--- + +## 7. SylixOS BSP 适配 Checklist（跨档位汇总） + +### 7.1 x86 BSP（T2 全档 + T1 全档） + +- [ ] SylixOS 2.x LTS x86 在 H12D-8D 主板可启动 +- [ ] AMD EPYC 7402 / 9654 多核 SMP 调度 +- [ ] **4× V100 SXM CUDA 驱动**（T2-L，核心） +- [ ] **8× V100 SXM CUDA 驱动 + 8 卡拓扑**（T2-M） +- [ ] **4× H100 SXM5 CUDA 驱动 + NVLink 900GB/s**（T2-H） +- [ ] NVLink 4 卡 / 8 卡全互联拓扑枚举 +- [ ] nvidia-smi / DCGM 监控 +- [ ] vLLM / llama.cpp 在 SylixOS x86 编译运行 +- [ ] **Mellanox ConnectX-6 RDMA 驱动**（T1-L 专属） +- [ ] **ConnectX-7 NDR 400G RDMA 驱动**（T1-H 专属） +- [ ] NCCL / MPI 分布式通信库（T1 专属） +- [ ] IPMI / BMC 功耗采集 +- [ ] tickless + CPU 隔离 + 中断亲和性 +- [ ] 高功耗档位热管理（H100 液冷温度阈值联动降频） + +### 7.2 ARM64 BSP — T234 / Ampere（T3-M / T3-H-A / T4-H 路线B） + +- [ ] **SylixOS ARM64 在 NVIDIA T234 SoC 可启动**（核心，需翼辉确认） +- [ ] 12× Cortex-A78AE SMP 调度（AGX Orin）/ 6× A78AE（Orin NX / Nano） +- [ ] Jetson Ampere GPU CUDA 驱动 +- [ ] **DLA v2.0 驱动**（异步推理，AGX Orin 专属） +- [ ] 16/32/64 GB LPDDR5 统一内存管理 +- [ ] 功率模式切换 API (7W/15W/25W/30W/50W/60W) +- [ ] 10GbE 网络驱动 +- [ ] MIPI CSI 工业相机接口 +- [ ] PCIe Gen4 扩展 +- [ ] 温度传感器 + 降频阈值 + +### 7.3 ARM64 BSP — RK3588（T4-H / T3-L） + +- [ ] SylixOS BSP for RK3588（A76+A55 大小核 SMP） +- [ ] CPU 频率独立调节 (governor) +- [ ] **内存分区限额机制**（16 GB 板按 8 GB 运行，T3-L ↔ T4-H 切换） +- [ ] tickless / idle hook +- [ ] 看门狗驱动 +- [ ] **rknn / RKLLM NPU 驱动**（核心） +- [ ] **板贴 26 TOPS 算力芯片驱动**（32 TOPS 档位） +- [ ] **M0 核 BSP + RPMsg 跨核通信**（若用 M0） +- [ ] 双千兆 + WiFi 6 + 4G/5G 驱动 +- [ ] CAN ×2 驱动 +- [ ] RS485 ×2 + RS232 ×1 驱动 +- [ ] GPIO 子系统 +- [ ] HDMI 输出（调试） +- [ ] **Ubuntu 22.04 与 SylixOS 双系统引导** + +### 7.4 ARM64 BSP — RK3576（T4-M） + +- [ ] SylixOS BSP for RK3576（A72+A53 大小核 SMP） +- [ ] 6 TOPS NPU 驱动（RKNN 栈） +- [ ] 2~4 GB LPDDR5 内存管理 +- [ ] CAN / RS485 / 千兆网络驱动 +- [ ] 低功耗被动散热下的频率/温度联动 + +### 7.5 ARM64 BSP — RK3568（T4-L） + +- [ ] SylixOS BSP for RK3568（4×A55 SMP） +- [ ] 0.8~1 TOPS NPU 驱动（RKNN 栈） +- [ ] **1~2 GB 极小内存下的内核裁剪与内存域划分**（核心难点） +- [ ] CAN / RS485 / 千兆网络驱动 +- [ ] 1ms 实时任务在 1 GB 内存约束下的可行性验证 diff --git a/实验设计.md b/实验设计.md new file mode 100644 index 0000000..022ce42 --- /dev/null +++ b/实验设计.md @@ -0,0 +1,282 @@ +# SylixOS 混合实时任务与 AI 推理实验设计 + +> 更新日期：2026-09-20。依据：[基础设备配置 v2.0](../基础设备.md)，扩展自[原实验设计](../实验设计.md)。 +> 本文给出待执行方案，不代表已有测试结果。设备标称参数、模型容量估计和性能目标均须通过实机准入验证。 + +## 1. 研究目标与实验范围 + +研究问题是：在端、边、桌面、集群不同资源条件下，SylixOS 的调度与资源隔离能否在保持实时任务截止期的同时，提高 AI 推理服务的有效吞吐和能效？ + +| 研究问题 | 自变量 | 主要观测量 | 支持结论所需证据 | +|---|---|---|---| +| RQ1：混合负载下的实时性 | OS、调度策略、干扰强度 | 唤醒延迟、响应时间、截止期违约率 | 同硬件同负载的配对对照 | +| RQ2：隔离机制的代价与收益 | CPU/IRQ 亲和性、内存限额、推理准入 | P99.9 延迟、有效吞吐、拒绝率 | 默认、完整方案与逐项消融 | +| RQ3：功耗预算下的运行能力 | 频率、空闲策略、推理并发 | J/token、温度、违约率 | 满足同一服务质量约束的配置比较 | +| RQ4：规模扩展后的瓶颈 | GPU 数、节点数、模型规模 | 扩展效率、通信尾延迟、公平性 | 同模型强扩展与固定单节点负载弱扩展 | + +执行分为两层：**核心实验使用现有 T2-L、T3-L 和 T4-H 内存受限配置；其他八档属于条件扩展**。核心结论不依赖新增集群、Jetson 或 H100 到位。LLM 是主负载，YOLO 检测和语音识别是可选混合负载；训练不纳入主实验。 + +## 2. 设备分层与实验平台 + +### 2.1 四层级、十一档实验映射 + +沿用设备文档的档位标签，实际容量单列。设备文档中“512 GB 边界归桌面高档”与“512 GB 集群标为 T1-L”存在口径差异；本文按多节点架构将该集群记为 T1-L，不据容量边界推导性能。 + +| 层级与档位 | 拟用设备 / 容量 | 状态 | 对应实验重点 | +|---|---|---|---| +| T4-L 端低 | RK3568，1～2 GB | 待获取、待适配 | 极小内存、轻量模型、实时任务保留资源 | +| T4-M 端中 | RK3576，4 GB | 待获取、待适配 | 小模型能效、频率与实时性关系 | +| T4-H 端高 | 现有 RK3588 16 GB 板限额至 8 GB | 可开展限额配置验证 | 内存压力、GPIO/CAN/RS485 混合负载 | +| T3-L 边低 | 现有 RK3588，16 GB 统一内存 | 核心平台 B | NPU/CPU 共享资源干扰、多模型并发 | +| T3-M 边中 | Jetson AGX Orin 32 GB | BSP 与驱动准入后开展 | GPU 共享内存、可用时加入 DLA | +| T3-H 边高 | AGX Orin 64 GB 或 x86 + RTX 6000 Ada 48 GB | 二选一，分别标识架构 | 大模型并发与容量上限 | +| T2-L 桌面低 | 现有 4×V100 SXM 32 GB，总显存 128 GB | 核心平台 A | 多卡推理、NVLink 通信与实时隔离 | +| T2-M 桌面中 | 8×V100 32 GB，总显存 256 GB | 待扩容 | 同代 GPU 数量扩展 | +| T2-H 桌面高 | 4×H100 80 GB，总显存 320 GB | 待获取或租用 | 高算力密度、跨代对照 | +| T1-L 集群低 | 4 节点×4×V100，总显存 512 GB | 待扩展 | 跨节点通信与分布式推理 | +| T1-H 集群高 | 4 节点×4×H100，总显存 1.28 TB | 远期扩展 | 大模型分布式服务与能效 | + +GPU 显存、主机内存和 SoC 统一内存分别记录，不加总为单一可分配空间。多卡总容量不能代替每卡分片可行性验证；FP16 TFLOPS 与 INT8 TOPS 不直接换算，也不作为实测吞吐。 + +### 2.2 平台 A：现有 V100 服务器 + +依设备清单配置 H12D-8D 主板、单颗 EPYC 7402（24 核/48 线程）、128 GB DDR4、1 TB NVMe、4×V100 SXM 32 GB、NVLink 底板、双电源及液冷。完整 BOM 见设备文档 T2.2.1。 + +实验前采集 CPU/NUMA 拓扑、实际内存通道、PCIe 链路、逐对 GPU 互联与带宽、各卡温度和功率上限。4 卡互联形态以枚举和通信测试为准。双电源输入均纳入整机能耗，不把额定电源瓦数当作运行功耗。 + +分别测试 1、2、4 卡；单卡先完成模型与采样链路验证，再加入多卡并行。CPU 实时任务使用固定物理核，记录其 SMT 同胞核的使用方式，避免不同组的物理资源分配不一致。 + +### 2.3 平台 B：现有 RK3588 工业盒 + +依设备清单采用 4×A76 + 4×A55、16 GB 统一内存、64 GB eMMC，以及实际引出的 GPIO、CAN、RS485 和网络接口。原生 NPU 与外接加速器分开登记。 + +- B16：全量 16 GB，记为 T3-L。 +- B8：同板施加 8 GB 限额，记为 T4-H 受限配置；两种配置顺序运行。 +- 原生 NPU 是首轮路径；所谓“6+26 TOPS”仅为设备文档中的组合标称。扩展芯片型号、连接方式、模型格式和任务拆分能力通过后，才增加独立对照，不假定两者能共同加速同一 LLM。 +- 可选 M0、CAN 和 RS485 必须先核对实物与 BSP；缺失的接口实验登记为未开展。 + +**内存限额口径**：优先采用能覆盖 OS 可见内存及加速器保留区的启动配置，并记录实际可用容量。若只能限制应用进程，则标为“8 GB 应用预算”，不能称为整机 8 GB。核对驱动缓冲区、DMA/CMA、页缓存、共享内存与交换空间是否受限；禁止将限额实验解释为真实 8 GB 板卡的功耗或带宽结论。 + +### 2.4 测量设备 + +| 测量对象 | 工具与接线 | 要求 | +|---|---|---| +| RK3588 整机功耗 | DC 输入端功率计；INA226 仅在量程和接线适配时使用 | 包含加速器和约定外设；保存电压、电流与采样率 | +| V100 整机功耗 | 覆盖两路电源的交流功率计 / PDU | 单卡遥测仅作归因，不能替代整机读数 | +| 物理实时响应 | 示波器或逻辑分析仪，GPIO 输入到输出环回 | 记录探头、触发方式、分辨率及环回空载值 | +| 工业接口 | CAN 分析仪、RS485 对端或回环装置 | 固定波特率、帧长、总线负载和时间戳位置 | +| 热状态 | 可用片上传感器，辅以外部温度测量 | 分别记录环境温度、芯片温度、频率和降频事件 | + +传感器不能读取的指标记为 N/A，不以零代替；不得预设所有平台都有 `npu-smi`、DCGM 或相同性能接口。 + +## 3. 软件与模型准入 + +### 3.1 分阶段准入门槛 + +| 门槛 | 验证内容 | 通过证据 | 失败后的处理 | +|---|---|---|---| +| G0 设备识别 | 启动、SMP、容量、接口、时钟 | 硬件清单和启动日志 | 修复平台配置，暂停性能比较 | +| G1 实时与采样 | 周期任务、单调时钟、优先级、日志缓冲 | 空载时间序列、计时校验 | 仅记录功能适配结果 | +| G2 加速器 | 驱动加载、内存分配、最小算子、结果回读 | 运行日志、正确性结果 | 保留 CPU 路径，单独标识后端 | +| G3 完整模型 | 转换、加载、推理、释放、重复运行 | 模型校验值、输出、峰值内存 | 缩小模型或更换已验证后端 | +| G4 混合负载 | RT + 推理稳定运行至少 30 分钟 | 无崩溃、采样完整、失败可追踪 | 排查后再进入正式批次 | + +SylixOS 能启动不等于 CUDA、RKLLM、RKNN、NCCL、Ray 或 RDMA 已可用。设备文档列出的软件栈均按候选路线处理，冻结实际 OS/BSP、驱动、SDK、编译器和框架版本后再比较。 + +若仅能采用“SylixOS 实时域 + Linux 推理域”，应作为单独的异构系统架构组，注明核分配、通信和内存共享方式。该结果不能写成 SylixOS 原生 GPU/NPU 推理结论。 + +### 3.2 模型梯度与用途 + +| 平台 | 首轮候选 | 扩展候选 | 后端准入检查 | +|---|---|---|---| +| T4-L/M | Qwen2.5-0.5B / 1.5B，候选 INT4 | 轻量视觉或语音模型 | 对应芯片实际支持的模型、算子及量化格式 | +| B8 / B16 | Qwen2.5-0.5B / 1.5B / 3B，候选 INT4 | 7B；YOLOv8-n/s INT8 | RKLLM 与 RKNN 分别验证；不可混用兼容性结论 | +| T2-L | Qwen2.5-7B FP16，先单卡 | 14B FP16；72B 量化多卡 | V100 的驱动、内核、量化算子和并行支持 | +| T3-M/H | 7B / 14B，容量适配后运行 | 32B / 72B 量化 | 精确到所选设备和软件版本 | +| T2-M/H、T1-L | 同一 7B/14B 基准；72B FP16 作为容量实验 | 多实例与更长上下文 | 每卡显存、通信路径和框架支持 | +| T1-H | 72B 作为跨规模桥接模型 | 671B 量化模型 | 完整权重、运行时、KV cache 和分片均可容纳 | + +模型占用按“权重 + KV cache + 激活/工作区 + 运行时 + 保留余量”评估；不按权重大小直接计算并发实例数。每个候选先完成并发 1 的峰值测量，再逐级增加上下文和并发。原稿中的 tokens/s、FPS、内存估计作为待验证参考，不作为已知性能。 + +### 3.3 输入与正确性控制 + +LLM 固定模型修订、tokenizer、量化文件校验值、随机种子、解码参数和输入 token 序列。首轮使用输入长度 128/512/2048、目标输出 128 token；受限平台不能完成的单元记录容量失败。性能用固定长度合成输入，任务质量用独立固定题集；提前结束的请求记录实际输出长度，不补造 token。 + +YOLO 可选使用固定 640×640 输入、同一验证集和相同预处理，报告 mAP、帧处理延迟和丢帧率。量化实验同时比较任务质量与速度；不同后端若算子或数值格式不同，只能归为整套软件栈比较。 + +## 4. 指标定义与采集口径 + +### 4.1 实时性与系统开销 + +对第 i 次周期任务记录计划释放时刻 r_i、就绪时刻 q_i、实际开始时刻 s_i 和完成时刻 f_i，周期为 T，相对截止期为 D。 + +| 指标 | 定义 | 汇总 | +|---|---|---| +| 唤醒延迟 | s_i − r_i，包含定时释放与调度影响 | P50/P95/P99/P99.9、观测最大值 | +| 就绪后调度延迟 | s_i − q_i，仅在两系统均可取得等价就绪事件时使用 | 同上，独立于唤醒延迟 | +| 响应时间 | f_i − r_i | 分位数、观测最大值 | +| 截止期违约率 | count(f_i > r_i + D) / 计划释放次数 | 分子、分母、丢失/跳过次数 | +| 完成抖动 | 相邻完成间隔减去 T | 分布与时间序列 | +| 上下文切换 / IPC | 固定线程数和消息大小的往返测量 | µs；说明是否含系统调用和拷贝 | +| 外部响应 | 外部触发到 GPIO 翻转或回包的时间 | µs/ms，说明物理链路边界 | + +缺失的周期不能直接从分母移除；需追踪其完成状态，否则该批实时性数据判为不完整。Linux 可使用 cyclictest 等作为辅助，跨 OS 主比较使用相同任务语义的测试程序，不假定 Linux 工具可直接运行于 SylixOS。 + +### 4.2 推理服务 + +在负载发生器的单调时钟上记录计划到达、实际发送、首 token 和最后 token 到达时间。 + +- TTFT：首 token 到达 − 实际发送，包含排队、传输与 prefill；同时记录发送滞后，防止负载发生器饱和掩盖排队。 +- TPOT：对输出 token 数 n > 1，使用（末 token 到达 − 首 token 到达）/(n−1)；逐 token 间隔另行汇总。 +- 总输出吞吐：测量窗口内收到的输出 token 数 / 窗口时长；另报成功完成请求吞吐和请求成功率。 +- 有效吞吐：仅统计满足预先冻结的 TTFT、完成期限及质量要求的成功请求，其输出 token 数 / 窗口时长；同时报告拒绝、超时和错误，避免只靠丢弃请求改善尾延迟。 +- CPU→加速器端到端延迟：主机提交到结果可用；设备事件计时只作执行阶段分解，不代替完整链路。 + +### 4.3 能耗与热状态 + +在与负载一致的窗口 [t0,t1] 内积分：E_total = ∫P(t)dt；E_token = E_total / N_output，单位 J/token；tokens/J = N_output / E_total。固定窗口包含排队及已执行失败请求消耗的电能，并另外报告完成率。 + +同时可报告 E_dynamic = E_total − P_idle×(t1−t0)，但不得与整机总能耗混用。N_output=0 时能效记为不可计算。混合视觉与 LLM 负载的总能耗不能全部归因于 LLM；应单列场景或增加独立负载对照。 + +报告平均功率、仪器采样峰值、空载功率、温度、实际频率和降频时间比例。**21 W 等设备标称值不直接定义实测整机峰值上限**；工程功耗预算由测量边界、具体硬件及项目需求在试运行后冻结。 + +## 5. 对照组与变量控制 + +### 5.1 OS 与部署组 + +| 编号 | 配置 | 作用 | +|---|---|---| +| O0 | 板卡支持的普通 Linux，固定发行版与内核 | 通用系统基线 | +| O1 | 同硬件可用的 Linux PREEMPT_RT，记录补丁与驱动兼容性 | 主要实时对照 | +| O2 | SylixOS 默认配置 | 原生系统基线 | +| O3 | SylixOS 调度、隔离与推理准入优化 | 主实验组 | +| O4 | Linux RT 等预算调优 | 避免仅一侧调优造成偏差 | +| O5（可选） | KVM 实时虚拟机 / 容器部署，分别记录 | 部署开销；不能视为独立内核类型 | + +平台 B 原稿列出的出厂 Ubuntu 22.04 先核对镜像；扩展平台选择实际受支持的 OS 镜像。无法提供同一推理后端时，明确区分“OS 调度效应”与“系统方案效应”。 + +### 5.2 配置控制与消融 + +所有对照固定核心数量、RT 优先级、内存预算、模型输入、加速器数量、功率策略、后台服务和日志方式。B8/B16 对照只改变内存预算；频率策略作为独立实验变量，记录各 OS 的实际频率，不仅记录策略名称。 + +完整方案逐项去除：①CPU 核隔离；②IRQ 亲和性；③预分配/内存限额；④推理队列限长与准入；⑤功耗感知策略。每次只去除一个机制，并保留默认配置；不支持的机制注明不可用，不伪造等效实现。 + +## 6. 负载设计 + +### 6.1 实时任务 + +主任务周期 T=1 ms，D=1 ms；扩展周期 0.5/5/10 ms。任务体采用确定性计算或内存访问，在每台机器固定参考频率下校准至约 100 µs，再冻结迭代次数；后续频率实验不重新校准工作量。另测试 20%/40% 参考 CPU 占用预算，记录实测执行时间。 + +任务使用绝对时间周期释放，预分配日志缓冲，测试窗口内避免同步磁盘写入。GPIO/总线回环作为独立端到端任务。LLM 负责命令解析时与周期控制解耦，推理超时走模拟默认动作，先在回环或仿真环境验证。 + +### 6.2 背景干扰与推理到达 + +| 场景 | 内容 | 目的 | +|---|---|---| +| L0 | 仅 RT | 实时性下界与测量开销 | +| L1 | 仅推理 | 最大可持续服务能力与独立能耗 | +| L2 | RT + LLM | 核心混合场景 | +| L3 | L2 + CPU 干扰 | 参考占用 25/50/75/100%，注明施加核心 | +| L4 | L2 + 内存流式读写 | 实测带宽压力与容量压力分别扫描 | +| L5 | L2 + 网络/存储 I/O | IRQ、DMA 与系统服务干扰 | +| L6 | RT + LLM + YOLO（可选） | 多模型竞争与优先级影响 | +| L7 | L2 + 突发/过载 | 队列、拒绝与恢复行为 | + +推理先以并发 1/2/4 做容量筛选，再以开放到达过程测试。每种硬件与模型固定一个参考基线的可持续请求率 λ_ref，所有 OS 使用同一绝对到达序列，测试 0.25/0.5/0.75/1.0/1.25×λ_ref。不得各组按自身吞吐重新归一化后声称承受相同负载。 + +突发模式使用相同种子：稳态运行后每 60 秒施加持续 10 秒的 2×基础到达率，记录队列峰值和恢复时间。负载发生器尽量位于独立机器；共机时记录其 CPU 开销。 + +## 7. 实验矩阵与具体步骤 + +### 7.1 核心实验 + +| 实验 | 平台 / 变量 | 操作与输出 | 关联问题 | +|---|---|---|---| +| E0 准入与空载 | A、B16、B8；G0～G4 | 固定版本、拓扑和功耗边界；输出准入表 | 全部 | +| E1 微基准 | O0～O4；L0、CPU/内存/I/O 干扰 | 测周期任务、IPC、物理环回；输出 CDF 与最大值 | RQ1 | +| E2 推理基线 | A 单卡 7B；B 从 0.5B 起；L1 | 扫输入长度、并发，测正确性、容量、吞吐、能耗 | RQ2/3 | +| E3 混合负载 | 各平台准入模型；L2～L5、L7 | 固定到达流比较 OS；绘制违约率与有效吞吐曲线 | RQ1/2 | +| E4 内存限额 | B16 与 B8；固定模型和频率 | 分别增加上下文、并发和内存干扰，测失败点及 RT 影响 | RQ2 | +| E5 多卡竞争 | A 的 1/2/4 卡 | 同模型并行扩展和多实例分别测试；采通信时间与公平性 | RQ4 | +| E6 能耗与热 | A、B；已验证频率/空闲模式 | 固定服务负载与环境，测能效、降频和违约率 | RQ3 | +| E7 消融 | O3 完整方案及逐项去除 | 使用 E3 中固定中载与过载单元重复测试 | RQ2 | +| E8 长稳与恢复 | A、B 的最终候选配置 | 连续 24 小时混合负载，注入推理进程重启、队列过载 | RQ1/3 | + +E5 中，同一 7B 模型只有在所有 GPU 数配置均支持相同后端及并行机制时才计算强扩展；多实例吞吐增长单列，不冒充单请求加速。多租户公平性可使用各租户相对独占吞吐 x_i，计算 Jain 指数 (Σx_i)²/(kΣx_i²)，同时报告每租户 TTFT 和服务等级。 + +E8 记录重启时间、请求丢失、RT 违约、内存增长及恢复到稳定吞吐的时间。驱动重置和热环境测试仅在存在可恢复测试路径和相应设备时增加；没有温箱数据不能宣称覆盖 −40～60℃ 全温域。 + +### 7.2 条件扩展 + +| 扩展 | 前提 | 实验内容 | 结论边界 | +|---|---|---|---| +| X1 T4-L/M | 板卡、BSP、模型准入 | 复用 E1～E4、E6，小模型与容量下限 | 不能用 RK3588 限额替代新 SoC 的功耗结果 | +| X2 T3-M/H | GPU/DLA 与 OS 路径明确 | 共享内存、多模型干扰、功率模式 | ARM 与 x86 路线分组，不只按容量归因 | +| X3 T2-M/H | 拓扑、供电和散热可用 | 4→8 卡、V100→H100 | 数量扩展与架构更换分开比较 | +| X4 T1-L | 至少 2 节点，网络和集合通信准入 | 1/2/4 节点，通信微基准与 RT + 分布式推理 | 单节点不可容纳模型时，以最小可运行节点数作参考 | +| X5 T1-H | 大模型分片、网络和测量资源齐备 | 固定 72B 对照后增加超大模型 | 云租环境若无物理功耗或 OS 控制，则相应指标不报告 | + +T1 强扩展固定总模型及工作量，速度提升以参考节点数 n0 的完成时间为基准，效率 = 加速比/(n/n0)；弱扩展固定每节点请求负载，报告总有效吞吐和尾延迟。网络协议、交换机、MTU、拥塞配置和进程布局冻结。RDMA/NCCL 不可用时，TCP 回退单独成组。 + +跨节点单向延迟需记录时钟同步方法与误差；误差不能满足精度要求时改测往返时间，不将其一半无条件当作单向延迟。 + +### 7.3 控制实验数量 + +不一次展开全部档位、OS、模型、长度、干扰和功率的笛卡尔积。首轮使用 A 单卡 7B、B 的已准入小模型、512 输入/128 输出、并发 1 和固定频率，完成 E0～E3；随后围绕出现干扰或资源瓶颈的单元展开 E4～E7。最终确认实验使用提前冻结的配置与新运行批次，避免只报告探索阶段的最佳结果。 + +## 8. 运行流程与统计方法 + +1. 保存硬件清单和配置快照；核对时钟、仪器连接、数据目录及剩余空间。 +2. 重启进入指定配置，先测空载；模型预热至少 5 分钟，并记录温度是否稳定。冷启动时间单独测量。 +3. 按随机顺序执行对照；同一设备采用配对批次，保持相同输入、种子及环境条件。 +4. 普通性能单元至少独立运行 5 次、每次稳态窗口 10 分钟；RT 以 1 ms 周期可每次得到约 60 万次计划释放。长稳实验独立运行 24 小时。 +5. 尾延迟按指标各自样本量判断。请求级 P99.9 以每单元至少 10 万个有效请求为采样目标，数量不足时标为探索性估计，报告样本数并延长采集或改报 P99；不能用 RT 周期样本数充当请求数。 +6. 保存原始失败、超时和 OOM；测试程序、仪器或配置失效的批次标记无效并说明原因，保留原文件后重跑。 +7. 输出每次运行的分位数、最大值和违约率；跨运行报告中位数与区间，使用按运行/时间块重采样的 bootstrap，保留随机种子。不给时间相关的百万周期样本套用独立样本假设。 + +观测最大值是本次时长与负载下的最大值，不是理论最坏执行时间。零违约只表述为“在 N 次计划释放和指定工况下未观测到违约”，不能证明硬实时安全上界。能耗差异还需考虑仪器精度、采样频率与环境漂移。 + +## 9. 验收与结果判断 + +验收分为“数据可用”“系统约束满足”和“研究假设得到支持”，避免将目标写成已取得结果。 + +| 类型 | 判据 | 说明 | +|---|---|---| +| 数据可用 | G0～G4 通过，原始数据与配置完整，重复运行可复现 | 必须项 | +| 实时约束 | 核心 1 ms 任务在预定负载范围内，观测违约数为 0 | 同时报告样本量、最大响应时间和过载结果 | +| 推理服务 | 达到预先冻结的 TTFT、质量、吞吐和完成率要求 | 按模型与输入长度分别制定 | +| 调度收益 | 对 O1/O4 的配对比较改善尾延迟或扩大无违约负载范围 | 同时报有效吞吐代价和置信区间 | +| 能耗收益 | 满足相同实时和推理约束时降低 J/token | 不以降低完成率换取能效结论 | +| 长稳 | 完成 24 小时，无不可恢复故障、日志失效或持续内存增长 | 任何故障均保留并分析 | + +原稿的“0.5B ≥25 token/s、1.5B ≥12 token/s、7B ≥20 token/s、TTFT P99.9 ≤500 ms、吞吐偏差 ≤15%”仅保留为历史候选目标。E2 试运行后依据指定模型、长度、并发及任务需求决定采用与否，正式实验前冻结，不能看完正式结果再下调阈值。原有 8/15/21 W 数值同样不直接作为跨配置统一验收值。 + +## 10. 数据产物与论文图表 + +建议按 `results//////` 保存数据，每次运行至少包含： + +| 文件 | 内容 | +|---|---| +| manifest.json | 档位、实物编号、容量口径、OS/BSP/驱动、模型校验值、核心/IRQ/频率配置、输入与种子、测试程序版本 | +| rt.csv | 计划释放、就绪（如可用）、开始、完成、CPU ID、违约与丢样状态 | +| requests.csv | 请求 ID、计划到达、发送、首/末 token、输出数、质量/成功状态、超时和拒绝原因 | +| power.csv / thermal.csv | 时间戳、功率、电压电流（如可用）、温度、实际频率、传感器来源 | +| events.log | OOM、驱动错误、降频、重启、网络异常和测量故障 | +| summary.json | 样本量、分位数、最大值、吞吐、能耗、配置有效性及异常说明 | + +不同机器的时钟域及对齐方式写入 manifest；保留原始时间戳，汇总脚本不得静默删除异常值。 + +最终图表包括：①平台与准入状态表；②各负载下 RT 延迟 CDF/尾部放大图；③到达率—违约率—有效吞吐曲线；④B8/B16 内存占用与失败边界；⑤多卡/多节点扩展效率；⑥实时约束内的能耗—吞吐散点图；⑦消融效应及区间；⑧24 小时温度、频率、内存和违约时间序列。未执行的扩展档明确标为计划，不混入实测图。 + +## 11. 实施顺序与停止条件 + +| 阶段 | 工作 | 完成标志 | +|---|---|---| +| P0-1 | 清点 A/B，仪器校准，OS 与加速器准入 | 准入表明确通过项与阻塞项 | +| P0-2 | 完成 E1/E2，冻结正式配置和阈值 | 微基准、模型容量、基线数据齐全 | +| P0-3 | 完成 E3～E7 核心对照 | 能回答 RQ1～RQ3 及单机 RQ4 | +| P0-4 | E8 长稳、复核与图表 | 可复现数据包与结论边界完整 | +| P1/P2 | 小内存板卡、边级扩展与必要仪器 | 在准入后复用核心实验流程 | +| P3/P4 | 多卡升级与集群扩展 | 硬件、通信、OS 和功耗采集均满足对应实验条件 | + +设备文档的采购优先级用于安排依赖，本实验设计不要求先采购全谱系设备。扩展驱动无可用实现时停止该路线的原生性能测试，输出适配缺口；内存不足时记录最大可运行配置；仪器缺失时保留性能实验并将能耗记为未测。最终报告分别陈述已实测结论、适配结果和后续计划。 diff --git a/最终稿文章结构总览.png b/最终稿文章结构总览.png new file mode 100644 index 0000000..a667c99 Binary files /dev/null and b/最终稿文章结构总览.png differ diff --git a/最终稿文章规划.md b/最终稿文章规划.md new file mode 100644 index 0000000..16f0a51 --- /dev/null +++ b/最终稿文章规划.md @@ -0,0 +1,421 @@ +# 最终稿文章规划 — SylixOS 大模型推理调度框架研究 + +> **版本**: v1.0 (最终稿规划) +> **日期**: 2026-09-20 +> **整合来源**: 基础设备.md + 方案1.md v1.0 (大模型负载实验设计) + 方案2.md v2.0 (第三方基准复现方法学) + +> **目标产物**: 一篇面向 RTSS/RTAS 级别的系统化研究文章 (含完整实验数据与基准对比) + +--- + +## 0. 文章定位与核心贡献 + +### 0.1 一句话定位 + +> **用业界公认方法学，在四层连续算力硬件谱系 (1 GB → 2 TB / 3 W → 25 kW) 上，首次系统化评测国产 RTOS (SylixOS) 在大模型推理负载下的低延迟、低功耗与实时保号能力，填补 RTOS 在边缘~集群算力评测领域的数据空白。** + +### 0.2 三大核心贡献 + +| 编号 | 贡献 | 来源整合 | 对标空白 | +|------|------|----------|----------| +| C1 | **四层连续算力谱系上的 RTOS 调度评测** — 从端级 RK3568 (1 GB/3 W) 到集群级 4×H100 (1.28 TB/25 kW)，11 个档位覆盖被动散热→机房液冷全散热形态，首次在连续硬件梯度上刻画 RTOS 调度性能曲线 | 基础设备.md §0~§5 | 公开研究仅覆盖单一平台或两档对比，无连续谱系 | +| C2 | **大模型混合负载下 RTOS 实时保号量化** — LLM 推理 + 1 ms 周期控制并发场景下，SylixOS 的 T_rt_max_under_llm 与 J_rt_under_llm 相对 Linux RT 的尾延迟优势量化 (≤30% = 显著优势) | 方案1.md §3, §6, §9 | 公开基准仅测吞吐 FPS，未测混合负载下的实时任务保号 | +| C3 | **RTOS 数据与业界公开基准首次横向对齐** — 引入第三方文章 (萤火虫数智笔记) 的 CPU/内存/NPU/功耗实测方法学与数据，在 SylixOS 上复现并对比，使 RTOS 数据首次可对外校验 | 方案2.md §2, §5, §7 | 国产 RTOS 在边缘算力 SoC 上的实测数据严重缺失 | + +### 0.3 目标读者与发表场景 + +| 维度 | 选择 | +|------|------| +| 目标会议 | RTSS / RTAS (实时系统 Top-Tier) 或 ISLPED (低功耗) | +| 备选 | EMSOFT / DAC / MLSys (系统方向) | +| 文章类型 | 系统评测 + 方法论论文 (非纯算法论文) | +| 核心读者 | RTOS 研究者、边缘 AI 系统工程师、国产化选型决策者 | + +--- + +## 1. 文章整体结构 (十章) + +``` +第1章 引言 — 问题、动机、贡献概述 +第2章 背景与相关工作 — LLM 推理特征 + RTOS 基础 + 差距分析 +第3章 四层连续算力硬件谱系 — 11 档位体系设计与现有设备锚点 +第4章 SylixOS 调度框架技术架构 — 五层技术栈与六大优化方向 +第5章 实验方法学 — 第三方基准复现 + 混合负载场景 + 避坑约束 +第6章 大模型负载选型与配置 — 跨档位模型矩阵 +第7章 实验结果 — 基准对齐 + 实时性 + 能效 + 温度耦合 +第8章 深入分析 — 档位间性能曲线 + RTOS vs Linux RT 差异化 +第9章 讨论与威胁有效性 — 适用场景边界 + 局限性 +第10章 结论与展望 +``` + +--- + +## 2. 逐章详细规划 + +### 第1章 引言 + +**目标**: 300~500 词，点明矛盾、贡献、文章路线图。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 1.1 问题矛盾 | RTOS 追求 µs~ms 级确定性 vs LLM 推理是 GB 级内存、s 级耗时的软实时负载；边缘~集群场景中二者必须共存 | | +| 1.2 研究空白 | 公开基准 (如萤火虫文章) 全部基于 Linux/Ubuntu，国产 RTOS 在边缘算力 SoC 上的实测数据严重缺失；现有研究无连续硬件谱系 | 方案2.md §1.1 | +| 1.3 本文贡献 | C1 (四层谱系评测)、C2 (混合负载保号量化)、C3 (业界基准对齐)，一句话概述每个贡献 | | +| 1.4 文章组织 | 十章路线图 | 本规划 §1 | + +**关键图表**: 无 (引言章通常无图表或仅一张概念图)。 + +--- + +### 第2章 背景与相关工作 + +**目标**: 600~800 词，建立读者所需的 LLM 推理 + RTOS 双重背景。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 2.1 LLM 推理特征 | prefill/decode 两阶段；CPU/内存密集；长尾分布；并发争抢；模型加载 IO 抖动 | 方案1.md §1.1 | +| 2.2 RTOS 调度基础 | 硬优先级 + 优先级继承；内存锁定；tickless；中断线程化；SMP 可预测调度；精简内核路径 | 方案1.md §1.1 表 | +| 2.3 Linux RT 相对短板 | cgroup/kswapd 大模型加载停顿；PREEMPT_RT P99.9 仍受内核态长路径限制；tickless 仅 idle 启用 | 方案1.md §1.1 | +| 2.4 相关工作对比 | vLLM/TGI (服务器级无实时保证)、Micro-LLM (模型压缩不关注 OS 调度)、NPU SDK (封闭黑箱)、CUDA Stream (无实时分析) | FRAMEWORK.md §6, 方案2.md §2.4 | +| 2.5 第三方基准方法学 | 萤火虫文章的 5 维度方法学 (CPU/内存/NPU/功耗/温度) + 5 条避坑清单 | 方案2.md §2 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Fig.1 | LLM 推理两阶段时序图 | prefill (计算密集, 串行) vs decode (逐 token, KV Cache IO 密集) 的 RTOS 任务映射 | +| Tab.1 | SylixOS vs Linux RT 特性对比 | 6 项 RTOS 特性对应的大模型负载优势 + Linux RT 短板 | + +--- + +### 第3章 四层连续算力硬件谱系 + +**目标**: 800~1000 词，这是 C1 的核心展示章，也是本文区别于其他单平台研究的最大差异化。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 3.1 分级维度与分档规则 | 以「统一内存/显存容量」为第一分类维度；边界值归上界；四层连续无断层 | 基础设备.md §0.1 | +| 3.2 全谱系总表 (11 档位) | T4-L→T4-M→T4-H→T3-L→T3-M→T3-H→T2-L→T2-M→T2-H→T1-L→T1-H 的容量/算力/功耗/散热/代表设备/状态 | 基础设备.md §0.2 | +| 3.3 设计原则 | 容量连续功耗阶跃；CUDA 栈贯通 T1/T2/T3；非 CUDA 端路线 (T4 全档 + T3-L)；现有硬件复用 (V100+RK3588 锚点)；BSP 最小化 (x86+ARM64 两类) | 基础设备.md §0.3 | +| 3.4 现有设备与采购计划 | P0 零成本起步 (T2-L+T3-L+T4-H)；一机两档 (RK3588 16 GB 同时充当 T3-L 与 T4-H)；T1/T2-H 云替代 | 基础设备.md §6 | +| 3.5 各层级定位与验证重点 | T1 跨节点分布式调度；T2 单机多卡 NVLink；T3 统一内存带宽隔离；T4 极致资源约束保号 | 基础设备.md T1~T4 各 §.1 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Fig.2 | 四层硬件谱系全景图 | 横轴=容量 (1 GB→2 TB, log 刻度), 纵轴=功耗 (3 W→25 kW, log 刻度), 11 个档位点标注, 散热形态用颜色分区 (被动/风冷/液冷/机房液冷) | +| Tab.2 | 11 档位全规格对比表 | 容量、算力、功耗、加速器架构、散热、互联、SylixOS BSP 风险、状态 (现有/需扩展) | +| Tab.3 | 模型规模梯度表 | 11 档位 × 代表模型 × 量化 × 显存占用 × 角色 (谱系下界→超大模型分布式) | +| Tab.4 | 采购计划表 | P0~P4 优先级 + 估算费用 + 降本策略 | + +--- + +### 第4章 SylixOS 调度框架技术架构 + +**目标**: 600~800 词，将 FRAMEWORK.md 的五层技术栈和六大优化方向浓缩为文章的技术背景章。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 4.1 核心问题定义 | 不是让 RTOS "跑大模型"，而是用 RTOS 做 "LLM 推理资源的调度与协调" | FRAMEWORK.md §0 | +| 4.2 五层技术栈 | L1 硬件层 → L2 RTOS 调度核 → L3 资源抽象 (加速器驱动/DMA/内存控制器) → L4 运行时 (任务图/流水线/内存池) → L5 模型层 (量化/KV Cache/投机解码) | FRAMEWORK.md §2 | +| 4.3 LLM 推理阶段 → RTOS 任务映射 | Tokenizer→LOW, Embedding→HIGH, Attention→MAX, FFN→HIGH, KV Cache Write→MEDIUM, Sample→LOW；阶段特征矩阵 (计算/IO/延迟敏感/确定性/优先级) | 01-inference-scheduling.md §2 | +| 4.4 六大优化方向概览 | 方向1 推理图任务调度 (Hybrid FP+EDF) → 方向2 KV Cache 内存池 → 方向3 加速器协同 → 方向4 量化感知调度 → 方向5 中断与实时 → 方向6 能耗热管理 | FRAMEWORK.md §3, 01~06 子文档 | +| 4.5 SylixOS BSP 适配要点 | x86 BSP (V100/H100 CUDA 驱动, NVLink, RDMA)、ARM64 BSP (RK3588/RK3576/RK3568 NPU 驱动, T234 Jetson BSP)、内存分区限额 (一机两档)、跨核通信 (M0+RPMsg) | 基础设备.md §7 (BSP Checklist) | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Fig.3 | 五层技术栈架构图 | L1~L5 层叠 + 每层关键组件 + 层间接口 | +| Fig.4 | LLM 推理 DAG → RTOS 任务图 | 推理阶段的有向无环图, 标注每阶段优先级 (MAX/HIGH/MEDIUM/LOW) 和可抢占性 | +| Tab.5 | 推理阶段特征矩阵 | 阶段 × (计算密集度/IO 密集度/延迟敏感度/确定性要求/RTOS 优先级) | +| Tab.6 | 六大优化方向概览 | 方向 × (核心问题/关键手段/目标指标/对应章节) | + +--- + +### 第5章 实验方法学 + +**目标**: 800~1000 词，这是 C2 和 C3 的方法论基础，也是本文"可复现"承诺的核心。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 5.1 方法论框架 | "基准测量 → 建模 → 算法设计 → 仿真验证 → 原型实现 → 实测对比" 六步循环 | 07-analysis-methods.md §1 | +| 5.2 第三方基准复现方法学 | 引入萤火虫文章的 5 维度方法 (CPU/内存/NPU/功耗/温度)；在 SylixOS 上重跑 sysbench/stress-ng/RKNN，与文章数据对比 | 方案2.md §5.1~§5.3 | +| 5.3 混合负载实验设计四原则 | 原则1: 混合负载而非孤立；原则2: 看尾延迟不看均值；原则3: 突发场景而非稳态；原则4: 调度精细度而非裸吞吐 | 方案1.md §3 | +| 5.4 功耗真测强制约束 | 禁止仅靠软件读数；DC 功率计 (Yokogawa WT310) + INA226 采集板强制；采样 ≥1 Hz | 方案2.md §5.4 | +| 5.5 温度监控强制约束 | 烤机 1 h 稳态 <75 ℃ 才采样；≥85 ℃ 数据作废；全程温度日志 | 方案2.md §5.5 | +| 5.6 环境元数据强制清单 | OS/内核/BSP/固件/驱动/室温/散热/工具/量化/时间戳 10 项强制 | 方案2.md §5.6 | +| 5.7 对照组设计 | OS 层: SylixOS vs Ubuntu+PREEMPT_RT vs (KVM/Docker)；配置层: C0 默认 → C1 tuned → C2 extreme | 方案1.md §7, 方案2.md §7.1 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Fig.5 | 实验方法论流程图 | 六步循环 + 第三方基准对齐校验门 (±15% 才准入主场景) | +| Tab.7 | 业界基准对照表 | 指标 × (文章基线 / SylixOS 实测 / 偏差 / 评判) — CPU 单核~1280、多核~7120、YOLOv5s 32 FPS、3B LLM ~90 tok/s | +| Tab.8 | 避坑清单映射 | 5 条避坑点 × (强制约束/验证方式/落实位置) | +| Tab.9 | 环境元数据清单模板 | 10 项元数据 × 示例值 | + +--- + +### 第6章 大模型负载选型与配置 + +**目标**: 500~700 词，定义跨 11 档位的模型矩阵。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 6.1 选型原则 | 国产化优先 (Qwen/MiniCPM)；跨架构可比 (x86+CUDA 与 ARM+NPU)；量化版本完整 (FP16/INT8/INT4)；社区生态成熟 (vLLM/llama.cpp/TensorRT-LLM/RKLLM) | 方案1.md §2.1 | +| 6.2 跨档位模型矩阵 | T4-L: Qwen2.5-0.5B INT4；T4-M: 1.5B INT4；T4-H: 3B/7B INT4；T3-L: 3B/7B INT4 (RKLLM)；T3-M: 14B/32B INT4 (TensorRT-LLM)；T3-H: 72B INT4；T2-L: 72B INT4/14B FP16；T2-M: 72B FP16；T2-H: DeepSeek-V2 FP16；T1-L: 72B FP16 分布式；T1-H: 671B INT4 | 基础设备.md §5.2 + 方案1.md §2.2~§2.3 | +| 6.3 推理框架与配置 | vLLM (T2/T1)、TensorRT-LLM (T2/T3-M/H)、llama.cpp (T2-L/T3-L 退路)、RKLLM (T4/T3-L)；batch 1/8/32；上下文 512/2048/8192；并发 1/8/32 | 方案1.md §2.2~§2.4 | +| 6.4 负载生成器 | vLLM benchmark / llama-bench / 自研并发客户端 / RKLLM demo / 自研 LLM+RT 混合负载驱动脚本 | 方案1.md §2.4 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Tab.10 | 跨档位模型矩阵 | 11 档位 × (代表模型/参数/量化/显存占用/并发实例/推理框架/预期 tok/s) | +| Tab.11 | 负载生成器清单 | 工具 × 平台 × 角色 × SylixOS 可用性 | + +--- + +### 第7章 实验结果 + +**目标**: 1500~2000 词，本文篇幅最大的章节，展示全部实验数据。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 7.1 基准对齐结果 (第一层判据) | SylixOS 在 RK3588 上的 CPU 单核/多核 (sysbench)、内存带宽、NPU FPS (YOLOv5s/ResNet18/MobileNetV2)、3B LLM tok/s 与文章基线的偏差 (目标 ±10%~±20%) | 方案2.md §7.2, §9.3 第一层 | +| 7.2 低功耗结果 | P_idle / P_prefill / P_decode / E_per_token 分阶段功耗曲线；T2-L (V100) 与 T3-L/T4-H (RK3588) 两平台对照；SylixOS vs Linux RT 能效比 | 方案1.md §5.1, §6.7, 方案2.md §4.1 | +| 7.3 低延迟结果 | T_irq / T_sched / T_ctx P50~Max；T_ttft / T_tok 尾延迟分布直方图；SylixOS vs Linux RT P99.9/Max/σ 对比 | 方案1.md §5.2, §6.5 | +| 7.4 混合负载保号结果 (★ 核心) | 场景1: LLM 推理 + 1 ms 周期控制并发；T_rt_max_under_llm / J_rt_under_llm；4 变体 (A1 Linux RT 默认 / A2 Linux RT tuned / A3 SylixOS 默认 / A4 SylixOS 极限)；30 min 全周期延迟时间序列图 | 方案1.md §6.1, §5.3, §9.3 | +| 7.5 多模型并发与突发场景 | 场景2: 多模型流水线 P0/P1/P2 优先级公平性；场景3: 突发加载/切换瞬间实时性保持；场景4: GPU/NPU 多请求调度公平性 | 方案1.md §6.2~§6.4 | +| 7.6 温度-功耗-性能耦合 | 场景8: 25%→100% CPU 逐步加压的三维耦合曲线；SylixOS vs Linux RT 降频触发温度与性能下降斜率 | 方案2.md §4.4, §6.8 | +| 7.7 异构核分配 | 场景6: RK3588 大核 A76 (LLM) + 小核 A55 (1 ms RT) + M0 (100 µs 控制) 的 SylixOS 异构调度优势 | 方案1.md §6.6 | +| 7.8 跨档位性能曲线 | 11 档位上 T_sched P99.9 / E_per_token / T_rt_max_under_llm 的连续曲线 (现有 P0 档位实测 + 扩展档位预估) | 基础设备.md §5.3, 基础设备.md §5.1~§5.2 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Tab.12 | 业界基准复现对比表 (最终版) | 填入 SylixOS 实测值与偏差列 | +| Fig.6 | 功耗分阶段曲线 | prefill 峰值 → decode 稳态 → idle 的 W(t) 曲线, SylixOS vs Linux RT 叠加 | +| Fig.7 | 混合负载实时任务延迟分布 (★ 核心证据) | P50~Max 直方图 + 时间序列, 4 变体叠加, 突出 A4 的"细长尾部"优势 | +| Fig.8 | LLM token 延迟直方图 | Qwen2.5-7B 1 流 1 h 采集, SylixOS vs Linux RT | +| Fig.9 | 突发加载瞬间时间序列 | 模型加载瞬间实时任务延迟 spike, SylixOS ≤50 µs vs Linux RT 100 µs~1 ms | +| Fig.10 | 温度-功耗-性能三维耦合曲线 | T_core / P / perf 三轴, 不同 CPU 负载档位 | +| Fig.11 | 跨档位性能连续曲线 | 横轴=11 档位 (T4-L→T1-H), 纵轴=P99.9 调度延迟 / E_per_token / T_rt_max, 三条曲线 | +| Tab.13 | 通过判据三层汇总 | 第一层基准对齐 + 第二层实时性 + 第三层优越性量化 | + +--- + +### 第8章 深入分析 + +**目标**: 800~1000 词，从数据中提炼规律性结论。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 8.1 档位间性能曲线规律 | 容量每 ×2 时 RTOS 优势的变化趋势；端级 (资源越紧→RTOS 价值越大) vs 集群级 (资源充裕→RTOS 优势收窄) 的拐点分析 | 基础设备.md §5.3 | +| 8.2 SylixOS vs Linux RT 差异化量化 | 按 §9.4 优越性判据：T_rt_max_under_llm ≤30% = 显著优势 / ≤60% = 可比偏优 / >60% = 未体现；按档位和场景分别判定 | 方案1.md §9.4 | +| 8.3 混合负载下 RTOS 优势的根因 | 硬优先级 + 优先级继承 → 不被 decode 抢占；内存锁定 → KV Cache 抖动不驱逐关键页；精简内核路径 → 加载大模型不引入额外抖动；中断线程化 + 亲和性 → NPU 中断不污染实时核 | 方案1.md §1.1 表, 05-irq-realtime.md | +| 8.4 能效分析 | 每 token 能耗 vs 档位 (V100 集群能效基线 vs H100 能效上限)；INT4 vs FP16 的能效拐点；RKLLM NPU vs CUDA GPU 的 J/token 对比 | 基础设备.md §0.3, 06-power-thermal.md | +| 8.5 BSP 风险与可行性 | x86 BSP (低风险, V100 已验证) vs ARM64 RK3588 BSP (极低, 现有) vs T234 Jetson BSP (高, 需翼辉确认) vs RKLLM 移植 (高, 核心风险)；档位跳跃验证降本策略 | 基础设备.md §7, 方案1.md §10 | + +**关键图表**: + +| 编号 | 图表 | 描述 | +|------|------|------| +| Fig.12 | RTOS 优势 vs 硬件档位趋势图 | 横轴=11 档位, 纵轴=SylixOS 相对 Linux RT 的 P99.9 改善百分比, 标注"显著优势/可比偏优/未体现"区间 | +| Tab.14 | 优越性量化结论矩阵 | 场景 × 档位 × (T_rt_max 比值 / 判定结论) | +| Tab.15 | BSP 风险与可行性矩阵 | 档位 × (BSP 类型/风险等级/状态/降本策略) | + +--- + +### 第9章 讨论与威胁有效性 + +**目标**: 400~600 词，诚实地界定适用边界和局限性。 + +| 小节 | 内容要点 | 来源映射 | +|------|----------|----------| +| 9.1 适用场景边界 | 资源越紧张 (T4) → RTOS 价值越大；资源充裕 (T1-H) → RTOS 优势收窄, 可能"可比偏优"；混合负载 (LLM+RT 并发) → RTOS 杀手锏；纯吞吐场景 → 通用 OS 可能更高 | 方案1.md §3, §9.4 | +| 9.2 威胁有效性 | (1) RKLLM 移植风险: 若未完成, 退路 llama.cpp CPU 推理但失去 NPU 优势, 需标注; (2) V100 驱动成熟度: 4 卡 NVLink 联用可能受限, 单卡先行; (3) sysbench/stress-ng 移植: POSIX 兼容可行性高但需验证; (4) 量化精度差异: 同模型同量化跨 OS 不变, 已控制; (5) 室温/散热波动: 25±2 ℃ + 液冷恒定 | 方案1.md §10, 方案2.md §11 | +| 9.3 与已有工作的关系 | vs vLLM/TGI (服务器级, 无实时保证)、vs NPU SDK (封闭黑箱)、vs CUDA Stream (无实时分析)、vs 第三方文章 (仅 Linux, 仅 RK3588, 未测实时性) | FRAMEWORK.md §6, 方案2.md §2.4 | +| 9.4 方法论局限 | 文章仅引用单一第三方来源 (萤火虫文章), 跨平台参照 (昇腾 Qwen-7B) 为非本方案硬件; 消融实验仅在现有 P0 档位可完整执行; 扩展档位 (T1-H/T2-H) 依赖云租替代, 数据可比性需说明 | 方案2.md §13 后续建议 | + +--- + +### 第10章 结论与展望 + +**目标**: 300~400 词，总结贡献并指出未来方向。 + +| 小节 | 内容要点 | +|------|----------| +| 10.1 结论 | 重申 C1/C2/C3 三大贡献的量化结果 (基准对齐 ±X%、混合负载 ≤Linux RT X%、能效 ≤Linux RT X%) | +| 10.2 展望 | 跨平台横向对比 (RK3588 vs Jetson vs 昇腾); 功能安全 SIL2/IEC 61508 关联; 多机分布式推理; 昇腾 Qwen-7B 作为第二业界参照点; 自适应优先级与动态 WCET 估计 | +| 10.3 开放研究问题 | 动态 WCET 在线估计; 运行时自适应优先级; 跨层优化 (调度+量化联合); 预测式调度; 容错恢复调度 | 01-inference-scheduling.md §8 | + +--- + +## 3. 来源文档到章节的映射矩阵 + +| 来源文档 | 主要贡献章节 | 次要贡献章节 | +|----------|------------|------------| +| **基础设备.md** | §3 (硬件谱系) | §4.5 (BSP 适配), §6.2 (模型矩阵), §7.8 (跨档位曲线), §8.1 (档位趋势), §8.5 (BSP 风险) | +| **方案1.md v1.0** | §5.3 (四原则), §7.4 (混合负载) | §2.1~§2.3 (LLM 推理特征/RTOS 优势/Linux 短板), §5.7 (对照组), §6 (模型选型), §7.2~§7.5 (功耗/延迟/并发/突发), §7.7 (异构), §8.2 (优越性量化), §9.2 (威胁有效性) | +| **方案2.md v2.0** | §5.2 (基准复现), §5.4~§5.6 (强制约束) | §2.5 (第三方方法学), §7.1 (基准对齐结果), §7.6 (温度耦合), §9.3 (与已有工作关系), §9.4 (方法论局限) | +| **FRAMEWORK.md** | §4 (技术架构) | §1 (核心问题), §2.4 (相关工作), §8.3 (根因分析), §10.3 (开放问题) | +| **01-inference-scheduling.md** | §4.3 (任务映射) | §7.4 (混合负载调度模型), §8.3 (根因) | +| **02-kv-cache-memory.md** | §4.4 (方向2 概览) | §7.4 (KV Cache 对实时任务的影响), §8.4 (能效) | +| **03-accelerator-collab.md** | §4.4 (方向3 概览) | §7.7 (异构核分配), §8.3 (根因) | +| **04-quantization-scheduling.md** | §4.4 (方向4 概览) | §6.2 (量化选型), §8.4 (能效拐点) | +| **05-irq-realtime.md** | §4.4 (方向5 概览) | §7.3 (中断延迟), §8.3 (根因) | +| **06-power-thermal.md** | §4.4 (方向6 概览) | §7.2 (功耗), §7.6 (温度耦合), §8.4 (能效) | +| **07-analysis-methods.md** | §5.1 (方法论框架) | §7 (评估指标体系), §8 (分析方法), §9 (消融实验设计) | + +--- + +## 4. 关键数据产物清单 + +| 编号 | 产物 | 类型 | 优先级 | 依赖 | +|------|------|------|--------|------| +| D1 | 11 档位硬件规格总表 | 数据表 | P0 | 基础设备.md 已就绪 | +| D2 | 跨档位模型矩阵 | 数据表 | P0 | 基础设备.md + 方案1.md 已就绪 | +| D3 | RK3588 上 sysbench/stress-ng 基准复现数据 | 实测数据 | P0 | 需 SylixOS BSP + sysbench 移植 | +| D4 | 业界基准对比表 (SylixOS vs 文章基线) | 对比表 | P0 | D3 | +| D5 | 混合负载 30 min 全周期延迟时间序列 | 实测数据 | P0 | 需混合负载驱动脚本 + 4 变体 | +| D6 | 混合负载延迟分布直方图 (4 变体叠加) | 图表 | P0 | D5 | +| D7 | 功耗分阶段曲线 (prefill/decode/idle) | 图表 | P0 | 功率计采集 + LLM 推理 | +| D8 | LLM token 延迟直方图 (1 h 采集) | 图表 | P1 | vLLM/RKLLM benchmark | +| D9 | 突发加载瞬间实时任务时间序列 | 图表 | P1 | 混合负载脚本 + 模型切换 | +| D10 | 温度-功耗-性能三维耦合曲线 | 图表 | P1 | stress-ng 逐步加压 + 温度日志 | +| D11 | 跨档位性能连续曲线 | 图表 | P1 | P0 档位实测 + P1~P4 档位预估 | +| D12 | 优越性量化结论矩阵 | 分析表 | P1 | D4+D6+D7 | +| D13 | 环境元数据清单 (每份数据附) | 元数据 | P0 | 方案2.md §5.6 模板 | + +--- + +## 5. 写作优先级与依赖关系 + +``` +Phase 0: BSP 适配 + 工具移植 (3 周) + ├─ SylixOS RK3588 BSP 部署 + ├─ sysbench / stress-ng / RKLLM 移植验证 + └─ vLLM / llama.cpp 在 SylixOS 编译运行 + +Phase 1: 基准复现 + 文章骨架 (1.5 周) + ├─ D3: RK3588 基准复现 → D4: 业界对比表 + ├─ 撰写: §1 引言 + §2 背景 + §3 硬件谱系 + §4 技术架构 + §5 方法学 + §6 模型选型 + └─ 依赖: D3 通过 ±15% 对齐门 → 准入 Phase 2 + +Phase 2: 低功耗测试 + 温度耦合 (2 周) + ├─ D7: 功耗曲线 + D10: 温度耦合曲线 + └─ 撰写: §7.2 + §7.6 + +Phase 3: 低延迟 + 混合负载测试 (3 周) + ├─ D5+D6: 混合负载核心证据 + D8: token 延迟直方图 + D9: 突发场景 + └─ 撰写: §7.3 + §7.4 + §7.5 + +Phase 4: 异构调度测试 (1 周) + ├─ 场景6: A76+A55+M0 异构分配 + └─ 撰写: §7.7 + +Phase 5: 数据汇总 + 深入分析 + 全文定稿 (2.5 周) + ├─ D11: 跨档位曲线 + D12: 优越性矩阵 + ├─ 撰写: §7.8 + §8 深入分析 + §9 讨论 + §10 结论 + └─ 全文校对 + 图表终版 +``` + +**总周期: ~13 周** (Phase 0~5 累计) + +--- + +## 6. 章节字数预算 + +| 章节 | 预算字数 | 占比 | +|------|---------|------| +| §1 引言 | 400 | 4% | +| §2 背景与相关工作 | 700 | 7% | +| §3 四层硬件谱系 | 900 | 9% | +| §4 技术架构 | 700 | 7% | +| §5 实验方法学 | 900 | 9% | +| §6 模型选型 | 600 | 6% | +| §7 实验结果 | 1800 | 18% | +| §8 深入分析 | 900 | 9% | +| §9 讨论 | 500 | 5% | +| §10 结论 | 350 | 3% | +| 参考文献 + 附录 | ~2000 | 23% | +| **总计** | **~9750** | 100% | + +> 注: 按 RTSS/RTAS 会议论文 10~12 页双栏计算, 正文约 8000~10000 词, 参考文献+附录另计。 + +--- + +## 7. 核心叙事线 (Storyline) + +``` +问题矛盾 (§1) + → RTOS 确定性 vs LLM 计算密集, 边缘~集群必须共存 + → 空白: 国产 RTOS 在边缘算力上零实测数据 + +背景铺垫 (§2) + → LLM 推理的 CPU/内存/长尾特征 + → RTOS 的 6 项调度优势 + Linux RT 的 3 项短板 + → 第三方方法学引入 (5 维度 + 5 避坑) + +硬件谱系 (§3) ← C1 差异化 + → 11 档位连续梯度: 1 GB/3 W → 2 TB/25 kW + → 现有 P0 零成本起步 (V100 + RK3588) + → 一机两档降本 + +技术架构 (§4) + → 五层技术栈 + 六大优化方向 + → LLM 推理 DAG → RTOS 任务映射 + → BSP 适配要点与风险 + +方法学 (§5) ← C2/C3 基础 + → 第三方基准复现 (先对齐 ±15% 才准入) + → 混合负载四原则 (杀手锏设计) + → 功耗真测 + 温度监控 + 元数据强制 + +模型选型 (§6) + → 跨 11 档位的 Qwen/LLaMA/MiniCPM/Whisper 矩阵 + → INT4/INT8/FP16 量化梯度 + +实验结果 (§7) ← 本文核心 + → 7.1 基准对齐 (第一层门) + → 7.2~7.3 功耗/延迟 (基础指标) + → 7.4 混合负载保号 (★ 杀手锏证据) + → 7.5~7.7 并发/突发/异构 + → 7.8 跨档位连续曲线 + +深入分析 (§8) + → 档位间趋势: 资源越紧 → RTOS 价值越大 + → 优越性量化: ≤30% 显著优势 / ≤60% 可比偏优 + → 根因: 硬优先级 + 内存锁定 + 精简内核 + 中断亲和 + → 能效: V100 基线 vs H100 上限, INT4 拐点 + +讨论 (§9) + → 适用边界: T4 杀手锏, T1-H 可能收窄 + → 威胁有效性: RKLLM 移植/V100 驱动/sysbench 移植 + → 与已有工作: vs vLLM/NPU SDK/CUDA Stream/第三方文章 + +结论 (§10) + → 三大贡献量化回顾 + → 跨平台/功能安全/分布式/自适应展望 +``` + +--- + +## 8. 待确认事项 + +| 编号 | 待确认项 | 影响章节 | 当前假设 | +|------|---------|---------|---------| +| Q1 | SylixOS 在 x86+4×V100 NVLink 的 CUDA 驱动支持度 | §4.5, §7.3, §8.5 | 需翼辉确认; 单卡先行, 4 卡作 stretch | +| Q2 | RK3588 BSP 是否集成 rknn/RKLLM | §5.2, §7.1, §9.2 | 需翼辉确认; 退路 llama.cpp CPU | +| Q3 | sysbench/stress-ng 在 SylixOS 可移植性 | §5.2, §7.1 | POSIX 兼容, 假设可行 | +| Q4 | T234 (Jetson Orin) BSP 是否支持 | §3.2 (T3-M/H) | 风险高; T3-L 用 RK3588 起步 | +| Q5 | RK3588 板卡是否引出 M0 调试接口 | §7.7 (场景6) | 若未引出, 场景6 需调整 | +| Q6 | 是否纳入功能安全 SIL2/IEC 61508 章节 | §10.2 展望 | 暂列为展望, 不入正文 | +| Q7 | 是否纳入昇腾 Qwen-7B 作为第二业界参照 | §7.1, §9.4 | 暂列为后续, 非本方案硬件 | +| Q8 | 主对照组确认: Ubuntu 22.04+PREEMPT_RT | §5.7 | 与第三方文章配置一致, 可比性最高 | + +--- diff --git a/说明文档.md b/说明文档.md new file mode 100644 index 0000000..25e424b --- /dev/null +++ b/说明文档.md @@ -0,0 +1,132 @@ +# SylixOS 大模型推理调度研究逻辑说明 + +## 1. 文档目的 + +本文用于解释[整体逻辑流程图](./整体逻辑流程图.md)，说明《基础设备.md》《实验设计.md》和《最终稿文章规划.md》如何共同组成一套完整的研究方案。 + +三份文档承担不同职责： + +| 文档 | 回答的问题 | 在研究中的作用 | +|---|---|---| +| [基础设备.md](./基础设备.md) | 在哪些硬件条件下研究？ | 定义四层、十一档硬件谱系及现有设备锚点 | +| [实验设计.md](./实验设计.md) | 如何产生可信且可复现的证据？ | 定义准入、对照、负载、指标、统计与验收方法 | +| [最终稿文章规划.md](./最终稿文章规划.md) | 如何把证据组织成论文贡献？ | 把硬件、方法、结果和分析映射到论文十章结构 | + +整个研究的主线是： + +> 硬件谱系 → 软件与模型准入 → 公平对照 → 混合负载实验 → 可复现数据 → 跨档位规律 → 论文贡献。 + +## 2. 核心研究矛盾 + +实时控制任务通常要求微秒到毫秒级的确定性，大模型推理却会长时间占用 CPU、内存、总线、GPU 或 NPU，并产生排队、模型加载、KV Cache 和中断干扰。两类任务共存时，单纯提高模型吞吐不能说明系统适合实时场景。 + +因此，本研究不只考察“模型能跑多快”，而是同时回答三个问题： + +1. 在 LLM 推理干扰下，1 ms 周期任务是否仍能满足截止期？ +2. SylixOS 的资源隔离和调度机制能否改善尾延迟，同时避免过大的推理吞吐损失？ +3. 在满足相同实时性和推理服务约束时，系统能否降低每 token 能耗？ + +## 3. 为什么建立四层硬件谱系 + +《基础设备.md》以可用内存或显存为主要分级维度，构建端、边、桌面和集群四个层级。这样可以观察系统瓶颈随硬件规模变化的过程： + +| 层级 | 主要资源矛盾 | 研究重点 | +|---|---|---| +| T4 端级 | 内存和功耗预算非常紧张 | 极小资源下的实时任务保留能力 | +| T3 边级 | CPU、NPU/GPU 共享统一内存 | 带宽隔离、多模型竞争和功率模式 | +| T2 桌面级 | 多 GPU 共享 CPU、内存与互联 | NVLink 通信、多卡调度和并发公平性 | +| T1 集群级 | 节点内计算与节点间通信耦合 | RDMA/NCCL 抖动及跨节点调度 | + +当前最重要的实测锚点是： + +- RK3588 16 GB 作为 T3-L 边级平台； +- 同一 RK3588 施加 8 GB 内存预算，作为 T4-H 受限配置； +- 4×V100、128 GB 总显存服务器作为 T2-L 桌面级平台。 + +其余档位用于后续采购、扩容或云租后的条件扩展。现有设备负责产生核心证据，扩展设备用于验证规律能否跨硬件规模成立。 + +需要注意，RK3588 的 8 GB 限额配置只能用于研究内存预算变化，不能等同于真实 8 GB 板卡的功耗、物理带宽或热特性。 + +## 4. 为什么必须先做准入 + +设备可以启动，不代表加速器、模型和混合负载已经具备可比较条件。因此实验被划分为五个连续门槛： + +| 门槛 | 核心检查内容 | +|---|---| +| G0 设备准入 | 启动、SMP、容量、接口和硬件拓扑 | +| G1 测量准入 | 单调时钟、周期任务、日志和功耗仪器 | +| G2 加速器准入 | CUDA、RKLLM、RKNN、驱动和基本算子 | +| G3 模型准入 | 模型转换、加载、正确推理和峰值内存 | +| G4 混合负载准入 | RT 与 LLM 同时稳定运行至少 30 分钟 | + +只有通过 G4 的配置才能进入正式对照实验。准入失败本身也是研究结果，应记录为 BSP、驱动、模型格式或容量限制，不能用估计值补齐。 + +## 5. 如何保证对照公平 + +主对照包括普通 Linux、Linux PREEMPT_RT、SylixOS 默认配置和 SylixOS 优化配置。比较时需要固定： + +- 模型版本、量化格式、tokenizer、输入长度、输出长度和随机种子； +- CPU 核数量、实时优先级、内存预算、加速器数量和频率策略； +- 推理请求到达序列、背景干扰强度、预热时间和测量窗口； +- 环境温度、散热条件、驱动与框架版本。 + +如果两个系统无法使用等价推理后端，结果应表述为“完整系统方案比较”，不能只归因于操作系统调度器。 + +## 6. 实验如何逐步展开 + +实验采用从简单到复杂的顺序： + +1. E0 确认设备、测量和空载基线。 +2. E1 测量实时任务唤醒、响应、IPC 和物理接口延迟。 +3. E2 单独测量模型容量、TTFT、TPOT、吞吐和能耗。 +4. E3 运行核心场景，即 1 ms 实时任务与 LLM 推理并发。 +5. E4 比较 RK3588 的 16 GB 与 8 GB 预算配置。 +6. E5 比较 V100 的 1、2、4 卡运行状态及公平性。 +7. E6 分析温度、频率、功耗与性能耦合。 +8. E7 逐项移除核隔离、IRQ 亲和、内存预分配、准入控制等机制，确认收益来源。 +9. E8 对最终候选配置进行 24 小时长稳与恢复测试。 + +背景负载从仅实时任务、仅推理逐步增加到 RT+LLM、CPU/内存/I/O 干扰以及突发过载。这样可以确定系统在哪一个压力区间开始出现排队、降频或截止期违约。 + +## 7. 哪些指标构成核心证据 + +实时性证据包括 P50、P95、P99、P99.9、观测最大响应时间和截止期违约率。论文中的“实时保号”必须建立在截止期违约统计和完整样本量上，不能只比较平均延迟。 + +推理服务证据包括 TTFT、TPOT、成功请求吞吐、有效吞吐、成功率、超时率和拒绝率。有效吞吐只统计满足预先冻结服务约束的请求，防止通过拒绝请求或牺牲实时任务获得虚假吞吐优势。 + +功耗证据使用整机输入端功率测量，计算 J/token 和 tokens/J，并同时记录温度、实际频率和降频时间。GPU/NPU 软件遥测可以用于解释能耗来源，但不能代替整机功率计。 + +多卡和多节点实验还需要报告强扩展效率、弱扩展吞吐、通信尾延迟和多租户公平性。 + +## 8. 数据如何转化为论文贡献 + +实验数据最终对应三项贡献： + +| 贡献 | 所需证据 | 对应论文内容 | +|---|---|---| +| C1 四层连续算力谱系评测 | 各档位的容量、功耗、瓶颈与扩展趋势 | 第3章硬件谱系、第7章结果、第8章跨档位分析 | +| C2 混合负载实时保号量化 | RT+LLM 下的尾延迟、违约率、有效吞吐和消融结果 | 第4章调度机制、第5章方法、第7章核心结果 | +| C3 可复现方法与基准对齐 | 统一输入、环境元数据、完整原始数据和外部基准复现 | 第5章方法学、第7章基准结果、第9章有效性威胁 | + +文章的论证顺序应保持为：先说明为什么需要四层谱系，再说明 SylixOS 的调度机制和实验方法，然后给出结果，最后讨论优势产生的原因、适用范围和局限性。 + +## 9. 实测、计划与结论边界 + +论文中应严格区分以下三类内容： + +- **实测结果**：已通过准入并完成实验的数据； +- **候选目标**：正式实验前冻结的服务或性能阈值； +- **扩展计划**：尚未获得设备、驱动或测量条件的实验。 + +设备标称 TOPS、TFLOPS、TDP 和模型预估 tokens/s 不能写成实验结果。FP16 TFLOPS 与 INT8 TOPS不能直接比较，多卡总显存也不能直接推导模型一定可运行。 + +24 小时无违约只能表述为“在指定工况和样本量下未观测到违约”，不能证明理论最坏情况。没有温箱数据时，也不能宣称已经验证 RK3588 的完整工业温区。 + +## 10. 最终闭环 + +这套研究的最终闭环不是追求某一平台的最高 tokens/s，而是寻找一条可重复验证的关系： + +> 随着资源从端级扩展到集群级，SylixOS 的实时调度和资源隔离在什么负载范围内能显著改善实时任务确定性，这种改善需要付出多少吞吐和能耗代价，其优势又会在哪个硬件档位开始减弱。 + +如果数据支持该关系，就形成四层硬件谱系、混合负载实时保号和统一评测方法三项论文贡献；如果某些档位不支持，也应把适配失败、容量上限和优势消失的边界作为研究结论的一部分。 +