forked from eaiadmin/rtos_llm_opt
update low-power subtopic and evidence framing
This commit is contained in:
+22
-2
@@ -16,6 +16,10 @@
|
||||
|
||||
执行分为两层:**核心实验使用现有 T2-L、T4-L 和 T5-H 内存受限配置;其他档位属于条件扩展**。核心结论不依赖新增集群、Jetson 或 H100 到位。LLM、YOLO 检测和语音识别都按**人工智能目标负载**处理;训练不纳入主实验。
|
||||
|
||||
这套实验设计统一的是研究问题、对照原则、采样口径与评价方法,不要求所有档位都完成同等深度的实机验证。核心档位承担主证据,扩展档位用于补足边界、拓扑和规模变化下的成立条件与失效边界。
|
||||
|
||||
在统一实验主线之下,本文同步组织一个**面向小型化与低功耗方向的应用副课题实验包**。这一实验包主要落在 `T5-H`、`T4-L` 以及后续 `T5-L/T5-M` 条件扩展档位,集中观察被动散热、整机功耗预算、统一内存约束与关键保障负载并存时,RTOS 对双目标达标能力的支撑边界。
|
||||
|
||||
## 2. 设备分层与实验平台
|
||||
|
||||
### 2.1 T5~T1 五类部署形态、十一档实验映射
|
||||
@@ -33,11 +37,15 @@
|
||||
| T2-L 桌面低 | 现有 4×V100 SXM 32 GB,总显存 128 GB | 核心平台 A | 多卡推理、NVLink 通信与实时隔离 |
|
||||
| T2-M 桌面中 | 8×V100 32 GB,总显存 256 GB | 待扩容 | 同代 GPU 数量扩展 |
|
||||
| T2-H 桌面高 | 4×H100 80 GB,总显存 320 GB | 待获取或租用 | 高算力密度、跨代对照 |
|
||||
| T1-L 集群低 | 4 节点×4×V100,总显存 512 GB | 待扩展 | 跨节点通信与分布式推理 |
|
||||
| T1-H 集群高 | 4 节点×4×H100,总显存 1.28 TB | 远期扩展 | 大模型分布式服务与能效 |
|
||||
| T1-L 集群低 | 4 节点×4×V100,总显存 512 GB | 待扩展 | 跨节点通信、分布式协同与关键业务编排 |
|
||||
| T1-H 集群高 | 4 节点×4×H100,总显存 1.28 TB | 远期扩展 | 大模型分布式协同服务与系统级能效 |
|
||||
|
||||
GPU 显存、主机内存和 SoC 统一内存分别记录,不加总为单一可分配空间。多卡总容量不能代替每卡分片可行性验证;FP16 TFLOPS 与 INT8 TOPS 不直接换算,也不作为实测吞吐。
|
||||
|
||||
`T1` 在本项目中表示面向任务关键场景的分布式协同计算平台,不表示通用 AI 训练集群或公网高吞吐推理机房。该层级的实验重点是人工智能目标负载并发存在时,CPU 侧关键保障负载、系统编排与跨节点协同机制能否维持时间边界。
|
||||
|
||||
其中,`T5-H`、`T4-L` 及后续 `T5-L/T5-M` 同时承担面向小型化与低功耗方向应用副课题的主窗口。相关结论单独按“小型化、低功耗、受限散热与内存预算”口径组织,但仍纳入总课题的统一对照体系,不作为独立于主课题之外的新实验主线。
|
||||
|
||||
### 2.2 平台 A:现有 V100 服务器
|
||||
|
||||
依设备清单配置 H12D-8D 主板、单颗 EPYC 7402(24 核/48 线程)、128 GB DDR4、1 TB NVMe、4×V100 SXM 32 GB、NVLink 底板、双电源及液冷。完整 BOM 见设备文档 T2.2.1。
|
||||
@@ -85,6 +93,8 @@ SylixOS、Linux 与 PREEMPT_RT Linux 的软件栈均按候选路线处理,在
|
||||
|
||||
“SylixOS 实时域 + Linux 推理域”作为单独的异构系统架构组,单独记录核分配、通信方式和内存共享方式,并作为异构系统方案结论呈现。
|
||||
|
||||
对于搭载独立 GPU 的平台,RTOS 主要负责 CPU 侧任务调度、中断线程、内存预算、关键保障负载保护与恢复策略;GPU 内部算子调度、显存流水线和设备执行细节由驱动与硬件管理。因此,这类平台的实验解释必须区分 RTOS 直接收益与加速器平台边界。
|
||||
|
||||
### 3.2 模型梯度与用途
|
||||
|
||||
| 平台 | 首轮候选 | 扩展候选 | 后端准入检查 |
|
||||
@@ -202,6 +212,14 @@ YOLO 可选使用固定 640×640 输入、同一验证集和相同预处理,
|
||||
| E7 消融 | O3 完整方案及逐项去除 | 使用 E3 中固定中载与过载单元重复测试 | RQ2 |
|
||||
| E8 长稳与恢复 | A、B 的最终候选配置 | 连续 24 小时混合负载,注入推理进程重启、队列过载 | RQ1/3 |
|
||||
|
||||
面向小型化与低功耗方向的应用副课题,主要由 `E2`、`E3`、`E4`、`E6` 与 `E8` 共同支撑:
|
||||
|
||||
- `E2` 负责建立受限设备上的独立推理能效与服务能力基线;
|
||||
- `E3` 负责比较双目标并存时的达标边界;
|
||||
- `E4` 负责观察内存限额与容量失败边界;
|
||||
- `E6` 负责组织功耗、温度与降频证据;
|
||||
- `E8` 负责验证长时间运行、恢复与热稳定性。
|
||||
|
||||
E5 中,同一 7B 模型只有在所有 GPU 数配置均支持相同后端及并行机制时才计算强扩展;多实例吞吐增长单列,不冒充单请求加速。多租户公平性可使用各租户相对独占吞吐 x_i,计算 Jain 指数 (Σx_i)²/(kΣx_i²),同时报告每租户 TTFT 和服务等级。
|
||||
|
||||
E8 记录重启时间、请求丢失、RT 违约、内存增长及恢复到稳定吞吐的时间。驱动重置和热环境测试仅在存在可恢复测试路径和相应设备时增加;没有温箱数据不能宣称覆盖 −40~60℃ 全温域。
|
||||
@@ -218,6 +236,8 @@ E8 记录重启时间、请求丢失、RT 违约、内存增长及恢复到稳
|
||||
|
||||
T1 强扩展固定总模型及工作量,速度提升以参考节点数 n0 的完成时间为基准,效率 = 加速比/(n/n0);弱扩展固定每节点请求负载,报告总有效吞吐和尾延迟。网络协议、交换机、MTU、拥塞配置和进程布局冻结。RDMA/NCCL 不可用时,TCP 回退单独成组。
|
||||
|
||||
若 `T2/T1` 层级受商业 GPU 驱动、BSP 或运行时条件限制,无法完成 SylixOS 原生路径实测,则该层级结果降级为基线对照、建模分析或异构架构验证,不将缺失的原生 RTOS 数据写成正式对照结论。
|
||||
|
||||
跨节点单向延迟需记录时钟同步方法与误差;误差不能满足精度要求时改测往返时间,不将其一半无条件当作单向延迟。
|
||||
|
||||
### 7.3 控制实验数量
|
||||
|
||||
Reference in New Issue
Block a user