docs: reorganize MCU static intelligence research materials
This commit is contained in:
Mo1s
@@ -0,0 +1,96 @@
|
||||
# 合作方式与产业落点
|
||||
|
||||
## 1. 合作结构
|
||||
|
||||
本子课题适合采用“研究团队 + 翼辉信息 + 芯片/板卡厂商 + 场景方”的四方结构。
|
||||
|
||||
| 参与方 | 主要职责 |
|
||||
|---|---|
|
||||
| 研究团队 | 问题定义、编排算法、实验设计、数据分析和论文 |
|
||||
| 翼辉信息 | SylixOS/RealEvo、BSP、调度与内存接口、工程验证 |
|
||||
| 芯片/板卡厂商 | 算子库、SDK、驱动、周期/功耗数据和硬件样机 |
|
||||
| 场景方 | 控制任务、传感器数据、安全规则和验收约束 |
|
||||
|
||||
## 2. 与翼辉信息的合作重点
|
||||
|
||||
### 2.1 平台准入
|
||||
|
||||
- 确认现有RK3588工业盒与官方BSP的兼容性；
|
||||
- 确认RK3568、RK3576和真正MCU候选平台；
|
||||
- 冻结SylixOS、BSP、编译器和RealEvo版本；
|
||||
- 明确CPU、NPU、DMA、CAN、GPIO和看门狗支持边界。
|
||||
|
||||
### 2.2 实时机制
|
||||
|
||||
- 固定优先级、RMS和周期任务配置；
|
||||
- 核绑定、中断亲和性和大小核调度；
|
||||
- 静态内存、链接段和DMA连续内存；
|
||||
- Cache一致性、任务/进程恢复和看门狗；
|
||||
- 高精度时间戳与性能追踪。
|
||||
|
||||
### 2.3 工具链接口
|
||||
|
||||
- 外部编排器生成SylixOS App工程的方式；
|
||||
- 链接脚本、任务配置和静态数组注入；
|
||||
- RealEvo自动构建、上传、调试和数据回收；
|
||||
- 生成代码与BSP版本兼容检查；
|
||||
- 部署准入报告的联合格式。
|
||||
|
||||
## 3. 与芯片厂商的合作重点
|
||||
|
||||
- 算子支持矩阵和优化内核；
|
||||
- 每个算子的工作区、周期和能耗数据；
|
||||
- SRAM Bank、Cache、DMA和中断结构；
|
||||
- 模型转换、代码生成和SDK接口；
|
||||
- 低功耗状态、唤醒时间和功耗测量；
|
||||
- 芯片规格与AI任务需求的反向协同。
|
||||
|
||||
## 4. 建议合作步骤
|
||||
|
||||
1. 完成现有设备、BSP和工具链盘点；
|
||||
2. 选择一个电机状态识别或工业节点场景；
|
||||
3. 在RK3588上完成CPU路径最小原型；
|
||||
4. 接入SylixOS静态任务、超时和规则兜底；
|
||||
5. 在NPU运行时准入后增加异构路径；
|
||||
6. 向RK3568/RK3576收缩；
|
||||
7. 共同选择真正MCU平台；
|
||||
8. 形成参考工程、工具、样机和论文。
|
||||
|
||||
## 5. 产业落点
|
||||
|
||||
### 5.1 SylixOS静态智能任务开发套件
|
||||
|
||||
面向工业控制设备开发者，提供模型转换、资源预算、代码生成、部署检查和板端验证。
|
||||
|
||||
### 5.2 智能控制器升级方案
|
||||
|
||||
在不破坏原有控制和安全规则的前提下，为电机、泵、阀、PLC外围节点和设备控制盒增加异常识别与状态分类。
|
||||
|
||||
### 5.3 芯片适配与选型服务
|
||||
|
||||
用模型、控制任务和资源预算反向评估芯片、内存和加速器是否适合目标设备。
|
||||
|
||||
### 5.4 AI进入任务关键系统的准入规范
|
||||
|
||||
形成可复用的资源、时间、质量、故障和恢复检查表，而不只交付单个模型Demo。
|
||||
|
||||
## 6. 合作边界
|
||||
|
||||
- BSP或驱动未确认前，不承诺具体加速器性能；
|
||||
- 不把SylixOS认证范围自动扩展到AI模型和完整应用；
|
||||
- 不把模型平均速度当作实时安全证据；
|
||||
- 不把场景方未确认的规则写成安全策略；
|
||||
- 联合研究数据需冻结版本、设备编号和测量边界。
|
||||
|
||||
## 7. 首次技术会议建议清单
|
||||
|
||||
1. RK3588现有工业盒可复用的BSP；
|
||||
2. RK3588/RK3568的核绑定和中断接口；
|
||||
3. NPU运行时与驱动的可用状态；
|
||||
4. 静态链接布局和内存域能力；
|
||||
5. 看门狗、任务重启和局部恢复路径；
|
||||
6. RealEvo外部生成工程接口；
|
||||
7. lite/tiny目标和真正MCU支持清单；
|
||||
8. 可开放的追踪、功耗和算子数据；
|
||||
9. 联合参考板与首个工业场景；
|
||||
10. 论文、白皮书、工具和知识产权分工。
|
||||
@@ -0,0 +1,125 @@
|
||||
# 翼辉技术确认会议提纲
|
||||
|
||||
> 会议目标：确认现有 RK3588 工业盒能否进入 SylixOS 实验，冻结首期 BSP、开发工具、运行时和测量接口，明确需要翼辉支持的工作。
|
||||
|
||||
## 1. 会前材料
|
||||
|
||||
- [ ] RK3588 工业盒型号、主板照片和硬件规格；
|
||||
- [ ] CPU、内存、eMMC、网络、CAN、RS485、GPIO清单；
|
||||
- [ ] 当前 Ubuntu 版本、设备树和启动日志；
|
||||
- [ ] 拟运行的1 ms控制任务说明；
|
||||
- [ ] INT8 1D CNN模型与算子清单；
|
||||
- [ ] 预期对照实验和指标；
|
||||
- [ ] 本会议问题清单提前发送给翼辉。
|
||||
|
||||
## 2. 项目说明
|
||||
|
||||
本项目拟研究：
|
||||
|
||||
> 在 SylixOS 控制系统中，通过静态内存、固定优先级、固定推理窗口、部署准入和规则兜底，使轻量AI任务进入系统后不破坏关键控制任务的时间边界。
|
||||
|
||||
首期实验不依赖大模型，也不把NPU作为启动前提。计划先完成：
|
||||
|
||||
- RK3588 + SylixOS；
|
||||
- 1 ms周期控制任务；
|
||||
- CPU执行的INT8 1D CNN；
|
||||
- 控制与AI共存；
|
||||
- 超时、过载、故障和规则兜底。
|
||||
|
||||
## 3. 必须确认的问题
|
||||
|
||||
### 3.1 板卡与BSP
|
||||
|
||||
1. 现有工业盒是否兼容翼辉官方RK3588 BSP？
|
||||
2. 如果不完全兼容，需要提供哪些原理图、设备树和启动信息？
|
||||
3. 推荐使用哪个SylixOS版本、BSP版本和RealEvo版本？
|
||||
4. 当前BSP支持哪些CPU核、定时器、GPIO、CAN、RS485、网口、eMMC和NVMe？
|
||||
5. 是否支持SMP和大小核调度？
|
||||
6. BSP移植工作由哪一方负责，预计交付物是什么？
|
||||
|
||||
### 3.2 调度与计时
|
||||
|
||||
1. 周期任务推荐使用哪类定时器和任务接口？
|
||||
2. 是否支持固定优先级、RMS和CPU亲和性？
|
||||
3. 是否支持将控制任务固定到指定CPU核？
|
||||
4. 是否支持中断亲和性或中断线程化？
|
||||
5. 高精度单调时钟的分辨率和读取开销是多少？
|
||||
6. 推荐如何记录任务释放、开始、完成和截止期违约？
|
||||
|
||||
### 3.3 内存、Cache与DMA
|
||||
|
||||
1. 如何在BSP或链接脚本中划分控制区、AI区和DMA区？
|
||||
2. 是否可为应用设置固定内存上限或独立内存区域？
|
||||
3. DMA连续内存如何申请和释放？
|
||||
4. Cache刷新、失效和一致性维护使用什么接口？
|
||||
5. 是否可以避免正式运行阶段的动态内存分配？
|
||||
6. 是否有内存峰值、碎片和泄漏监测工具？
|
||||
|
||||
### 3.4 推理运行时
|
||||
|
||||
1. SylixOS下是否已有可用的小模型CPU推理运行时？
|
||||
2. 是否支持TFLite Micro、ONNX Runtime裁剪版或翼辉自有方案？
|
||||
3. RK3588 NPU驱动是否可用？
|
||||
4. RKNN/RKLLM模型转换和运行时能否在SylixOS下工作？
|
||||
5. NPU提交、完成中断、DMA和统一内存路径是否可观测？
|
||||
6. 若NPU不可用，翼辉是否认可先完成CPU路径研究？
|
||||
|
||||
### 3.5 故障处理
|
||||
|
||||
1. RK3588看门狗在SylixOS中的推荐使用方式是什么？
|
||||
2. AI线程卡死后能否只重启线程或进程？
|
||||
3. 驱动异常是否可能影响关键控制任务？
|
||||
4. 如何记录任务异常、看门狗、重启和恢复事件？
|
||||
5. 是否有推荐的安全降级或双任务监控模式？
|
||||
|
||||
### 3.6 RealEvo与自动化
|
||||
|
||||
1. 外部工具能否生成或修改SylixOS App工程？
|
||||
2. 是否有命令行编译、部署和调试接口？
|
||||
3. 链接脚本、静态数组和任务配置如何自动注入？
|
||||
4. 是否支持批量运行测试和回收日志？
|
||||
5. 性能分析、代码覆盖率和远程调试工具如何使用？
|
||||
|
||||
### 3.7 真正MCU路线
|
||||
|
||||
1. 是否存在SylixOS lite/tiny产品形态？
|
||||
2. 支持哪些真正MCU或无MMU目标？
|
||||
3. 最小Flash、RAM和启动时间是多少？
|
||||
4. 推荐哪块参考板开展MCU实证？
|
||||
5. 是否有TinyML或轻量推理参考工程？
|
||||
|
||||
## 4. 希望翼辉提供的材料
|
||||
|
||||
- [ ] 推荐BSP与版本；
|
||||
- [ ] 板卡兼容性判断；
|
||||
- [ ] RealEvo安装包和开发文档；
|
||||
- [ ] 周期任务、核绑定和高精度计时样例；
|
||||
- [ ] DMA、Cache和静态链接布局样例；
|
||||
- [ ] 看门狗和任务恢复样例；
|
||||
- [ ] CPU推理运行时或移植建议；
|
||||
- [ ] NPU支持状态说明；
|
||||
- [ ] 真正MCU候选平台清单；
|
||||
- [ ] 技术接口人与问题跟踪方式。
|
||||
|
||||
## 5. 会议输出
|
||||
|
||||
| 决策项 | 结论 | 责任方 | 完成时间 | 证据/链接 |
|
||||
|---|---|---|---|---|
|
||||
| RK3588 BSP | 待确认 | | | |
|
||||
| SylixOS/RealEvo版本 | 待确认 | | | |
|
||||
| CPU推理路径 | 待确认 | | | |
|
||||
| NPU路径 | 待确认 | | | |
|
||||
| 调度和计时接口 | 待确认 | | | |
|
||||
| 内存和DMA接口 | 待确认 | | | |
|
||||
| 故障恢复接口 | 待确认 | | | |
|
||||
| 真正MCU候选 | 待确认 | | | |
|
||||
|
||||
## 6. 会议结束判据
|
||||
|
||||
会议结束时至少应得到：
|
||||
|
||||
1. RK3588能否进入SylixOS实验的明确结论；
|
||||
2. 一个冻结的软件版本组合；
|
||||
3. 一个CPU推理可行路径；
|
||||
4. NPU路径是“可用、需适配或暂缓”的结论；
|
||||
5. 双方责任人和下一次检查节点。
|
||||
@@ -0,0 +1,95 @@
|
||||
# 预期成果与论文方向
|
||||
|
||||
## 1. 方法成果
|
||||
|
||||
1. 面向 MCU / 控制端的静态智能控制问题定义；
|
||||
2. 控制任务、模型和平台的统一描述方法；
|
||||
3. 小模型与控制任务离线联合编排方法；
|
||||
4. 静态内存、固定推理窗口和有界通信设计；
|
||||
5. 部署前资源、可调度性和安全准入方法；
|
||||
6. 规则兜底、异常切换与恢复方法。
|
||||
|
||||
## 2. 工具与软件成果
|
||||
|
||||
- 模型解析、量化和算子合法化工具；
|
||||
- 目标板算子执行时间与资源数据库；
|
||||
- Tensor Arena与链接布局生成器；
|
||||
- 控制任务与AI任务联合调度分析器；
|
||||
- SylixOS C/C++任务包装与配置生成器；
|
||||
- `PASS / PASS WITH LIMITS / REJECT`部署报告生成器；
|
||||
- 板端采样、故障注入和数据汇总工具。
|
||||
|
||||
## 3. 原型与数据成果
|
||||
|
||||
### 原型A：RK3588 + SylixOS方法原型
|
||||
|
||||
完成控制任务、CPU小模型、静态Arena、固定窗口、超时和规则兜底的完整闭环。
|
||||
|
||||
### 原型B：控制端收缩原型
|
||||
|
||||
在RK3568/RK3576或等价平台上复现，并量化内存、功耗和BSP迁移成本。
|
||||
|
||||
### 原型C：真正MCU验证样机
|
||||
|
||||
完成KB/MB级内存、快速启动、`E/inference`和控制截止期验证。
|
||||
|
||||
### 数据集
|
||||
|
||||
- 控制任务时间序列；
|
||||
- 算子和完整模型执行时间；
|
||||
- 内存峰值与碎片；
|
||||
- 功耗、温度和启动数据；
|
||||
- 超时、过载、降级和恢复事件；
|
||||
- 预测值与实测值误差。
|
||||
|
||||
## 4. 论文组织建议
|
||||
|
||||
不建议把所有设备和工具链塞入一篇论文。建议拆成三类成果。
|
||||
|
||||
### 论文1：静态联合编排方法
|
||||
|
||||
核心问题：模型和控制任务如何在部署前共同完成内存、时间和准入分析。
|
||||
|
||||
主要贡献：统一描述、静态内存规划、时间编排和预测—实测校准。
|
||||
|
||||
### 论文2：SylixOS控制端共存与故障隔离
|
||||
|
||||
核心问题：AI进入控制端后，SylixOS如何维持关键任务边界并限制故障传播。
|
||||
|
||||
主要贡献：固定优先级、核绑定、中断/DMA干扰、规则兜底和恢复实证。
|
||||
|
||||
### 论文3：真正MCU上的低功耗静态智能控制
|
||||
|
||||
核心问题：在极小SRAM、Flash和功耗预算下，静态智能任务的成立边界是什么。
|
||||
|
||||
主要贡献：内存极限、快速启动、`E/inference`和跨设备迁移。
|
||||
|
||||
## 5. 可使用的学术方向表述
|
||||
|
||||
- TinyML / Edge AI on MCU；
|
||||
- 低功耗嵌入式智能系统；
|
||||
- 静态部署与工具链协同；
|
||||
- 实时控制中的小模型纳入；
|
||||
- AI workload admission for real-time systems；
|
||||
- predictable embedded inference；
|
||||
- safety fallback for intelligent control。
|
||||
|
||||
## 6. 产业交付物
|
||||
|
||||
- 面向芯片与板卡的AI任务准入规范；
|
||||
- SylixOS静态智能任务开发模板；
|
||||
- 面向设备厂商的部署检查工具；
|
||||
- 电机/泵/工业节点参考样机；
|
||||
- 联合白皮书和基准测试报告；
|
||||
- 芯片选型与模型适配矩阵。
|
||||
|
||||
## 7. 成果成熟度阶梯
|
||||
|
||||
| 阶段 | 可对外表述 |
|
||||
|---|---|
|
||||
| 仅RK3588方法原型 | 控制端SoC上的静态编排方法验证 |
|
||||
| 增加RK3568/RK3576 | 跨控制端平台的迁移与收缩验证 |
|
||||
| 增加真正MCU | 面向MCU的静态智能控制实证 |
|
||||
| 形成工具和样机 | 可部署的开发套件与产业方案 |
|
||||
|
||||
在真正MCU实验完成前，不将SoC结果表述为MCU极限结论。
|
||||
@@ -0,0 +1,17 @@
|
||||
# 40-合作与成果
|
||||
|
||||
本层管理联合研究分工、翼辉技术确认和成果组织。
|
||||
|
||||
## 文件
|
||||
|
||||
1. [00-合作方式与产业落点.md](./00-合作方式与产业落点.md)：研究团队、翼辉、芯片厂商和场景方分工；
|
||||
2. [01-翼辉技术确认会议提纲.md](./01-翼辉技术确认会议提纲.md)：第一次技术会议的问题、材料和输出模板；
|
||||
3. [02-预期成果与论文方向.md](./02-预期成果与论文方向.md)：方法、工具、原型、数据、论文和产业交付物。
|
||||
|
||||
## 合作原则
|
||||
|
||||
- BSP或驱动未确认前，不承诺具体加速器性能；
|
||||
- 不把SylixOS认证范围自动扩展到AI模型和完整应用；
|
||||
- 联合数据必须冻结版本、设备编号和测量边界。
|
||||
|
||||
[返回总目录](../README.md)
|
||||
Reference in New Issue
Block a user