forked from eaiadmin/rtos_llm_opt
eaiadmin
ccf72e32bd
包含6个文件： - 总览：7条关键发现摘要 - 国内同行：翼辉SylixOS、华为鸿蒙/LiteOS、端侧AI框架 - 国际同行：FreeRTOS/Zephyr/ThreadX/VxWorks对比、LLM运行时框架、Agent框架、NVIDIA Jetson物理AI - 学术文献：14篇论文/文章完整摘要和链接 - 关键研究空白：7个研究空白及与项目框架的对齐 - 文献索引：40+条文献完整列表
4.7 KiB
4.7 KiB
03-同行研究情况调研 - 总览
调研说明
本目录系统整理 RTOS + LLM/智能体领域的行业同行研究情况，包含文章列表、观点摘要、原文引用和完整文献索引。
目录结构
| 文件 | 内容 |
|---|---|
| 00-总览.md | 本文档：文章分类索引 + 关键观点 |
| 01-国内同行.md | 国内操作系统、LLM、智能体、芯片厂商 |
| 02-国际同行.md | 国际RTOS厂商、LLM推理框架、Agent框架 |
| 03-学术文献.md | 学术论文：RTOS+AI、Edge LLM推理、调度系统 |
| 04-关键研究空白.md | 研究机会与空白分析 |
| 05-文献索引.md | 完整文献列表（含arXiv编号、链接、发表信息） |
关键发现摘要
1. 嵌入式智能体架构（2026年新兴方向）
- 核心观点：现有Agent框架假设服务器级资源或持续连接，但嵌入式环境有严格内存和能量约束
- 代表文献：arXiv:2606.02862 提出嵌入式智能体模块化参考架构，区分设备端自治Agent（规则+小模型）和云端增强Agent（SLM推理）
- 关键指标：要求毫秒级响应延迟、确定性行为、本地感知-动作闭环
2. RTOS for Edge AI（2025年实证研究）
- 核心观点：RTOS在Edge AI中的角色从"任务调度壳"升级为"AI负载编排层"
- 代表文献：Real-time Operating Systems (RTOS) For Edge AI 对FreeRTOS/Zephyr/ThreadX/VxWorks在STM32H7上运行量化CNN的实证对比
- 关键指标：ThreadX内核仅2KB、响应11.7ms；FreeRTOS内核15KB、响应13.8ms
3. Edge LLM推理运行时框架（2026年）
- 核心观点：运行时选择可带来3倍吞吐差异，与硬件选择同等重要
- 代表文献：Edge LLM Runtime Stack 2026 对比7大运行时（llama.cpp、TensorRT-LLM、vLLM、ExecuTorch等）
- 关键指标：同一Llama 3.3 70B模型在Jetson Thor上，从llama.cpp到TensorRT-LLM+EAGLE-3推理可达2.5倍性能提升
4. 混合SoC上的Agent调度（2026年研究）
- 核心观点：个人LLM Agent混合响应式（前台）和主动式（后台）执行模式，现有LLM引擎不支持流级并发
- 代表文献：arXiv:2506.24045 Agent.xpu 提出异构执行图(HEG)和流感知NPU-iGPU协同调度
- 关键指标：主动式吞吐提升1.2-4.9倍，响应式延迟降低≥91%
5. 端侧AI框架与模型压缩（华为鸿蒙）
- 核心观点：通过剪枝、量化、蒸馏三大技术，数百兆视觉模型可压缩至几MB，保持95%以上准确率
- 代表文献：端侧 AI 框架让智能真正贴身随行，鸿蒙开发之路：端侧模型压缩、量化与加速技术详解
- 关键数据：鸿蒙端侧AI已支持超200种预置模型，覆盖图像、语音、文本、传感器四大类
6. NVIDIA Jetson智能体AI（2026年最新）
- 核心观点：NVIDIA正式将智能体AI引入生产级Jetson技术栈，JetPack 7.2 + NemoClaw实现机器人/工业检测领域的Agent部署
- 代表文献：NVIDIA Jetson 将智能体 AI 带入物理世界 (2026年6月)
- 关键特性：Jetson Thor支持多实例GPU(MIG) + 实时内核结合，为确定性工作负载预留专属GPU资源
7. 机器人物理AI与边缘世界模型（2026年中）
- 核心观点：2026年7月NVIDIA发布Cosmos 3 Edge，4B参数开源世界模型在Jetson Thor上以15Hz运行，支持6种机器人形态
- 代表文献：NVIDIA Cosmos 3 Edge and the Robot AI Revolution 2026 (2026年7月)
- 行业背景：日本Noetra项目23亿美元政府投资，目标2040年1000万台机器人