diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/00-会议主题索引.md b/01-会议讨论/20260922_093448-会议主题拆分整理/00-会议主题索引.md new file mode 100644 index 0000000..6640fdd --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/00-会议主题索引.md @@ -0,0 +1,35 @@ +# 20260922\_093448 会议主题拆分索引 + +本次会议可以整理为 5 个相互关联、但可独立推进的主题板块。它们共同围绕人工智能、基础系统、行业落地与合作路径展开,但每个板块的研究对象、交付目标和后续动作并不相同,因此适合拆分为独立文件持续讨论。 + +## 1. 主题划分 + +1. [01-医疗AI导航与嵌入式收缩方向.md](01-医疗AI导航与嵌入式收缩方向.md) + - 聚焦手术显微镜 AI 辅助导航、外挂式推理到嵌入式收缩的产品路径。 +2. [02-大模型评测优化平台与本地模型社区.md](02-大模型评测优化平台与本地模型社区.md) + - 聚焦服务器侧模型评测、算子优化、量化比较、本地模型社区,以及平台建设、服务外溢和各方分工方式。 +3. [03-RTOS与AI实时控制基础系统课题讨论.md](03-RTOS与AI实时控制基础系统课题讨论.md) + - 聚焦翼辉方向、基础系统定位、MCU 与 SoC/Hybrid 路线区分,以及课题推进步骤、责任边界和合作方式。 +4. [04-垂直大模型训练框架与代训服务.md](04-垂直大模型训练框架与代训服务.md) + - 聚焦“垂直大模型不等于通用模型加行业语料”的方法论、七要素框架、代训服务步骤和分工合作方式。 +5. [05-法律政务数据治理智能体与XAPP平台.md](05-法律政务数据治理智能体与XAPP平台.md) + - 聚焦纪委办案、律师产品、数据治理智能体、XAPP 平台化思路,以及应用到平台的推进路径与合作分工。 + +## 2. 结构判断 + +这 5 个主题之间的关系如下: + +- `01` 是一个具体行业落地样例,体现 AI 从外挂推理向嵌入式系统收缩的路径; +- `02` 是模型优化和测试平台能力,已经扩展为平台建设、服务输出与社区沉淀的完整工作线; +- `03` 是基础系统方向的课题定义与合作主线,直接对应研究框架、翼辉合作和后续预研组织方式; +- `04` 是大模型产业化的方法论与服务模式,偏研究方法、训练逻辑与代训服务设计; +- `05` 是平台和应用层的产品化实践,展示多模态数据治理、专业应用与 XAPP 平台的落地形态。 + +## 3. 使用建议 + +后续讨论可以按两条线推进: + +1. **研究主线**:优先阅读 `03` 和 `04`; +2. **落地主线**:优先阅读 `01`、`02` 和 `05`。 + +这样可以把“研究框架”“平台能力”“具体应用”三类问题拆开处理,不会在同一份会议全文里相互缠绕。 diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/01-医疗AI导航与嵌入式收缩方向.md b/01-会议讨论/20260922_093448-会议主题拆分整理/01-医疗AI导航与嵌入式收缩方向.md new file mode 100644 index 0000000..2209444 --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/01-医疗AI导航与嵌入式收缩方向.md @@ -0,0 +1,45 @@ +# 医疗AI导航与嵌入式收缩方向 + +## 1. 主题定位 + +这一部分讨论的是一个明确的医疗器械落地样例:围绕手术显微镜场景,为厂商提供 AI 辅助导航能力,并逐步从外挂式主机方案收缩到嵌入式系统方案。 + +## 2. 当前项目形态 + +- 合作对象是国内手术显微镜厂商; +- 当前方案是在原有显微镜主显示链路之外增加一块副屏; +- 图像从显微镜链路引出,进入外挂主机完成推理,再把辅助分析结果叠加回显示画面; +- 这一阶段的目标是先完成功能验证和临床辅助价值展示,不直接改动原主屏系统。 + +## 3. 核心价值 + +这个方向的价值集中在三点: + +1. **医疗场景价值明确**:医生可以在术野中直接看到风险点、角度偏差和操作提示; +2. **商业价值直接**:整套 AI 辅助能力对设备加价能力明显高于其硬件增量成本; +3. **研究价值清晰**:这是一个从服务器式推理向设备内收缩的真实案例,能自然过渡到嵌入式与实时系统问题。 + +## 4. 后续技术演进 + +会议里已经明确,当前外挂式主机只是第一阶段。后续方向是: + +- 把外挂主机能力收缩进设备本体; +- 把 AI 功能从“旁路叠加”逐步转向“设备内部集成”; +- 由此引出嵌入式系统、资源预算、边缘推理和控制路径协同等问题。 + +这意味着它不是一个单纯的图像识别项目,而是一个可持续向基础系统问题延展的行业样例。 + +## 5. 与整体研究的关系 + +这个主题与整体研究最强的连接点在于: + +- 它属于 `T4/T3` 一类的设备端与边缘端样例; +- 它天然涉及“小型化、低功耗、设备内集成”的后续路线; +- 它可以作为“AI 目标负载进入任务关键设备”的现实入口。 + +## 6. 后续可单独推进的问题 + +1. 设备内收缩后的算力与功耗预算如何设定; +2. 显微镜主链路、副链路和 AI 推理链路如何协同; +3. 哪些部分继续由外挂主机承担,哪些部分迁移到嵌入式系统; +4. 该场景能否作为 RTOS / 基础系统研究的主样例之一。 diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/02-大模型评测优化平台与本地模型社区.md b/01-会议讨论/20260922_093448-会议主题拆分整理/02-大模型评测优化平台与本地模型社区.md new file mode 100644 index 0000000..b415ccb --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/02-大模型评测优化平台与本地模型社区.md @@ -0,0 +1,260 @@ +# 大模型评测优化平台与本地模型社区 + +## 1. 主题定位 + +这一部分讨论的不是训练一个新的通用大模型,而是建设一套面向服务器、机房、算力中心和本地部署场景的大模型评测与优化平台。它的核心价值不在“再做一个模型”,而在于把模型、量化、算子、运行框架、启动参数和硬件配置之间原本分散、难解释的差异,组织成一套可比较、可复用、可交付的证据体系。 + +会议进一步给这条线增加了一个更有延展性的方向:在平台能力稳定之后,可以向“本地模型社区”延伸,形成面向区域算力中心、科研团队、行业客户和本地部署需求的模型比较、配置推荐和优化服务能力。 + +## 2. 会议形成的核心判断 + +这部分讨论形成了五个稳定判断。 + +### 2.1 同一套硬件上,运行配置差异足以造成显著性能分化 + +模型效果和运行表现并不只取决于显卡型号或算力规模。 +量化方式、算子开关、容器配置、运行框架、显存组织和启动参数都会显著影响: + +- 启动时间; +- 解码速度; +- 稳定性; +- 显存占用; +- 长稳运行效果。 + +这意味着客户看到的“模型快不快”,很多时候并不是硬件单因素决定的。 + +### 2.2 平台真正解决的是“不可解释”问题 + +很多客户当前并不清楚瓶颈到底来自: + +- 硬件资源本身; +- 框架选型; +- 算子实现; +- 量化策略; +- 参数配置与部署方式。 + +平台的价值,是把原本靠经验和试错得出的结果,变成能够重复执行、系统记录和横向比较的证据。 + +### 2.3 评测平台天然可以外溢为优化服务 + +一旦平台具备: + +- 统一记录; +- 统一对比; +- 统一报告; +- 统一复现实验; + +它就不再只是内部工具,而可以外溢成: + +- 算力中心选型服务; +- 模型优化服务; +- 部署建议服务; +- 本地模型配置推荐服务。 + +### 2.4 本地模型社区的重点不是“做大平台”,而是做“高价值局部能力” + +会议对“社区化”方向的判断也比较清楚: + +- 不必复制一个通用开源社区; +- 不追求以模型数量堆出影响力; +- 更适合聚焦本地部署模型、端侧模型、专业模型和工具化模型; +- 重点放在选型、评测、优化、配置推荐和经验沉淀上。 + +### 2.5 这条线与实时基础系统研究并不冲突 + +虽然这部分内容更多发生在服务器和机房侧,但它和整体研究并不割裂,因为它提供了: + +- AI 目标负载的运行时证据基础; +- 推理实时性不完全由操作系统决定的实证背景; +- 对端侧、小型化和边缘部署的模型选型依据。 + +## 3. 这条线真正要做的事情 + +如果把会议中的想法进一步收束,这条线真正要建设的是一套“四位一体”的能力: + +1. **评测平台** + 负责统一记录硬件、模型、参数、运行结果和日志证据。 +2. **优化工作台** + 负责对比量化、算子、框架和启动配置,给出可复现的优化建议。 +3. **报告系统** + 负责把结果输出成客户能理解、团队能复用的标准报告。 +4. **本地模型社区** + 负责沉淀模型经验、配置经验、最佳实践和可复用模板。 + +因此,这条线的本质不是“做个演示平台”,而是形成一套从实验到服务再到社区沉淀的连续能力。 + +## 4. 建议的工作方式 + +这条线更适合采用“平台底座 + 优化服务 + 社区沉淀”的工作方式。 + +### 4.1 先把平台做成证据系统 + +第一步不是追求界面完整,而是确保每一次实验都能形成可重复、可追溯的证据,包括: + +- 硬件环境; +- 模型版本; +- 量化与算子配置; +- 启动参数; +- 运行日志; +- 性能指标; +- 异常记录。 + +### 4.2 再把平台变成优化工具 + +在证据系统稳定之后,平台需要进一步承担: + +- 多配置对比; +- 自动化基线测试; +- 优化项回归验证; +- 最优组合推荐。 + +### 4.3 最后向社区和服务产品外溢 + +只有在前两步稳定之后,才适合把成果外溢为: + +- 内部优化知识库; +- 本地模型推荐清单; +- 算力中心服务能力; +- 对外社区或合作平台。 + +## 5. 建议的推进步骤 + +### 5.1 第一步:建立最小可用评测底座 + +目标是先把评测和记录做扎实。 +这一阶段应完成: + +- 硬件信息采集; +- 模型加载与启动配置记录; +- 解码速度、显存占用、温度和稳定性采集; +- 日志归档与结果可回看。 + +### 5.2 第二步:建立标准化对比实验 + +目标是让平台开始具备“比较能力”。 +这一阶段应完成: + +- 同模型不同量化方案对比; +- 同模型不同框架对比; +- 同模型不同算子开关对比; +- 同一硬件下不同启动参数对比; +- 同一配置长稳运行验证。 + +### 5.3 第三步:形成优化报告模板 + +目标是把结果变成可以交付的东西。 +这一阶段应完成: + +- 统一评测报告模板; +- 统一优化建议模板; +- 面向内部研发和面向客户的双版本输出; +- 典型案例归档。 + +### 5.4 第四步:形成服务与社区接口 + +目标是把平台从内部工具推进到合作能力。 +这一阶段应完成: + +- 模型推荐清单; +- 本地部署配置推荐; +- 算力中心选型建议; +- 模型社区入口与资料组织方式。 + +## 6. 各方责任与分工方式 + +这条线适合按四类角色组织。 + +### 6.1 唐老师团队 + +适合承担: + +- 对外合作牵头; +- 客户问题定义与场景归类; +- 服务模式设计; +- 报告交付结构与对外表达组织。 + +唐老师团队更适合站在“需求整合、问题转译、合作推进”的位置上。 + +### 6.2 罗老师团队 + +适合承担: + +- 评测方法学抽象; +- 指标体系设计; +- 对比逻辑与结论边界把关; +- 从个案经验中提炼共性规则。 + +罗老师团队更适合站在“方法论、评价体系、结果解释”的位置上。 + +### 6.3 平台与工程团队 + +适合承担: + +- 平台实现; +- 模型部署与运行; +- 评测脚本和自动化任务; +- 数据采集、日志治理与结果可视化; +- 优化项验证与回归测试。 + +这一角色是平台真正落地的执行核心。 + +### 6.4 合作方或客户方 + +适合承担: + +- 提供真实模型与场景目标; +- 提供约束条件与验收口径; +- 确认数据权限与部署边界; +- 对优化结果给出业务反馈。 + +客户方不负责平台方法学设计,但必须负责场景目标与验收边界。 + +## 7. 工作边界 + +为了避免这条线失焦,需要明确它不做什么。 + +### 7.1 不以训练新通用模型为主目标 + +这条线的重点是评测、优化和配置比较,不是另起炉灶训练新的通用基座模型。 + +### 7.2 不把平台做成纯展示系统 + +如果平台没有可重复实验、可复用模板和可解释报告,它就只是演示界面,而不是方法平台。 + +### 7.3 不把社区做成“模型仓库堆砌” + +本地模型社区的重点不在收集尽可能多的模型,而在于形成有用的模型说明、部署建议和优化经验。 + +### 7.4 不直接替代端侧和基础系统研究 + +这条线为整体研究提供模型运行证据,但它本身不替代 RTOS、基础系统和嵌入式部署课题。 + +## 8. 合作推进方式 + +这条线适合采用“三阶段合作法”。 + +### 8.1 阶段一:评测平台共建 + +重点是把实验环境、评测流程和数据记录打通。 +交付物以内部工具、基线实验和标准报告模板为主。 + +### 8.2 阶段二:优化服务协同 + +重点是围绕真实客户、真实模型和真实部署需求输出优化结果。 +交付物以优化报告、配置建议和案例沉淀为主。 + +### 8.3 阶段三:社区与区域合作扩展 + +重点是把积累下来的经验沉淀成更稳定的合作能力。 +交付物以模型推荐清单、社区入口、合作机制和服务手册为主。 + +## 9. 当前结论 + +这条线的真正价值,不是再做一个“模型体验平台”,而是: + +> **把模型、量化、算子、框架和硬件之间原本难解释的运行差异,变成一套可比较、可复现、可交付、可沉淀的证据与服务体系。** + +如果继续向前推进,它会自然生长出两个方向: + +- 一个是面向内部和合作项目的优化工作台; +- 一个是面向区域部署、本地模型与算力中心合作的本地模型社区。 diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/03-RTOS与AI实时控制基础系统课题讨论.md b/01-会议讨论/20260922_093448-会议主题拆分整理/03-RTOS与AI实时控制基础系统课题讨论.md new file mode 100644 index 0000000..12f8767 --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/03-RTOS与AI实时控制基础系统课题讨论.md @@ -0,0 +1,401 @@ +# RTOS与AI实时控制基础系统课题讨论 + +## 1. 主题定位 + +这部分讨论是整场会议中最接近课题主线、研究对象重定义和合作方向重构的核心内容。会议虽然从翼辉与 RTOS 相关问题切入,但最终形成的判断已经明显超出了“RTOS 是否更强”这一层,转向了一个更高层次的问题: + +> **当人工智能能力进入实时控制系统之后,真正需要研究和构建的对象,不再只是单一 RTOS,而是面向 AI 的实时控制基础系统。** + +这不是一句包装性口号,而是对研究主语、技术路线、合作方式和产业定位的重新组织。 + +## 2. 会议形成的核心结论 + +会议中稳定下来的,不是某一个局部技术答案,而是四项根本判断。 + +### 2.1 大模型实时性不是单一 RTOS 问题 + +人工智能目标负载进入系统之后,系统面对的问题来自多层要素共同作用,包括: + +- 模型结构与量化方式; +- 推理框架与运行时队列; +- RTOS 与 Linux 的角色分工; +- Hypervisor 与资源隔离结构; +- 芯片、总线、内存、DMA、NPU、GPU 等硬件资源形态; +- 规则兜底、异常切换和安全边界机制。 + +因此,会议给出的更准确判断是: + +> **人工智能进入实时控制系统之后,系统需要解决的是跨模型、跨运行时、跨基础软件和跨体系结构的整体实时性问题。** + +### 2.2 研究主语要从 RTOS 上移到基础系统 + +会议没有否定 RTOS 的价值,但明确反对继续把全部实时性问题都压到 RTOS 身上。 +RTOS 仍然是关键保障负载的确定性底座,但不再适合作为所有问题的唯一承担者。 + +更合适的研究对象应当写成: + +- 实时基础系统; +- 面向 AI 的实时控制基础系统; +- 面向 AI 的实时控制系统体系结构。 + +### 2.3 技术路线天然分成 MCU 路线与 SoC / 边侧路线 + +会议没有把所有场景压成同一套逻辑,而是明确区分了两类问题结构: + +- `MCU` 路线:更强调静态资源组织、开发工具链、芯片协同和开发套件; +- `SoC / 边侧` 路线:更强调 Linux、RTOS、Hypervisor 与异构资源共同构成的混合基础系统。 + +因此,更接近原意的概括不是“MCU 让 RTOS 多做点事、边侧上 Hypervisor”,而是: + +> **MCU 路线主要解决静态编排与工具链协同问题,SoC / 边侧路线主要解决 Hybrid、Hypervisor 与系统协同问题,而两条路线共同服务于“面向 AI 的实时控制基础系统”这一更高层次主语。** + +### 2.4 翼辉方向需要从 RTOS 产品叙事转向基础系统叙事 + +会议对翼辉这类公司的建议也比较明确: + +- 不再只讲 RTOS 厂商身份; +- 不再把“适配了什么系统”作为核心叙事; +- 转向“面向 AI 的实时控制基础系统供应方”; +- 用 5 到 10 年技术路线替代短周期适配叙事。 + +## 3. 基础系统视角下的问题结构 + +为了避免后续再把所有问题混在一起,会议内容更适合被整理成三个层次。 + +### 3.1 RTOS 直接控制域 + +这一层对应 RTOS 可以直接施加机制约束的范围,主要包括: + +- 周期任务与关键任务调度; +- 中断优先级、抢占关系和关键路径治理; +- CPU 侧线程、同步机制与时钟管理; +- 恢复、隔离和关键任务保护机制; +- 对部分共享资源策略的直接控制接口。 + +这一层回答的是: + +> **RTOS 如何为关键保障负载建立确定性底座。** + +### 3.2 推理运行域 + +这一层主要由模型、量化、算子、框架和运行时共同决定,主要包括: + +- 模型大小与数值精度; +- Prefill / Decode 的时延分布; +- KV Cache、工作区和内存组织方式; +- 推理框架队列、批处理与上下文管理; +- GPU/NPU 内部执行与驱动接口行为。 + +这一层回答的是: + +> **人工智能目标负载本身具有什么样的时间行为、资源行为和可优化空间。** + +### 3.3 系统协同域 + +这一层是会议真正抬起来的新重点,主要包括: + +- Linux 与 RTOS 的角色分工; +- Hypervisor 的隔离与资源划分; +- 总线、DMA、统一内存、外存和协处理器竞争治理; +- 规则兜底、异常切换与安全边界; +- 关键保障负载与人工智能目标负载之间的优先级结构。 + +这一层回答的是: + +> **在混合系统中,整体实时性如何被建立、维持和验证。** + +## 4. MCU 路线与 SoC / 边侧路线的真实含义 + +### 4.1 MCU 路线 + +会议对 `MCU` 方向的判断非常集中。 +更准确的理解不是“MCU 端让 RTOS 多做一些事”,而是:在极小资源预算场景中,问题本身就不适合按高动态运行时思维组织。 + +这一方向通常具有以下特点: + +- 动态空间极小; +- 内存和算力预算刚性; +- 控制任务和外设链路优先级极高; +- 更适合小模型、小算子和静态工作流; +- 更依赖离线配置、静态分配和代码生成。 + +因此,会议原意更接近: + +> **MCU 路线中 RTOS 的意义更接近静态组织底座、可分析执行环境和开发工具链的一部分,而不是承接高动态推理运行时的主体。** + +### 4.2 SoC / 边侧路线 + +`SoC / 边侧` 路线的判断也需要严格校准。 +它并不是一句“边侧用 Hypervisor”就能概括的。会议真正强调的是:设备端 SoC 会天然同时存在 Linux 生态需求和实时控制需求,因此更现实的路径,是构造一个能够治理混合结构的基础系统。 + +这类场景通常同时具有以下特征: + +- 需要 Linux 承接 AI 生态和推理框架; +- 需要 RTOS 承接关键控制与实时保障; +- 需要在同一 `SoC`、同一块板卡上处理统一内存和异构设备竞争; +- 还要同时面对设备级功耗、散热、体积和驱动限制。 + +会议对 `Hypervisor` 的态度是明确肯定的,但没有把它讲成单独答案。 +更准确的理解是: + +- `Hypervisor` 首先是一种隔离和资源切分方法; +- 它可以帮助划分 Linux 与 RTOS 的边界; +- 但它本身不能自动消除统一内存、总线、DMA、缓存和协处理器带来的全部竞争问题。 + +因此,这一路线真正保留并强化的是: + +> **面向 AI 实时控制系统的升级版 Hybrid,也就是能够处理分工、隔离、资源仲裁、规则兜底和异常切换的混合基础系统结构。** + +## 5. 建议的工作方式 + +这一主题不适合按“先写论文、再找技术点”的方式推进,而更适合按“先完成问题重定义,再完成路线定义,再组织预研验证”的方式推进。 + +### 5.1 先做课题重定义 + +第一步不是急于给出实现方案,而是把以下问题写清楚: + +- 研究主语为什么要从 RTOS 上移到基础系统; +- MCU 路线和 SoC / 边侧路线为什么不能混写; +- RTOS 直接控制域、推理运行域、系统协同域如何分层; +- Hybrid、Hypervisor、规则兜底在系统中的位置是什么。 + +这一阶段的产物应当是: + +- 一份课题重定义稿; +- 一份路线分层说明稿; +- 一份面向合作方的概念阐释稿。 + +### 5.2 再做技术路线分解 + +在问题定义清楚之后,再把路线拆成两个主方向: + +1. `MCU` 路线 + 重点看静态编排、工具链、开发套件、芯片协同。 +2. `SoC / 边侧` 路线 + 重点看 Linux / RTOS / Hypervisor 分工、Hybrid 升级、统一内存与总线竞争治理。 + +这一阶段的产物应当是: + +- 一份 MCU 路线稿; +- 一份 SoC / Hybrid 路线稿; +- 一份系统协同与规则兜底说明稿。 + +### 5.3 再组织预研验证 + +路线分解完成后,再进入原型和预研阶段。 +这一阶段不是全面铺开,而应选典型切口验证关键判断,例如: + +- 小模型与控制任务的静态编排; +- Linux 与 RTOS 分工下的控制链路保护; +- Hypervisor 隔离下的统一内存竞争; +- 模型输出与规则兜底共同构成的闭环。 + +### 5.4 最后再回收进主课题框架 + +只有在以上三步形成稳定判断之后,才适合把内容系统回收到主课题框架、论文规划和合作提案中。 + +## 6. 建议的推进步骤 + +### 6.1 第一步:形成概念共识 + +目标是对内把“RTOS 课题”与“基础系统课题”的边界说清楚。 +这一阶段应完成: + +- 会议判断整理; +- 原话核对; +- 关键词统一; +- 课题候选命名收敛。 + +### 6.2 第二步:形成路线稿 + +目标是把两个方向彻底拆开。 +这一阶段应完成: + +- MCU 路线稿; +- SoC / 边侧路线稿; +- Hybrid / Hypervisor 路线稿; +- 系统协同域说明稿。 + +### 6.3 第三步:形成合作版材料 + +目标是让外部合作方能够看懂“为什么值得做、准备怎么做、各方做什么”。 +这一阶段应完成: + +- 面向合作方的路线总述; +- 阶段性合作方式说明; +- 预研问题清单; +- 交付物框架。 + +### 6.4 第四步:组织预研与验证 + +目标是围绕少数关键问题开展验证。 +这一阶段应完成: + +- 板级或 SoC 原型验证; +- 小模型与控制任务共存实验; +- 混合系统资源竞争实验; +- 规则兜底与异常切换实验。 + +## 7. 各方责任与工作的边界 + +这一主题如果要继续推进,必须把责任和边界说清楚,否则很容易重新落回“谁都在提想法,没人真正推进”的状态。 + +### 7.1 唐老师团队 + +适合承担: + +- 对外合作牵头; +- 场景与需求整合; +- 课题框架转译; +- 合作节奏把控; +- 外部沟通和阶段汇报组织。 + +唐老师团队更适合处在“前端牵头、方案整合、合作推进”的位置。 + +### 7.2 罗老师团队 + +适合承担: + +- 研究主语与问题定义把关; +- 方法论抽象; +- 路线分层与概念边界校准; +- 研究价值、学术表达和系统建模方向的判断。 + +罗老师团队更适合处在“高层框架、方法论和方向判断”的位置。 + +### 7.3 翼辉或对应产业团队 + +适合承担: + +- RTOS、工具链、板级环境和基础软件条件说明; +- MCU 路线和 SoC 路线的工程条件提供; +- Hybrid / Hypervisor / 板级验证路径提供; +- 原型实现与工程可行性反馈。 + +产业团队不负责课题理论抽象,但负责把路线落到真实平台条件上。 + +### 7.4 项目组或工程支撑团队 + +适合承担: + +- 会议整理与材料撰写; +- 路线稿、合作稿和阶段文档整理; +- 预研验证组织; +- 图表、报告和证据归档。 + +这一角色更偏执行支撑与资料组织。 + +## 8. 工作边界 + +### 8.1 这项工作当前首先是“定义工作”,不是全面工程实现 + +会议形成的第一价值,是重新定义问题和路线。因此现阶段不宜直接把重点放在“大规模开发”上。 + +### 8.2 当前重点是“搭框架”,不是“宣称已经解决” + +无论是 MCU 路线还是 SoC / Hybrid 路线,当前更适合先形成稳定的问题定义、路线定义和验证问题,而不是过早给出“完整解决方案”叙事。 + +### 8.3 学术问题与产业问题需要并行,但不能混写 + +学术上要回答: + +- 问题定义是否成立; +- 三层边界如何组织; +- 经典实时理论如何扩展。 + +产业上要回答: + +- 产品路线怎么讲; +- 哪些工程条件已经具备; +- 预研从哪里切入。 + +这两类问题必须关联,但不能混成一篇只讲口号的材料。 + +## 9. 合作推进方式 + +这一主题适合采用“规划先行、预研跟进、原型验证收口”的推进方式。 + +### 9.1 第一阶段:规划与定义 + +重点是: + +- 统一研究主语; +- 统一路线分层; +- 统一合作表达; +- 形成首轮课题和合作框架稿。 + +这一阶段的交付物应以定义稿、路线稿和合作稿为主。 + +### 9.2 第二阶段:预研与技术论证 + +重点是: + +- 抽取少数关键问题做原型验证; +- 形成系统协同和控制闭环的实证材料; +- 把 MCU 路线与 SoC 路线分别落到真实平台。 + +这一阶段的交付物应以预研报告、实验记录和系统草案为主。 + +### 9.3 第三阶段:联合课题与对外输出 + +重点是: + +- 回收进正式课题框架; +- 形成面向项目、论文和合作申请的材料; +- 根据需要向白皮书、论文和对外交流稿扩展。 + +## 10. 对当前研究仓库的直接影响 + +这场会议对当前仓库至少带来六项直接影响。 + +### 10.1 研究主语需要继续上移 + +当前仓库已经从“硬件主语”转到“RTOS 主语”,而会议进一步提示:下一步更值得推进的是从“RTOS 主语”继续上移到“基础系统主语”。 + +### 10.2 `T5~T1` 验证矩阵仍然有效 + +会议没有否定验证矩阵,而是强化了一个更清晰的判断: + +- `T5/T4/T3` 更适合作为系统研究主窗口; +- `T2/T1` 作为 RTOS 优势主战场的意义较弱; +- 但作为 AI 负载和系统协同的参照窗口仍然有价值。 + +### 10.3 需要把“系统协同域”单独写出来 + +当前仓库的五层技术栈已经是很好的起点,但后续需要明确写出: + +- RTOS 可控域; +- 模型与运行时域; +- Linux、Hypervisor、芯片与资源治理共同构成的系统协同域。 + +### 10.4 “实时性”需要从纯 OS 叙事中适度抽离 + +后续文档更适合写成: + +- 实时控制系统中的 AI 能力; +- 引入 AI 后的整体实时性问题; +- 基础系统如何维持控制路径与 AI 路径的统一时间边界。 + +### 10.5 低功耗、小型化方向会自然进入主线 + +一旦研究对象上移到基础系统,低功耗、小型化、片上资源预算这些问题就不再只是应用专题,而会自然进入主线。 + +### 10.6 后续课题命名需要重新评估 + +如果沿着这次会议的判断继续推进,候选命名更适合向以下方向收敛: + +- 面向 AI 的实时控制基础系统; +- 人工智能目标负载进入实时控制系统后的基础系统保障机制; +- 面向 AI 实时控制系统的嵌入式体系结构与基础系统研究。 + +## 11. 当前结论 + +这场会议最重要的价值,不是提供了一个立即可落地的单点技术答案,而是把观察视角整体抬高了一层。 + +会议最终给出的判断可以概括为: + +> **人工智能进入实时控制系统之后,真正值得研究和构建的对象,不再只是单一 RTOS,而是一个围绕实时性、控制性、推理性和体系结构协同展开的基础系统。** + +如果进一步压缩成最贴近会议原意的一句话,可以写成: + +> **MCU 路线主要走静态编排、工具链与芯片协同,SoC / 边侧路线主要走 Linux + RTOS + Hypervisor + 升级版 Hybrid 的系统协同,而两条路线共同服务于“面向 AI 的实时控制基础系统”这一更高层次主语。** diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/04-垂直大模型训练框架与代训服务.md b/01-会议讨论/20260922_093448-会议主题拆分整理/04-垂直大模型训练框架与代训服务.md new file mode 100644 index 0000000..fa5dfff --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/04-垂直大模型训练框架与代训服务.md @@ -0,0 +1,321 @@ +# 垂直大模型训练框架与代训服务 + +## 1. 主题定位 + +这一部分讨论的不是“再训练一个行业版通用模型”这么简单,而是一套更完整的方法论:如何理解垂直大模型训练,为什么“通用模型 + 行业语料”不足以形成真正的垂直能力,以及为什么围绕这一方法论形成的代训服务在产业上是成立的。 + +这条线本质上站在 AI 上层任务语义、业务结构和训练目标设计这一侧,和基础系统、边缘部署、智能体应用构成上下游关系。它回答的是: + +> **行业模型为什么不是简单加语料,而是一整套角色、目标、制度、流程和边界的结构化重建。** + +## 2. 会议形成的核心判断 + +这部分讨论形成了五个稳定判断。 + +### 2.1 垂直大模型不等于“通用模型 + 行业语料” + +会议明确反对把垂直模型简化为: + +`垂直大模型 = 通用大模型 + 行业语料` + +原因在于,业务差异并不只是语言风格差异,而是更深层的结构差异,包括: + +- 角色不同; +- 目标函数不同; +- 制度约束不同; +- 动作空间不同; +- 工作流不同; +- 升级与分流机制不同; +- 业务边界与处理边界不同。 + +### 2.2 真正决定垂直模型表现的是结构,而不是数据量本身 + +如果训练目标没有定义清楚,即便不断增加行业语料,也往往只能得到“更像行业说话方式”的模型,而得不到真正能在行业流程里工作的模型。 + +因此,关键不只是准备更多数据,而是把业务结构编码进训练与后训练过程。 + +### 2.3 “七要素框架”是会议中最有价值的方法学沉淀 + +会议中已经形成了一个比较稳定的“七要素”思路: + +1. 主体角色; +2. 目标函数; +3. 领域知识; +4. 制度约束; +5. 动作空间; +6. 工作流; +7. 业务边界与处理边界。 + +这个框架的价值在于,它把“垂直化”从模糊概念变成了可拆解、可设计、可复核的方法问题。 + +### 2.4 代训服务之所以成立,是因为客户往往缺的不是算力,而是结构化建模能力 + +很多企业并不具备以下能力: + +- 定义训练目标; +- 识别主体角色; +- 拆分制度约束; +- 组织工作流; +- 设计动作空间; +- 区分模型边界与人工边界。 + +因此,代训服务的真实价值不只是“帮客户训练模型”,而是帮助客户完成一轮业务结构显化与训练目标重构。 + +### 2.5 这条线本身可以沉淀为独立的方法与服务体系 + +如果把这一套能力做扎实,它不只是某次项目中的附属服务,而可以形成: + +- 方法论材料; +- 咨询服务; +- 联合研发流程; +- 训练与后训练工具链; +- 行业模型开发手册。 + +## 3. 这条线真正要做的事情 + +从会议内容看,这条线真正要建设的,不是单一训练流程,而是一套“三层能力”。 + +### 3.1 业务结构抽象能力 + +先把客户的业务系统抽象成: + +- 谁在工作; +- 为了什么工作; +- 在什么制度约束下工作; +- 有哪些动作空间; +- 哪些流程是固定的; +- 哪些决策需要模型参与; +- 哪些边界必须保留给人。 + +### 3.2 训练与后训练设计能力 + +在业务结构清楚之后,再组织: + +- 数据准备; +- 监督微调; +- 偏好对齐; +- 工作流约束注入; +- 工具调用结构; +- 边界与拒答策略。 + +### 3.3 交付与服务能力 + +最终落到客户侧,需要输出的不只是模型本身,还包括: + +- 业务结构说明; +- 训练目标说明; +- 数据与流程边界说明; +- 部署建议; +- 持续优化计划。 + +## 4. 建议的工作方式 + +这条线更适合采用“先结构化建模,再训练设计,再联合迭代”的工作方式。 + +### 4.1 先做业务结构访谈,不急于进训练 + +第一步不是立刻收数据、开始训,而是先做业务和任务建模。 +需要先回答: + +- 这个行业里谁是主角色; +- 模型服务的主任务是什么; +- 业务里的目标函数是什么; +- 制度和规则约束是什么; +- 哪些地方允许模型生成,哪些地方必须人工把关。 + +### 4.2 再做训练框架设计 + +当业务结构明晰后,再确定: + +- 数据如何组织; +- 训练样本如何标注; +- 哪些能力靠训练获得; +- 哪些能力靠后训练或工作流获得; +- 哪些边界不应交给模型。 + +### 4.3 最后用联合迭代替代“一次性交付” + +会议隐含的判断是,垂直模型不会一次训练就稳定成型,更适合: + +- 小步迭代; +- 领域专家反馈; +- 规则修正; +- 数据回流; +- 后训练与工作流联调。 + +## 5. 建议的推进步骤 + +### 5.1 第一步:完成业务结构建模 + +这一阶段应完成: + +- 角色梳理; +- 目标函数梳理; +- 制度与规则梳理; +- 工作流和动作空间梳理; +- 业务边界和模型边界划分。 + +这一阶段的产物应当是: + +- 结构化访谈纪要; +- 业务框架图; +- 七要素分析表。 + +### 5.2 第二步:形成训练与后训练设计稿 + +这一阶段应完成: + +- 数据来源清单; +- 训练样本设计; +- 后训练目标设计; +- 工作流与工具调用关系设计; +- 安全边界与人工介入点设计。 + +这一阶段的产物应当是: + +- 训练设计稿; +- 后训练流程稿; +- 数据治理与边界说明。 + +### 5.3 第三步:组织小规模联合试训 + +这一阶段不追求一步到位,而应聚焦少量高价值任务。 +应完成: + +- 小样本试训; +- 关键任务验证; +- 失败案例分析; +- 人工反馈回流; +- 规则与工作流调整。 + +### 5.4 第四步:形成代训服务包 + +当试训稳定之后,再将其沉淀为更稳定的服务形态,包括: + +- 咨询服务包; +- 数据与训练准备包; +- 联合试训包; +- 交付和持续优化包。 + +## 6. 各方责任与分工方式 + +这条线最怕“只有技术团队在训,没人定义业务”,因此责任划分必须非常清楚。 + +### 6.1 唐老师团队 + +适合承担: + +- 对外需求沟通; +- 业务问题转译; +- 行业合作推进; +- 服务包设计; +- 对外汇报和合作节奏组织。 + +唐老师团队更适合站在“业务和合作牵引”的位置。 + +### 6.2 罗老师团队 + +适合承担: + +- 七要素方法论抽象; +- 垂直模型问题定义; +- 训练目标与边界设计把关; +- 从个案中提炼共性框架。 + +罗老师团队更适合站在“方法论和结构建模”的位置。 + +### 6.3 训练与工程团队 + +适合承担: + +- 数据处理; +- 训练与后训练实现; +- 评测与失败样例分析; +- 工具调用和工作流联调; +- 交付部署支持。 + +这一角色负责把方法落到真实模型流程上。 + +### 6.4 行业客户或业务合作方 + +适合承担: + +- 提供真实业务流程和语料; +- 明确角色、规则和边界; +- 参与效果验收; +- 对失败样例和业务偏差给出反馈。 + +客户方不负责训练方法设计,但必须负责业务真实性和边界清晰度。 + +## 7. 工作边界 + +### 7.1 这条线不等于“做行业语料堆叠” + +如果只是追加语料而不重构角色、目标和工作流,就不构成真正的垂直模型训练框架。 + +### 7.2 这条线不等于“代替客户完成全部业务数字化” + +代训服务可以帮助客户显化结构,但不应承担全部业务改造工作。 + +### 7.3 训练、后训练、智能体工作流必须区分 + +后续材料中要明确区分: + +- 哪些能力靠训练获得; +- 哪些能力靠后训练获得; +- 哪些能力靠工作流、工具和规则系统获得。 + +### 7.4 这条线不直接替代基础系统研究 + +它补充的是 AI 任务语义、行业目标和训练结构层,但不替代 RTOS、基础系统和部署层研究。 + +## 8. 合作推进方式 + +这条线适合采用“咨询先行、试训跟进、服务沉淀”的推进方式。 + +### 8.1 第一阶段:方法咨询与结构建模 + +重点是: + +- 业务访谈; +- 七要素建模; +- 训练边界和工作流边界定义; +- 确定适不适合做垂直模型。 + +### 8.2 第二阶段:联合试训与验证 + +重点是: + +- 选择少量高价值任务; +- 做小规模试训; +- 验证训练、后训练和工作流哪个更有效; +- 形成失败案例和调整机制。 + +### 8.3 第三阶段:形成代训服务与长期合作 + +重点是: + +- 输出服务包; +- 形成长期优化机制; +- 必要时推进工具链和标准化材料。 + +## 9. 与整体研究主线的关系 + +这一主题虽然看上去更偏大模型产业化,但它和整体研究并不冲突,反而补足了上层语义与任务定义层。 + +它的价值主要体现在: + +- 补充 AI 目标负载的任务语义与业务边界; +- 说明系统表现并不只由 OS 决定,训练目标和模型结构同样重要; +- 可以与行业样例、边缘部署、小型化系统和智能体应用形成上下游关系。 + +## 10. 当前结论 + +这条线真正值得保留的,不是“代训”这个商业词本身,而是它背后的方法学判断: + +> **垂直大模型的核心不是在通用模型上附加行业语料,而是把角色、目标、制度、动作空间、工作流和边界结构编码进训练与后训练过程。** + +如果继续向前推进,它最可能沉淀成两类成果: + +- 一类是垂直模型方法论和训练框架; +- 一类是围绕这一方法论建立起来的咨询、试训和代训服务体系。 diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/05-法律政务数据治理智能体与XAPP平台.md b/01-会议讨论/20260922_093448-会议主题拆分整理/05-法律政务数据治理智能体与XAPP平台.md new file mode 100644 index 0000000..cbd4cf7 --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/05-法律政务数据治理智能体与XAPP平台.md @@ -0,0 +1,330 @@ +# 法律政务数据治理智能体与XAPP平台 + +## 1. 主题定位 + +这一部分主要来自会议后半段的延伸讨论,内容已经明显脱离 RTOS 研究本身,转向法律、纪委办案、数据治理智能体和平台化产品形态。它是一条非常独立的产品与应用主题,但又和前面几个主题形成上下游关系:上接大模型方法与训练问题,下接具体行业系统和交付方式。 + +这条线真正关心的,不是“做一个能聊天的法律助手”,而是: + +> **如何把复杂的数据治理、关系发现、证据组织和报告生成过程,封装成面向专业人员可直接使用的业务系统。** + +## 2. 会议形成的核心判断 + +这部分讨论形成了五个稳定判断。 + +### 2.1 政务与法律场景的核心问题不是对话,而是复杂数据治理 + +会议中提到的多个场景,本质上都在解决同一类问题: + +- 多来源、多格式、多模态资料导入困难; +- 原始数据需要清洗、映射、关联、解释和展示; +- 用户不愿意直接操作复杂数据分析工具; +- 用户真正需要的是问题理解、关系发现、证据组织和报告生成。 + +因此,这一主题的主线不是“做一个聊天机器人”,而是“把复杂数据治理过程封装成可操作的业务系统”。 + +### 2.2 专业应用不能被压扁成单一聊天窗口 + +会议对纯对话式工作台给出了明确修正: + +- 重交互业务不能只靠聊天界面承载; +- 上传物、工作流、结果区、图谱区和报告区都需要独立存在; +- 专业应用必须保留自己的界面和流程结构。 + +这意味着平台设计必须尊重业务 UI,而不是试图把一切都压成一个对话框。 + +### 2.3 法律和政务场景更适合“专业应用 + 平台壳”的结构 + +会议里出现的多个场景都说明: + +- 纪委办案系统需要强数据治理能力; +- 律师产品需要强访谈、证据和报告能力; +- 脱敏工具需要独立的安全工具形态; +- 不同应用之间可以共享工作台和通用能力,但不应失去各自的业务结构。 + +这就是 `XAPP` 思路出现的原因。 + +### 2.4 平台价值和应用价值必须分开定义 + +平台的价值在于: + +- 提供统一工作台; +- 提供账号、路由、权限、文件管理、日志和通用模型能力; +- 提供应用接入框架。 + +应用的价值在于: + +- 行业模型; +- 规则系统; +- 数据治理逻辑; +- 具体业务流程与交付物。 + +如果平台和应用不分,结果往往是平台过空,应用过散。 + +### 2.5 本地部署和数据安全是这条线的刚性约束 + +无论是纪委办案还是法律业务,会议都明确指出: + +- 数据安全要求高; +- 现场部署需求强; +- 响应稳定性要求高; +- 数据不能随意外流。 + +因此,这条线天然更适合本地部署或专有环境部署。 + +## 3. 会议中浮现出的几类产品 + +### 3.1 纪委办案数据治理智能体 + +这一方向主要面向: + +- 银行流水; +- 通话记录; +- 出行数据; +- 房产信息; +- 保险与其他多源资料。 + +它的核心不是“自动办案”,而是: + +- 导入; +- 清洗; +- 模板映射; +- 关系发现; +- 分析辅助; +- 报告与材料组织。 + +### 3.2 律师场景产品 + +会议中提到的律师方向主要包括: + +- 婚家咨询访谈整理; +- 证据组织与关系发现; +- 资金分析; +- 脱敏工具。 + +这一方向说明,法律行业更适合“专业工具 + 专业流程”,而不是通用助手叙事。 + +### 3.3 XAPP 平台 + +会议中提出的 `XAPP` 平台思路非常关键。 +它的含义不是再造一个“总助手”,而是: + +- 共享统一工作台; +- 每个应用保留独立 UI; +- 应用之间共享登录、权限、文件、模型和路由; +- 复杂业务仍然通过界面、表格、流程和产物区组织。 + +这实际上是对“纯聊天平台”路线的一次重要修正。 + +## 4. 这条线真正要做的事情 + +如果把会议内容收束,这条线真正要建设的是“三层产品能力”。 + +### 4.1 数据治理底层能力 + +包括: + +- 多源数据导入; +- 模板识别与字段映射; +- 清洗与标准化; +- 关系抽取与图谱组织; +- 检索与追踪。 + +### 4.2 行业应用能力 + +包括: + +- 办案智能体; +- 律师访谈和报告产品; +- 脱敏工具; +- 关系分析和证据整理工具。 + +### 4.3 XAPP 平台能力 + +包括: + +- 统一工作台; +- 应用路由; +- 权限与账号系统; +- 文件与任务管理; +- 共用模型和公共能力接入。 + +## 5. 建议的工作方式 + +这条线更适合采用“先单应用打透,再平台化抽象”的工作方式,而不是一开始就先做大平台。 + +### 5.1 先用具体高价值场景验证价值 + +应优先选择最痛、最清楚、最容易形成产物的场景,例如: + +- 纪委办案数据治理; +- 婚家咨询整理与报告; +- 脱敏处理工具。 + +先让单点应用把价值打透。 + +### 5.2 再抽象可复用的中间层 + +当单点应用稳定之后,再把其中共性能力抽出来,例如: + +- 数据导入; +- 模板映射; +- 关系图谱; +- 报告生成; +- 权限与日志管理。 + +### 5.3 最后再形成 XAPP 平台壳 + +只有在多个应用共享同一组共性能力之后,再做平台化抽象,才不会做成空平台。 + +## 6. 建议的推进步骤 + +### 6.1 第一步:选择 1 到 2 个高价值场景做应用原型 + +这一阶段应完成: + +- 选定业务场景; +- 梳理数据来源; +- 梳理用户任务; +- 梳理需要生成的产物; +- 明确本地部署和安全要求。 + +### 6.2 第二步:打通数据治理链路 + +这一阶段应完成: + +- 数据导入; +- 模板映射; +- 清洗与标准化; +- 关系发现; +- 初步报告生成。 + +### 6.3 第三步:形成应用级交付 + +这一阶段应完成: + +- 独立 UI; +- 工作流组织; +- 上传区、处理中间区、结果区和报告区; +- 用户可操作的专业化界面。 + +### 6.4 第四步:抽取平台共性能力 + +当两个以上应用出现后,再抽取: + +- 登录权限; +- 文件和任务管理; +- 通用模型调用; +- 公共组件; +- 应用接入标准。 + +## 7. 各方责任与分工方式 + +这条线如果要落地,必须明确“谁负责场景、谁负责系统、谁负责方法、谁负责交付”。 + +### 7.1 唐老师团队 + +适合承担: + +- 行业需求获取与场景梳理; +- 客户沟通; +- 交付方案组织; +- 产品方向和合作节奏把控; +- 对外汇报与合作推进。 + +### 7.2 罗老师团队 + +适合承担: + +- 方法论抽象; +- 数据治理逻辑与共性框架判断; +- 平台层与应用层边界把关; +- 从个案产品中提炼通用结构。 + +### 7.3 产品与工程团队 + +适合承担: + +- 数据治理链路实现; +- 应用 UI 与工作流实现; +- 报告和图谱模块; +- 平台共性能力抽取; +- 本地部署与安全实现。 + +### 7.4 行业合作方或客户方 + +适合承担: + +- 提供真实业务数据与使用流程; +- 明确合规和安全要求; +- 参与验收; +- 对应用效果与流程合理性给出反馈。 + +## 8. 工作边界 + +### 8.1 这条线不等于“做个法律聊天机器人” + +如果把重点放在聊天入口,而不解决数据治理、图谱、报告和流程问题,这条线就会失焦。 + +### 8.2 平台不应先于应用存在 + +没有稳定的应用需求支撑,先做平台很容易变成空壳工程。 + +### 8.3 专业应用必须保留独立 UI 和工作流 + +不应把纪委、律师、脱敏工具都压成同一种对话式界面。 + +### 8.4 这条线不直接纳入 RTOS 主课题 + +它是独立的应用和产品方向材料,适合作为并行线保留,而不是强行并入基础系统主研究。 + +## 9. 合作推进方式 + +这条线适合采用“单应用切入、共性能力抽取、平台化收口”的推进方式。 + +### 9.1 第一阶段:应用验证 + +重点是: + +- 选具体场景; +- 做原型; +- 证明价值; +- 形成第一批产物。 + +### 9.2 第二阶段:应用扩展与复用 + +重点是: + +- 增加第二类应用; +- 比较共性与差异; +- 抽取中间层能力; +- 形成通用模块。 + +### 9.3 第三阶段:平台化与持续合作 + +重点是: + +- 建立 XAPP 平台结构; +- 定义应用接入标准; +- 形成长期合作和产品化路线。 + +## 10. 与整体研究材料的关系 + +这一主题虽然不直接属于 RTOS 主线,但对整体项目仍然有两类价值: + +- 它说明 AI 应用进入真实行业以后,对数据治理、平台结构、UI 组织和本地部署的要求会非常具体; +- 它可以作为后续讨论“平台层”“XAPP 层”“工作流层”和“专业应用层”的现实参照。 + +因此,它不应被强行塞进 RTOS 课题,但值得作为独立并行材料长期保留。 + +## 11. 当前结论 + +这条线真正值得保留的,不是若干零散行业点子,而是一条更稳定的产品判断: + +> **法律政务类智能体的核心,不是对话入口,而是把复杂数据治理、关系分析、业务流程和报告产出封装成专业应用,并在多个应用之上抽象出 XAPP 平台能力。** + +如果继续往前推进,这条线最自然的演化方式是: + +- 先做高价值行业应用; +- 再抽取共性数据治理能力; +- 最后收口到平台和应用协同的产品结构。 diff --git a/01-会议讨论/20260922_093448-会议主题拆分整理/20260922_093448-唐老师与罗教授团队会议全文.md b/01-会议讨论/20260922_093448-会议主题拆分整理/20260922_093448-唐老师与罗教授团队会议全文.md new file mode 100644 index 0000000..4f1b6d8 --- /dev/null +++ b/01-会议讨论/20260922_093448-会议主题拆分整理/20260922_093448-唐老师与罗教授团队会议全文.md @@ -0,0 +1,3841 @@ +# 20260922\_093448 唐老师与罗教授团队会议全文 + +> 2026年9月22日 下午 3:20 +5小时 26分钟 45秒 + +### 关键词 + +`硬件` `智能` `语料` `服务器` `软件` `实时` `架构` `产品` `界面` `操作系统` `嵌入式系统` `基础系统` `模型优化` `人工智能` `模型训练` `商业模式` `系统架构` `模型框架` + +### 文字记录 + +唐老师 00:00 +期的板块的分析。然后说这个也有一些机会嘛,结果没想到就一做就做到了差不多十来年的时间,主要的时间放在这个投资融资上面去了。就在花旗。花旗是后面。 + +罗蕾教授 00:14 +它专门有一个投资部嘛。 + +唐老师 00:16 +它是下面的所罗门史密斯巴尼,所罗门银行,投行。投行。对,花旗是商行,花旗是总体来讲它是个商业银行,他们下面的投行叫所罗门,所罗门史密斯巴尼。然后呢,对,做美国,对,做投行,做投资,做了整整就七年的时间。到09。是很好的时代。是是是,那时候我跟像中信啊,像这个中金啊,他们的一些高层都有很多的交流,他们经常到美国去学习嘛,我跟他们做一些报告,所以那个时候就有很多个城市的投资官呐,包括住住户办代表啊,还有甚至国外的这些领馆的,都交流。 + +唐老师 00:59 +后来我大概 10 年的时候吧,我 10 年的时候就回国来做一个这个券商,香港证券公司在大陆的首席代表。但是我整条线都是做科技投资的,都是这条线,科技企业上市。后面到 14 年的话呢,做重庆产业引导基金和杭州市基金的头尾,一边也是,也都是科技条线的,还有常州人农村英才基金评委,到一直到 23 年, 2023 年科技上,就重庆科风投和重庆产业引导基金做重组,他们的一些资产合并到渝富集团去。然后呢,我渝富的领导没那么熟,哈哈。我就跟他们讲,我说我就不做了,我就回到。跟学校去多做一些合作,所以现在是跟上海交大 X 实验室,我们在计算机软件学院那边的 X 实验室,我在跟他们联合在做一个相当于这个是一个三产的公司。这是一个三产的公司,就是。 + +罗蕾教授 02:06 +是上交大自己的公司。 + +唐老师 02:08 +其实是老师的。老师的公司。老师的公司。 + +罗蕾教授 02:11 +上交大的一个教授的公司。 + +唐老师 02:13 +对对对。 + +罗蕾教授 02:14 +主要做什么呢?做投资吗? + +唐老师 02:15 +我们没有,这个就不是投资了,就是就是大模型优化。 + +罗蕾教授 02:18 +就做产业优化。 + +唐老师 02:19 +纯技术型的。纯技术了。对对,我们现在是,其实我我本身学的就是就是神经网络。 + +罗蕾教授 02:25 +这家公司叫什么? + +唐老师 02:27 +叫博通博通致远软件。博通致远。对,博通致远,对对。 + +罗蕾教授 02:32 +主要是做 AI 的。 + +唐老师 02:34 +做AI,我们主要做大模型优化。 + +罗蕾教授 02:36 +大模型优化。 + +唐老师 02:37 +对对,做大模型的算子优化为主的。对。然后,对对,算子优化当中的话呢,涉及到这次我给你们看。 + +罗蕾教授 02:46 +计算机还是很活跃的。 + +唐老师 02:48 +嗯,非常活跃,就是他们那边几个老师呢,本来本来想给我安排一个教职这类的,后来我说这个事情。太累了。有没有意义哈?就是大家可能商量完了过后还觉得,因为他们很多想法和做法呢,还有包括人手也比较充沛。对。还不如就是让我来直接帮他们把这个算法变成这个一个可以实施的东西。对。 + +唐老师 03:11 +刚好那个又工信部呢,去年的 10 月份,又找我去,我给他们很早就讲过课,工信部就是万寿路那边那个,中小企业中心,他们不是搞那个,每一年,就小巨人,小巨人的和那个专精特新,都是他们那边评的嘛。我之前的话呢,通过清华大学的商学院,给他们的学员讲过课。后来去年 10 月份,他们搞新的一个班,叫小巨人班,做了一个先进制造商学院。就是工信部现在的。 + +罗蕾教授 03:48 +这个商学院谁搞的呀? + +唐老师 03:50 +就是中小中心。 + +罗蕾教授 03:51 +他们自己搞的商学院。对。 + +唐老师 03:53 +哎,他们还挺。对对对对对,还真是,对。但他这个商学院有一点跟别人还不太一样,他他其实更多像一个小巨人的一种培训基地的感觉。智能制造哈。对,智能制造,全是智能制造企业。他下面的话呢,先进制造商学院开了两种班,一种是总裁班,一种是就是上市预备班。就是上次预备班的第一期开班的时候,他们几个老师找我聊,然后就觉得可能我的经验阅历跟他们是最匹配的。就是技术背景完全覆盖的到他们几乎大部分的企业,半导体为主嘛。 + +唐老师 04:31 +他们这一轮想以半导体、AI、软件,还有智能升级为主,就是工厂里面的就是从简单的原来的那种第一代的早期机器人。对。升级成工业机器人,闭环闭环的工业机器人呢。还有本地算力仓啊,还有这个,现在是系统里面的话增加 AI 啊这些,他这一块都都是涉及到。现在的今天的商学院的学术主任的话呢,就是罗伟光,罗老师。对罗伟光,对,就罗老师他是做学术主任的,然后我还有另外几个老师,其实包括了一个徐明,就是。原来北交所的总经理。 + +罗蕾教授 05:15 +都在里头。 + +唐老师 05:16 +嗯,北交所总经理是。太高大上了。是讲讲课老师跟我一样。 + +罗蕾教授 05:21 +北京是不一样。 + +唐老师 05:22 +对,他就号召力就就比较低。对,北交所总经理直接请来当老讲授课老师。太高大上了。是不是?所以就是这么一个背景,我觉得也挺好,后来我就没有去正式的去申请那个交大的教职,我就直接以这个对。对,对,先,对对对。 + +罗蕾教授 05:50 +相当于自己就更加自由一点。 + +唐老师 05:53 +对对,就自由一点,然后他们,因为商学院,交大商学院,那个工信部的先进商学院也经常要找我去讲课。对。所以这样不然他们就会比较麻烦,他们说如果这样每次去借调的话,还要走手续,所以干脆就说反正他们老师们几个商学院本来就经常请我们,就干脆就先以这个先这样合作起来先再说,明年再看吧。所以今年的话呢,就是我们这个博通致远的话呢,就是。现在的我这个能投影的话,我给你们看一下啊。 + +罗蕾教授 06:28 +这个现在行不行? + +萧炫百 06:29 +是有。 + +唐老师 06:31 +没开。 + +罗蕾教授 06:31 +应该是要用这个,可能要用这个。你问一下那个谁。这个投影,这个是不是要用这个?这个怎么用?我看看。 + +唐老师 06:48 +用这个吧。投影仪坏了是吧?你帮我开一下,谢谢。 + +唐老师 07:08 +他们,其实我现在都还在重庆科风投他们那个基金里头,我还认投委的。大概一两个月还得去一趟,给他们报告,对对。重庆的还有一个杭州的一个杭州实业集团的一个基金也是,我等一下,认他,因为他们的周期都比较长。但弄完了过后的话,两三年弄完了过后,可能我会跟另外的政府机构或者是基金的,我们再合作一个新的。 + +唐老师 07:49 +帮我切到切一个信号,罗老师的在学生当中的声誉和行业地位。非常的受受大家尊重的这个。昨天我我跟,昨天我还去副总那边了,昨天我还去赴宴那边了,对。 + +罗蕾教授 08:23 +他昨天晚上不是到北京去了哈。 + +唐老师 08:25 +是是是,昨天中午的时候,他跟我在又多聊了一会。然后呢,他们陈燕,陈仁斌教授的话,他们在搞那个垂直大模型训练嘛。对。然后我们就有一点简单的交流,就大概也说了一下,垂直大模型训练当中的一些问题。所以我想的话呢,今天两三个维度吧。主要其实跟您报告。就我现在的时间精力主要是还是在大模型上面的。就像嵌入式系统和实时操作系统,那肯定都是只是学生级的哈,哈哈,您是老师,所以就来稍微讲一下,讲一下我们现在的想法和计划,看看您怎么指导一下这个事儿。一辉他们那边也很期待这个事儿。一辉信息呢,他们在国内算是算嵌入式和实时算做的比较有点,成果了。对。但是他他也有他的局限性。他们董事长的话呢,等一下跟您专门讲一下这个事儿,他们董事长。 + +唐老师 09:31 +能不能给他做一些概念和技术栈的扩展?所以我给罗老师报告了一下,说他们确实有这个想法,也在他们的首席科,首席也在跟我一起想这个思路。我先说一下博生汇源的事,公司名字叫博生智远,我们现在的商标叫做博生汇源。其实是有交大和一个副院长,还有一个是电,还有一个是那个。上海理工大学,上海理工大学光学院的高院长。这也是一个原因,为什么就,就是实际上是有两个教授,两个院长在里头,但是他们都在一个项目里面,本来他都是在合作的。所以大家一碰,哎,结果发现还挺好的。对。 + +唐老师 10:18 +大家都想有有一个校外的哈,咱们就当自己人说话了,就说的直白一点,就都想有个校外的能够转化产品的一个小的团队吧,然后刚好就适合我来弄这个事情,然后我又能做一些研究,所以大家就还是比较。觉得就比较顺,就推起来了。我们这个其实也搞了两年的时间了,从 24 年初开始到现在,我们总共做了大概 6 套架构。是因为我们面向横向课题的时候写的,但是稍微更聚焦具体一点,就我就先拿这个说一下。哎,他为什么有一个?哎,这个线不是特别稳啊。那反正先看吧。里面呢,我们做了这些其实都是比较。比较。 + +罗蕾教授 11:16 +这个线还是换一个线,是这个线吗? + +唐老师 11:19 +我换一个试试看。 + +罗蕾教授 11:20 +哎,这个线。 + +唐老师 11:21 +也是也是。 + +罗蕾教授 11:22 +对对对,是他那根线有问题。 + +唐老师 11:24 +我觉得这根线好像有点问题,对,我换一个那个,对。这个也是插上的,那我换一个口试一下。谢谢。上海交大的人工智能,人工智能领域里面,现在它有三个部门在承担,一个是 AI 中心,一个是软件学院的 X 实验室。我们就这条线上面,我们就跟 X\- Lance 实验室,对,这个更稳定,就合作比较多。好,那我这个就简单说一下这里哈,后面还有一些技术课题的信息。这个呢就是,哦,可能都,可能是兼容性的问题,可能不一定是这个,就将就看吧。好,这个是我们的几套架构,这个主要是做里面的话呢,像时序预测的呀,都是数据融合啊, LM 行为架构啊,我的老天爷,这怎么会这样呢? + +萧炫百 12:35 +我我没有带。 + +唐老师 12:41 +这就奇了怪了,他这为什么老是这个?是分辨率的问题。有可能是分辨率的问题,两位老师不用动了吧,我就自己调一下,我看看他是不是这个分辨率。对,有可能是这个,我还没遇到过这种情况,但是。哦,可能刷新率的问题,我这个刷新率现在写的是300,看你把这个刷新率调到60,看能不能让它兼容性高一点。 + +唐老师 13:16 +哎,对,这回应该可能差不多了。哎,对,好像就是分辨率。哎,也不对。哎,看看他们有没有别的电脑什么的。就这个,当。 + +唐老师 13:52 +如果有那种转换口的话,可能会不会好一点? + +唐老师 14:21 +就我们前面的话呢,做了很多的项目,就是比较具体的实施的。还是。中间时不时会闪,就这个情况。不好意思,耽误大家了。 + +萧炫百 14:35 +哦,他是,我试试坐过来,坐过来行不行? + +唐老师 14:45 +对对对。 + +萧炫百 14:53 +哎,稍等,我看看够得到吗?直接插HDMI。 + +唐老师 15:21 +我要换一个就是输入源。 + +唐老师 15:43 +几号园?你看一下你的是几号园?二。你就要看到二吗? + +萧炫百 16:08 +对,可以,你要不发给我? + +唐老师 16:10 +好的,您的,我看一下,我跟您加微信。 + +唐老师 16:22 +这个接接口会稳定一点,是吧? + +萧炫百 16:24 +好像好像还可以,我把鼠标拿过来。 + +唐老师 16:27 +好的,谢谢。可以。好的。 + +萧炫百 16:52 +加进去。 + +唐老师 16:53 +好的,明白。 + +萧炫百 17:15 +好像不能抖,稍微抖一下就会。 + +唐老师 17:19 +它这个机器设置有问题啊。 + +萧炫百 17:21 +感觉是有一点。 + +唐老师 18:02 +再试试。好,谢谢谢谢。好。 + +唐老师 18:18 +啊,谢谢谢谢谢谢。 + +唐老师 19:00 +我们商商学院最近的一些讲课的东西,我发给你看一下。 + +萧炫百 19:28 +主要是管理方面的。 + +唐老师 19:30 +对,就是,这个是先进制造商学院,他们那个是讲管理课程和上市课程为主。对,我再,对,我们,我这条线我可以稳定。 + +萧炫百 19:45 +哦哦,你这条线可以稳定。 + +唐老师 19:46 +对,这条线我可以稳定,我们先。那好。先先稳一会试一下,看看不要让再耽误那个罗老师时间了,对,这样的话可以,诶,那行,那这样就可以那个。可以是吧?对对,这样就可以那个,就还还电脑还给你了。对。这样就不用耽误你的时间了,对,这个终于找到一个解决手段了,可以了。不容易。 + +唐老师 21:04 +换了一条线。 + +罗蕾教授 21:06 +总算对了。 + +唐老师 21:07 +搞好了搞好了。 + +罗蕾教授 21:12 +是线的问题哈。 + +唐老师 21:13 +对,换了一种线,换了一种那个 type c 的线放过来。哦好。这个就是先进制造商学院的娄老师和他们的,这个是工信部的同事,这个是一个做那个半导体的企业,它是叫纳川智能。这个是,这就是他们的下面的。先进制造,先进制造领先融资对,训练营,就这样的一个,这就工信部自己办的。挺难得。对,然后呢刚才说的我再简单一分钟说一下吧。就是这个比较简单,这其实是一个有点相当于商业软件公司,有一点,但是我们当时定下来的计划就是基本上不做商业化的软件交付为主,是以这个 AI 驱动的才做, AI 驱动的。像这个就是亿德这个企业哈,也跟肖老师讲一下这个,这个是我们的一个近期的交付的一个重点。这个企业的话呢,它是做手术显微镜的企业,手术显微镜中国国内整个还没有实现就是 AI 导航。 + +唐老师 22:20 +手术的导航,就是在手术过程当中,这样让医生在术野里头可以直接看得到对眼球的一个诊断,包括散光的偏斜角度,还有也包括一些风险点,这个医生在,所以我们现在用的,当然这是一个比较,其实是相相对传统的一个技术解决方案了,就是一个图像标注的解决方案,这个方案呢不算很特别先进。但他从学术上来讲的话,有一点价值会在于说,医学上面的要标注,用于手术的,全国的案例是很少。就是尤其是在手术里面,医学里面做诊断,图像诊断的项目是比较多一点的。这个应该是我们全国最多是第二个项目吧,前面复旦大学有一个项目,我们这个是跟上海交,上海交大,上海第一人民医院。那个上海理工大,我们几个一起做,这个项目就是我直接在带团队实施。 + +罗蕾教授 23:25 +这个相当于是要主要以素材为主,还是以? + +唐老师 23:30 +直接给你看,是素材加。嗯,我直接给你看,这个。 + +罗蕾教授 23:44 +就是帮他去。 + +唐老师 23:50 +就是这个手术。 + +罗蕾教授 23:52 +手术显显微镜系统哈。 + +唐老师 23:54 +对手术显微镜的这个 AI 辅助导航系统。 AI 辅助导航。就是现在蔡司莱卡这些他们都有三维导航了。就在手术过程当中的话呢,他医生可以看得到视野里头,直接用这个 AI 提示他该哪一些位置是风险点,哪些位置是该怎么做。像植入晶状体的时候的话呢,他那个晶状体有一个角度的问题。就晶状体角植入的角度,如果不正的话呢,他这个散光就纠正不了。所以这个就涉及到一个晶状体进去过后角度对不对?他如果。没有这个 AI 在视野里面去提示的话,就要靠医生自己拿一个尺子去量,就显得很笨拙。所以这是蔡司的一款,非常重要的一款那个产品。我们做的事情其实也简单哈,其实是这样的一个原生的一个手术显微镜,我们在旁边的话呢增加一条副屏,增加一块副屏副屏幕,就是不影响它的原来的主要的显示,增加块副屏幕,把这个就是对于眼球的分析。投影到叠加到画面上去。叠加了过后的话。 + +罗蕾教授 25:08 +相当于数据还是用它采集来的。 + +唐老师 25:10 +没错。 + +罗蕾教授 25:11 +然后你主要是做一些,再做 AI 的一些分析哈。 + +唐老师 25:14 +对对对, AI 分析, AI 分析。 + +罗蕾教授 25:16 +然后再叠加上去。 + +唐老师 25:17 +叠加上去了过后的话呢,医生他就可以看得到我这个晶状体进去的角度对不对?然后是要再转个方向,还是转个角度啊什么的。对。这样的话呢,他就不用手再拿个尺子在病人的眼睛上去比划了。这些就是用采。图像采集,边缘推理,的话呢,再用一个医药医疗的复评。总共一套系统的话呢,其实对于他们的成本增加是很小的,就是几万块钱,但是对于他的整个的卖价的增加就很夸张了,估计能够多卖 50 到 100 万块钱。 + +罗蕾教授 26:01 +他是跟那个就相当于跟他做,卖这套系统的人合作。 + +唐老师 26:08 +对对对,厂家。就跟厂家。我们是直接帮厂家做的。就这个就叫伊德这家公司,他是。中国,益德这家公司。哦,益德哈。这个益,这个厂家就叫益德,它整个做手术显微镜。然后呢,手术显微镜它一年的话呢,手眼科和外科的话,它大概一年卖 2000 台,一年 2000 台。 + +罗蕾教授 26:30 +这个都是已经是,都是中国自己。 + +唐老师 26:33 +它已经很多年了,它是中国目前在手术显微镜里面最大的公司。它其实比较适合嵌入式系统的。这个但是这一次我们用的是一个比较,就是不是很小体积的东西,主要是因为在第一代,我们想的话呢,这个。还不太适合把它马上做小的集成,我们现在第一代先先做的比较大,就是在外挂的这个东西,但是他们肯定是要往里面收的。就是他,就现在等于说我们在电脑,在显显微镜边上要放个主机嘛。放了一台一坨比较大的主机,一个他从他这个显微镜的这个视觉链路里面的话,有一条线。 4K 线引出来, HD 米的 HD 的信号。然后我进我的这台主机过后,推理完了过后再输入到一块副屏上去。 + +唐老师 27:24 +我连他的主屏都没动,但是明年哈,就是反正这也是先预预报一下,就是明年是肯定要往这个主机里头收缩进去的,这个 AI 功能它没有必要完全掉一大坨在外头,它它完全可以收进去,然后的话呢,这样可能就要换成一个嵌入式系统来做相当一部分工作了。对。对对,所以这也是回头可能也需要您指导的一个点,对,这是一个。但我们今年呢,就是这会儿的时间的一个重心还不是完全在这个导航系统上,是在标注上面的。就是因为他现在全。 + +唐老师 28:00 +世界都没有多少,全世界是没有公开数据库的,没有这个,对,没有公开的数据集和这个权重集的,就是关于眼科手术和外科手术的,因为这个东西它有高度的敏感性,对,而且每家医院也是当自己的宝贝来,就跟其他的行业是差别比较大,所以这一块呢就是发文章就会比较容易发一些,因为它独特性好,高很多,它的那个,现在上海第人民医院的话呢,下个月。想我们给他做一些 AI 推理方面的医学应用的一种探索的一些文章主题,帮他做做建议。这样他就可以去做这个。 + +唐老师 28:42 +对,这是一个我们,现在在这方面,所以我们现在总的来讲就是博生智远,博生会员的话呢,我们是一定只做 AI 相关的东西。就是这前面的有一点,前面有一点这种商业交付呢,更多还是一种尝试吧,就是或者是一种研究性的,或者是有一点背后有关联的,我们才做的。哦,是第二个是吧?对。 + +唐老师 29:17 +哦,这是,这台机器乐视,比较早。比较早的。对,那么就是这从几个角度来,都是围绕 AI 的应用的角度,像这个是 AI 的数据挖掘,这个其实是给。宝钢做的,只是他们要求我们不要把宝钢的名字写在上面,这是他二级供应商来做的一个项目,这是他二级供应商来做的一个项目,这个是宝钢差不多有 500 万米的管道的一个系统,就是整个宝钢的 500 万米的。反正今天这个就是有这个机会专门来讲一下,报告一下,我就也给您看一下吧,这样的话就很快速看一下,对,这样一个,这个是宝钢的一,这个只是一个小的数据集,是宝钢的一部分数据,这个,这里面的话呢,它的管道,每一个管道是运行情况,就是煤气管道,钢铁厂里面的煤气管道。然后这样的话呢,就对于这个管道的话呢,它好进行追踪。 + +唐老师 30:30 +这个本身表面看是一个比较标准的 mis 系统, MS 系统或者是 mis 系统,但是它其实背后是比较重要的一些预测,它预测这个就是管道什么时候坏。它要预测,所以有一点小,就是一些模型应用在里头。对,有点小的推理模型应用在这里面,每根管道大概的一个状态,这种。就是类似于数据挖掘型的,也是我们有时候会做一下,嗯,不同的团队。 + +唐老师 31:01 +刚才看给您看到的这个是我们的一个图像组,就是视觉图像组嘛,前面那个是数据挖掘小组的,这个是图像组的,这是一个主要的。另外还有一个我们有时候也帮一些企业做了一些靶点挖掘的,这都类似于就是叫做各种的非常大的各种数据源。国内有一个公司叫晶泰科技,它的第一代的模型也是我们帮他设计的,数据模型。数据模型。对,数据模型是我们帮他设计的晶泰科技的做药物的靶点发现的这个。这台机器太老了。太老了。乐视。 + +罗蕾教授 31:42 +太老了。 + +唐老师 31:45 +估计是 17 年的时候的,17、17、 18 年的,就比较那个,没事,我们就尽量先不耽误您的时间了。 + +罗蕾教授 31:53 +对。 + +唐老师 31:53 +好,我就,这个是我们那个一些以前和正在做的一些交付的东西啊,但是我们的真正的研究哈,这个现在。特别最近花时间比较多的是在这个方向上。 + +唐老师 32:12 +他的那个就是菜单老是要自动打开,这个电视机的问题,这就不是我们的问题。 + +唐老师 32:32 +对对对。 + +唐老师 32:46 +那要不然这样吧,我干脆坐到你们边上来。对对。这样的话我就不太那个,不,不然他这个老是干扰我们说话。对。对,我就坐过来。靠拢一点。这时间本来大家也很宝贵,我就不再讲究形式了啊。这个是这样的,辛苦罗老师看一下他这个小屏幕。是这样子的,我们现在有一部分的工作可以在这个画面里,都可以看得到。这个是我们现在刚刚完成的一个很小的项目,大概只花了几周吧,我们在实验室里面的话,我们陆陆续续的在包括。我们自己买一些服务器,也还有包括用学校的一些,再加上跟昨天跟成都计算中心,我们也基本谈好了,他们提供就是服务器给我们,去做服务器的上面的大模型的配置的测试和优化。 + +唐老师 33:48 +就拿这一台服务器来讲,它这样的一个东西,就是这台服务器呢,它的硬件在这里。这是它的硬件状态,它是,四块 V100 显卡。四卡,总计 128G 显存,驱动是5\.80。版本啊,这个 CUDA 的 13 版。这是它的。这个这个界面还不是太优化,只是能看到东西而已。 + +唐老师 34:17 +现在正在运行的是千问 3\.6 的35B, 3B 的模型。 API 接入的话呢,是。这一些信息。这台机器现在正在跑的模型是 35B 的 A3B 的这种 FP 8 量化。这里面整个四台显卡的运行状态。现在这会没有人在用,是昨天我们重新又换了一些资料,然后你可以看得到这里就是整个运行的起来过后,这是实时状态。因为现在这会没人用,其实这个是电费消耗,空载满载等等,还有包括它产生的 token 的。价值。就是这个是设计为,给算力中心也好,给自己要部署算力的单位也好,他可以直接看得到,经济效益都可以看得出来。就是产生了多少个Token,比如说 12 次调用,产生了输出了1800、 1400 多个Token。我们待会稍微跑一下就,就会有更多的。这个界面的话,它是做模型切换,就一键就可以换过去。就这里可以开并发,可以开 2 路、 4 路、 6 路、 8 路,然后每一路的上下文。这个上下文长度的话呢,这个对它的影响都很大。然后我就直接切换一下,啊,我这个可以切一下。那你可以做一些算调度。对对对。 + +罗蕾教授 35:45 +就是。 + +唐老师 35:46 +配置和。 + +罗蕾教授 35:47 +调度然后。优化。 + +唐老师 35:48 +优化。算子优化。 + +罗蕾教授 35:49 +算子优化可以直接给它产生效益的。 + +唐老师 35:52 +对对,完全直接看得到的。就是算子开与不开,有和没有。对。哪种量化,完全直接可以看出结果来。 + +罗蕾教授 35:59 +这块现在确实蛮蛮需要的。哎,正好我看罗静在吧,她。 + +唐老师 36:08 +哦,用那个吧。 + +萧炫百 36:14 +你这个并发指的是啥?谁有多少人可以并发用这个模式? + +唐老师 36:18 +对对对,就是并发,并发这个就是这个意思,对,并发就是这个意思。他们的这里,你看哈,他这里就是,就是整个就是说我们当然这个是个比较粗糙的原型哈。但我们已经完全,其实我们团队早就实现了,只是没有把它功能拼拢,就是我们现在可以对于一个服务器,或者一组服务器,其实一组跟一台其实是。本身算一回事。 + +唐老师 36:45 +这一组一个。大的算力中心也好,一个小的机房也好,它的每一台服务器的运行状态,它的模型启动到什么阶段,它的硬件占用,它的配置参数,容器采用哪一种的,这里上下文并发数,我们给它可以全面的进行控制和和测试它的运行效果。这个是在这个界面能看得到的,这个界面现在正在换启动的正在进行状态嘛,就是载入的状态。就是它这里面分成大概 9 个步骤去启动一个大模型。然后每一个步骤到哪里了,这样的,就是整个系统状态的是很清晰记录的啊。然后呢这个,看一下这里的对比,这个地方的话呢,就等于我们把这台服务器上面,我们通过一个 NAS 系统,我们把市面上的现在的主流的能够自己部署的系统全部模型全部都有下载好,然后我们就一个个的去试。 + +萧炫百 37:48 +那个 ECAT 是啥意思? + +唐老师 37:51 +因为。这个是 V O L L M 运行框架的一个社区定制版。 + +萧炫百 37:56 +V,这个是,这个是一个定制版。 + +唐老师 37:58 +是一个团队。现在是一个长沙的团队跟我们在配合做。我们拿他的这个。 + +萧炫百 38:04 +哦,就相当于他定制的这个V。 + +唐老师 38:05 +对,他拿里面改了大概三个算子。对,我们本来有有打算想自己写这一个版本,但是后来他们发现他们已经先做了,也发布出来了,我们就拿他来先用一下。他主要是针对这个地方,就是针对这个 V100 这个显卡。 V100 的话呢,这个卡是架构稍微早一点,是 volta 架构的。所以里面有一个算子,就是那个 fast attention。 flash attention 那个算子的话,它现在的。科大官方版启动不了,在这个硬件上面。 + +萧炫百 38:37 +哎, Flash Tensor 不是说现在不咋用了吗?还还。 + +唐老师 38:42 +我我看到的,反正至少我我不太清楚 B300 的情况,但是至少H200、H100、 A100 还有这个,都是必须要开才能速度上的去的。好,然后我给您看一下运行的比较,这个就是运行出来的结果比较是这样子的,你看这个,同一个模型哈,你看这里就效果就出来了,这个 FP8 的。这个都是不同的你看它的速度对比,就在这个地方,这是解码速度,这是解码速度,的话呢,用同一个框架,同一套硬件,同一个框架,同一个模型,但是不同的量化,量化。开不同的算子,那输出来的速度变化非常的大,差距能到 50 token 到 130 个 token 每秒中间,可以可以差距这么大。所以这样的话呢,就等于他们战略中心也好,机房管理也好,他组团队的时候也好,他就可以有很好的一个参照了。你看这里的90、79。 + +唐老师 39:50 +后面的还有一些,还有甚至还有到五十几的都有,你看都有波动,都有波动,不同的参数,你看到五十几的都有,就没优化好的时候,现在基本上我们现在做出来的结果就是我们跟几个团队,这些团队都能够优化一倍以上。平均都是一倍,就是官方版的出来,装上去,平均是优化过后至少提高一倍。那你们商业模式是什么?是卖软件还是要跟。做优化,我们现在第一个商业模式是做优化。 + +罗蕾教授 40:25 +优化是。如果跟他。 + +唐老师 40:26 +就是模型,选模型,对。选框架,选量化,选参数。 + +罗蕾教授 40:32 +优化,你怎么挣他这个钱呢? + +唐老师 40:36 +那现在是目前,目前是先做一些咨询费,哦,服务费形式的和联合课题。 + +罗蕾教授 40:41 +那实际上还是一个项目的方式。 + +唐老师 40:44 +偏目前还是这样,到后面会有一个新的做法,我我先说一下那个,这个项目呢,这个成都计算中心这里的话呢,大概率想用这个项目来申报科技厅最近的项目。 + +罗蕾教授 40:57 +哦,蛮好。 + +唐老师 40:57 +对,他就是以这个模型优化和运行的效果的。我在,我后面还有。 + +罗蕾教授 41:03 +用你这个成果来做。 + +唐老师 41:05 +对对对。解析你项目。对对对。 + +罗蕾教授 41:07 +然后再把,再给你一些经费。 + +唐老师 41:10 +是是,目前目前是第一步,现在在做这个。然后第二步的话呢,就是我们可能会做一个中国版的Happiness。就是中国版的社区的大环境的一个集中交流社区。 + +罗蕾教授 41:24 +边缘社区,边缘社区你要去做啊。 + +唐老师 41:25 +对对对。 + +罗蕾教授 41:26 +这个这个还是投入。 + +唐老师 41:29 +但是但是我们不打算。 + +罗蕾教授 41:31 +你是完全市场化做,还是?就我们做。还是国家要支持你? + +唐老师 41:35 +就我们做了过后,现在成都计算中心他们也有这个想法,他说看这个项目,就是我们社区这个,就模型社区这个的话,是不是可以报到成都的 AI for science 里面去?跟那个关联,就是然后这里头,但是我们如果做那个大模型社区的话,我们不打算做成跟他们一模一样的重量级的我们想做的是本地化模型。嵌入式模型,端侧的,专业的,工具化的模型。 + +罗蕾教授 42:07 +不做那种。 + +唐老师 42:08 +不是万亿级参数的。 + +罗蕾教授 42:09 +万亿级参数,不做那种,就是云上的哈。 + +唐老师 42:13 +对对,我主要不做那个方向,可以带一点。对。但是的话呢,重点是工具模型,专业模型、垂直模型、本地化模型。我们把他们的每一种的配置,你你可以看得到,这里面他的这种,我们这个基础已经有了嘛,就是我们能够,你看一下最后的话,我可以推荐最佳性能前 20 种配置,那从模型框架量化,其实还可以包括硬件,还可以包括硬件的这个。对对,所以选型建议里面就会出现这个。对。就是这里面就会有不同的硬件结构。对。就会有这样子的一个选择,你用什么样的。 + +罗蕾教授 42:51 +你再把端放进去。 + +唐老师 42:53 +对对对对,端侧的这些放进去,所以是这样的一种,这是一个目前的一个方面,对,对,这里有一个测试报告图给你看一下。就这份测试的话呢,目前在国内市场上来讲的话呢,应该是比较少的一个。这是完整的一个。各种测试。 + +罗蕾教授 43:16 +那谁,其他有有几家公司好像也在做这个事。那个什么汪玉,那个什么,无问西东,是吧? + +唐老师 43:24 +嗯,对,他们大概率也会有一点,就是自己在开发模型的人的话,他也大,大概率会做一点。 + +罗蕾教授 43:30 +会做一点,有一些啊。 + +唐老师 43:30 +但是他,但是他有个身份的问题,就因为从我们来讲的话呢,我们现在并没有主力在开发模型,或者是我们有这个能力训练一些模型,但是我们并没有把这个,就是叫训练一款模型,并且推广这个模型作为我的唯一主业,所以我们是一个第三方,那现在那个成都智算中心,他有一个非常强烈的需求,就是他需要有人来帮他证明这个,就是。生成 910 的运行效果。 + +罗蕾教授 43:58 +对, 910 现在用不起。 + +唐老师 44:00 +贵。对,就是他在这一块的话呢,他大概就如果有我们有这些运行的测试报告给到他们,他们就比较方便去给到那个,就是这些客户去看,对他就比较方便。 + +罗蕾教授 44:14 +910 上那些模型到底怎么样啊? + +唐老师 44:16 +嗯,对对对,就是每个模型跑出来的效果如何,哪些是算子有问题,哪些是纯粹硬件能力限制。对。他就可以很清晰的去跟那个客户去讲了,他们都已经投了那么多钱,而且几个,其实不止他一家,好多家都有这个问题,就是电信的机房。电信在雅安水电站的机房也有这个问题,他们也是说不清楚这个运行效果会如何。所以就变成我们。对,这是一个方面哈,就是还有第二个方面是关于实时操作系统的那种方向的,在。 + +唐老师 45:01 +没有没有,没什么事。对,然后这是一个关于当模型弦的研究的一个方面,另外一个是,只是嵌入式系统的,那个是我今天这边主要跟您要说一下,对,抱歉,这个前面耽误了一会儿啊。好,那个就是嵌入式的是这样子的,就是实时操作系统那一块呢,它是,因为一辉,最开始我是跟一辉他们在聊,然后一辉聊了过后呢,他们就是他们那个总。工的话呢,写了一个简单的报告。我现在再把它推展到有这样的一个初步的一个框架。 + +唐老师 46:22 +所以大概是这样子的,给您特别报告一下这个。这个里面呢,我这个用词也未必是准确的哈,这个就是给您报告一下。大型跨平台实时操作系统支撑任务关键系统当中的人工智能目标负载的整体框研究框架。在人工智能目标负载进入这个关键系统过后,它的大型的跨平台实时操作系统,我这个词呢,是来自于一辉他自己的一个表达。这个跟。嵌入式系统的表达其实有点区别,这个是。 + +罗蕾教授 46:57 +来看一下这个。 + +唐老师 46:58 +诶,好好,肖老师,肖老师,对,就是。 + +罗蕾教授 47:02 +大型的跨平台。 + +唐老师 47:03 +这是他自己给他自己定义。 + +罗蕾教授 47:05 +这个好像我们现在都很少这样说。 + +唐老师 47:07 +对对对,这只是他,因为是他,他们,因为这个我我这个呢也可能有点外行哈,这个因为。 + +罗蕾教授 47:13 +叫大型的跨平台。 + +唐老师 47:15 +对对对,这是他们自己的一个说法。 + +萧炫百 47:18 +一辉他一般对对,他是这么说的。 + +唐老师 47:20 +对对,就是我我是。 + +罗蕾教授 47:21 +为什么要这样说? + +萧炫百 47:22 +我我是顺着他们说的。大型就证明它功能多嘛,它有很多功能,你看它一般都说它是大型机。 + +罗蕾教授 47:29 +跨平台是啥意思? + +萧炫百 47:30 +S86 啊。 + +罗蕾教授 47:31 +对呀,这个就是所有的超系统都这样子的,不会只有它这样子的,对不对? + +唐老师 47:38 +我我这是因为我是先从他们那边交流出来的,所以这个写法,他也不太那个。 + +罗蕾教授 47:43 +他也强调嵌入式了哈,他主要是强调实时了。 + +唐老师 47:47 +对,他强调实时会多一点,就是在他的那个指标里面。 + +罗蕾教授 47:51 +因为他是要和 Linux 啊。 + +唐老师 47:52 +嗯,对。 + +罗蕾教授 47:53 +他他这个这一类平台确定性、可预测性和实时性。 + +唐老师 47:58 +是的。 + +罗蕾教授 47:58 +以及相对于 Linux 和这个。 + +唐老师 48:01 +对,就是比较那个普通的 Linux 跟那个就是 Premise 的那个, Real time Linux 的差异。 + +萧炫百 48:06 +这是他们写的一个报告吗? + +唐老师 48:08 +这是我们,我跟他们联合写的。就是因为第一个稿是他们这边跟我一起讨论的嘛,所以我就用的是他们的那个叫法。大概哈,因为易辉呢,他也有个具体的需求,就是他明年要申报科创板。我们在谈他的就是商业化的路径的时候呢,就会感觉说,虽然他的高铁、航母这些东西,他也有一些好的实施案例。但他涉及到一个未来的增长性、扩张性的问题,那他如果能够在几种部署形态下面都能够有应用的话,那他就比较更好。 + +唐老师 48:44 +讲这个故事嘛,所以是这个,有这样一个出发点。所以我们把它这个设计,当时设计的这个研究框架方程是五类部署,控制端、设备端、边缘,桌面和 T1 的服务器集群,这个就意义最小了,前面的意义会大一点。这个五种算力基础,它的控制端的是这样子的,代表平台是这些。的话呢,设备端的 RK 3588 呀。边缘端的 JSON 或者是 IGX 这种。 + +萧炫百 49:17 +公司端是STM32,设备端它就 388 MX9,边缘端是Orin,IGX,工作站单机型算力基础,这是这是 PC 吗? + +罗蕾教授 49:35 +其实这两个它应该优势不大。 + +萧炫百 49:37 +这服务器是吧? + +罗蕾教授 49:38 +后面这后面这两个应该没太多,因为基本上都跑Linux。 + +萧炫百 49:43 +对,这为啥要? + +唐老师 49:44 +是这个意思。这个情况。 + +罗蕾教授 49:46 +就是前面三个。 + +唐老师 49:47 +对对对,只是说从框架上来讲嘛,把这个都表达了一下。对。就是可能看哪。 + +萧炫百 49:52 +边缘端也基本跑的 Linux 啊,边缘。 + +唐老师 49:55 +对,这也就是我们讨论的必要性所在,对他来说。我因为我这个项目的启动的一个出,当时的出发点哈,是在考虑说他能不能够多做一些场景,所以就就这样写了。对,单机。 + +萧炫百 50:10 +信息区。 + +唐老师 50:11 +对。然后在这个基础上的话呢,就是说这个人工智能的这个负载的话呢,它的这个就是在目标负载是推理、视觉检测、语义识别、故障诊断。关键保障,伴生的竞争。我觉得呢,在这个从因为我们自己也在实施一些边缘端的一些视觉检测嘛,就像我们刚刚做的就是易德的那个项目。我觉得原来的那些老算法和一些比较相对低功耗的一些解决方案,其实局限性还是蛮大的,局限性就比较大,它就必须用标注好的图片,训练好的,才能够在。非常,就是模式识别的时候,它的局限性非常的大。对。如果说提高一些算力的话呢,它的这个。泛化。泛化的能力会强非常多。是是。对,这是一个观察,然后另外当然嵌入式系统和实时系统的话呢,最重要的是关键保障负载,这个这个这些东西是比较核心的。 + +萧炫百 51:21 +伴生竞争负载。 + +唐老师 51:23 +就是非属于。 + +萧炫百 51:24 +啊,就是指后台哈。 + +唐老师 51:26 +这三种负载。 + +萧炫百 51:27 +啊,对。 + +唐老师 51:29 +对。然后呢这个就是技术栈的话呢,这个五层硬件互联,实时操作系统的。资源抽象,运运行时和这个模型,就是 AI 模型的这一层。那么这这样的话呢,就是 T5 到 T1 是说的验证的基础。然后呢这个就是人工智能目标负载的话呢,是 R RtOS 任务映射,然后的话呢,这样就看总体上肯定是看RtOS,就是实时操作系统对于人工智能目标负载的这样一个支持力力度会不会更好嘛。理论上其实理论上可能有。就是我们再用一个研究框架去证明它,或者说是。 + +罗蕾教授 52:11 +对,其实可能还是在,因为。 + +萧炫百 52:13 +它这个完全针对 Transformer 啊,是。 + +唐老师 52:18 +你这个刚刚,你这这个研究本身也不完善嘛,刚刚开头。 + +罗蕾教授 52:22 +就是你你,实际上先坤你可以说一下你的想法。 + +唐老师 52:25 +是是是是,你看看对。没没,我们先先先看。 + +罗蕾教授 52:29 +这种超系统和这个 AI 模型之间的一些关系。可以,或者那这个超系统如果我我是,我用一般的 Linux 和用AirPods,又有什么不一样?你把这个逻辑说清楚就行了。大逻辑。对,并不是说就说实际上超系统的一些优化和这个模型之间,超系统要做哪些工作?去解决模型的一些,就应用的 AI 应用的问题。 + +唐老师 52:59 +嗯,对。 + +罗蕾教授 53:00 +他最近也都在研究这方面的工作。主要涉及到端,其实跟一辉那个类似哈。但是我们。 + +萧炫百 53:08 +对,我觉得他首先拉通不太现实,就比如说他说那三三个端嘛,就是那个就您您上面最。五端。五五个端啊,五个端嘛,就比如说控制设备和边缘。首先控制和这俩都不一样,控制它,它它基本上负载它不会是,就你刚才讲的 transformer 语言啊,多模态啊,这些东西它基本上不会有。 + +罗蕾教授 53:37 +还是传统的那些算法。 + +萧炫百 53:38 +它可能最多就是一些,最多就是卷积。对,一般就是卷积嘛,就你不管语音还是视觉,它可能是用卷积啊。在这儿呢,就说这个可能它是。如果你面向车,这可能又得分,比如说你面向车,它可能是一种静态的编译的形式。因为你要跟车的 Autosar 的代码生成来做结合嘛。比如说你要用 maxworks 或者是 simlink link 来生成代码。对,它可能是这样子的,可能它更多是工具来做代码的生成。就把这个 AI 的代码就生成了。可能就是生成C、 C 的代码,有一些你内部有些库。那些库可能就是算子。算只用 ARM 的那些指令嘛, CNN 啊这些东西。 + +萧炫百 54:34 +来做加速,可能也很少有NPU,至少在车上,它目前 NPU 还发展还是比较慢,对,它不是大家都有NPU,至少可能要再等一下,比如说那个 U85 出来以后,有可能能有一些因为毕竟 NPU 加进功耗就更大了。所以这样就你既要考虑没有有 NPU 的和没有 NPU 的,至少俩都要考虑。 + +萧炫百 55:06 +这个我觉得是可能是控制端的这个,他面临的一个问题,可能他的他他都是一种静态生成,静态编排的一种方式。他应该不是动态负载,要不然你那个内存也受不了,你这个比如说你你内部这些,这个有些这个动态的流程控制的话,那这个还是很痛苦的这个事儿,因为他基本上都说你的我我有个 owner 嘛,就说比如说那个买个 TFLM 里面规定的我就有一个内存就就就这么多。那我可能得编排好,谁用,怎么用,怎么谁谁调,是吧? + +唐老师 55:41 +不要那么,就没有那么动态性,静态的主要是存储这一块。 + +萧炫百 55:43 +没有那么大的这个动态性,对。 + +罗蕾教授 55:48 +对。给到推理多少?就这个。 + +萧炫百 55:51 +对对对,然后什么时候。谁来用,那个也是编排好的,比如你这个时候这个模型,它虽然小嘛,但是它肯定也是一个任务嘛,它也有,也有执行的时间啊这些东西,那你可能就用,那你就用了,人家可能就用不了,要不然你竞争就就出问题了。所以它这个可能是这边,反正我目前这个看的稍微多一点。 + +罗蕾教授 56:14 +这个和销售之间的关系。任务超系统,无无外乎就调度。 + +萧炫百 56:22 +超系统得和编译器得有一个工具,得这个任务是一种静态的包括资源都是静态分的这么一个关系,你你得,相当于你是一种离线的编排在里面,你不是在线的编排,调度啊这些你都是编排好的,就你真的也要把这个加进来,就他的这有些东西也提的挺好嘛,你你有些实时的负载,你有些 AI 的负载,你可能还有些其他的负载,对,那你你要追求真的这种。终端侧你得追求实时性的话。静态。对,你把这些东西加进来,那你。你原来的时性的约束就破坏了。 + +罗蕾教授 57:03 +代码数据的安排都是要静态,就特别是数据。 + +萧炫百 57:06 +对,特别是数据。 + +罗蕾教授 57:08 +静态这个是对的。但静态的话那就涉及到工具的一些。 + +萧炫百 57:13 +哎就工具,主要主要我觉得主要在工具上。开发工具更多是工具。工具上啊。对,哎跟如果车上那就更更是这样嘛,因为你说代码得,你不是自己写的,你得生成嘛,你得跟那些这个开发的一些工具结合在一块,就是刚刚讲的MATLAB, MATLABS 啊,SYMLINK。 SYMLINK 啊这些东西。 + +罗蕾教授 57:35 +所以是应该建立一套开发的环境和工具的环境。不光是操作系统,操作系统其实在里头它只是一个,在这个里头只是一块。 + +萧炫百 57:46 +基础的能力。 + +罗蕾教授 57:47 +哎基础的能力,它比如说划分任务啊,执行任务的时候,它不是,可能这里工具可能是不是更重要? + +萧炫百 57:54 +工具肯定更重要。 + +唐老师 57:55 +哎工具更重要。 + +罗蕾教授 57:58 +工具要跟他的开发环境。他们一般都有开发工具。但是涉及到芯片,因为那个最后转化。你最后推那个要转换成。他那个芯片。 + +萧炫百 58:08 +对嘛,就调他的嘛,调他嘛。 + +罗蕾教授 58:10 +那个要集成进去,把芯片的工具,跟 AI 相关的,和他操作系统的开发工具,结合起来。 + +萧炫百 58:17 +对,他,他,他操作系统里面就有另外两两种做法,一个就是我我的工具和那个芯片的工具,去做结合,就这个我用你来做代码生成,做路径,这是一个,另外一个呢,就说他他他把你这个 NPU 还是当一个外设,就复杂驱动,就那个叫什么英飞凌就这么做的,就你做一个CCD,做一个复杂驱动,然后呢我我把这个数据给到你,你去算。但这个就有,反正还是有问题,因为。 + +罗蕾教授 58:49 +先不说Autosam,因为他们都不是Autosam。一辉都不是Autosam。一辉就是有比较简单的,嗯嗯,嗯,一辉是比较像 oneos 那个东西。 + +萧炫百 59:00 +但 oneos 最大的问题呢,就是你在 MCU 端,反正你做动态性,我觉得是个伪命题,就是你你你你做动态就实时就怎么保证保证,啊。 + +罗蕾教授 59:11 +所以他要一辉如果在这方面他要发力, MCU 端发力,他就应该。和芯片公司捆绑,然后提供相应的开发套件。 + +萧炫百 59:21 +对。 + +罗蕾教授 59:21 +从这个角度,操作系统其实不用做太多事儿。然后还有就是所谓的算子优化。算子优化那还是跟模型的性能啊测试啊这有关系。那么和芯片公司合作可以做一些底层的算子优化。嗯嗯嗯,对。我想的哈。 + +唐老师 59:39 +对。 + +萧炫百 59:41 +对,对。 + +罗蕾教授 59:42 +可以用这两个给他建议,那这方面呢可以一起搞一些课题跟我们一起。嗯,是是是,你就。对,你就那个唐老师把他。团结起来。是是是。就可以一起做这件事情。 + +唐老师 59:53 +是是是,我我目的就是这个。因为这个讨论很初步啊,就是前面你看到的那个框架,咱们的那个总共的可能也不算很多。 + +罗蕾教授 01:00:01 +如果就是在 SOC 这种方式下,其实静态也是很重要的,我觉得。 + +萧炫百 01:00:07 +SOC 就有一个问题了哈,就说你是不是一定要把这个人工智能的负载放到放到 Artos 上来做?你还是说我通过。 + +罗蕾教授 01:00:20 +放到 NPU 嘛, GPU 嘛。 + +萧炫百 01:00:22 +不,就是我是不是要 Artos 来管这事,还是我用 Linux 来管? + +罗蕾教授 01:00:26 +用 Linux 还是 Artos 嘛? + +萧炫百 01:00:28 +对,就是这个问题。 + +罗蕾教授 01:00:30 +问你, Airpods 的优点在哪?如果面对算算子,面对调度,它有什么优点?如果你现在就说都是用Linux,那一会就没有意义了。 + +萧炫百 01:00:42 +对吧? MCU 上 MCU 肯定有意义, MCU 肯定有意义,我一直也在想这问题,对,对, SOC 就是这个问题,就 SOC 就是你肯定,既然你有那么多资源,你肯定是追求动态性的。对。就说你的这个模型肯定也不是这种比较小的,你比如说你可能要跑个 0\.5 B, 1B 或者2B,这么一个模型嘛,啊啊。然后呢你肯定还是有很多的就比如说你讲的 prefer decode 这些,嗯,这些东西,你还有这个磁嵌入,什么位置向量等等这这些东西啊。那在这个里面呢,我就觉得这个东西你是不是要一定要阿托斯来支持这么一套机制,支持了以后反而阿托斯的特性就没有了。我我感觉就是。 + + + +罗蕾教授 01:01:33 +但但是它本身就是一个实时控制系统,它其中呢也要有。人工智能的功能也原来实时的那套东西他肯定都已经有了。就我现在端嘛。我现在有了,但我现在要加 AI 的东西。是这样来理解他,如果是这种理解呢,他就软硬件升级,一种最简单办法就Hybrid。对。就是这是我们。 + +萧炫百 01:01:56 +Hybrid 就是一种很很好的办法啊。 + +罗蕾教授 01:01:58 +哎很好的办法,就 Hybrid 一,这边跑Arco,这边跑Linux。 Linux 就解决推理啊这些问题,嗯, Arco 呢主要是解决就是它本身实时性,控制器的问题。对对。其实这种架构是最简单的。而且一方面也可以兼顾这个生态,这边 Artos 就是 Linux 生态非常强嘛。这个可能是一个路径,但是要不要这样写?一辉有没有Hybrid? + +萧炫百 01:02:25 +一辉有啊,有。 + +罗蕾教授 01:02:27 +做的怎么样?Hybrid。 + +萧炫百 01:02:28 +反正也应该有些应用吧,应该有些,我好像以前分析过的,有有一些应用他才会的。 + +唐老师 01:02:35 +这样的话就是就是实时的这个实时性的保障,这个就体现的不是很明显啊。 + +罗蕾教授 01:02:42 +就是实时和这个就是和推理之间的关系。 + +萧炫百 01:02:46 +你把你把你把 AI 这种就是这个叫什么呢?就说这个很灵活。 + +罗蕾教授 01:02:51 +很灵活协处理器。 + +萧炫百 01:02:53 +灵活的很弹性的负载放在一起,我觉得就是一个不好解决的问题,就不好解决,因为,当然你可以把它上升到科学问题是没问题的,比如说就是传统的经典的实时调度理论,我们的任务都是用 CPU 的,这个这个是一个嘛,我们只需要考虑 CPU 的问题, CPU 的竞争的问题, Cache 的竞争问题,内存的竞争问题。 + +萧炫百 01:03:16 +好,如果你现在把问题把推理拿进来,推理有协处理器,有协处理器里面的UBE,有什么这些东西。那放到一起,那和 K7 放到一起,再和总线放到一起,和 DMA 放到一起,那这个传统的实时的调度理论就不适用了,它适用不了了。所以你就得从理论上再去解决这个问题了。 + +罗蕾教授 01:03:38 +要竞争,主要是,使使,就相当于这些所有东西有个优先级的问题。优先级的问题,就是说所有的东西它不像原来在 CPU 上竞争,它是因为涉及到很多外存的,就是总线,就是总线的很多竞争,特别是内存的竞争。这方面一旦有这个竞争,可能,其实 Arcos 也可以做一些。规则上的要求,就原来你只考虑CPU,对。你现在就要参与到,对。比如说总线的什么策略的一些调度,就因为我们原来就仲裁策略嘛。整个这个策略就要 Argoos 管了。 + +萧炫百 01:04:19 +对对。 + +罗蕾教授 01:04:20 +是不是可以这样理解吗? + +萧炫百 01:04:21 +对, Argoos 管了以后呢,反正就是。 + +罗蕾教授 01:04:23 +包括 DMA 这些都要 Argoos 管。 + +萧炫百 01:04:25 +一个是调度理论就变得复杂了,另外一个可调度性分析也复杂了,比如说你你很多东西以前可能我只需要估算处理器的模型就可以了,处理器你我考虑你每条指令执行的时候,可能都是一个最坏的情况,比如说你既没有 TLB 也没有Cache。然后我还得刷一刷一下流水线。但是这个时间我是能估计的。你现在把 NPV 加进来,就不好估计了,因为你还涉及到很多 DMA 的操作了,搬运这些东西。这个是没有没有模型来,没有理论模型来支撑的。 + +罗蕾教授 01:04:58 +但是从另外角度,我可以把存储这块我固定,也可以,相当于我就是这个区域给你,就没有那么多动态性。 + +萧炫百 01:05:09 +但还是你设计的问题啊,就你你,比如说我就是把这个给你,那你 TRB 和和这段内存的映射关系。是不固定的,就 TLP 啊, cache 啊,它是在变的。那怎么弄啊?直接把它锁定。 + +罗蕾教授 01:05:23 +不,你像诶那个A100,它就是自己的L1、 L2 开始,然后在外面加加那个自己的HBM,那,那但是它关键。对不对?它相当于是就完全独立的,它和 CPU 之间的关系就,就像它自己是个独立系统,诶,对。它自己就就相当于。 + +萧炫百 01:05:42 +它能搬嘛,它能搬嘛,就是 GPU 能搬嘛,它能去搬嘛,但是 NPU 搬不了啊, NPU 得靠 CPU 帮它搬。 + +罗蕾教授 01:05:51 +CPU 帮他搬呢,就要考虑基于优先级的,一些实时性的任务和非实时性的任务,就是相当于你可以认为它是一个大量计算的任务,和你的实时性, + +萧炫百 01:06:06 +它它相当于既有既有计算也有这个IO,对。而且这俩东西是交织的,就变成了就说。 + +罗蕾教授 01:06:14 +这种呢其实确实哈,就是要和特定的硬件环境,要有一个深度的要去,找一个案例和场景来深度实践。 + +萧炫百 01:06:23 +对,就是说你是不是一定能找到一个点,反正我现在也在思考哈。就是面向SOC,我是不是。一定要用 Artos 来做推理,我有什么?我有什么理由一定要用 Artos 来做推理? + +罗蕾教授 01:06:36 +那现在如果你不用Artos,反正你从 Linux 加 HyperVisor 加 Artos 来看的话,那像各就是硬件增加了,就实际上还是硬件增加了,就是它隔离了嘛,就各各管各的嘛,哎,两个就是它隔离了,就是反正我硬件能力很强,我就不要让你这个两个相互干预了,你你你的那个所谓的HyperVisor,实际上还是一种隔离的方法。 + +萧炫百 01:07:04 +就是隔离嘛。 + +罗蕾教授 01:07:05 +隔离方法以后,它这套。东西就独立,啊,那么跟芯片,如果我在一个同一个芯片里,它其实还是有问题,在一个 SOC 里,在一个板子上,它怎么来解决一个它们之间不要竞争的问题?你核心就是大家都不要竞争嘛,我分的你这个,分到你,对,全部都隔开嘛,嗯对。如果结合R, HV 的的时候, HV 的那一块还是要做一些事。 + +萧炫百 01:07:33 +哎他他要做嘛,但是他能解决的问题就比较固定了,就比如说我我可能按分,我就按 cluster 分,对。按 cluster 分的分,我可能就是解决 L3cache 的共享的问题,对。竞争的问题啊,因为只有这个东西是。是要共享的。 + +罗蕾教授 01:07:47 +所以在这上面一辉还可以做,我觉得是首先我们是,我们就用,这是一个方案, Hybrid 继续,但是 Hybrid 和这个模型之间在,就是在交互各种方式上,我们不是传统的Hybrid。是不是?就是 Hybrid 要升级。升级成支持。两种方式。就不竞争,或者是我考虑我整体的确定性,因为整体的确定性,因为这个有可能未来这个。 + +罗蕾教授 01:08:18 +算力这一块它可能越来越重要,它也许在我们整个感知决策执行的过程中,它是一个很重要的一个块,你没有它,它可能控制都没办法控制。没办法做。就像自动驾驶那个,没有信号来控制,没有一个方向。对,就是相当于就感知决策执行嘛。你像感知这一块,它现在端到端大模型,它那个感知感知也是用的模型,然后最后就端到端一下闭环,它最后到控制,它的优先级不高,你这个控制都没有意义。 + +唐老师 01:08:49 +没有没有控制的方向。 + +罗蕾教授 01:08:50 +就是在这这种方式下。基于 HFigger 的,就支持大模型。支持实时,我觉得这个可以去考虑一下。 + +萧炫百 01:09:00 +关关键就是说现在,反正我也不知道思考对不对哈。就端到端,它是不是要走到action?它一般都只有轨迹嘛,比如车上我我我只到轨迹。 + +罗蕾教授 01:09:11 +它要走到action。 + +萧炫百 01:09:13 +就你相当于我的执行器完全由模型来控制,这个好像现在它至少车上没法这么玩。 + +罗蕾教授 01:09:19 +不,它就是走到action,然后它有兜底的,它实际上是有规则的,就是实际上你可以把它理解成像。哈尼斯那套东西。其实我觉得更像是那套东西。它有很多规则在,其实就是它有模型,有智能体的那套哈尼斯的那套规则。就是虽然大家都没敢对外讲,他用什么方式,但是他你想想,他最后就是万一我出昏招了怎么办?或者什么,他最后兜底的东西一定是要靠规则,一定是。 + +唐老师 01:09:51 +有点像具身智能那个问题。 + +罗蕾教授 01:09:53 +就是具身智能,就是机器人也是这个概念,所以为什么我让你们去研究哈尼斯嘛,我说因为你不光是模型,模型是解决不了,他的智商是。上限很高的,但是兜底怎么兜?对吧?那最终你兜底,实际上是要靠规则的。嗯,对。就是你走到这条路径,我发现完全跟我的想法都不一样,甚至我这个地方还在跑,我另外一个模型还在跑,或者一个小模型,或者是我就是一个规则的。我是一看不对了。我马上就就得按照我的规则走了。就不按照你的模型走了。 + +罗蕾教授 01:10:26 +是是。就可能有这个问题,它实际上是一个整个系统结构。所以在这里头,就是我们先不说自动驾驶,也不说别的。它整个大模型参与到我们实施控制系统里头来。它其实这里它是整个体系要做一个深度的优化。对对对。就是说不是一个简单的,就是说什么用个简单用个 Artos 就能解决问题,或者简单用 Linux 就解决。是是是是。或者用个虚拟化就能解决问题。 + +罗蕾教授 01:10:54 +这一套体系要有一个重构的,重新研究,我觉得这个事儿如果毅辉,正好唐老师,因为我们之前跟毅辉接触的不多,我们主要是支持另外两个操作系统公司。哦,明白。我先给你交个底,免得到时候毅辉有点,但是呢实际上跟他都没有竞争。我我明白。就是说,比如说我们做一个车这个板块的超系统公司,主要是,就是那个电科。电科,那个中电科技术软件,他们主要是车,像就是靠他在弄,其实他们就是整个什么项目啊,国家项目都是靠他。 + +唐老师 01:11:30 +哇塞。 + +罗蕾教授 01:11:31 +只是最后他没加入过去嘛,有各种原因,我们就说,实际上现在我们是中立的,我们跟哪家也没有什么,非常紧密,只是支撑,另外一个中国移动有个OneOS。 OneOS 其实他做的有点像易辉。 + +萧炫百 01:11:46 +嗯,对,他俩有一些竞争,他俩有一些竞争。 + +罗蕾教授 01:11:48 +他有点像英辉,他有点像英辉,但是呢也没走到这么死,就是我们跟他们有一些合作而已,没那么深。但英辉呢是要冲科创板,我觉得他一定要讲一些不同的故事。是。另外一个呢,确实我们在这个领域,我们对阿尔法的理解,对 Linux 理解,对那个包括模型,我们都在考虑,就是说我觉得可以牵个头你,就是可以跟他深入讨论,看看能不能够先搞一些,就是他来立一些预研项目。先立一些,就不是说真的落地,就为他科创板啊。讲故事的。他不一定真正能落地。罗老师那个。 + +唐老师 01:12:29 +你明白我的意思。 + +罗蕾教授 01:12:30 +对。就是要对,因为你科创化讲故事一定是很多专家都认可的一种模式,你不能说简单说一说就完了,再说我们说怎么落地。对。就是至少其中一个路径就 have way 的,加上linux,加arcoos,深度融合这个架构,怎么能够做?这是一种,我觉得这种深度融合比直接在 arcoos 上去加那个推理那套东西更好,因为这样的话它不耽误,但是它最终是一个整体的体系结构的一个融合,它不是一个简单的软件和硬件。它不是一个就靠软件解决所有问题,硬件加软件。这个从我们的角度,实际上是一个计算机体系结构的问题,这方面呢。 + +唐老师 01:13:14 +我觉得他有这个体量来承担这个。 + +罗蕾教授 01:13:16 +他应该有成本,你可以去跟他。 + +唐老师 01:13:17 +他现在这次估值都 70 个亿了。 + +罗蕾教授 01:13:20 +你可以跟他商量。不止这么多。我们的那个是这样的,因为我们不便马上出来。我听懂了。因为我们跟那些人都搅在一起了,也不知道,就是我们在支撑他项目,你说一下,我们去支持一辉了,罗老师团队支持一辉,那就麻烦了,反而就是你唐老师团队,然后背后呢跟着我们在你背后,你说是不是可以?小芬。 + +唐老师 01:13:43 +嗯可以。那当然可以。 + +罗蕾教授 01:13:45 +对,因为我们呢,你就相当于我们就是你的联合团队,哎,就是我们面对一辉的时候呢,可以你可以让展示我们,但是面对外面的就不要写我。 + +唐老师 01:13:56 +我听懂了。 + +罗蕾教授 01:13:57 +就明白我的意思,这样的话。我们也好做嘛,对不对?因为我们在千问实时系统,我们在国内还是有一些身份的。 + +唐老师 01:14:05 +您的江湖地位。 + +罗蕾教授 01:14:06 +对,我们有身份,但是我们一直呢就没有,就是其实我们原来想推动普华去做这个事儿,他没去做。我们像肖老师还专门做微内核,做虚拟化,做机密计算,其实这里还有一个机密计算在里头,机密计算就是说实际上就是防止模型被篡改。比如说在 Linux 系统中。 + +萧炫百 01:14:29 +被篡改,被窃取。被窃取。你的本地数据的这个被窃取。 + +罗蕾教授 01:14:32 +有一个跟芯片要密切相关的机密计算,可能一辉他们都。还没走到这一步。 + +唐老师 01:14:37 +可能没有。 + +罗蕾教授 01:14:37 +哎,我们这边都有这些技术。可能还没有。所以我们就可以在你这个体系上,我们对接他就完了。我们就不要出面。出面对外这个不好交代,对吧? + +唐老师 01:14:49 +理解理解理解。 + +罗蕾教授 01:14:50 +但是这些思想呢,就说我们也不是说他们,那些人能控制我们,不会的,但是我们至少都是大家友好的,所以你,我觉得你第二个路径就应该走这条路径。然后静态分配第一个路径我们也可以跟你一起集成那个工具,去跟芯片 MCU 这个路径,第二个路径就是 SOC 的路径。那么他这个路径走通了,其实可以。不光是在他的工业,在一辉的场景,咱们也可以在具身智能讲这个故事。对对对对对。都是一回事儿。具身对。都是一回事儿,包括车厂都可以。车载。只是车呢现在收的很紧了。他已经收敛了,技术已经收敛,而且被一些巨头控制了。明白。就是被那些巨头呢,一般是干芯片和干算法的巨头,就是主要是干算法的和芯片结合的巨头。这些人呢,他其实可能思路是跟我们想的一样,但他不愿意第三方介入。他自己全部干,比如像地平线啊,某文台呀。什么包括英伟达,英伟达的一套,他也有自己算法,就是像某门塔这些,他也做英伟达的。那么还有很多源。多了,启行啊,什么文远知行啊,这些太多了,这个巨头,它已经长到了那么大了,那么大以后呢,它其实已经不愿意再说,让一个做超算系统,就包括一辉啊,普华都没有机会了,超算系统公司,你再来掺和它的东西。对。其实在里头,超算系统只是一个要素,它实际上是整个软硬件的架构。 + +萧炫百 01:16:22 +对,现现在还不要说一辉和普华,那个 Connext 都比较全。 + +罗蕾教授 01:16:27 +都已经出局了呀。 + +萧炫百 01:16:28 +对,在高通和英伟达的下一代芯片里面都不用Connext。 + +罗蕾教授 01:16:32 +它已经就是一个体系来解决这个问题了,它不是单独的靠一个 iPod 能解决的。 + +唐老师 01:16:38 +其实其实我觉得就是罗老师,我觉得跟您这个交流哈,因为我确实在这一块算是比较外行啊,我觉得其实我我推动这个事情本身其实不是属于我能够专业领导的一个事情, + +罗蕾教授 01:16:51 +嗯,你的身份很重要。 + +唐老师 01:16:52 +只是帮助他,只是帮助他来拓展他的应用场景和提升他的这个价值感嘛。 + +罗蕾教授 01:16:59 +其实还是一个战略的一个帮他做规划。 + +唐老师 01:17:02 +对对,我我顺着您刚才说的那个意思啊,我觉得其实这个逻辑啊。可能他有必要重新定位他自己,他就不应该只有一个。对。他就应该是一个更加完善的信息架构。对。 + +罗蕾教授 01:17:18 +他应该就是一个面向 AI 的,具有实时性的。窄了。具有实质性的,能够解决实施控制类的,这种面向 AI 的,这种的基础软件的供应商。就用这个思路,不是。基础系统。基础系统。基础系统。基础系统更准确,软硬件协同,但是呢,就是说。如果他还想。把自己打成基础软件这个角色呢,因为他不去涉及到。 + +唐老师 01:17:48 +硬件生产上。 + +萧炫百 01:17:49 +但是他一辉有硬件的,他不是做 PLC 吗? + +唐老师 01:17:53 +他肯定都是,肯定都是外包合作吧。 + +萧炫百 01:17:55 +做,对,但是他他产品里面是有 PLC 的。 + +罗蕾教授 01:17:58 +包含 PLC 了,所以他不做硬的,他也没办法。他不集成,把他的,实际上就是基础系统,你说的基础系统这个概念可以的,但是他是面向 AI 的实时控制的基础系统。 + +唐老师 01:18:12 +面向 AI 实时控制的。 + +罗蕾教授 01:18:13 +哎,基础系统,软硬件全部在里头,基础的,但他不做最后的应用,应用还是第三方的,他是基础的软硬件系统,他要通过这种才能构建。所以我们现在都觉得单纯的我不是,单纯做 Arcos 已经没有意义了。对。但是你要懂Arcos,对吧?你要懂那个,你要懂模型,要懂我们芯片,对,要懂。其实要懂整个芯片的架构。就是我用芯片,甚至我设计整个基础的系统,我都要设计成满足这个,这个就是软硬件的设计都要整,对。基础的,然后在人家在上面加应用啊,比如你做好了以后给到那个,易德,他去干。 + +唐老师 01:18:51 +哎,哎,他相当于是这个逻辑。 + +罗蕾教授 01:18:54 +是不是?我觉得唐老师这一说,我们就可以。诶,根据走的这条路径去,我们来推进,我们作为一个参与者来推进。 + +唐老师 01:19:03 +我觉得他完全,我觉得他完全能接能接受这个逻辑。对。对他来说呢,就是能不能够在这个新方向上马上起量,都还不是最主要的。他要讲一个故事嘛,现在。他要有这样一个技术路线,可以拿得出手来给大家看的技术路线,这个技术路线又的确是有价值的。 + +罗蕾教授 01:19:22 +哪怕在 MCU 上也可以做一些这方面的,因为MCU。它的最后内存呢?它的外主存外存该怎么配呀?怎么来适配比如结合这个芯片,适配端上的 MCU 的 AI 的东西,其实也会涉及到这些内容。它也不是简单的就说除了配置工具,除了我们的集成工具以外,这个基础的软硬件,其实这个就是计算机,这个计算机系统,也要也要做一些设计。就是你你现在,就是我们想的东西,就它已经是对底层,我们对底层很熟了。但是问题就是说最终你还是受制于一个硬件的环境。 + +唐老师 01:20:04 +嗯,你要现场。 + +罗蕾教授 01:20:05 +哎,你是未来甚至指导做芯片的人, MCU 你该怎么设计?你该怎么设?你要做到什么样子? + +唐老师 01:20:13 +对对对。 + +罗蕾教授 01:20:13 +就是说 AI 定义定义这个系统了。 + +唐老师 01:20:17 +嗯,没错,是有我的应用。 + +罗蕾教授 01:20:19 +AI 定义,我来指导,定, AI 定义嵌入式系统。嗯,是。从这个角度。是是是。对,再结合一辉的事实, AI 定义嵌入式系统。我现在就在想这个事儿,只是我们现在的力量还太小了。 + +唐老师 01:20:33 +但是他们肯定愿意干呀。他肯定愿意干呀,因为他现在都看到,就是刚才那个薛薛老师讲的。那个就是 0\.5 B、1B、 2B 模型,那肯定要上片子的,一定要进片子了,那你这个片子载载不了,你承载不了这个,那你这个片子设计就有问题。 + +罗蕾教授 01:20:49 +对呀。 + +唐老师 01:20:50 +这反过来用软件的需求来定义了硬件的需求规格。那当然咱们就,他既然有这种变化,我我没那么熟悉这个事儿啊,我只是觉得他既然以前没有这个需求,现在有这个诉求了,内存占用又大,推理要求又高,那那反过来的话,这里面的一系列的控制问题,他们就要出现一些新的改变。 + +罗蕾教授 01:21:12 +架构也在变。内部的总线的情况和 AI 的,到底是做一个 NPU 协处理器,还是要怎么搞,对吧?它其实也在变的,对不对?那个就是原来CPU,因为原来总线都是以 CPU 为主的,对吧?我是 CPU 是中心,那么就是包括安霸那些,它都是以 CPU 为主,现在我有NPU,我又有GPU,对。 + +罗蕾教授 01:21:40 +这个怎么怎么一个内部的总线的结构?就是有人讲存算一体,就是就是有专门做芯片做存算一体的。存算一体它就是要解决那个 NPU 那一块儿的就是存储的一个存储墙的问题。是是。对吧?存储墙的问题。那这些东西就怎么从计算机的体系结构的角度。对呀。嵌入式系统的体系结构的角度。还有还有那个。所以咱们不要局限在只是操作系统了。 + +唐老师 01:22:11 +对对对。 + +罗蕾教授 01:22:11 +已经,就是我们这,他他干了这么多年下来,我们干这么多年,操作系统已经没有什么再想的东西了,你反而从整个嵌入式计算机系统角度去想。 + +唐老师 01:22:22 +没错没错。对吧?就是我其实这里面的一个观察呢,我觉得他需要的并不是在某一个点上面的一个论证或者小改进。对。我其实跟他不能谈的东西,我觉得应该是一个 5 到 10 年的技术路线。 + +罗蕾教授 01:22:39 +他要引领这个行业去颠覆。 + +唐老师 01:22:40 +是是是。 + +罗蕾教授 01:22:42 +要去引领行业。 + +唐老师 01:22:43 +是一个 5 到 7 年至少,这样一个技术方向。他接下来的话,他不能停留在原地说,我用了 Atlas 的话呢,这个而且我又是国产的,我又是安全的。 + +罗蕾教授 01:22:53 +只是说点这个东西,这个能做的太多了。 + +唐老师 01:22:57 +支撑不了,支撑不了他的未来的一个百亿市值的。是是是。对。这个事情我跟董事长讲的很直白。是是是。我说我说你这个,就这一点应用,你支撑不了你 100 亿的市值哈,哈哈哈,我跟他讲的很直白。 + +萧炫百 01:23:09 +是是是,他就想最后就是,基本只能讲这个。 + +罗蕾教授 01:23:13 +一辉的人还是比较要求进步的哈。 + +唐老师 01:23:16 +嗯,他们还是那个很努力在做。 + +罗蕾教授 01:23:18 +对,其实还可以。 + +唐老师 01:23:21 +对对对,我发一下那个,就是他们那个张总做的那个稿子。加一下张总。 + +萧炫百 01:23:26 +这加了加了加了。 + +罗蕾教授 01:23:27 +加了啊,对。 + +唐老师 01:23:29 +对,就我就我就是想的哈,其实这个真的是抛砖引玉,因为我确实我不是专业于做这个,但是呢因为最近我们自己搞模型优化,就不管是大片子小片子,我们都感觉到他这个问题还是。比较大的,我感觉以前的解决方案里面没涉及到这个东西。 + +罗蕾教授 01:23:47 +他要靠体系结构来解决,他不可,不可能简单的靠一个模型。你看黄仁勋,英伟达厉害的,厉害的是他不是一个简单的 GPU 的公司,他是一个整个 AI 的智能的服务器智能系统的公司,他什么都有,连 CPU 都自己干了,然后GPU、 LPU 全自己干了,然后他实际上整个是从计算机体系结构的角度去做的。它是智算的体结构角度,它不是一个单纯的芯片公司啊。它已经不是芯片公司了。是是是。它其实是太牛了,未来其实我觉得,做芯片的,还有做底层的人,不走到这一步都没戏。都没戏,芯片实际上以后它也很简单了。它设计也会简单,因为它就从,但你的架构,你的设计该怎么干? + +唐老师 01:24:41 +对对,你看哈,这是他们的就是他们的总工写的。 + +罗蕾教授 01:24:46 +对,这个是对的。 + +唐老师 01:24:48 +工业最新智能底座,这个维度来玩。它就可信底座,向下连接去。对。整体架构设计。 + +罗蕾教授 01:24:56 +这个架构我们看了一下,还是觉得哈。 + +唐老师 01:24:59 +这个呢,我说一个我比较外行的理解哈,就是因为从我的角度来讲,我觉得这个故事不吸引人。就讲的不是太,就是说可能技术性是专业性有,但是,但是从就是叫做,这个本身对外我去表达它的价值也好,从技术路线的整体的价值观感来讲的话,就是。 + +罗蕾教授 01:25:23 +就是在在这个底层这一块写的太弱,就是它是什么?他是什么?没看懂。就他到底要做啥? + +唐老师 01:25:33 +嗯,是是是。 + +罗蕾教授 01:25:34 +他要干啥?他把大家都凑在一起,他要干啥? + +唐老师 01:25:39 +嗯,对。 + +罗蕾教授 01:25:39 +对吧?你看他这个地方只有一个实施节点。什么时候?这里头哪些是他的吗? + +唐老师 01:25:46 +就没有了。 + +罗蕾教授 01:25:47 +对对对,哪个是他的呢?当时肖坤你也看了,我发给你,就有点看不懂,是吧?嗯,是是是,有点看不懂。我觉得要重新画,重新画。 + +唐老师 01:25:58 +对。 + +罗蕾教授 01:25:58 +对他他是有这个思路在里头了。 + +唐老师 01:26:02 +嗯,这个也,这个本身也是我们之前讨论的,第一次讨论。后面的就是五层架构呢,我们是拉的大了一点哈,但是这个是我们的第二次讨论。 + +萧炫百 01:26:13 +这这个要好些。这个好。这个会好一些。这个要好一些。至少你提的问题还是大家都在考虑的有一些问题,这个架构要好一些。 + +罗蕾教授 01:26:24 +对,所以唐老师是这样子,就思路都清楚了,看看你跟他怎么合作,先把合作谈好,谈好了以后我们才敢真正的走起来。 + +唐老师 01:26:36 +哦,理解理解。 + +罗蕾教授 01:26:36 +因为否则的话,他们一,我们一说,可能他就通了。你明白我的意思吧?而且在这里头我们的角色是。 + +唐老师 01:26:46 +我先,我我。 + +罗蕾教授 01:26:47 +你要明白这个,否则给他讲了很多东西。 + +唐老师 01:26:50 +我们不会那个。 + +罗蕾教授 01:26:51 +对你明白吧。 + +唐老师 01:26:52 +这个稿子其实还没有给到他们。 + +罗蕾教授 01:26:54 +对,我的意思是说你要跟他先把合作模式明确了。 + +唐老师 01:26:59 +行的。 + +罗蕾教授 01:27:00 +合作模式明确了以后呢,你可以讲背后有我们就行。好,当然当然。对,然后呢就是把这个明确了以后,我们未来比如说我们可以分步骤。首先帮他做规划。规划最好,咨询服务有一有一笔资金,就是相当于帮他,我不给他干活。对。我,但是我把你整个架构给你梳理,未来你的产品规划给他明确下来。做到这一步,第二步呢再说,有可能我还帮你干一些活。是。就说,比如说你的工具,我帮你做一些集成呐。对对对。我帮你去干一些活,我觉得我我现在想啊,因为那个唐老师你在做咨询方面更有经验。啊,明白明白。对你把它控制住这个节奏。啊好。否则话就是。是,因为他们也是很聪明的人,他也不差。 + +萧炫百 01:27:48 +对,一辉的能力很强的。 + +罗蕾教授 01:27:49 +对,也也是可能理解上呢,一点就透的一些事情。对,还有当本身你在工信部那个身份,也可以帮他忽悠,我不知道他们的董事长和总经理忽悠能力怎么样。 + +唐老师 01:28:05 +行还是行的,毕竟他在南京都搞到六七十亿的营收了,还是基本上还是有。对,还是会忽悠的。对,但是他要有,但是他要有。 + +萧炫百 01:28:14 +张国清不是都去过他们。 + +唐老师 01:28:17 +但他有具体的东西。 + +罗蕾教授 01:28:18 +张是张又侠他们的,不是。 + +唐老师 01:28:21 +不知道。不是他们只是。但我我说实话讲,我觉得他们的技术高度还是不太够。他们因为帮助他们前面的话做舰船的,做卫星的,火箭的这些嵌入还是做的还是不错嘛。然后后面他们有一个主力是想移动到去做叫做无人机的控制,无人机,他们真的做了一款产品。做了一个无人机的就是拦截,他们做了一个那个东西。很具体的一个产品上去了。 + +罗蕾教授 01:28:58 +没办法,就是要有硬件,没有硬件他肯定。对。他的那个。要挣钱。一个是挣钱,产值上不去,卖车系统太难了。 + +唐老师 01:29:08 +对,但是这个问题哈,就是两个不同的思维,我们如果要是帮他要去撑一个 200 亿、 300 亿市值。一个那个就是。 + +罗蕾教授 01:29:17 +那个没用。 + +唐老师 01:29:18 +那个没有价值的,那个估值没有意义,对,这估值毫无价值。对。你要要换句话说,如果做成一个,比如说基于A,就为现在 AI 实时性提,能够提高 AI 实时性的整体的一个基础系统。 + +罗蕾教授 01:29:33 +所以琢磨一下,如果这个价值上不去。真是咱们要下场帮他。做更多的事儿,这个思路整个要按这个来的话,那可以,可能合作的模式还有很多,可以探讨的。是是是是。对吧?你反正这方面就是。 + +唐老师 01:29:48 +他们,我我去他们展厅的时候呢,我就觉得有点撕裂,就是一层角度来讲,就是我就感觉它中间好像差了点东西,就是最底层的RTU,ROT、 ATOS 的话有的,这个也看得出来。然后呢应用呢就就就乱了,就乱了,就乱了。 + +罗蕾教授 01:30:05 +就因为他没有足够钱支撑他往前走了。 + +唐老师 01:30:07 +他不是一个系统架构,我感觉他不是一个系统性的架构,就是。本来从操作系统往上走一点,该是什么?再走一点该是什么? + +罗蕾教授 01:30:14 +就是天花板在那儿了。 + +唐老师 01:30:16 +那直接一下跳到一个一个产品上去了。 + +罗蕾教授 01:30:18 +看不到未来,看不到未来,就跟我们原来有一阵子特别希望的,是能够做替代 QX 的东西。但现在回过头来看呢,这个东西不做也没事儿了。好像也没啥了,哈,因为二投资好像也没啥了, QX 可能都要被干掉了,那回过头来就今天跟你谈这个思路,其实就是我们最近在思考的一个。就是跳出来,跳出 artcos 去,做一个更加面向未来的东西。对,我觉得。 + +唐老师 01:30:48 +哎,对。关键词就放到放到实时性。对。不一定是OS,而是实时。 + +罗蕾教授 01:30:53 +对, Real time,实时控制系统的面向 AI 的。实时控制系统它一定有AI。对。我怎么解决它的问题?我也不是针对所有的系统,对吧? AI 的东西太多了。对对。就不要说,因为实时是它的核心嘛,它懂实时。对。然后另外它要一定和 AI 结合,怎么把实时和 AI 结合?是的是的。这是我们一直在思考的东西。因为我们干了这么多年实操型。三十多年,四十年,三十多年。 + +唐老师 01:31:25 +怎么接?行行,我我我大概理解,对。那就是说在边侧的话呢,用 Hypervisor 的维维度来。 + +罗蕾教授 01:31:33 +要要去改造Hypervisor,然后同时呢要结合系统。嵌入式的软硬件系统来做。 + +唐老师 01:31:41 +那这个我就说个稍微具体一点的哈,就是其实这个就是如果从联合研究写文章的角度来讲的话,这个是一种什么样的一种形式呢?就是。这边有没有机会,这个需要需要需要。 + +罗蕾教授 01:31:56 +可以啊,写文章都是简单的事儿。对,我们可以做原型,可以写文章,是吧?肖坤。 + +萧炫百 01:32:04 +可以啊,文章文章是没问题。 + +罗蕾教授 01:32:07 +文章都很很容易的事儿,文章是简单的嘛,就是有原型,相当于是基于一个硬件的环境。 + +萧炫百 01:32:16 +对,你们如果就刚才说的抽象出来的这些科学问题肯定是可以写文章的,而且能发比较。适合发个 A 嘛, A 刊或者 A 会, A 会嘛。 + +唐老师 01:32:29 +我让那个呀,我可以让那个就是。 + +罗蕾教授 01:32:31 +他还有这个需求吗? + +唐老师 01:32:33 +我觉得有,我觉得有另外一个维度,因为他原来的那个维度太现实在那个 Artos 这个概念圈子里头了,他就没出来。他只他每次讲到的都是只是我的 Artos 适配了什么,我的 Artos 适配了什么,这个表达。 + +罗蕾教授 01:32:49 +实际上就是有一个什么类型的概念,就是说我面向实时控制的 AI 的,这个 AI 的嵌入式系统的一个一个。其实应该是这个。 + +萧炫百 01:33:02 +哎,我看我跟发过一次咋写的? + +唐老师 01:33:03 +是这个问题。流量游戏。 + +罗蕾教授 01:33:05 +就是这个架构,就是,实际上是,就是一个。 + +唐老师 01:33:08 +实时控制系统或者是实时控制。 + +罗蕾教授 01:33:10 +哎,实时控制。 + +唐老师 01:33:11 +面向 AI 的实时控制。 + +罗蕾教授 01:33:13 +系统的体系结构。 + +唐老师 01:33:15 +对,实时控制系统的体系架构。 + +罗蕾教授 01:33:17 +体系架构。 + +唐老师 01:33:18 +是我觉得他要往这上面改了,因为他每次他们的首席跟我在开会的时候,包括接待领导我们一起去,我们有几个领导一起嘛,所有讲到的 99% 的一句话就是我们的操作系统适配了哪个系统,适配了哪个系统,适配了,他讲的都是适配的概念。 + +罗蕾教授 01:33:34 +这个这个太多了。这个能做的这方面的人也。 + +唐老师 01:33:37 +对呀对呀,已经不像二十年前了,对不对? + +萧炫百 01:33:40 +这个感觉是做生态的感觉是做生。 + +唐老师 01:33:43 +他就是应该要去做生态,往下做了,他不能停留在原来的那个,他就是要以套件化的方法,解决方案的方法了,往下做,他反过来应该就像罗老师说的那句话,他应该来指挥硬件厂家,怎么去强化他的硬件,哪一下一代应该是什么?下一代硬件你该是什么?因为你要达到这个,就是结合 AI 的问题过后的实时性, AI 的实时性。 + +唐老师 01:34:09 +我我跟那个罗老师讲一个问题啊,我这个不专业哈,但是我观察到这么个问题,我们在看因为我在带我的博士生的时候呢。有一个这个问题,我还没想好怎么来描述这个问题,我先跟您说,大概说一下哈,看看需要需要什么能够把这个问题更规范化表达一下。就其实这里头的话呢,就是大脑和小脑的角度的话,这个奥尔斯一般来讲是控制小脑控制这一块,但是我就感觉这里头感觉我我感觉这两块,就是认知跟控制这两个问题的话呢,它本身它不应该是一个割裂的问题啊。你认知的话呢,像您刚刚说的那个车上的路。一个机器人的话呢,他在那里叠衣服。 + +罗蕾教授 01:34:53 +决策执行嘛。 + +唐老师 01:34:54 +他本身他是必须要对。 + +罗蕾教授 01:34:56 +闭环的。他是必须要闭环的。 + +唐老师 01:34:58 +对。这个换句话说。如果我感知这块儿出了问题的话,我控制不就出问题了吗?对。这是一个比较泛的一个观察哈,就看看您怎么从您的这个更专业角度去解读这个。还有一个点的话,那是关于语音的事情,这个语音的事情的话呢,我有一个有一次我们在分析的时候,我发现这个语音这个问题好像是一个,就是贯通两边的,就是因为语音不管是听还是说,就是听懂和说出来,它是既需要走大模型,又需要走控制。它不是它是一个一个动作,它有两边要串了。对。因为控制我要来讲出来嘛,我要把它那个驱动我的这个音频硬件。对。然后的话呢,但是我要讲出来之前,我要先用大模型。识别识别。跑完了之后再来合成,哎对,识别意思,然后又来合成语音。对。然后又要驱动硬件出来。对对。就是这条语音这条线好像是比较特殊一点。就是既要贯穿大模型的调用,又要涉及到小模型的,对。控制的那一块。就就我讲的不专业哈,您您大概。 + +罗蕾教授 01:36:09 +TTS 相当于最后它要把。比如输出的token,你本来是看的是文字,它把它讲出来。 + +唐老师 01:36:16 +对。 + +罗蕾教授 01:36:17 +就是人机交互嘛。 + +唐老师 01:36:18 +人机交互就是先要想出来,对。然后又再转换成声音,又要再讲出来。对对对。它像是两个步骤。 + +罗蕾教授 01:36:25 +对,它也是两个不同的体系。 + +唐老师 01:36:28 +是两个不同的体系在一个动作里头。 + +罗蕾教授 01:36:30 +对对对。 + +唐老师 01:36:31 +它在一个动作里头。 + +罗蕾教授 01:36:32 +这也是要有实时性的要求。 + +唐老师 01:36:34 +啊对,我我为什么。 + +罗蕾教授 01:36:36 +你不能说延迟半天,就说都说不出来,对吧?对对对。他要很自然的交互。 + +唐老师 01:36:40 +你下面的问题是没有问题的,你你你 TTS 以后的讲是没问题的。对对。但是前面呢?对呀。你你如果要是这个,就是一句话确实很复杂。那那你总不能说就是想了 20 秒吧,那咋办啊?这个,这不是一个真人的交互感。 + +罗蕾教授 01:36:56 +对,体验这个体验比较重要。 + +萧炫百 01:36:59 +对,现在是,第二个问题我不,我我我没咋思考过哈,就第一个问题,大小脑,他。你在现在这个阶段,他就是还是一个很现现实的问题,就说你自身的状态感知,自身的状态的稳定,他还是主要靠小脑,因为他他确定控制嘛,你比如说我要多少电机,我的这个周期是多少?我一定要把每个电机要控制到,那他他肯定是一个比较确定性的东西,所以他现在这个,这个一般会有一个独立的。 + +罗蕾教授 01:37:32 +老师,你下午是在哪个地方? + +唐老师 01:37:33 +我下午就准备去机场了。 + +罗蕾教授 01:37:35 +哦,下午几点的? + +唐老师 01:37:37 +我是比较晚的机票。哦,好。 + +萧炫百 01:37:41 +对,这个他他这样做起来啦,反正是从现实的工程上考虑这个问题嘛,你大脑再和小脑来交互嘛,你大脑更多是规划嘛,你做一些规划,做一些感知,做一些规划,所以反正目前我还觉,我觉得还短时间是比较难融合的,这两个东西,因为你真要融合了,就是因为实际上人他有很多东西也是本能的。 + +唐老师 01:38:11 +我我们不不,我们不解决所有问题吧,我觉得先解决一两个问题,我我那个。因为我现在在做的有一个组的话,他做的是。叫全双工语音。全双工语音那个事情。全双工语音这件事情当中呢,就一个是本身有一些它的工程上的这个语音的问题啊。但是另外一个问题就是这个这个从大模型里面调数据来出来,经常会卡在那里。不是卡在小小脑部分的,是卡在大脑这个部分的。 + +罗蕾教授 01:38:42 +对,大模型本身它的这个响应速度啊。优化的问题。 + +唐老师 01:38:48 +对,响应速度优化,或者说如果它确实优化不了。那我就要换别的机制来打断它。对,对。我就只能去打断他了,我就必须用一个。 + +罗蕾教授 01:38:58 +这里也就是具体场景,他这个大脑怎么能够解决实时的问题?其实也有这个问题,当这里他实时有可能就是我的算子优化呀,卡被卡住了,可能这个整个这个。 + +唐老师 01:39:11 +我我我觉得这个这个换句话说哈,就是不是打断您的意思啊,我就想把这件事情呢,我想跟一辉重新沟通一下。我觉得一辉他不能够停留在。Rtos。 Rtos 的核心概念。 + +罗蕾教授 01:39:24 +只做 Rtos 没用了。 + +唐老师 01:39:25 +是,他就应该要么就是低时延。对。低延时。对。整体他就是低延时。 + +罗蕾教授 01:39:30 +要解决实时的问题。实时。系统吧。对,让体,让 AI 在这个能满足场景的要求。它应该结合这个,它不能再Arco。是是是。它能到 70 已经是超水平发挥了。 + +唐老师 01:39:45 +对啊对啊,我肯定是超水平发挥,我们私底下。 + +罗蕾教授 01:39:49 +对,超水平发挥,还讲了很多故事,但实际上这些东西价值,它给给别人带来的价值没有体现出来,就是你的价值只只是一个Arco,人家也觉得你解决不了我的实际问题,就跟我们现在说汽车上超巡有多么多么重要。你再讲这个也没意义了。对吧?你其实就是说,但最终呢,你看看各家做解决方案人,他有他的想法,他一定有超系统团队。 + +唐老师 01:40:18 +对。 + +罗蕾教授 01:40:19 +他只是说他不会单独再讲什么超系统的事儿,包括华为。 + +唐老师 01:40:22 +嗯,有道理。 + +罗蕾教授 01:40:23 +这些都是这个概念了。对。对,所以你超系统的公司该怎么发展?就是人家那个人家有人家的玩法,那我超系统公司该怎么发展?你要找到一个路径出来。 + +唐老师 01:40:36 +是是是,对,我跟他的这一次的这个探讨,一定程度上就是推他这一步。对。就是就是把他往前推这一步,动一下。对。虽然可能我没办法马上把他整个给改了哈,但是至少让他动一下,让他不要再停留在只是这个 Aros 的这一点点。对。不要一出来讲就是适配了什么,适配了这个那个。 + +罗蕾教授 01:40:58 +那个那个都都一样,所有人讲法都一样。对。那有可能科创板人家说不定谷华还冲的比他快呢,他讲汽车超系统故事。是哦。然后他还是国家队儿。他还有政府那个电科的背景,只不过他的机制不像易辉,易辉可能更灵活点,我还有受到很多的。 + +唐老师 01:41:20 +对对对对对。 + +罗蕾教授 01:41:22 +就是他要快,要快打这个这张牌。 + +唐老师 01:41:25 +行的行的,我回头跟他好好沟通一下这个事情。是。对,这个就反正这个事情。他们是计划多久嘛? 27 年。啊就 27 年明年报,他已经就到最后一轮了,他们董事长的弟弟跟我一起去 10 月 18 号去美国考察一下,他自己去不了,因为他自己身。可能稍微敏感一点。对。他的一个亲弟弟,他跟我一起去美国这一次,也跟那个罗老师报告一下哈。我现在其实一个方面做这个,研究嘛。另外一方面呢,我还有一些职能的,就是帮助一些基金找项目嘛。对。对,这个还是还是一个比较重要的事,其实。包括工信部他找我,也不是纯粹是技术的问题,他也希望说帮他们搭一搭生态,把这个企业和这个投资圈啊,上市步骤啊这些去贯通一下,这样的一个。对。那您这边如果要是有这个,合适的项目,您都可以,蛮可以推荐。一个是直接让工信部的中小中心,比如说倾斜一点儿,省这个就是叫做那个专精特新啊,小巨人这种,这个我本身就是一个评委。 + +罗蕾教授 01:42:36 +我们对,我们这边有一个,我们孵化了一个做汽车安全的,网络安全数据安全的公司,也是已经是小巨人了,他们也遇到一些瓶颈,现在呢就准备呢也是要和端侧的 AI 要结合,当他们的思路。 + +唐老师 01:42:53 +我我们今天这个讨论的东西不限于只是给。 + +罗蕾教授 01:42:56 +对对对,我知道我知道,只是只是他们现在还没到这么,就是因为他不是做 art house 的,他是做安全的。更多的是从 AI 的可信底座,这个,可信 AI 的可信底座这个角度,他们也在讲故事吧。也支撑不了。当他的估值很低了,他的估值就是去年投下来也就是投后 7 个亿。当他不像易辉那么会讲故事,所以他在汽车的安全这个领域,网络安全数据安全也是头部。 + +唐老师 01:43:29 +也拿不出来。那也很不错呀。 + +罗蕾教授 01:43:31 +对,我觉得我觉得你下回有机会的时候。好啊好啊好啊。可以到成都时候,反正你过来。对对对对。跟他们聊聊。 + +唐老师 01:43:39 +可以可以。 + +罗蕾教授 01:43:39 +看看能不能帮他们也推动推动。他们现在呢,反正就是说,车上这些单子呢,一年有个将近一个亿左右,这个是保。也在做一些飞车的一些业务。比如说想把也软硬,因为硬件也可以做嘛,反正软硬件都在。飞车的主要是呢,特别是他们比较有特色的,是他的那个测试工具。 + +唐老师 01:44:05 +啊测试工具。 + +罗蕾教授 01:44:06 +就是面向AI,面向就智能终端的。安全的测试工具,工具,它不局限汽车,因为汽车行业这么多年下来,它已经比较成熟,对车这一块儿他们比较熟,就是就自己就建立了一套测试。测试工具,这个工具呢,它可以用在很多智能终端。现在也是迭代。一些 AI 的能力。 + +唐老师 01:44:31 +他这个测试主要是测试什么? + +罗蕾教授 01:44:33 +测试的安全啊。安全。主要测试,比如说漏洞渗透啊。整车零部件啊。那么他到。 + +唐老师 01:44:40 +他他是测软件还是测硬件? + +罗蕾教授 01:44:43 +他是这样的,是测这个系统。测系统。里头会涉及到软件,也涉及到硬件,因为你说一个零部件。对。那他这个漏洞,当体现出来漏洞主要还是软件的漏洞,对吧?但是他可能有很多访问的点,比如说有WiFi、有蓝牙这些无线的东西,他他会通过这个来做一些攻的。 + +唐老师 01:45:04 +那他的那个客户都是这个,就是主要主机厂这些吗? + +罗蕾教授 01:45:07 +主机厂建厂,还有现在除了车以外,他也在扩展一些其他的,比如说端上的。 + +唐老师 01:45:15 +所以他是以安全和检测为主。 + +罗蕾教授 01:45:17 +安全检测为主,安全的解决方案,也也在叠加AI,因为你不可能不叠加AI,所以他们也在折腾,你下回有机会也可以看一看。好啊好啊好啊。看一看也可以指导一下他们,他们想呢,就是反正也在,都需要一个,因为创始团队呢,原来也是我们团队带出来的。他们原来呢,没干过那么大的事儿,技术能力很强,也是干操作系统出身的。 + +唐老师 01:45:44 +干到一个亿已经不小了。对,一个多亿嘛。也不小了。 + +罗蕾教授 01:45:47 +就说现在就要经历这个过程。是是是。经历以后呢,原来我帮他们帮的比较多,现在呢我就说你们自己要去折腾,因为实控人也不是我,对吧?你实控人要去理解,对对对。这个社会的情况,你要去搞,我们我们团队呢,是。我们特别是在整个整车的信息安全强标都是我们牵头的。国家的。那厉害。那我们是在国家三个单位。 + +唐老师 01:46:13 +你本来这个江湖地位就在这里。 + +罗蕾教授 01:46:15 +我们原来是干操作系统出身的,干汽车的,然后后来干上了端上的安全,为什么?因为我们懂它的软硬件。是是是。懂它的基础的东西。是是是。搞安全的人不懂那个,这个嵌入式系统。对对对。所以我们搞到了安全,他也都,大家都很通,在安全方面我们操作系统加安全,现在再加AI,实际上现在就是这三个。 + +唐老师 01:46:37 +那个那个我,你明白我的意思吧?非常好,真的,我我怕说漏了这句话,我还想跟您报告一下,其实如果接下来哈,就是因为可能我我不太了解咱们团队的一个。我相信规模已经很大了哈,只是说我们自己的话呢,有一个想法,也可能会做一点,就是我们可能会帮助一些其他的公司做代训。代训大模型。代训专业模型。我那个。这个蛮好的。对,这件事情。因为这个投入太大了,代训。对对对。 + +罗蕾教授 01:47:10 +对,相当于是这个大模型不局限在基础大模型,数字的,专门做的都可以刷。 + +唐老师 01:47:14 +不不,我我们专门做垂直的,我们专门做垂直的,给您看一篇文章,这个是我们跟那个。就我们实验室的这两个教授,那个陈世斌教授也有点想参与这个事,他昨天跟我在聊。 + +唐老师 01:47:28 +就我们提出来了一个这个称之为叫做垂直大模型训练的一个框架。这个是比较新的一个框架,就是我们做了一个研究哈,称之为叫做垂直大模型,它具就是叫做语料的不充分性和业务边界的混乱,是一个常态,目前的常态。那么关于这个垂直大模型经常被理解成通用大模型加行业语料,但是他忽略了这个垂直智能体需要的深层次结构,我们提出来说。这个训练的不足,并不只是数量不足,而是训练目标没有充分编码。这几样东西,就是比如说对,这里哈,我们举个例子,就是说垂直大模型等于通用大模型加行业语料,这个是表面上具有合理性,很多人也这样表达的。但是真实场景里面的话,差别非常的大。银行柜员客服和这个淘宝机器人客服,虽然都是客服,但是它是完,它并不是语料风格的不同。它的背景是在于监管审计身份校验。这个是前一种,然后后一种是以促进成交为主的,它的目标不同。非常的不同。类似的话呢,还有像这个做顾问业务的,做总战略的也不同,但是在现在的这个模型训练当中,它区分不出来。 + + + +唐老师 01:48:50 +所以我们现在的话呢,把这个我们就直接往下看到这吧,我们就提出这样一个东西来,就是我们的话呢,认为说它需要包含的边界,服务对象边界、问题类型边界、介入边界、动作交互这个等等啊,然后提出来七大要素,我们提出来这个就是垂直大模型训练框架。真正构成其实大模型的不是通用语料,和领域语料的结合,而是说七个耦合的条件,就是包含主体角色,模型首先必须明确我是谁,它是要,不同的角色输出逻辑就不同,就不同的逻角色,这个。对,对,是的是的。 + +罗蕾教授 01:49:31 +不同角色肯定输出逻辑不一样,它角色决定了它。 + +唐老师 01:49:35 +对对对。对,这个,这个也是一个关键点。然后然后目标函数,就是模型必须明确我为了什么要优优化,对。合规、成交、安抚。增长长期价值。是。然后这个有点像什么呢?就是有点像就是模型现在,您刚刚讲到的就是如果说一个机器人哈,它有一个危险的动作。它前面半截的动作它可能是合理的动作,但是它一旦越过一个边界过后,它就会产生破坏性。对。那么这个现在是一种外部边界围栏的一个思路来处理的,就是给它设定各种各样的动作边界。但是实际上这个是有点问题的。能不能够让这个模型天生的就知道它这个动作?只能做到那个范围,而不是从外部去拦截它。 + +罗蕾教授 01:50:21 +这就是模型本身的要有这个能力。 + +唐老师 01:50:24 +对对,模型本身的能力,制度约束,边界约束。对。那个陈瑞斌老师他跟我讲的意思是,他。 + +罗蕾教授 01:50:31 +他要想干这个。 + +唐老师 01:50:32 +差不多,对,因为他现在在做一个什么呢?他在做物理边界。他在做,因为他是在工业机床上去用的嘛,他在做物理边界,物理的规则。然后这里面我们具象下来了过后的话呢,会变成一个对于语料的处理就不一样。就是这个不是纯粹的概念,它对于我们真正训练模型就是不一样的。换句话说,以前可能大家会觉得有3万条语料, 10 万条语料就够来训练一个角色模型。在我们这套框架里面,它就是不够的。它不是纯粹的数量不够,是它的结构里面不够,它缺了东西。 + +罗蕾教授 01:51:11 +它缺一些约束啊,它的要求啊,有些语料是要有有明确要求的哈。 + +唐老师 01:51:17 +对,要有角色、目标,这条语料背后的目标是什么?对,它是在一个安抚客户的场景下说的话。还是说来促进成交的话,目标。 + +罗蕾教授 01:51:28 +所以这个这个训练才是有价值的。对对对。找到合适的语料哈。 + +唐老师 01:51:33 +我们要把,所以这个框架一实施起来,我们做了一半吧,这个工作,我们就大概到,就是这个东西可能我们也会有有有这个。 + +罗蕾教授 01:51:43 +就相当于帮别人去做这个。 + +唐老师 01:51:45 +对对。垂垂直模型的训练。垂直的模型训练,对。 + +罗蕾教授 01:51:48 +从数据采集,给他定义什么样的数据。 + +唐老师 01:51:51 +对对。 + +罗蕾教授 01:51:52 +开始就一直把这个做起来。 + +唐老师 01:51:54 +对对对,没错没错。这个蛮好。对对,这件事情如果说您这边用得着的话哈。好。我们也很乐意。行。对对对,不管是从研究的角度,还是从真正帮帮人家训练的模型。对对对。我我们现在机床还是有点资源,就是。 + +罗蕾教授 01:52:08 +对你这个挺好,因为我们这边有个陈红老师呢,他也做垂类的,但他主要,他的特色呢是在。因为训模型他不行。对,这个投入太大了,但是他主要是做一些智能体。和类似于潘纳提尔那套东西。因为他对数据比较比较清楚,然后搞计算机体系结构的嘛,对哈尼斯那套东西比较熟。就搞计算机的嘛。他所以。模型对他来说觉得门槛太高了,他想把这个结合起来。你看你正好让陈老师。 + +唐老师 01:53:12 +我。我们现在这个思路还是。这个挺好。还是比较新的。 + +罗蕾教授 01:53:18 +一会儿可以让我们这个成龙老师,他。 + +唐老师 01:53:20 +他就。 + +罗蕾教授 01:53:22 +平常就在这边。他也自己搞了一个公司,专门来做这个。原来最最早做区块链,到。到做大数据。可信数据空间也干过,现在转向了,就是基于数据,把普兰特尔再加模型。是是是。再加智能体结合进去。是是是。哎,他就干这个。是。也做一些项目,到时候你们可以再交流一下。好呀好呀。反正就下一步,在一辉这个合作的话,那个汤生,你你来你来牵头,看看怎么弄,到时候我们三个人可以拉一个群,有什么事儿我们随时可以。 + +唐老师 01:53:57 +好好好,肖老师。 + +罗蕾教授 01:53:57 +可以沟通,反正这个事儿呢,具体。好的好的。我跟,因为思路,今天其实我们大思路都都已经清楚了。如果需要肖老师配合你到什么南京啊。他都没问题。好的好的。他就可以去了。 + +唐老师 01:54:12 +我机票给你们买好。 + +罗蕾教授 01:54:14 +没事,反正肖老师这边,就是他就是我的博士。培养出来的,然后他现在比我,比我强多了,知道吗?比我强多了,就是我现在干不动了。 + +唐老师 01:54:25 +您是这个已经功成名就了,可以了。 + +罗蕾教授 01:54:29 +确实也干不动了,这个再加上呢,就是很多事呢,他现在也比较自由。自由呢,在学校。在学校然后比较自由,反正有什么合作啊,我觉得你多请教。哎,不客气。就是你看唐老师他的思维,他是从一个从一个价值的角度去看这个事儿。嗯嗯嗯,是是。而且呢他做投资,科技投资,科科技投资就是说,你对于一个公司怎么定位,他要重新给他做战略战略的规划的。嗯,是的。就我觉得哈,这个定位特别重要,就是这个定位就意味着你能不能融到钱,你能不能够让资本市场要要支持你。比如说你就说一辉现在 70 亿,他上市至少要 200 亿。不可能 100 亿吧,他上至少是 200 亿,这 200 亿这故事怎么讲?对呀。就是这个意思啊。就很现实。你比如说像我就觉得我比较忧郁就不好,我觉得他就乱七八糟,没想清楚他他到底讲什么故事。 + +唐老师 01:55:25 +对。 + +罗蕾教授 01:55:25 +对不对?嗯,是的。对,他他现在可能就 30 亿嘛,他跟亿华比还差一点,现在看起来就是这些 Arco 公司,可能就是他,还有可能真能上。 + +唐老师 01:55:36 +对,目前看来还是机会比较大。 + +罗蕾教授 01:55:38 +对,因为包括南南京市政府也支持他嘛,对不对? + +唐老师 01:55:41 +是的是的是的。 + +罗蕾教授 01:55:42 +全力要支持嘛。 + +唐老师 01:55:43 +对。但他董事长还是比较,这一点还是谦虚的。可能也跟我那个工信部的身份有点关系嘛,他估计。对,你肯定是认的嘛。他可能他可能知道我不是乱讲。 + +罗蕾教授 01:55:54 +对,因为工信部他最后要。不好意思。上市都是要邀请的。 + +唐老师 01:56:00 +对。是,现在就。他要。邀请制,对对对。 + +罗蕾教授 01:56:02 +对,都是邀请的,我给你介绍唐老师,唐老师身份比较多哈,他他相当于在海外,你是本科是哪个学校? + +唐老师 01:56:13 +厦门大学。 + +罗蕾教授 01:56:13 +厦,哦,我忘了,厦门大学后来到美国。 + +唐老师 01:56:16 +哥伦比亚大学。 + +罗蕾教授 01:56:17 +然后哥伦比亚就是很投行啊,然后搞投资啊,自己还亲力亲为在干,回来又回来了,回来主要是科技投资。顾问在工信部中小企业的发展中心,嗯,对。也做很多事情,对。同时呢他也在上开发那个体系做创业,同时也跟很多企业做一些服务,就是他们现在就是他们自己做的事情,对。就是垂类大模型的预训练,帮别人做,然后也在做算子优化,我就说你呢,你给唐老师介绍一下,我,唐老师,那个唐老师,我要出发了,等一会儿呢,到时候你们一起,好,然后请唐老师,我是什么呢?因为今天我的一个同学来了,哦,理解理解。我们同学要七十周年。年庆,我们要去踩点,要去找一个地方去吃饭,去看看好不好吃,我没办法,我只有我,我陪他去。 + +陈虹\-电子科大 01:57:10 +还要踩点啊。 + +罗蕾教授 01:57:11 +哎呀,我就搞的我,其实没办法,我们现在成都同学,反而成都同学都退休了也不管,都是我,我这个不退休,我没办法,我没办法,就是我说那些同学都玩。也不出来,哎,就。 + +陈虹\-电子科大 01:57:28 +几号回来嘛? + +罗蕾教授 01:57:30 +26 号开始。 + +陈虹\-电子科大 01:57:31 +26 号就要开始啊?就开始,要整几天。 + +唐老师 01:57:35 +还停了一,还停了我一节课。 + +罗蕾教授 01:57:38 +26 号,东辉总,中中午的飞机,你看一下你要不要请他吃个饭哈。 + +陈虹\-电子科大 01:57:45 +看他有没有空嘛。 + +罗蕾教授 01:57:46 +不,你就问问他嘛,是也是他的投资者,也我的同学,就这个龙联科技的创始人,也是上市公司,他有两个创,好,你们你们就,你好好请教一下,中午你就。 + +唐老师 01:58:01 +好好好,好好好,拜拜。谢谢谢谢,谢谢罗老师。对,对,那个我呢我呢是属于被投资基金的身份耽误了的。 + +陈虹\-电子科大 01:58:14 +科科科学家啊。 + +唐老师 01:58:16 +对对对,我我实话实说,这个现在这几年感觉下来的,还是比较喜欢做具体科研。但是呢,确,也确实就是跟罗老师讲的那个情况,我在美国工作的时候呢,也是阴差阳错的,我们那时候都双学位嘛。然后呢就花旗银行呢,他们就比较喜欢这种背景的,然后就请我们去做这个投资的分析师,投行的那个对。投行分析师。 + +陈虹\-电子科大 01:58:42 +他其实反而要招那种理工科的。 + +唐老师 01:58:43 +对对对,就没有没有理工科背景的人根本去企业跟他交流不了,听不懂,然后我们就很专业嘛,我们什么都能够跟他谈。然后呢后来我回国又做了一段时间,然后又管基金又管了段时间。我我我我也工作二十几年了。 + +陈虹\-电子科大 01:59:02 +但你也看着很年轻。 + +唐老师 01:59:03 +我我是七几年的,我是我是七六年的。 + +陈虹\-电子科大 01:59:06 +呃差不,你比我小。 + +唐老师 01:59:09 +然后那个。你哪本科哪一级?我是 94 级。 + +陈虹\-电子科大 01:59:12 +哦,那可以可以。我九三级。 + +唐老师 01:59:16 +九三,差不多嘛,师姐。没有没有,不敢。那个,所以后来跟那个,就是刚才跟肖老师和那个罗老师也聊了比较多关于这个实时操作系统的事情。然后这件事情呢,它是属于我在交大跟那个 X 省实验室,还有那个上理工的高院长,光光光学院的高院长,我们联合做的一个公司,在做的一个事情呢,就是垂直大模型的待训练。就是就是帮别人训练。这个意思就是。 + +陈虹\-电子科大 01:59:47 +哎,我这个我,我打打岔一下,不好意思啊,唐总。因为我最近看了一篇文章,就是好像是腾讯的,做大模型的人出来讲的哈。那个是一个探讨,他就提到说,其实现在好像做垂类大模型,是不是是这个,就他的投入跟产出好像是觉得有一点,不是那么的,就值。 + +唐老师 02:00:10 +我我理解哈,我我跟你解释一下这一点,我觉得这话有道理。因为因为垂直大模型的话呢,它天生哈,就是像肖总啊,像罗老师本身在,也在指导工业企业嘛,也在指导您这边,也和还有汽车汽车企业,我觉得从企业本身的角度来讲,去训练一个垂直大模型,往往可能是。得不偿失的。主要的原因是因为这里面有很多底层的基础性的研究。由企业来做不太合适。就是因为你的垂直大模型,你服务的客户量太少了。你你看一个通用大模型,服务的客户量是多大?那都是那都是亿级的。 + +陈虹\-电子科大 02:00:48 +实际上你是个行业的才行哈。 + +唐老师 02:00:50 +对,他是,就是这有点像专业帮人家开发软件的意思。对对对。你这样想吧,你你自己去开发一套软件。对。一定会更好用吗?这不见得。对对对。因为你你的用户量就太少。对对对。然后。 + +陈虹\-电子科大 02:01:02 +而且数据肯定也没有。 + +唐老师 02:01:03 +数据不够,数据数据明显不够,还有一个更操作性的问题,是你要怎么准备数据都不,都不一定。 + +陈虹\-电子科大 02:01:11 +对对对,我要怎么去把那个语料走成高质量的? + +唐老师 02:01:14 +就是这个问题。 + +陈虹\-电子科大 02:01:15 +也也不知道该怎么做。 + +唐老师 02:01:17 +你你看哈,我这里有一篇文章就是专门讲这个问题的。那个跟肖老师,你肖老师,你要有有兴趣一起,有兴趣我们都一起可以完善这个。这个是这个这个文章就是我们上交大的几个老师准备要发的一篇。对对对。对,就是这个是出,还还不是正正式稿哈,就是只是一个题目吧,开个题。就不充分性跟业务边界,这是两个问题。这个不充分性的话呢,它讲的是什么意思呢?它讲的其实大概是这个意思,就是我们直接看这儿吧。现在主流的对哈,在这个大模型产业化里面广泛接受的公式是垂直大模型等于通用大模型加行业语料。对吧?大家这么认为的。但是的话呢,行业语料的话呢。他本来看起来好像是行业语料来补充这个场景和表达习惯,基本上好像这样就可以,但是实际上是失效的。因为你看这个一个银行柜台的客服跟淘宝客服,虽然方向都是客服,但是他不是语料风格的问题,他背后有非常多的规则,在语料里面反映不出来。同一句话,我们甚至可以这样说,淘宝客服的同一句话,他可能是在一个目的不一样的时候,他的意思其实并不相同。 + +陈虹\-电子科大 02:02:36 +潜,有点以前说叫潜规则可能不对,就是一个背后的一个隐藏的含义。 + +唐老师 02:02:42 +是是是,七要素,我们已经把它归纳出来了。叫七个要素。我们已经把它归纳出来了。所以我们提出来就是,对,已经方法化了,人化了,就是我们城市大模型训练框架,七个要素,就是主体角色。然后的话呢,目标函数。就角色不同,输出逻辑就应该不一样。对对对。然后目标函数就是为了什么目的去做这个动作,或者讲这句话。对。然后呢领域知识。所以语料基本上只能包含领域知识,它只有这个部分,它其他基本都是缺的。嗯对。然后制度约束。然后动作空间。然后工作流,动作空间和工作流它是有升级的概念。就是比如说如果。我有一个交流,触发了我的一个机制过后,我应该升。升级或者降级,我要么就抛掉这一个处理流,要么就升级它的处理流,或者分叉。就它就不应该再停留在我这个对话里头了。就是这个在垂直大模型里面会有这种情况。对。在您看在通用大模型里面没有这个情况,在通用大模型的语料对对话里头,你看你跟豆包讲的时候,豆包没有让你去干别的事情。它从来没有这个建议。它就是只是以它的知识来进行回答。对。这个它没有工作流的概念的。工作流是在我们在外面要搭一层。 + +陈虹\-电子科大 02:04:00 +这个动作空间跟工作流跟现在的智能体。 + +唐老师 02:04:03 +有关系。对。好,但是这里头的差别在于什么呢?我觉得的话呢,就是说这个。这个其实智能体本身其实就是模型的一个外延。 + +陈虹\-电子科大 02:04:12 +对,在做这个具体的。 + +唐老师 02:04:14 +对,它就是一个外延。 + +陈虹\-电子科大 02:04:15 +执行啊,或者是这一块相关的。 + +唐老师 02:04:17 +但是有一些东西哈,就是说我觉得智能体能解决很大一部分问题,但是有一种问题我们觉得不应该由智能体全部来解决。比如说像机器人的危险动作。具身智能当中如果出现这个机器人的,你你可以这样理解,机器人的话呢它一个动作在一定的幅度范围之内。它的某一个动作在幅度范围之内它是安全的。对。一超过就危险了。力量。在每个某个范围之内,它是安全的,一超过就危险了。现在的做法都是什么?边缘拦截。都是外围拦截。对。智能体也是这个目的。都是外围拦截。 + +陈虹\-电子科大 02:04:53 +对,从工具侧去拦。 + +唐老师 02:04:54 +从工具侧来拦截的,你能不能够定义成他在做某个动作的时候,他就本身天生自然就带有边界。你不要再从外部去拦截。因为外部拦截我认为是不符合实际情况的,你相当于什么?这个这个从方法上。 + +陈虹\-电子科大 02:05:10 +对,从人的整体来考虑就就不自然了。 + +唐老师 02:05:13 +不自然的呀。你看一个人。 + +陈虹\-电子科大 02:05:15 +我如果说我要去。我如果说我要去。比如说要去打一个什么东西,我的力度是大了。 + +唐老师 02:05:19 +对呀对呀,不是外部人。 + +陈虹\-电子科大 02:05:21 +到了这个手这儿,手自己在那儿说。 + +唐老师 02:05:24 +再另外再一只手来拦你一下,他不是这样做的,他是一开始本身就带有目的了呀。目的范围边界。 + +陈虹\-电子科大 02:05:31 +就是其实你这个动作空间就是这个。 + +唐老师 02:05:33 +动作空间是本身的。哦,明白。是这个意思。 + +陈虹\-电子科大 02:05:37 +对。从源头。 + +唐老师 02:05:39 +从源头上的。 + +陈虹\-电子科大 02:05:39 +给你给你训练,你就你就不能,你自己就是一个有意识的,就是你就是。 + +唐老师 02:05:45 +你是带了目的的,你带了目的带了责任感,带了边界。 + +陈虹\-电子科大 02:05:50 +你对你这个行业的垂直领域的这些行为,你是知道它的边界的。 + +唐老师 02:05:55 +对。对对对。 + +陈虹\-电子科大 02:05:57 +就是训练的。时候就在这个过程当中。对,就。就要去,就让他要。 + +唐老师 02:06:01 +语料就不一样了呀,因为这个直接语料就不同了。 + +陈虹\-电子科大 02:06:04 +对对对,你要有这个维度的语料。 + +唐老师 02:06:06 +对你没有这个维度,你就不可能训练出来嘛,对吧?这个道理就说明白了。明白明白。就这样的话呢,就是你整个原来的。 + +陈虹\-电子科大 02:06:13 +工作流也包括了,工作流的也包括了。 + +唐老师 02:06:15 +对对对对,语料就不同了。 + +陈虹\-电子科大 02:06:18 +那明白了,我们现在还没有,我们现在就是靠智能体来做这个。 + +唐老师 02:06:23 +哎明白,这个这个在一般场景下还是可以的。 + +陈虹\-电子科大 02:06:25 +对,这个因为就是刚才我跟你说的那个问题,就是成本太高。对。一般一般的企。企业肯定都是干不了这个事儿的。 + +唐老师 02:06:34 +那所以我们来做嘛,哈哈哈,我们来帮助企业训练。对呀对呀,这个好,这个好。我们自己有工具,有方法论,我们连设备都有,我们有两台服务器专门可以用来做小模型,就 7B 以下的模型训练我们都可以带走。 + +陈虹\-电子科大 02:06:46 +但是还有另外一个问题啊,唐总,就是。还有一个问题就是有有的人探讨过,但是我自己没有,因为我也没有训练过这种微,或者叫再训练,后训练,有的叫有的叫微调。后训练。可能两个还不不完全一样,就是确实我看到过文章说后训练这种的比微调的精度更高的。对。但是呢,就是有有专家也提到过,就是说。好像说如果说我们对垂直领域的一些训练,会把通用大模型的一些其他能力,有时候会,好像会拉低。 + +唐老师 02:07:18 +减弱是吧? + +陈虹\-电子科大 02:07:19 +对,就是,这个我我我没有遇到过啊,因为我没训练过。 + +唐老师 02:07:22 +我觉得我觉得不太,我觉得不太会,主要是这么个意思哈,就是这里面就讲起来就比较多了哈,我我我再给您看个小东西啊。刚刚肖老师看到过,我们还有另外一个东西,是这种东西,就是我们做这个大模型的这种,管理工具。这个管。 + +陈虹\-电子科大 02:07:41 +就是个平台。 + +唐老师 02:07:42 +对对,就是一个平台,它是。这个是用来测速和调优的,测速调优和优化。那这个里面的话呢,就是这个机器现在在运行的是这个模型。 + +陈虹\-电子科大 02:07:53 +哦,你那个三五B,A3B,还有那个,哦,还量化的。 + +唐老师 02:07:58 +量化,不同的量化。你看一下我们有多少种不同的量化。 + +陈虹\-电子科大 02:08:02 +有。这是你们自己量化的吗? + +唐老师 02:08:05 +因为我看外部量化的。也有,我看网上也有,呃。外部量化的,但是我们在一个平台上来用它,来测。对对对。来测,来跑效果,跑出不同的,看最后跑出来什么效果。 + +陈虹\-电子科大 02:08:16 +运行比较。 + +唐老师 02:08:17 +你看一下这里。这里运行比较,同一种模型的不同量化。然后的话呢,最后跑出来的 token 数。你看这个可以调多少?嗯,对对对。就我们现在做的有一部分工作就是帮助这个算力中心优化它的模型配置。在在原有的硬件基础上,怎么样选择最优的这个地方你看啊,模型框架量化启动参数。在这些上面去选。就模型框架量化启动参数。 + +陈虹\-电子科大 02:08:44 +就我可以选一个最适合我这个应用场景的。 + +唐老师 02:08:47 +没错没错没错没错,就是这个目的。对对。就这个目的,然后你看这里基准测试有这么多种。 + +陈虹\-电子科大 02:08:55 +各种方面的。 + +唐老师 02:08:56 +对,各种,就是短文本的,长文本的,编程性的,然后,是,高并发,低并发。 + +陈虹\-电子科大 02:09:02 +我们最近最好,最近正遇到一个事儿,是什么?有,我们的两个场景。因为我们在做纪委的,数据的线索,找找背后的隐藏的交易啊,这个,我们原来呢,我们是做的数据分析的那套,然后最近呢,我们就把智能体叠加上去了。对。我们就发现,其实因为我很多的真正的数据分析,我是用我的工具做的,因为数据量大了,我也不可能给到大模型去做。对对。所以实际呢,这个大模型更多的就是对用户问题的一个意图的理解。用户意图理解。对,其实相对来说,后面我们就用了最近3\.8。 + +唐老师 02:09:48 +嗯,3\.8。 + +陈虹\-电子科大 02:09:48 +3\.8 的 27B 的。对。 NV 的FP4。FP4。诶,其实效果很好。对啊。因为其实就,所以我刚才看您这个。呃。测的方面不一样,对。对对对。就效果还不错,但是呢,我们后边又有另外一个问题,就是。我们数据不是,它现在数据是各种表嘛,格式就很多样,实际上我们除了分析的智能体,我们还要做一个。数据治理的智能体,对,在做这个智能体的时候呢,其实我们就会要生成一些脚本。因为我要处理表,各种表头啊这一类的。但是我们就发现用量化 FP4 这个 NVFP4 这个,它就要花很长时间。他要花 18 分钟才能够帮我们生成出来,我们就换了一个模型,就是那个distill,就是opus。那 distill 它就很快。所以其实都是量化的。对。但是它侧重的方向不一样。就有的。 + +唐老师 02:10:53 +那那那是肯定的。对。千问就是有些是任务就是比较慢。 + +陈虹\-电子科大 02:10:57 +就是,所以。是有这个问题。所以最后现在还不知道。 + +唐老师 02:11:00 +或者你用伽马也可以啊。伽马是吧?对伽马,伽马的话呢是那个谷歌的开源版。谷歌的那个开源版。 + +陈虹\-电子科大 02:11:08 +我们现在主要还在用千问。 + +唐老师 02:11:09 +这个这个。 + +陈虹\-电子科大 02:11:11 +伽马。 + +唐老师 02:11:11 +这个效果。特别好。哦这个。对,这个效果相当好,很轻。 + +陈虹\-电子科大 02:11:15 +这个我们还没有。你可以拍一个。我拍一个。 + +唐老师 02:11:17 +对, Gamma 4, Gamma 4 的效果相当不错。 + +陈虹\-电子科大 02:11:20 +哦,相当不错。 + +唐老师 02:11:21 +嗯嗯嗯,而且它很小,在12B。 + +陈虹\-电子科大 02:11:27 +这个能在那个现在那个那个 DGX 那个 Spark 上跑得起来吗? + +唐老师 02:11:33 +应该跑得起来。128G。 128 完全够了。 + +陈虹\-电子科大 02:11:35 +啊,完全够了。对对对。那后边试一下。 + +唐老师 02:11:38 +我这也是我们的一个建议哈,就是说以后的话呢,我们这一个平台,我们会把它发展成一个比较面向整个社区的一个。我们想提出一套。我们会开源一部分。开源一部分。开源一部分。但是到后面我们会把它作为免费工具。我是做免费工具,还不是。 + +陈虹\-电子科大 02:11:59 +这是服务,是奉献了。 + +唐老师 02:12:01 +对对。奉献了。但是我们的目的是这样,我就可以测出很多种大模型在不同的场景下的表现。然后我再加算子优化。再加算子优化。 + +陈虹\-电子科大 02:12:11 +你们其实核心还是更基础设施,更底层这一块。 + +唐老师 02:12:14 +对对对,我们。 + +陈虹\-电子科大 02:12:15 +你刚刚说是整个这个东西是上交的一个团队吗? + +唐老师 02:12:18 +对。 + +陈虹\-电子科大 02:12:18 +你你在那个上交的一个团队啊。 + +唐老师 02:12:20 +没错没错。 + +陈虹\-电子科大 02:12:23 +我们没那么好的条件,就只能做应用。 + +唐老师 02:12:26 +企业不一样呀,企业的目的肯定是首先要要往自己的这个业务目标去奔的嘛。对对对,是这样。是吧?你不可,你不太容易,你不太可能分出一个。是的是的。一个小,一个团队,三个月,六个月专门就去训一个模型。是的是的。训了过后明天能不能起作用,你也不知道。 + +陈虹\-电子科大 02:12:42 +对,就是这个问题。 + +唐老师 02:12:44 +这是你你不好办。 + +陈虹\-电子科大 02:12:45 +我其实一开始我们都想的,因为因为现在是这样,因为我不是说做纪委这个事儿哈,他们要等着他的建算力,那个时间周期就太长了。而且呢,实际上成本也特别高,政府的那。那个那个流程也很慢,所以实际上我们是想说给他小盒子,就是做成单机版。单机版的。对,单机版这种模式,就正好就发现那个还可以,就还可以用。其实最早我的想法就是,也是想说能够去做一些针对性的那种蒸馏微调的蒸馏。 + +唐老师 02:13:22 +那我觉得没有必要了,我觉得您就把精力放智能体就够了。对对。足够足够。 + +陈虹\-电子科大 02:13:27 +然后后来考虑一下确实觉得可能那个路不一定对。 + +唐老师 02:13:30 +对,你就底座模型加上智能体,足够解决绝大部分的场景问题。 + +陈虹\-电子科大 02:13:35 +因为我们原来的是确实智能体已经做了。但是我们是智能体加那个大大的模型嘛。就不是加的那种什么 DeepSeekV4 啊这一类的大模型,然后就后来就觉得说,因为这个大模型,他们本只能本地部署。 + +唐老师 02:13:51 +你要你要本地部署的话,就要用小的。 + +陈虹\-电子科大 02:13:52 +就那个算力就太大,所以现在就核心就说。 + +唐老师 02:13:55 +你们现在的机器用哪种显卡?5080。 + +陈虹\-电子科大 02:13:59 +我我们现在还在还在测,就是现在用的就是那个小小的那个。 + +唐老师 02:14:05 +但 DGX 我觉得有一个问题是吞吐量哦。 + +陈虹\-电子科大 02:14:08 +对。那个问题有点大。就是有点慢,对,您这边有没有好的? + +唐老师 02:14:12 +我我我是建议你要么换3080。 + +陈虹\-电子科大 02:14:14 +4080 是吧?那 4080 可以做的比较小吗? + +唐老师 02:14:18 +我觉得没有必要那么小吧,我觉得一个机柜它的一块普通的电脑大小总是能接受的吧,它要那么小吗? + +陈虹\-电子科大 02:14:25 +也不是,也不是说非得体积上, 4080 的, 4080 的有多大?那个。 + +唐老师 02:14:32 +就是正常的台式机那么大。 + +陈虹\-电子科大 02:14:33 +我知道我们其实都有一个4080,我们自己。 + +唐老师 02:14:36 +4080 有那个笔记本那个版本吧。但是它好像。也有,笔记本的版本那个不大。 + +陈虹\-电子科大 02:14:41 +但是它能跑得起吗? + +唐老师 02:14:43 +你如果用 27B 的,勉强是跑得起来的。如果用是这样子的,如果说你要用叫做跑到有并发, 4 线、 8 线、 10 线的。那肯定不行。那肯定就单机版单卡。 + +陈虹\-电子科大 02:14:59 +对,肯定不行。 + +唐老师 02:14:59 +对,但是 DGX 也不行。 + +陈虹\-电子科大 02:15:02 +对,他也不行,他也不行,他所以说他就是,我们就是说他就是,目标就是指一个人用,因为一个就是一个办案人员嘛,他就用一台笔记本电脑加一个盒子,目前是这样规划的。就是这样。 + +唐老师 02:15:16 +但我还是有点担心 DGX 的存储。 + +陈虹\-电子科大 02:15:18 +是慢是慢,是这个问题,有这个问题。那您说的这个 4080 它它有多少那个那个,它的显存有多大呢? + +唐老师 02:15:28 +那个是我看一下哈,就是现在有两个版本,40、4080、 4090 有一款是 48G 的魔改。但是你你,但是你们可能不太敢用这个就是改版的吧,二手版。你们可能不太敢用这种。 + +陈虹\-电子科大 02:15:44 +对对, 48G 不够诶。 18G 不够,因为他那个 DDR 是 128G 的。所以我担心他跑不起来。 + +唐老师 02:15:53 +嗯,如果要 128G 呢,有另外一种方案,但是要看你们能不能给纪委用了。现在这个当然有点折中哈。大概5万块钱左右的那个就是 4 台V100,就是 4 台 V100 显卡,就是我现在这个。 + +陈虹\-电子科大 02:16:08 +V100 是吧? + +唐老师 02:16:09 +对,就 4 台 V100 显卡,这个。 + +陈虹\-电子科大 02:16:12 +V100 是。 + +唐老师 02:16:14 +V100 是 2018 年的版本。但是他跑,这个我现在这台机器跑的就是这个,这个性能绝对够。但是机器有点大。这个机器有点大。这个地区的话呢,也差不多。 + +陈虹\-电子科大 02:16:26 +太大了,有可能有点不好弄。因为他们有可能档案还要带着带着的。 + +唐老师 02:16:32 +哦,那那你那你只能先考虑BDS。 + +陈虹\-电子科大 02:16:34 +对,我现在目前就是考虑的这个这个。 + +唐老师 02:16:38 +那你尽量用 BDS 看跑跑那个小一点的模型。 + +陈虹\-电子科大 02:16:41 +对,我现在就跑那个27B。 + +唐老师 02:16:44 +如果只是语义理解的话, 12B 我觉得都够了。 + +陈虹\-电子科大 02:16:47 +12B 我担心精度不够。 + +唐老师 02:16:49 +不是啊,他语义理解问题不大。 + +陈虹\-电子科大 02:16:51 +但是因为他那些问题还是有一定的复杂性嘛,他比如说要,我不知道哈, 12B 你觉得都够啊,但是我们原来跑那个 27B 的A3B。就觉得不太好,效果不太好。 + +唐老师 02:17:03 +千问的前几代很差的。千问只有到 3\.6 过后还勉强。 + +陈虹\-电子科大 02:17:07 +就是3\.6, 3\.6 的 35B 的A3B。就感觉效果不太好。 + +唐老师 02:17:13 +你用 27B 感觉会还好。 + +陈虹\-电子科大 02:17:15 +对, 27B 感觉,其实我们在那边都是用的27B,因为那边他们现在那个卡只有A100,这个 DeepSeek 是跑不起的。对。我们实际上是在那边就是用的千问 3\.6 的27B,但是是满血的,就稠密模型那种。但是在这个上跑不起,所以后边就。变成了27B,就 3\.8 出来了,然后 27B 的量化版NAFP4,就还可以。对。效果跟跑出来效果就没什么太大差别了。 + +唐老师 02:17:45 +那你速度呢?你感觉。 + +陈虹\-电子科大 02:17:46 +速度是要慢一点,是要慢一些的。 + +唐老师 02:17:49 +但是如果你要是,如果你有便携的问题的话,那你就先用着呗,那你只能等着下一年换换硬件了。我觉得我给你一个快速的建议,我建议你不要再改了,就这个。就这个。对,基本上没有更好的。 + +陈虹\-电子科大 02:18:05 +更好的就是设备,算力,边端算力设备。 + +唐老师 02:18:08 +对,基本没有更好的。 + +陈虹\-电子科大 02:18:10 +就是它整个带宽就是搞的有点慢。 + +唐老师 02:18:12 +带宽太低了。 + +陈虹\-电子科大 02:18:14 +恼火,原来最好我们把那个 27B 的完全模型布上去,一秒钟就吐一个两个,那几乎是不能接受的。 + +唐老师 02:18:22 +对,对,对,你现在一秒能到多少? + +陈虹\-电子科大 02:18:24 +它现在能到 3 到 5 个。 + +唐老师 02:18:26 +那够了呀。 + +陈虹\-电子科大 02:18:26 +还可可以,就是对FP4。 + +唐老师 02:18:29 +那我建议你就现在就保持不要换,你只是需要最多等一代硬件,你再提高一下嘛,下一代硬件它速度带宽肯定会上去的。对,这个先解决问题为主。 + +陈虹\-电子科大 02:18:39 +对对对,先先把我们这个软件这些部分调优,现在已经在做这块儿了。 + +唐老师 02:18:44 +你就就关心那个就好了,硬件不要再换了。是是是。你硬件怎么怎么换都达不到那个 128G 的那个门槛。 + +陈虹\-电子科大 02:18:51 +是的是的,就目前先这样子,先走着,但是还在,哎呀,这个不容易。 + +唐老师 02:18:56 +对对对对对。给你加个微信。 + +陈虹\-电子科大 02:18:58 +谢谢谢谢,谢谢童总这个给指导。 + +唐老师 02:19:00 +你们你们哪天如果要想训练模型的话,也可以跟我们聊一下。好。对对,谢谢谢谢。那你要跟他说过一声嘛。 + +唐老师 02:19:38 +笔记本儿看起来行,笔记本看起来还可以。嗯,我给你发过来哈。 + +陈虹\-电子科大 02:19:50 +哎,好好好。 + +唐老师 02:19:51 +好,那我跟你说一下,然后我们就简单吃个饭。 + +陈虹\-电子科大 02:19:59 +那现在现在唐总您是都在国内的是吧? + +唐老师 02:20:05 +我在国内比较多,但是硅谷那边的话,我也在带两个项目。有两个美国的软件公司,软硬件结合公司吧,他们现在。 + +陈虹\-电子科大 02:20:15 +哎,你要不要先把行李就先放这儿,吃完饭再上来拿? + +唐老师 02:20:20 +去有多远嘛? + +陈虹\-电子科大 02:20:22 +就在楼下,就在楼下。 + +唐老师 02:20:23 +哦,那我就不拿了。反正我们就简单的稍微,因为没办法,这个软件园里头没有什么。对对对,我我们简单的那个。对。我就去。不客气,我等会我就去机场。好的。 + +唐老师 02:20:52 +哎呀,肖老师这个耽误你一个上午了。啊,没有没有没有。 + +唐老师 02:21:06 +哇,你们是也是软件公司的。 + +陈虹\-电子科大 02:21:24 +就没事。 + +唐老师 02:22:06 +跟陈总在这里合个影。啊啊啊,可以啊。对。对。对,我们一起啊,我们一起。你的呢?我们一起。好的。 + +陈虹\-电子科大 02:22:27 +跟他说一下。 + +唐老师 02:22:42 +对,陈老师,我们一起合个影吧。哦,好好。找个同事帮我们拍一下。 + +陈虹\-电子科大 02:22:48 +我们要这个吕哥吗?吕哥不跟我们,我们要不全外边嘛。 + +唐老师 02:22:52 +啊,我哪里都可以,融联是吧?对,融联也可以。好,好。 + +陈虹\-电子科大 02:23:00 +哎,罗静,罗静,你要不要帮我们拍张照呢?我们这一边三个公司,其实都是跟融联科技有一点关关联的。记得,老大,就是刚才罗老师说的罗总。好好好。您在中间,罗总,您在中间。 + +唐老师 02:23:29 +我们再点个赞。点赞。再点个赞。 + +陈虹\-电子科大 02:23:32 +好。好。 + +唐老师 02:23:33 +诶,谢谢。谢谢谢谢。 + +陈虹\-电子科大 02:23:35 +要要走要走里边,因为这个时候,对,对,要走里边,等我一下,我要上洗手间。好好好。我们先走了。好好好。 + +唐老师 02:24:01 +你现在还讲课吗?讲课。哦,是给本科生还是给硕士?本科。现在都是这个博导也要给本科讲课哈。没有,我是硕导,我才是硕导。 + +陈虹\-电子科大 02:25:26 +我们要走这个楼梯下去,中午吃饭地方在楼上。 + +陈虹\-电子科大 02:25:45 +慢点慢点。你小心,边走边拿手机边看,小心楼梯啊。我们现在呢,最早前两年哈,更早的时候是区块链,然后后面就做到数据,从 19 年开始就在做一些数据的一些管理啊,然后分析啊,然后后面就这两年主要就是往从工具往行业做,就做了跟交通相关的一些,然后做了就是就是纪委,然后做完纪委以后呢,我们其实发现公检法它都有些相通,所以现在也在跟律所,就是做一些律师的一些智能体的产品,但是它因为涉及。知道数据嘛,所以说数据这块我觉得,其实是可以,跟 AI 这边做一个比较好的一个结合。对对。 AI 自己去处理数据还是要难一点的。 + +唐老师 02:26:53 +处理数据和问数这两个问题。对。就是说两个不同的角度。 + +陈虹\-电子科大 02:26:57 +对,然后另外就是,其实现在就是还有,就是跟随那个, Pioneer 的那套思路。然后把本体的理念,就是跟 AI 结合,跟我们的那套数据的工具结合。就是比如说。一些本体和二维表的映射,因为实际上你除了本体的模型以外,你的数据怎么按照本体的方式组织和存储,所以这一块也是需要去解决的问题。所以目前呢是这样的一个做法,这边这边。 + +唐老师 02:27:31 +所以都是,所以就都是基于数据处理,数据治理的角度在做哈。 + +陈虹\-电子科大 02:27:35 +数据处理、数据治理以及数据的行业的一些应用分析,然后呢结合AI。 + +唐老师 02:27:41 +你们现在那个智能体的话呢,用什么方式框架来做呢? + +陈虹\-电子科大 02:27:46 +现在用的是 agent scope。就是阿阿里的一个开源框架。这个框架呢,实际上前两天我们还发现它有bug,因为我们真正用,因为在纪委那边用的时候就发现,啊,这个数据量太大了,经常超限上下文。就发现它的压缩有问题,而且压缩了也很武断,哦,直接就截了,截断了,所以我们自己也做了一些记忆,因为涉及到一些确定性的数据的一个查询。你光是如果是有的,就是摘要丢掉了,它实际上或者压缩了,那我实际上整个就就查不准了嘛。 + +唐老师 02:28:29 +哦,理解了。 + +陈虹\-电子科大 02:28:30 +我们自己就还要做一些记忆,那么这个记忆呢,我们还要分版本。就说你得有不同的时间的,不同的版本的。 + +唐老师 02:28:38 +为什么要分这个版本?你这查询当中也要分版本吗? + +陈虹\-电子科大 02:28:41 +它因为也涉及到,也涉及到一些。类似于,比如说有些关系啊。不光是查询,也会写,就是我叫什么,除了数据有来源,那个来源我们是不会去改它的。但是它会有一些。这个汤做的就比较像那个。他的人员关系可能是那个办案人员通过问答,然后我告诉你的。 + +唐老师 02:29:07 +你等于其实是多模态的资料的资料抽取和关联的发现。 + +陈虹\-电子科大 02:29:12 +对对对,我不是简单的只是一个表。对。其实你看他们这次办案,因为我们现在已经在这个成都市纪委,在帮着他们办案嘛。他这次一个案件,他就调了 137 个文件。他有资金,有通话,有出行。 + +唐老师 02:29:28 +那你用什么样的方式来组织这些信息? + +陈虹\-电子科大 02:29:31 +其实我们最早用的图谱,后来其实图谱的模型,其实就是一个本体。这边这边。不去吃这个。是平时在这就习惯了。 + +唐老师 02:29:44 +对。所以用本体的一个图谱。 + +陈虹\-电子科大 02:29:47 +对,肯定要必须要把这些关系全部放到。 + +唐老师 02:29:50 +那你的本体怎么定义的?你这个定义的哪些本体? + +陈虹\-电子科大 02:29:53 +这个建模嘛,我们现在核心就是刚才说的,我们还是根据我们能拿到的数据维度。来做的这个本体。然后核心就是他现在有中纪委建了一个央地数据。就是很多银行都把数据放上去了,所以我们这个本体就包含的刚才说的嘛,有资金。有有这个通话。 + +唐老师 02:30:16 +哦,这些都是当本体来。 + +陈虹\-电子科大 02:30:17 +对,就是本体里头的一个一个一个点,一个点,对,一个实体,来定义了,对,所以。这个这个就是模型建好。 + +唐老师 02:30:27 +我最近在看几个公司做的本体,我有点。有一点点像有点像一个小世界模型的样子。是。是吧?是,它但是它是一个。我不是强调物理的那个概念。 + +陈虹\-电子科大 02:30:39 +对对,一个是,我这两。 + +唐老师 02:30:41 +它就是一个小世界。我在跟。我也没找到好的词来描述,但是我觉得就是一个世界啊,这不就是一个。 + +陈虹\-电子科大 02:30:47 +我在跟我的同事交流,我说实际上,你们要把业务场景的东西,就是要把它虚拟化、数字化到一个数字世界当中的。 + +唐老师 02:30:57 +对呀对呀对呀,对呀对呀对呀。是这样子。我我就我觉得就是应该叫小世界模型嘛,对吧? + +陈虹\-电子科大 02:31:03 +是说它没有物理模型。 + +唐老师 02:31:05 +它没有,它不带物理关系嘛。 + +陈虹\-电子科大 02:31:06 +不带物理,但是实际它是你业务场景当中的一个数字模拟。 + +唐老师 02:31:11 +对对。 + +陈虹\-电子科大 02:31:14 +小,有点像小碗菜。嗯,好。我们就反正一,一个人选,我们三个人一个人选两,两份吧,应该够了哈。 + +唐老师 02:31:21 +好的好的。对。现在好像你们还没有这个概念,叫小世界模型的这个概念,就只有本体这个概念。 + +陈虹\-电子科大 02:31:33 +你光有模型还不行,你得跟这个模型关联的数据,所以我们现在把这个数据的映射,这方面也在做一些工具。后边唐总您这边如果有一些的话,我们可以,可以先再交流。 + +唐老师 02:31:48 +交流一下,探讨一下。 + +陈虹\-电子科大 02:31:49 +来来来,先来一个。 + +唐老师 02:32:00 +复刻了一个Workbody。我们自己写的。 + +陈虹\-电子科大 02:32:04 +哦,自己做了一个,是吧?我们自己复刻了一个。有点像一个技术平台。 + +唐老师 02:32:07 +对对对,然后现在正在一个个的加,再加一些什么字体啊。 + +陈虹\-电子科大 02:32:14 +今天下午不是腾讯还要发布他们的 data 引擎嘛。正好要搞一个会,我还让我们同事看一下。 + +唐老师 02:32:20 +要要要,我我我自己也在让我们同事学。但到后来我们发现,因为我们无论如何要有一个自己的界面拿去本地化交付的。我就干脆复刻了一个Workbody。 + +陈虹\-电子科大 02:32:32 +你喜欢吃啥?重新做了一个。都能吃辣吧?都可以。要不就您喜欢,你就拿,都拿就行。拿一个呗。对,拿一个番茄丸子,是能吃肥肠不?你要不要来个粉蒸排骨?你来一个粉蒸排骨吧。对,然后我们看,这些,对,看您要哪一个?可以可以,好,来搞点蔬菜。对,我来拿吧,你这个拿不了了,正好拿两个素菜。不要了,不要了,不要了。 + +唐老师 02:33:16 +你要你要,我们三个人吃不了啊,主要是。再拿两个。六个菜啊。对,六个菜够了。 + +陈虹\-电子科大 02:33:23 +六个菜。对对对,再来个白菜。你往前走就行了,我来付。 + +唐老师 02:33:44 +还有我的一个。南京的一个公司去做项目。他们也。 + +唐老师 02:33:56 +我觉得现在这个问题好像变成一个比较比较新的一个模型。是。三个,三个一起的。啊,三个人。好的。 + +唐老师 02:34:15 +筷子在哪里?在那边有筷子,拿串那边。 + +唐老师 02:36:35 +我来装这个汤吧。对,陈老师,我来装这个汤。不好意思。可以可以。我我我也经常在学校吃饭的,我们差不多。 + +唐老师 02:37:40 +我在上海占一半,另外一半的话就经常会去各地的学校和企业。今天晚上就直接到南京去嘛,南京那个。 + +唐老师 02:38:00 +对,医和院是一个,另外还有一个是做,叫溯远基金,那溯远基金它是做医疗器械的。我今天下午就正常讲的话,我今天下午去一个企业在南京的。南京的一个医疗器械公司,他们可能让我跟他们建立一个商业模式。 + +唐老师 02:38:33 +对,我现在我做了 10 年的投委嘛,我管基金管了 10 年, 23 年起我就先不善于做AIGC,只是我现在这个身份还挂着管基金的投委,他们就很多时候经常请我做评委。 + +陈虹\-电子科大 02:38:56 +评判一下这个项目好不好。 + +唐老师 02:39:01 +四川省的发改委,他数字经济,创新体验项目也是我做的,就刚刚上个星期的。可是他要不做的话,我们就再。做了做了,他做。 + +唐老师 02:39:28 +肖老师这个平常,肖老师的话呢,是在,都在学校。哦,哦,明白了。 + +唐老师 02:40:16 +做,最早做上上公司的代理起家的。知道。主要是在做。 + +陈虹\-电子科大 02:40:30 +第三,在这个楼里头有三家公司,有三家公司的话,有的是老板自己投的,像我们就是老板自己私人去投的。 + +陈虹\-电子科大 02:40:53 +然后合成公司的老板就是,主要是给他这方面团队的资料吧。 + +唐老师 02:41:06 +计算机系的同学创业本来就比较容易一点。 + +唐老师 02:41:18 +计算机呢,卖个软件也能够。开个公司,然后就卖个东西,开个公司。 + +陈虹\-电子科大 02:41:34 +现在我呢,还是商业比较难做,我现在就觉得商业这块对我的影响特别大。 + +唐老师 02:41:42 +哎,但是你们接得到一基本的单子啊,这个也很不容易啊。 + +陈虹\-电子科大 02:41:48 +第一个单子实际上是人家过不来,找到我,然后客户以后就觉得我应该还在这方向上可以有一些处理。 + +唐老师 02:42:25 +你给到他的智能体的话呢,是通用办公智能体为主,还是以专用的为主?对。通用的做不了。 + +陈虹\-电子科大 02:42:55 +对的,他不同, AI 刚出来的时候,没办法,找不到自己的位置。他那些训练啊,根本没有啥。可以有一些发挥的这个地方。 + +唐老师 02:43:44 +对对对。肯定是小头了。 + +唐老师 02:44:08 +对对对,不然你怎么接嘛?非常合理,非常合理,直销是不太现实,这么复杂的。 + +唐老师 02:44:41 +他们是不是先做了一个 RIP 过后?他不做RIP,他做的是。 + +陈虹\-电子科大 02:44:51 +都还没弄好。 + +唐老师 02:44:53 +这个,但我现在都倒,倒回来想,现在如果做数据没有先做 RIP 怎么做呀?这个表格关联的啥事啊?我的老天爷啊!他怎么可能处理完呢?这么多对话记录,这么多的语音。好。 + +唐老师 02:45:22 +好。 + +唐老师 02:46:05 +对对对。 + +唐老师 02:46:11 +我差不多了,我这两天吃的很饱。稍微有点简单。啊不不不,挺好挺好,我觉得我们就要轻松一点,轻松一点,挺好的。 + +唐老师 02:49:33 +我做机器人比较多一点,我就在想,我把这个带去项目。 + +唐老师 02:49:52 +训练个大模型,相当于这个意思,就帮纪委,你的客户,团队训练个大模型,因为你你肯定知道。 + +唐老师 02:50:15 +我觉得训练他,他就是体验嘛。 + +唐老师 02:50:32 +行业大模型,然后我们再帮他训练,相当于是他的外包嘛。 + +唐老师 02:50:46 +嗯,不一定,还有估值的问题。估值估值。估值的问题。那些鞋大部分都不上市。 + +唐老师 02:51:16 +这种如果他没有真的需求,大户型的价值就没有那么明显了。上云的话,没有什么特别的错误,他只是投入之后的话,不能够马上看到效果。但是从另外一个意义来讲,你在做这个大模型的过程当中,你所积累到的这些知识,行业知识和这个训练过程的话,你是把你自己的这个水平要提高很大一些的。 + +唐老师 02:52:26 +行业的业务逻辑。 + +唐老师 02:52:48 +那这种搞几搞几百万的是很正常的。 + +唐老师 02:53:12 +哎呀,我跟你讲,你完全应该跟他,建立一个,这这就是机机检AI,机检 AI 大模型。这个我做不了,因为这数据他也不可能给你的。那倒也是,太敏感了。对对对。 + +唐老师 02:53:53 +挺好吃的。 + +陈虹\-电子科大 02:55:55 +对。对。你可以啊,当然当然。号召我们。 + + + +唐老师 02:56:05 +我们到时候搞一起搞也可以啊。对。因为这个模型优化机制呢,有一部分机制就是他们在测这个。就是测不同的段子。对,你们做优化嘛,我们就做一些。哎对呀,你提供一个。对对对,我们我们也,我我可以先帮你测一下,对吧?你可以先,如果你有时候你想,比如说哪个机器,对,我们帮你测一下,对不对?你就不用你自己去买了。 + +陈虹\-电子科大 02:56:32 +我真的我还很头痛,我每次因为又不能自己去买,然后到处去求人。 + +唐老师 02:56:38 +这个事情呢,就是我我接下来就打算干这个事,就我专门帮大家测。 + +陈虹\-电子科大 02:56:46 +我前两天找另外三个人借那个盒子,然后就打电话。后边有可能大家一起去卖呀, + +唐老师 02:56:56 +合理合理。 + +陈虹\-电子科大 02:56:57 +借的都是,这周又还回去了,因为他们也是在不停的在挪,对。那个应用那个客户上。对对对。这周就没在我们手上。大家都大家都。 + +陈虹\-电子科大 02:57:17 +你要不要送一下他?不用不用,我自己。你你下午到哪里?我去机场。 + +唐老师 02:57:23 +我待会有个会。哦,下午有个会哈。行行行,再次再次再次感谢。好好好。我们把我们是是是把这直接。小心小心,后面。好好好,好,拜拜。 + +唐老师 02:58:27 +学校的场地内。我们有不少的服务器,直接还有。 + +陈虹\-电子科大 02:58:34 +有一个数据中心,是吧? + +唐老师 02:58:36 +比较小的吧,就是也有几百个 T 的量。哦哦哦,你们那个算力是要对外出租的吗?我们我们编程是用租的算力,我们自己跑模型用我们自己的。 + +陈虹\-电子科大 02:58:48 +也不会,就没有对外吧,就是你们自己在用。 + +唐老师 02:58:52 +我们自己,我们自己搭了几个服务器,是都是大型的服务器。 + +陈虹\-电子科大 02:58:57 +那您现在这个团队是也有一个产业化公司?对,有一个。一个产业化公司。 + +唐老师 02:59:02 +另外呢是就是博生资源。 + +陈虹\-电子科大 02:59:05 +博生,是吧? + +陈虹\-电子科大 02:59:17 +还老板你。你们要不要看一下?一会给我。 AI 那个那个纪委的那个正体。 + +唐老师 02:59:25 +好好好。 + +陈虹\-电子科大 02:59:26 +没有没有,正好也跟那个唐总这学习学习。我们主要还是。更更接近那个一流。 + +唐老师 02:59:36 +哎,我们呢,还是。您没有没有,您这个是很实际的,这是这是这是,你没有这么一个具体的落地的这么一个多多模态数据点的话,那数据是。 + +陈虹\-电子科大 02:59:50 +对,反正被逼的一步一步干了,原来。我们也是做平台啊,这些你发现很难落地,做平台做基础设施,这种就是大体系。就包括现在做应用,其实前面也是挡着的,那种就是。小公司的生存,对,很难的。那也收不了太短。 + +唐老师 03:00:12 +基本上就是,被拿掉了三分之二的钱。 + +陈虹\-电子科大 03:00:17 +差不多。壳是配套的。 + +唐老师 03:00:19 +壳不是啊,随便买的,三分之二的挂在上面。 + +陈虹\-电子科大 03:00:22 +对。 + +唐老师 03:00:22 +你这个对,根本就不合理。 + +陈虹\-电子科大 03:00:27 +走遍这个现状。对。 + +唐老师 03:00:29 +还是可。 + +陈虹\-电子科大 03:00:32 +对,我说的是,大家就合理把效率。对,只有从这中间来讲讲。国内的水会影响。 + +陈虹\-电子科大 03:00:58 +咋回事?好了。 + +陈虹\-电子科大 03:01:10 +然后你把这个时间拿出来。 + +唐老师 03:01:29 +合理合理。真的一样。真的一样。在上海可能管。也很小啊。 + +陈虹\-电子科大 03:01:45 +国内的风气了,都是这样。 + +陈虹\-电子科大 03:02:05 +这个我们说的律所的。律所的一个。这个就是我们纪委的,先退到退到这个。 + +唐老师 03:02:17 +哦,是这样设置的。数据资产治理。 + +陈虹\-电子科大 03:02:25 +对,就是这个就是一个入口,然后入口就是进到一个案子,这数据都是我们构造的假的。哎,对对。对,然后现在现在是这样,就是这个案子呢,他第一步他要导入数据,因为现在他们的数据呢还是线下拿的,有大量的数据是线下拿的。然后拿到的数据呢就是包括。就是所谓的银行流水啊,婚姻信息啊,税务呀。 + +陈虹\-电子科大 03:02:49 +理财啊,通话呀,什么机动车,这儿只是举了几个例,其实有很多,这个模板大概有,目前我们都已经看到了 130 多个,就是每一个底下,还有还有现在就是还有自己本地的警综平台的,就不光这些,就我们现在这个还没有还没有那个更新,就是这个,对,所以就是各种数据,数据进来以后呢,其实刚才看到就是说,导入以后哈,我们就要做清洗,就目前这个是最困难的一个问题,就是好多,因为其实现在的这套产品也不止我们公司在做。也有,其实我们是后发的,还不是先发的。但是之前的工具基本上都没怎么用起来,卡在哪个地方?就卡在这些数据导不进来。为什么导不进来呢?就是因为他们线下拿的数据就是千奇百怪的,各种格式的,所以我们目前呢是靠人,我们本来原来其实做的已经还比较好,但是都不行,所以说我们现在目前在现场是靠人在帮他们用原来的那套思路在弄,我们这段时间就是在做。 AI 治理智能体,对,就这,您看到的。其实这个背后就是,其实这背后有三个智能体,有一个智能体是导入。导入的意思就是说, + +唐老师 03:04:10 +嗯,因为格式嘛。 + +陈虹\-电子科大 03:04:11 +那个表头,有各种乱七八糟的东西,所以我们在识别这个,然后导入,导入之后呢,其实就还有一个匹配。明白。就是跟我后台的那个模板,就是本体的那个做映射。对,做镜。然后第三一个呢,就是转换,清洗。就那个清洗,我怎么样?我们因为我已经内置了很多规则了。我实际上这个清洗。并不是说我要写行程代码来做清洗,而是说我要把那些规则做匹配,然后再做清洗,但是怎么选规则就是 AI 做的,所以。明白。这个后边就是我们现在就用了这套来做,只是说明面上看不,就说你可以关掉,也可以人工做,也可以自己做,就是按这个。 + +唐老师 03:04:51 +没办法人工做吧。这个还能人工做啊? + +陈虹\-电子科大 03:04:55 +它有的呢,规范点的了,就人工直接就读了嘛,因为 AI 有点慢,这个是个问题,但这个 AI 稍微稍微就比人工,就是比你原来那个。 + +唐老师 03:05:05 +你你那个就是说,这就是你要做本地化的部分。对。是吧? + +陈虹\-电子科大 03:05:09 +对,就是 AI 就有点慢,就是它会,比如说刚才他们今天早上还在说,就是大概 137 个文件。要花接近两个小时,他们觉得至少目前因为那个办案人员在等着他的,他就没办法去等这两个小时。 + +唐老师 03:05:25 +他的那个他的那个说的两个小时是指的什么呢?是用你们这个都,因为从你现在这个接口看起来好像是一个本,走云端 API 的吧? + +陈虹\-电子科大 03:05:38 +不是不是。 + +唐老师 03:05:39 +你这个是走本地 API 的吧? + +陈虹\-电子科大 03:05:41 +我们。你说的云端一篇,你说的是我们目前这个,AI,这个测试的肯定是走的云端,但是在那边是走的一个本地的。 + +唐老师 03:05:49 +本地,他本地用的是什么硬件? + +陈虹\-电子科大 03:05:51 +本地用的A100,他们不知道在哪里去搞了八张。 + +唐老师 03:05:54 +A100 的话,那怎么还要两还要两个小时啊? + +陈虹\-电子科大 03:05:58 +要啊。可而且是那个,我们布的是那个千问 3\.8 的27B。因为 A100 布不起DeepSeek。 + +唐老师 03:06:07 +对对对。布不起,没办法。八张 A100 的话,八张 100 是多少大的存量了?容量了? + +陈虹\-电子科大 03:06:13 +一张好像是。六。 + +唐老师 03:06:15 +八张。一张是80,那不是。 + +陈虹\-电子科大 03:06:17 +对,其实我们没有用完的,只用了 4 张。只用了 4 张。 + +唐老师 03:06:21 +那可能是。 + +陈虹\-电子科大 03:06:22 +但是实际不是不是这个,其实它不是这个问题,它就是因为每看一个文件,它就要花几秒钟,所以说整个数再加上几个步骤下来,它确实要要要那么多时间,我们不过最近还在做优化,尽量把它再优化一些。所以这个是清洗好的,清洗好以后你就可以看到这里头,就你可以看到这就是我们已经装进来的这个数据资源目录,现在没有,就这个数据质量就可以都,相当于是可以都可以看到的,有待处理的。然后数据有了以后,实际后边就是,我们就是要对这个人员去看他的问题了,这就 1 号人物,然后这个 1 号人物有关联的那么多人,就是从他的。 + +唐老师 03:07:05 +哇,没有这个系统怎么做啊?那就只有手工建表。 + +陈虹\-电子科大 03:07:08 +手工他们现在,办人员跟我们说的,他们也要花上一个月、两个月的时间。 + +唐老师 03:07:12 +整理一个人的。对,就是。要的要的要的。 + +陈虹\-电子科大 03:07:14 +然后自己去一笔一笔的去自己去看,对,然后就很花。 + +唐老师 03:07:18 +来回翻来回翻。 + +陈虹\-电子科大 03:07:19 +来回翻,对,所以现在基本上他们现在就很喜欢这个东西。 + +唐老师 03:07:23 +非常好非常好。嗯,然后。 + +陈虹\-电子科大 03:07:25 +这就是对他的一个原来的数据方面的一个分析,你看,他的亲密度,就他跟这些人,有的是他的家属,有的是他的司机保姆,然后资金的总的情况,每,后边就是这原来我们的一些分析模型,就是他的账户资产。然后我们其实真正办案过程当中确实看到,像有的人有一个 160 多份保险, 20 多套房产,然后来往的资金流水上亿,这是我们办案当中遇到的。但我我们也不知道具体那个人是谁,对对对。就觉得真的现在有太夸张了,这个东西。 + +唐老师 03:08:03 +天呐,老百姓过的这么难受。 + +陈虹\-电子科大 03:08:05 +对呀,我们这个现在那么辛苦,是吧?对,干这个活,但是没办法呀,所以他这个抓一下也是对的,我觉得,也是对的。 + +唐老师 03:08:14 +有道理,太有道理了。是吧?应该应该应该是。 + +陈虹\-电子科大 03:08:18 +当然也确实没办法,我觉得我们没办法,我们只是一,一个工具而已。这是对,就是。 + +唐老师 03:08:24 +这个图很好看的。 + +陈虹\-电子科大 03:08:25 +对,这是这个图就是可以关系的一个全员的一个这个全景的图。 + +唐老师 03:08:33 +这个图的话呢,就是怎么样那个分层次呢?有没有有没有一个。 + +陈虹\-电子科大 03:08:38 +他现在,这个是可以筛的,可以做关系筛选的,就是现在是把通联资金人员都放在上面,你也可以只看一个。对。只看其中一个。对,这就是他,比如说我选中他。 + +唐老师 03:08:50 +他就跟这些人。挺好挺好挺好挺好。 + +陈虹\-电子科大 03:08:51 +有一个关系。 + +唐老师 03:08:52 +我我我对,您您先弄完,然后我有个想法。 + +陈虹\-电子科大 03:08:56 +然后这,因为现在确实,您说这个图,我们在实际办案中,他们真的喜欢这个图。 + +唐老师 03:09:02 +对,非常喜欢。 + +陈虹\-电子科大 03:09:02 +就非常喜欢这个图,然后还有模型分析,就是各种资产代持模型啊,这一类的。 + +唐老师 03:09:08 +这个代持模型是什么意思? + +陈虹\-电子科大 03:09:09 +就是相当于,关系,他,他通过关系去,比如说他的保司机的儿子帮他代持了一个房产。就这一类的。 + +唐老师 03:09:18 +但是这种那你怎么确定的了它是代持啊? + +陈虹\-电子科大 03:09:23 +首先就是比如说他的司机的儿子,首先从他的收入来看,觉得他是没有这个东西的。第二一个,就这个人老到这个房子去。 + +唐老师 03:09:35 +就是比如说他在这个房子。他正在使用这个房子。 + +陈虹\-电子科大 03:09:37 +对,他使用这个房子。 + +唐老师 03:09:38 +但是他却并没有。 + +陈虹\-电子科大 03:09:39 +他在那个停车。或者他在帮这个房子。 + +唐老师 03:09:42 +首先是这个跟物业的关联度。 + +陈虹\-电子科大 03:09:44 +水电气。对对对。所以就通过这些,这就是他们的计算法,就是之前给我们也讲过的。 + +唐老师 03:09:49 +哦,他们的,首先他们自己有业务模型,然后他们。 + +陈虹\-电子科大 03:09:52 +原来有,但是并不是每个地方的人有,所以我们实际上相当于就是也在帮他。 + +唐老师 03:09:58 +把这些都做出来。你这个做出来了过后,他不是。都可以全国用啊。 + +陈虹\-电子科大 03:10:02 +其实我们目前反正就是在山西和四川嘛,在山西和成都嘛,正在推嘛。 + +唐老师 03:10:08 +哦,那你做完了过后,那他们是按照省一级单位来买这个系统。 + +陈虹\-电子科大 03:10:12 +我现在就想做成单机版嘛,单机版就可以到第四啊,就是他们每个科室就可以买嘛。这挺好。 + +唐老师 03:10:19 +对,就是一台也不是很贵。那你那你这个逻辑可以啊,那你你后面的那个,你后面的后面的那个机器啊,就是因为马上不是有 128G 的显存的那个机器了嘛。对对。这个方向就就这样做。 + +陈虹\-电子科大 03:10:31 +对,我就我们现在就。 + +唐老师 03:10:32 +你就不要,干脆你就不要换硬件了,你就盯住这个硬件,你就盯住这个硬件去找。找好的模型,和智能体,反过来想,不要再换硬件了,你就这两样东西。好好。这样会更。好的好的。你符合你这个需需求。 + +陈虹\-电子科大 03:10:48 +就符合我们现在这个。 + +唐老师 03:10:49 +我们那个,我们是没有,对,我们那个很大,这么大一坨。是是是。那个,而且还有专门的人去配置,那个不适合你这个场景。 + +陈虹\-电子科大 03:10:59 +对。没事嘛,我们反正先把这个做了嘛,后边有其他的。 + +唐老师 03:11:02 +是是是。 + +陈虹\-电子科大 03:11:03 +根据这个变化的东西,我觉得跟唐总这样也可以,后边也可以合作嘛。是是是。这就是各种各种模型,各种计站法,他们叫计站法。有,反正每个底底下还有一些,所以就很多。但实际上他们办人员自己不想去学。他不想学,这也就是这一次为什么我们能进成都市纪委,就是我们用了 AI 分析。 + +唐老师 03:11:25 +就这个 AI 分析,其实。对对对。 + +陈虹\-电子科大 03:11:27 +AI 分析背后是。 + +唐老师 03:11:28 +对对对,就是调用那些智能。计算计算法的。调用那些。对。 + +陈虹\-电子科大 03:11:32 +对对对。所以我跟你提到的就是我这边主要是意图的理解。 + +唐老师 03:11:36 +对对对,我听懂了,我听懂了。猜明底下的各种。要对应到各种的操作。对对对。对应到具体操作。 + +陈虹\-电子科大 03:11:41 +是这样子的一个方式,所以。大概就大概就是这样一个东西,就是目前也在,也在就是在。 + +唐老师 03:11:47 +相当不错相当不错。 + +陈虹\-电子科大 03:11:49 +正儿八经在用,主要这一点我觉得是最最好的一个。 + +唐老师 03:11:53 +我我我觉得那个就是有一个东西可以可以,你们也可以做一做先,看一下,我们也可以合作做,看哪个,我可能这个月先把那个就是大模型评测的那个算子优化那套软件先搞完。下个月的话,其实现在人家已经在找我了,就是一个做营销公司,做营销的公司。他呢就是想跟我一起搞一套销售线索分析。 + +陈虹\-电子科大 03:12:21 +也差不多。 + +唐老师 03:12:21 +有有没有点像,有一点像。 + +陈虹\-电子科大 03:12:23 +其实跟线索相关的,包括我们现在,你看这,其实我为啥刚才给你看这个,这个就是个律师的。对。律师的,你看他是什么了?他就是律师不是会拿到很多的客户给他的材料嘛。 + +唐老师 03:12:37 +对对对对。 + +陈虹\-电子科大 03:12:37 +那么其实他也是要在这材料里头去找证据。 + +唐老师 03:12:40 +是是是是是,有点像像像像,真的像真的像。 + +陈虹\-电子科大 03:12:44 +我就说我实际上是从这块往外再延伸。 + +唐老师 03:12:46 +我觉得你好好强化这个逻辑是对的, 100% 对,因为这个国内其实肯定没有成熟的解决方案。就是多模态数据治理。多模态数据治理,关系发现。对对对。是吧?关系发现,关系驱动,展示。 + +陈虹\-电子科大 03:12:59 +其实纪委里头了,它还主要都是结构化,但是在这个里头就就有图片了。 + +唐老师 03:13:05 +对呀。也有图片,其实也有也有音频,只是现在没放在这儿。对,肯定有,肯定会有嘛。 + +陈虹\-电子科大 03:13:10 +对,所以您看,您看我们,我们做阅卷的时候,您可以看,就比如说我看到这个,它这个是里头有一些证据哈,比如说子女的医学证明。是是是。然后我其实马上就会到这个证明,证明呢,我在这里头就抽出来,他关心的这个关键信息,比如说子女的姓名。然后我点这个姓名,他就会在这个原始文档上,就会对应起来。对,为什么要对应呢?因为。这个我没有做过。对,因为他他那个拿到拿到那个就是法庭上,他实际上是要在你的原件上。是的是的。 + +唐老师 03:13:41 +去。给出来的。我们做过一模一样的设计,这个这个我们那个工作台跟你长得都差不多。 + +陈虹\-电子科大 03:13:47 +对,这这没问题,这个后面其实核心就是他要把所有的证据了,就是融合在一起,做关联分析就得出他律师要的大事记。然后还有就是他的证据目录,就这个地方。是,这个证据目录,证据目录就是诶,这就是他上庭要的内容,最后我们因为现在还没做完,就是最后要把这个东西导出来,因为我其实在帮他做分析的,就律师,他你看他这里头就告诉他你还有证据缺口的。就你现在还不够。 + +唐老师 03:14:18 +你。哎呀,做的真好。所以就是你现在拿进来了,你只能说这个房子是你的共同财产。那个,行行,我我就直接说一说一个点哈。你这个系统的话,打算卖给律师不? + +陈虹\-电子科大 03:14:29 +哎呀,现在我还,就是这个销售有点头痛,就是因为律所很,目前不是卖给律师,目前是以服务的形式他们来用。 + +唐老师 03:14:38 +怎么用?怎么用? + +陈虹\-电子科大 03:14:39 +就是他相当于注册成一个用户。哦,SaaS。有点像SaaS。但现在就是头痛,因为他太散了,你懂我意思吧?太散了,我我现在这个,我这个团队没有能力,今天早上来的那个女生,其实就是想跟他们在法律界的人。去合作。 + +唐老师 03:14:56 +那要不我们合作搞吧,这个项目。可以啊。我有很多律师啊,我多了。太好了呀。我我我有几,我我我我,因为我们做基金的人,好的,喊律师很好喊,你懂吗? + +陈虹\-电子科大 03:15:07 +你需要他给你审那些文档。 + +唐老师 03:15:09 +对,我们我们太多了,就是因为我们本身天生就是,我们金融行业天生就跟这个律师打交道特别特别多,我认识至少两三百个律师。哇。至少,我我给过钱的都有。 + +陈虹\-电子科大 03:15:20 +而且还都是比较高端的。 + +唐老师 03:15:22 +对对对,而且我们付过钱的,对,我们也付过钱给他。 + +陈虹\-电子科大 03:15:27 +收入也挺高的那种。对。 + +唐老师 03:15:29 +都不是小律师。 + +陈虹\-电子科大 03:15:30 +我现在做的这个其实也是在跟一个律所合作,但是呢他们有点慢,我我实话实说,就是。 + +唐老师 03:15:36 +那我们合作做这个吧。都做了快一年了。这个业务我们合作做吧,这这种开发我们其实都能够完成一部分。但是没关系,你你做了就你先做呗。 + +陈虹\-电子科大 03:15:44 +我们谈的律师模式,我们其实做了好几个,就是不光是这个,我还有一个,这是婚家的,其实它还可以扩,就是扩成任何。任何那种类型的。 + +唐老师 03:15:55 +理解理解理解。但是因为我目前。我前一阵我给律师讲过课,有几个律所的老总来听。但是因为我没有专门做任何的业务板块的,我就讲的是通用智能体的,他们听了呢,觉得有收获,但是跟他们的业务呢接口不是很紧。所以你刚好有这个产品,那不是挺好的吗? + +陈虹\-电子科大 03:16:13 +对,我我其实有几个,我再给您看一下,就是因为这个你看嘛,这还有一个,就是这就是跟律师有关的几个产品,一个是资金分析的,一个是这个访谈的,我先给您看看这个访谈,这个访谈呢。他实际上这个,我们现在已经放到外面再开始推了。这个访谈呢,还是主要针对婚家。这个婚家的核心干什么呢?就是他可能就是用户来,就是客户来给他做了一次咨询,那客户就走了,他们就觉得黏不住。对。黏不住了,他现在核心就是说,对。我就把访谈的内容哈。对。其实前边都简单,就是把它转成文字都简单,但是。在这,这就是跟他业务有关的。 + +唐老师 03:17:00 +对对对,要要要提炼出一个简要的一个。我们会从这个,对,这个里头提炼出事实。提炼对。 + +陈虹\-电子科大 03:17:04 +比如说客观事实和他的主观表达。挺好。客观事实呢,就相当于你以后打官司,你就要从这些方面。就分财产,分娃,婚姻状况,主观表达就是他诉求,客户的诉求。所以我们经过这个以后呢,实际上他可能有多次访谈,就会把它整合在一起。明白。整合在一起了之后就会进入一个,相当于一个所谓的咨询分析,就相当于跟你合成一个咨询报告。对。然后这个咨询报告本来应该是律师自己出的,但是现在就帮他写出来了,出出来他觉得有问题他可以改一改,这没问题,然后改完以后他就可以导出,导出报告他就可以交给客户。对。那么交给客户呢有两种,一种是专业版,一种精简版,专业版其实。已经就是帮他把后续你要怎么去,对。打官司的各种方式,就你看就很。 + +唐老师 03:17:52 +对对对。很细了。做的挺好的。 + +陈虹\-电子科大 03:17:54 +对,然后呢你就可以把这个东西,比如说如果你这个客户本来就给你交了比较高的咨询费,就可以给他一个专业版的。如果只是想,如果只是想说, + +唐老师 03:18:05 +明白的。 + +陈虹\-电子科大 03:18:07 +连一下。 + +唐老师 03:18:07 +理解理解。 + +陈虹\-电子科大 03:18:08 +就给你一个精简版,将来你来再来找我。 + +唐老师 03:18:10 +理解理解。 + +陈虹\-电子科大 03:18:11 +所以这个也是,就是这个产品是,但也是针对婚家,可以。 + +唐老师 03:18:15 +就目前我们。我听明白。两个是针对婚家。尊重婚家的成熟一点哈。 + +陈虹\-电子科大 03:18:18 +对,然后还有一个就是。资金分析的资金分析的呢,其实主要是还是从我们纪委里头,抽,就是说相当于出来的。 + +唐老师 03:18:30 +你抽了一个模块出来。 + +陈虹\-电子科大 03:18:32 +抽了一个模块出来,它核心呢还是帮助,就是律师去,因为他们会拿到几百页。 + +唐老师 03:18:38 +证据分析,那个叫做婚,那个离婚案的咨询,对。就签约前咨询,相当于是。 + +陈虹\-电子科大 03:18:46 +对,然后这个就。这个呢就是。就说他们有的做执行的,包括有的就是做那种好多那种刑事案件里头也会有跟资金相关的,他们可能从银行,或者支付宝,或者微信就调回来,一堆那个资金顺,就是跟我们那个银行流水,跟我纪委那个银行流水,这个我知道,这个打,这个档掉了,那我就给你。可以。大概说一下,就是这个。我理解。其实也是首先会,对。通过他的交易流水,把那个关系图谱。 + +唐老师 03:19:21 +嗯,关系图谱。 + +陈虹\-电子科大 03:19:22 +也给他展示出来,就是他跟谁谁谁,比如说转了多少钱。想一下哈。然后呢他会有那个。然后我们资金流。那个应用那个的档哦。我,你看嘛,这个。你怎么用这个呀?哦,用官网哈,哦,对对对对对,哎,我忘了。 + +唐老师 03:19:49 +那个我们呢没有聚焦在一个业务,一个行业里,我们主要是,我是从纯粹从 AI 维度的。明白。就是,就是谁有 AI 的需求。然后我们分析一下,我们能做就帮他做一下,我们还没有搞到,还,我们还不像一个专业的一个交付型的软件公司。我们还更多偏研究型的。也就。 + +陈虹\-电子科大 03:20:13 +但你这很重要啊,对,这个就是刚才那个资金的,我大概看一下,你看也是有数据导入,这个数据导入也是,就是这个,你看就可以马上对应的流水就这对应起来了,然后导入完以后呢,我们就实际上就做资金分析,然后也是这样一个图谱,就是他在资金当中跟大家交流的。这个东西,交易明细,他就可以在这儿查,就可以做查,可以通过。 + +唐老师 03:20:39 +但是如果说你这里拆成三个门户的话,就可能不是太好卖哦。你从这个三个口的话,对现在销售销售怎么样?就是。 + +陈虹\-电子科大 03:20:49 +销售是这样,我们现在正在跟一个,就刚才说的那个律所嘛,他们在做那个跟同道,您听说过同道吗?对,我们就相当于。 + +唐老师 03:20:59 +成都这边还是有名的同道。 + +陈虹\-电子科大 03:21:01 +同道他们在,他说是在上海的嘛。 + +唐老师 03:21:04 +对,上成都这边是有点,但我还是在成都跟他们碰到的。对,确实。 + +陈虹\-电子科大 03:21:09 +他,但是他总部在上海。然后是同道这边,他在联系,就是在跟同道要合作。 + +唐老师 03:21:16 +那,但是这个就这一条,他们觉得这样合适吗?就是这一个单个功能的话。 + +陈虹\-电子科大 03:21:24 +现在就还在谈,因为我们第一个产品其实还不是这个,是一个脱敏的产品。这个脱敏的产品是一个全本地的。 + +唐老师 03:21:34 +哦,就是资料脱敏。 + +陈虹\-电子科大 03:21:35 +对,因为你想现在好多律师他其实把那个文件直接丢给互联网大模型,其实。对对对。很危险的,对,所以其实,我们现在是有一个本地脱敏工具。 + +唐老师 03:21:46 +那那你把这个脱敏工具,要不然我们也可以帮你代理一下嘛。可以啊。这个简单啊。 + +陈虹\-电子科大 03:21:51 +这个就是这儿。就这儿就可以下载试用。就在我们的官网。 + +唐老师 03:21:56 +是一个是一个Excel,一个 EXE 文件了,相当于。 + +陈虹\-电子科大 03:21:59 +对,它要安装。安装。安装部署的,就是一个本地的。 + +唐老师 03:22:02 +大概运行界面有没有?我看一眼,那个。 + +陈虹\-电子科大 03:22:06 +我装了一个,我自己本地装的。 + +唐老师 03:22:08 +我看一下就行。这个我倒是可以帮你直接推荐一下。 + +陈虹\-电子科大 03:22:13 +这个呢,看能不能就是搞一些集采,哈哈,这个,因为如果能集采,就是给到,比如说多少个多少个那个客户,对,诶诶诶诶在哪里?这个有点乱,这个桌面。 + +唐老师 03:22:26 +嗯嗯,挺好挺好,你根据这个律师已经做了这个。 + +陈虹\-电子科大 03:22:31 +对,做了四个,相当于做了四个小产品吧。这这个是一个脱敏的。 + +唐老师 03:22:37 +哦,脱敏的效果主要目的是什么?脱掉名字喽。 + +陈虹\-电子科大 03:22:42 +可以可以是不止,你看发票的我都可以脱。 + +唐老师 03:22:45 +哦,做覆盖。 + +陈虹\-电子科大 03:22:46 +就是做,可以做那个,就是你看这是一个银行流水,就是把他的,你看这是没有没有那个,没脱之前,他可能有账户,对方的账户名字,然后我们可以把他就是说,对替换。可以替换,也可以信号掩码,也可以替换,预览,也可以是信号的,这是替换。它的目的是什么呢?我现在这很简单啊,原来主要是针对主要针对法律文书,可,但是也可以就根据你的场景来调。它核心是因为他们现在直接把这个东西丢给大模型,其实是很危险的,所以呢,就先脱敏再丢给大模型。然后脱的过程当中呢,我们是不变语义的,比如说你这个人叫,比如说叫林浩宇,那我里头就全部给你脱成01。然后假设你是一个案件有好多个文文档的话,都拖成01,那么你再把有名字的,有真实看起来是个人名字的,丢给大模型,它不光是就拖姓名。语义不会变。不会变,然后还可以还原。对,语义不会变。就回来我们还会还原,你可以看到这有个还原。理解。就是你把你大模型里头给你生成的文件丢到这,然后还原就还原成它原始的名字了,所以他就可以直接拿着那个来用,所以这块律师好像还可以,他们还觉得很有用,所以现在就是。 + +陈虹\-电子科大 03:24:09 +正在跟同道那边的人谈一个律协,上海律协吧,再谈一个集采,就是比如说一年他们的,他相当于律协本来要跟律师提供一些服务嘛,这个服务呢,他就给有些工具,他就免费给他们用,但是呢他就比如说一年给个 20 万,就按这种模式。 + +唐老师 03:24:31 +律协给得到那么多啊? + +陈虹\-电子科大 03:24:33 +不知道,要看要看有多少量。就你有多少,比如 1000 个、 2000 个。那我确实就是每个人也很便宜了,一个才 10 块、 20 块钱啊,一年的费用啊。他因为集采嘛,他多嘛,所以实际上。对对对对对。 + +唐老师 03:24:47 +就我给你。如果是 2000 个人的话,才 100 块钱一个人。 + +陈虹\-电子科大 03:24:51 +对啊,就很便宜的。对对对,是这个意思。一年也很便宜,所以是,所以这个东西是这样的一个一个一个思路,而且很多企业也可以用。对。比如说什么会计师事务所,税所,因为税所前两天联系了,他们就对这个也很感兴趣,但是我现在最大的问题就是我接触不到,我就是好多我都得靠朋友们,反正跟大家分嘛。 + +唐老师 03:25:13 +那就合理啊。对呀,就渠道分。我们我们跟很多税所和律所都要交流,天天生的,我们这我我现在。 + +陈虹\-电子科大 03:25:22 +因为你做那个基金是吧? + +唐老师 03:25:23 +投资嘛,对。投资里面包括那个就是投前的一个尽调,包括投后的一些管理,还有甚至是这个回购仲裁啊这些,我们的接触非常多。 + +陈虹\-电子科大 03:25:34 +啊,那这个很可以啊。 + +唐老师 03:25:35 +日日均交流的,我们这个是。 + +陈虹\-电子科大 03:25:37 +日均交流都有很多。 + +唐老师 03:25:38 +日均交流的。 + +陈虹\-电子科大 03:25:40 +那看看,反正就是大概就就把我的东西都跟。 + +唐老师 03:25:44 +哎对对对,可以。都跟那个唐总一股脑的都交流出来了。 + +陈虹\-电子科大 03:25:48 +好的好的好的。如果其实您觉得如果律所这方可以有些合作,我们这边都很开放。因为我的销售渠道现在是比较弱一点的,所以我都是在跟大家合作。 + +唐老师 03:25:58 +好的好的,我我觉得完全合适。那个我我也给你看一两个。 + +陈虹\-电子科大 03:26:02 +您您您这要不要这个?可以呀,可以。 + +唐老师 03:26:05 +我也那个,我也做了一点。但我们呢,就是。 + +陈虹\-电子科大 03:26:09 +你那个有点不好用啊,我们俩换一下吧。 + +唐老师 03:26:12 +你不好不好。哎,也可以,我。我就这样挪过来一点,推过来一点。那个,对,有几台服务器已经部署好了,我这个界面我也给你看一下。现在用。 + +唐老师 03:26:40 +看已经装好的,像这个是,这个是数据治理的管道系统,一个叫,就是湘雅的,不不湘雅,就是宝钢的宝钢的,宝钢的管道管理系统,这个是一个帮他们做的一个比较大的项目,这个就整个全国几百万米的,管道管理,这种是我们。 + +陈虹\-电子科大 03:27:04 +就是他们的管道,是吧? + +唐老师 03:27:06 +对,他们的煤气管道的管理,然后预测这个就是管道寿命。延长管道寿命。 + +陈虹\-电子科大 03:27:12 +嗯嗯嗯,那这个也也很也很那个。 + +唐老师 03:27:15 +对,还是有点意思。有点难。对对他们来说还是比较有。 + +陈虹\-电子科大 03:27:18 +对,有用。 + +唐老师 03:27:20 +对他们比较有意义。这是一个做电商的一个管理平台。诶,这台服务器是不是有点问题?反正。 + +陈虹\-电子科大 03:27:34 +没事,大概知道。 + +唐老师 03:27:36 +啊,好,行了。跨境的。对,跨境。对,一个跨境电商的一个平台。跨境电商的工具平台。这是。产品。 + +陈虹\-电子科大 03:27:53 +主要是在帮他管什么呢?产品。 + +唐老师 03:27:55 +产品哈。产品产品。 + +陈虹\-电子科大 03:27:56 +就是上架的那些。 + +唐老师 03:27:57 +产品上架,产品上架前的资料处理。产品上架资料处理。这个这个只是个展示服务器,就里面有一些资料是。嗯,客户的哈。都是,对,这里面可能。就各种狗笼子,你看规格参数。对。然后卖点。有些资料。 + +陈虹\-电子科大 03:28:18 +那个问题也是跟数据关联比较强哈。嗯,现在也有数据关联。都要有。 + +唐老师 03:28:24 +素材处理,数据关联。对,这个跟那个商机发现那个还不是一回事儿,商机发现那个我还觉得。我我可能还更有兴趣把它完善一下,这个系统我们也。 + +陈虹\-电子科大 03:28:34 +那个线索的那个。 + +唐老师 03:28:35 +嗯,线索那个,商机发现,那个是,对,那个是我们最近打算认真做一下。然后呢,对,我刚才,就是我们刚刚把它启动起来是这个东西。 + +陈虹\-电子科大 03:28:49 +啊一个数字员工哈。 + +唐老师 03:28:50 +嗯,这个这个这个画面是完全复刻的那个,就是workbody。就就work。 + +陈虹\-电子科大 03:28:58 +对对,有点像。 + +唐老师 03:28:59 +不是有。有点像是根本就是故意的。 + +陈虹\-电子科大 03:29:03 +就是外观上跟他。 + +唐老师 03:29:05 +外观。 + +陈虹\-电子科大 03:29:06 +你也可以用我们这个。 + +唐老师 03:29:07 +对对对对对,就就是你你你就在选的时候,你要么就。对你可以。 + +陈虹\-电子科大 03:29:14 +至少至少领导提不出异议,是吧?你跟 Workbody 有啥区别了?我这个我至少这个功能上跟它是一致的,但是我还比它有有本地的优势。 + +唐老师 03:29:23 +对,我可以本地化。对对对,本地的优势。那就就,而且我们还是有点不一样。你看 Workbody 它没有这个部分。它没有工作流。嗯,它不会给你显示出来。对,它不会显示工作流,我们这个就可以显示工作流在这里,是吧?懂懂。就一步一步的工作流是什么,标题推荐热点,标题生成,提纲生成,怎么创作。对对对。这里未开始未开始未开始未开始。 + +陈虹\-电子科大 03:29:45 +嗯,对对对,就很清楚,他到底做到哪一步了。 + +唐老师 03:29:49 +对,然后上传物和产物。这里。 + +陈虹\-电子科大 03:29:51 +啊,有一个上传啊。 + +唐老师 03:29:53 +上传物和产物。就是你上传了什么,然后得到了什么。就就就比较清楚嘛,是吧? + +陈虹\-电子科大 03:30:01 +可以可以。 + +唐老师 03:30:02 +所以这是我们的那个工作工作台,我们接下来可能有一半的时间会放在这,花精力在这上面。对,有一半的时间我们想做一个比较通用的一个工作台。对。 + +陈虹\-电子科大 03:30:12 +这样通用的工作台。但这个你跟你就跟他们对上了嘞,也会不会有。这个竞争就是跟 Allbody 啊。 + +唐老师 03:30:20 +其实是这样子的,竞争归归有竞争嘛,但是这个产品我们开发的成本本来也不高。就是随便做做的,就就就就。 + +陈虹\-电子科大 03:30:29 +现在就只有靠这个。 + +唐老师 03:30:31 +就就就随随便便做就做出来了,这这也没有太多。要靠。我们也自己自己可以用。 + +陈虹\-电子科大 03:30:36 +要靠效率跟那个技术来。对对对。占。对。就是你卖得了多少,都对我来说都是盈利的。 + +唐老师 03:30:43 +对啊,我们都都可以嘛。可以。然后呢还有一点就是我们如果说有这个完善了过后,我们自己的关联公司啊,还有。也可以用。都可以用,我们自己也可以用。这真正拿给拿给我们自己用。公众号助手,我我现在有一个小业务,就是帮企业做叫做整体战略营销的提升。就是实际上我们是 GU 那部分。但是 GU 那部分的话呢,它。 GU 那部分它不是纯粹只有这个。创作文,创作文章哈,但是我们也也也可以,就是说我这里的话,比如说。我把这个平台稍微强化一点,就变成一个 GU 平台了。我我这样增加几个助手。增加几个助手专员,我就变成一个 GU 平台。 + +陈虹\-电子科大 03:31:27 +都可以帮,就相当于你已经原来需要好多秘书啊,或者助手来帮你做的事。 + +唐老师 03:31:33 +对对对。 + +陈虹\-电子科大 03:31:33 +交给这个了,将这交给这个数字员工做了。 + +唐老师 03:31:36 +对,就数字员工,这我是真正把它当成一个,我的底层模型是一个真正的数字员工。 + +陈虹\-电子科大 03:31:41 +你要做资金的管理啊,这一类的,你可能会涉及到好多文档啊这些,是吧?对。那你就丢给他们帮你管,那肯定是还是减轻很多负担的。 + +唐老师 03:31:50 +啊对对对对对,就是就是这个平台呢,我我们先尽量把它做的通用化一点,然后再往这个就是专用化再去改的时候,我就只改这个。等于我就只改这个专员和技能就可以了。我就是学,其实我整体都是学习 Workbody 的思路嘛。那你如果想强调这个简历处理,想强调招聘,强调人员管理。对。你就强化这一部分的功能,功能就好了。是是是是。我我觉得我们可能最后的是这种情况,我可能做出几十个常用的。员工和技能过后,就可能企业来找我们定制的时候呢,他就选这几个,然后我们再把他按照这个就是去。 + +陈虹\-电子科大 03:32:33 +按照一个工作流,或者是,更好。或者也有可能有一些特定的企业的数字员工。 + +唐老师 03:32:39 +企业企业的,我们就会变成,还有一种,对,一个是专用的数字员工,另外一个是这个意思,我们在这里面嵌了APP,就是等于说你的一个专项的东西,不是叫数字员工的,我们就给你用,我们这个叫xAPP,你看它比 workbody 多了一段, workbody 里面没有这个 APP 的概念。 + +陈虹\-电子科大 03:32:58 +我之前都在想,因为我现在居遇到一个比较大的问题,就是。我们刚才不是给您看的那几个 AI 应用嘛,我现在遇到比较大问题是我觉得我的,不知道找哪个平台去放。我自己往那个网站上放,其实我那个生态就很孤立嘛。实际上我当时还看了workbody,我在想说他能不能让我把我的应用放上去。但是目前还没有找到办法,就是。其实就是相当于有人如果就像抖音一样,是吧?或者建个淘宝一样,我就把我的这个这个 AI 应用放上去,那大家。也可能推,通过一些推流啊,别人就推给一些律师啊。是的是的。就有可能我我就免得我到处自己去找那个。 + +唐老师 03:33:40 +对,你看哈,这里头有一个点,就是你现在呢做的是专项功能。我我觉得我们这个事情说不定长远讨论一下有没有点。就我们是做通用功能的事。 + +陈虹\-电子科大 03:33:52 +对呀,你做平台嘛。 + +唐老师 03:33:54 +对,我做平台。你看我这里面我并没有强调说我是为谁服务的。是是。我没有强调哪个行业。我这里面的技能的话,你像这个语音转写。是吧?合同审查报告,这都通用的。 + +陈虹\-电子科大 03:34:08 +你们可不可以搞一个,比如说就是。就是比如说律师, + +唐老师 03:34:11 +律师事务所。 + +陈虹\-电子科大 03:34:12 +行业的,对呀。 + +唐老师 03:34:13 +哎,律师事务所,是吧? + +陈虹\-电子科大 03:34:14 +对呀,然后我们就把应用嵌进去,对呀,而且我们还可以在上边儿。根据他们的需求,比如说哪个觉得很好,我们还可以再开发新的,对对对,都往这上面放。 + +唐老师 03:34:23 +没错没错。对呀。没错没错,这部分功能加上了,你们就拿你们的钱。 + +陈虹\-电子科大 03:34:27 +你去想一想,因为你光有一个平台也不行。 + +唐老师 03:34:30 +对,我们没有应用。对呀。 + +陈虹\-电子科大 03:34:33 +是的是的是的。那我现在也头痛,你知道吧? + +唐老师 03:34:35 +是,你们就不用去开发这个壳了,这个壳还是很麻烦的。 + +陈虹\-电子科大 03:34:39 +对呀,而且我现在找,我觉得你这个最好的了,就是其实后边就是相当于一个生态。是。你如果有了这个生态,就这个我就不用到处去找了。是的是的是的。也很难受嘛。 + +唐老师 03:34:49 +是的是的是的。我我觉得我们这个创新点哈,我跟你解释一下,我觉得我们这里头有一个创新点。就是这个APP。这个因为为什么呢?其实你光想一下哈,最大的问题就是 Workbody 其实天生不太适合于有特别重交互的这种。因为它太那个对话式驱动了。 + +陈虹\-电子科大 03:35:11 +对对对。 + +唐老师 03:35:12 +它只有对话式驱动这一种模式。但是其实你刚刚看得到的,你那块的操作都是很多表格界面的。对, UI 的。诶,要有 UI 的。这个因为以前有有很多人就在说,以后都不要 UI 了。不是不是,绝对不是这样子的。 + +陈虹\-电子科大 03:35:26 +我觉得不行。 + +唐老师 03:35:27 +绝对不是这样子的,所以你看哈,我们把这个地方 APP 放进来了过后,你看我的内部培训APP。然后你看, AI 的协作就自动退到退到这边来了。对对对对对对。是吧,这边就正常的用就好了。对对对。对对对。这个界面还是很有必要的。 + +陈虹\-电子科大 03:35:41 +很有用的,因为很多人他并不知道该怎么问问题,他实际上需要有人,就是。指导他的。对呀,引导,那个其实界面就是一种引导。 + +唐老师 03:35:51 +对对对。我们我们内部的 code 代码里面把这个叫xapp,就是 xapp 就是嵌入我们的这个,就是大平台的这种,但是只是说因为我们现在。还没有对外正式发布,我们现在写的APP,但是实际上我们内部的代码叫XAPP。这个这个在我们的整个系统架构里面这一段是是这样搭的。所以这个我我觉得这一条算是比较成功的一个设计。嗯,对。就目前看哈,我我觉得这个还。这个自己还在写代码哈。哎对对对。 + +陈虹\-电子科大 03:36:23 +先定哪一个? codex 还是? + +唐老师 03:36:25 +呃,tree,我用的是 tree 和crocod。这两种都都都有。 + +陈虹\-电子科大 03:36:30 +现在用应该不会受影响吧? + +唐老师 03:36:32 +我我不是不是,我我用crocod,但是我用的是那个就是DeepSeek,我用 crocod 里面去调 DeepSeek 的。可以可以调。 + +陈虹\-电子科大 03:36:41 +最近也都从 Coder case, Coder s 调 DeepSeek 了,因为太贵了。 + +唐老师 03:36:46 +太贵了太贵了。 + +陈虹\-电子科大 03:36:47 +它现在太贵了, DeepSeek 还行,就是。对。而且好像这个 4\.1 好像还可以。 + +唐老师 03:36:51 +对,4\.1,我觉得4\.0,我觉得 4\.0 Flash 就已经不错了。 + +陈虹\-电子科大 03:36:55 +对, 4\.1 现在我们现在配的4\.1。 + +唐老师 03:36:59 +你看啊,就是说我把我,我们内部的对象的四种对象。多了一种,就是这个XAPP。 APP 哈。对,XAPP。我这个 XAPP 的话呢,它的意思就是说,共享了工作台。但是他是。独立的一套界面。它不使用,它不以对话式界面为主。你看还有这个考试也是,这个考试。这个考试我也不可能用对话式界面啊,我肯定要有自己的界面。就我,所以我就,我觉得这个设计思路还是,目前看是对的。对。就我们就等于有两个改进嘛,一个是那个工作流的那个显示。 + +陈虹\-电子科大 03:37:38 +显示,一个是这个XAPP。 + +唐老师 03:37:40 +对,XAPP。 + +陈虹\-电子科大 03:37:41 +跟 Workbody 比哈。 + +唐老师 03:37:42 +对对,我们还,我我觉得我们还是有优势的。对。你看 Workbody 上面的那种界面,它的虽然说它也,虽然说它也有优势啊,极简。但是他的工作流的概念,他不清楚的。他没有他没有很明确的工作流,这个地方的话呢,如果比如说帮我查一下今天的股市,行情。你看他他的逻辑全部交互都在这个位置。我我其实觉得这个交互可以跳到这边来。对对。是吧?把这个环节就,什么MCP。 + +陈虹\-电子科大 03:38:17 +思考链就放到。 + +唐老师 03:38:18 +MCP 没有必要显示啊。你如果要显示应该直接展开,我计划给你搜索,我我。几个步骤。是我我打算做以五个步骤来完成你的工作。对对对。是吧?比显示。这个不是强多了。 + +陈虹\-电子科大 03:38:31 +他现在的感觉就是陷入一种定式思维,就是现在各个对话的面向 C 端的都是这种。都是这种样子。他就沿用了。 + +唐老师 03:38:43 +对你看他调了这个 skill 啊什么的,有必要吗?不需要啊,你其实就像我们那个界面,是吧?我们那个界面就变成那种。 + +陈虹\-电子科大 03:38:52 +我在跟我们同事,我还让他们改一下呢,因为他们把那个调用工具的那个东西给我搞出来,我说你这个有些工具的调用客户又不想知道。不需要知道。对呀,他又他又不懂你底下工具是啥。 + +唐老师 03:39:03 +真的不需要知道,他你看他这个地方像文案校对,就识别文本目标语气定位风险表达,重写关键段落。 + +陈虹\-电子科大 03:39:11 +几个大步骤。 + +唐老师 03:39:15 +是吧?这个这个肯定比那个好,我我们还是有点。简洁。对对,简洁明确,跟业务有关。 + +陈虹\-电子科大 03:39:23 +不是那种你的技术类的,哈哈哈。 + +唐老师 03:39:26 +对吧?你你看到,如果说你做业务的人,你看到这里,哦,到这一步了,哦,到这一步了,哦,到这一步了。 + +陈虹\-电子科大 03:39:32 +那你现在这个后台配的大模型是哪一个? + +唐老师 03:39:35 +我都可以换嘛。 + +陈虹\-电子科大 03:39:36 +可以配的是吧? + +唐老师 03:39:36 +对,我可以换,我后台的那个全部都有,更换的这个。我我这是前前端也可以看得到,后端的话这里也可以看得到。 AI 路由。 AI 路由这个,各各种路由。就是 AI 的路由, AI 的用量。 + +陈虹\-电子科大 03:40:00 +嗯,还有一个 AI 用量哈。 token 的数量,你给它展示出来了。 + +唐老师 03:40:06 +对对对。 + +陈虹\-电子科大 03:40:06 +因为我们现在都本地的,我们就觉得没关系了,随便用。 + +唐老师 03:40:11 +挺好的,挺好的。没管。对,行。您把一些相关的软件的,你可以发给我,我回头就考虑起来,我们,我可以先帮你打探一下,这几个小软件的用法。好好。这几个小软件,如果它确实就有律师有兴趣了,我就直接那个推给他们。好。如果说他们觉得说可能还要改进的话。我也我也拉个会议给你,你也听一下他们的看法。 + +陈虹\-电子科大 03:40:41 +啊,因为我们现在证据了,我们暂时现在实际上有点暂停,为啥呢?我现在就是想从市场上得到一些。这个反馈和。 + +唐老师 03:40:51 +那那这事你交给我,我我我们联合搞吧。哎呀太好了。我们真的真的可以联合搞。 + +陈虹\-电子科大 03:40:57 +谢谢谢谢。 + +唐老师 03:40:58 +我也我也本来就跟那个律所开过会。很多哈。搞那个科普。搞 AI 科普,他们是挺乐意听我听的,听我讲的,但是我没有手上没有交付软件给他。你刚好有。是是是。那不是这这事就能够碰上了。 + +陈虹\-电子科大 03:41:11 +对对对对对,正好,诶,您在这,你别急啊。没事没事。我就说您在这,哎呦,我忘了给你倒水。 + + + +唐老师 03:41:17 +我去那个吧,我去机场了。 + +陈虹\-电子科大 03:41:18 +你机场,你你还早的嘛,你下午要不就在这休息会。 + +唐老师 03:41:22 +没没关系。 + +陈虹\-电子科大 03:41:23 +没人,这个房间都可以关着。 + +唐老师 03:41:25 +没关系没关系,我去机场吧。 + +陈虹\-电子科大 03:41:27 +你直接就去了呀。 + +唐老师 03:41:28 +对对对,我去机场。到机场休息会儿也是。对对对,我在机场休息,那个就这样也不用在路上再考虑后续的安排了。 + +陈虹\-电子科大 03:41:36 +嗯,下是是直接到那个。 + +唐老师 03:41:39 +对,我到那个。 + +陈虹\-电子科大 03:41:42 +到南京哈。 + +唐老师 03:41:44 +对,到南京。明天后天又是两场会,跟他们两个就是做做软,其实也是,易辉易辉其实是做软件的公司,跟罗老师的工作很像。叫一辉哈。一辉。一辉。一辉。对,一辉信息。那个一辉信息的话呢,还是不错的。就是在他们这个,就是嵌入式行业,嵌入式 OS 行业里面的话呢。少有的一个能够,可能能上市的公司吧。 + +陈虹\-电子科大 03:42:17 +现在做软件能上市都太难了。 + +唐老师 03:42:19 +是。 + +陈虹\-电子科大 03:42:20 +你看我就是,就像您说的一样,这个利润,整个收入都被剥削了 2/ 3 了。 + +唐老师 03:42:26 +对啊,你这个。怎么办嘛。你搞掉这么多利润过后,你还能剩下几毛钱来发展呢?对,好,我这边有了,好的。没关系,我。到机场去休息。对。 + +陈虹\-电子科大 03:42:57 +这包也有点重。 + +唐老师 03:43:02 +哦,对对对,有可能是。 + +陈虹\-电子科大 03:43:04 +在那个。对,我看一下。 + +唐老师 03:43:59 +我我觉得应该是。 + +陈虹\-电子科大 03:44:04 +我记得你来的时候你是穿的这件衣服。对对对。早上来的时候是穿的这件衣服,因为我当时看着你跟毛老师他们见面。好的好的,对对对。你先打个电话问一下,这边,因为你是经常在外面跑哈。是是是是是。只有这一边才能够下。好的。辛苦辛苦。 + +唐老师 03:44:41 +你们现在有多少人啊? + +陈虹\-电子科大 03:44:44 +我们团队小,大概 20 号人左右, 20 来号人,有一些学生。有专职,有学生,有我们的老师。小团队,但现在因为有了 AI 以后呢,就还好。 + +唐老师 03:44:58 +嗯,对,所有的编程的能力就比较强了嘛。 + +陈虹\-电子科大 03:45:02 +基本上现在就是一一个人。就要就要负责一块儿。 + +唐老师 03:45:07 +对,一个人就干一个项目。 + +陈虹\-电子科大 03:45:08 +对,基本上就一块儿,然后呢,别急,他在上,还等他下来,所以就还好,就不像原来就总觉得有点儿紧张,现在其实也,现在也紧张,但是呢就会就会变得比较快。对。就每个事儿推进都会比较快。有 AI 以后确实这个效率提升比较大。好。好的好的,唐总。好,谢谢,谢谢。我就不送你了哈,好,后边我们再交流。 + +唐老师 03:45:44 +再见了,再见了。谢谢。谢谢。谢谢。谢谢。谢谢。 + +唐老师 03:47:27 +我给你导航,说一下地址吧。这个不知道。不然的话我这个找不到出去的。 + +罗蕾教授 03:47:36 +是不是我坐这个停车场进来吧? + +唐老师 03:47:38 +对, C7 栋,对,我只能跟你这样,对,我,对,不然我找不到出去啊,我找不到路。对,C7,我打了个地方叫C7,你用导航找进来吧,不然我找不到出去的地方。 + +唐老师 03:48:04 +好吧,我改了。好好,你就要不然我找不到出去的地方,这边他这个路太乱了。 + +唐老师 03:48:20 +那你就进来吧。 + +唐老师 03:49:37 +2988,2988,我要去拿个衣服。 + +罗蕾教授 03:49:56 +他是到哪里去了? + +唐老师 03:49:57 +就很近的地方。酒店国际。对对,我加一个途经点。 + +罗蕾教授 03:50:05 +你这个是。 + +唐老师 03:52:43 +你好,我是早上离开酒店的,有没有一件衣服掉在大堂了?对对,一件蓝色的西装。对,不是,都很久了。对,今天早上我 9 点钟就出门了。 + +唐老师 03:53:16 +房间。呢? + +陈虹\-电子科大 03:53:18 +房间你是哪个房间? + +唐老师 03:53:20 +那个是,房间是406。 + +陈虹\-电子科大 03:53:24 +406 是吧?您稍等,您电话先不挂,我问一下,那个房间可能还没打扫,我让我们大姐去看一下。或者您留个您的哎,我看您电话是? + +唐老师 03:53:41 +13917612988。 + +陈虹\-电子科大 03:53:48 +好的,我问了,然后我给您回复啊。 + +唐老师 03:54:21 +师傅,你待会那样子,你找一个靠边上不挡路的地方,我看一下箱子里面有没有丢东西,因为刚才也没办法看。 + +罗蕾教授 03:54:34 +到了酒店那里再说吧。 + +唐老师 03:54:37 +你这里不好停,是吧? + +罗蕾教授 03:54:50 +我们每次接到这个天府机场的单子啊,都头疼呐。不去呢,你们乘客有意见。去了呢,我们自己要亏钱。不想去了。 + +唐老师 03:55:09 +那他这个定价就不太对啊。那应该价格提高一点。 + +罗蕾教授 03:55:21 +高啊,一下就需要的是高的单子嘛,你下个快车我们的还稍微好一点。你们下的是特惠单。 + +唐老师 03:55:31 +哦,他这个那就他就不应该定在这个价呀。 + +罗蕾教授 03:55:38 +那他怎么,他肯定要定这个价呀,但是。 + +唐老师 03:55:41 +那你们为什么要接呢?他派过来的。这个不用跟你商量价钱的呀。 + +罗蕾教授 03:55:48 +谁跟我们商量价钱? + +唐老师 03:55:50 +你不同意价钱他会给你派啊。 + +罗蕾教授 03:55:52 +他派了让过去有单子啊,让你等啊,等五六个小时,你等不等啊? + +唐老师 03:55:57 +哦,你不接这个特惠单,他就要等你等五六个小时啊。 + +罗蕾教授 03:56:02 +不是的,你接的这个单子,你过去也要等啊,等五六个小时啊。要等到单子才回来呀,你不等你就只有放空回来。就这样的,因为你们要下便宜的单子,所以说。 + +唐老师 03:56:21 +那他应该要,你没有一个接受的底价的一个选择吗? + +罗蕾教授 03:56:26 +没有,哪有这样的说法呀?只有我们有时候让客人,有些客人他可以给我们加一点回来的费用,比方说 20 啊,比补一点虚啊,这样的,有些客人他愿意的,有些客人他有些,基本上他在,有些啊他就谈不好他就不去。 + +唐老师 03:57:57 +像这种就是特惠车的话,他应该要给你设一个底价呀,你底价不到的。 + +罗蕾教授 03:58:03 +不用他设底价都可以,只要过去你有单子给我们回来就行。他,你像过去你排队的单车多呀,很多车啊,至少要排到,我上次有一次我就待在那里等,等了 6 个小时,哇。对啊,那就是啊。 + +唐老师 03:58:27 +那你就是,如果这种的话,那你应该要去的,去成要高一点才行啊。 + +罗蕾教授 03:58:33 +对呀,就是这样的嘛,有时候你怎么说嘛,不行的。 + +唐老师 03:58:37 +就是去成要高一点。特惠单的这个机制不对,你们就不应该有这个,像这种,他就不应该有特惠单子,他就不应该有特惠单。 + +罗蕾教授 03:58:49 +对,那个酒店是吧?平台他不管那些,他只管你。 + +唐老师 03:59:00 +他应该要跟你商量。不然的话,这个单子他就不应该派给你。你们都不能设底价的吗? + +罗蕾教授 03:59:19 +他也不管你啊,比方说你这个,我们取消,比方说没有给你,我跟你商量啊,或者是怎么回事,说不好,你去看,看他衣服找到没有。 + +罗蕾教授 04:00:07 +我这在跟你聊。 20 块钱, 30 块钱。我说我们接到的这种单子啊,不去客人要有意见,去了我们要亏钱。 + +罗蕾教授 04:00:35 +你看他是报销吗?还是。 + +罗蕾教授 04:01:01 +我说的是 70 多块钱, 70 多。 + +唐老师 04:01:30 +那个。 + +罗蕾教授 04:01:44 +搞一半天还没有丢。 + +唐老师 04:01:46 +对。 + +罗蕾教授 04:01:46 +你搞,但是一般酒店,你掉在酒店里,酒店都有的。 + +唐老师 04:01:50 +对。 + +罗蕾教授 04:01:51 +我就说嘛,他说没有,肯定你就没有掉。 + +唐老师 04:02:07 +想一想,想一下怎么做下一步。 + +唐老师 04:02:40 +这样子,跟肖云慧讲一下,他不要再参与视觉项目了,他调过去看叫做智能体那一块,智能体吧,以叫做 AIW 这个,对,你先让他熟悉 AIW 这个,如果他现在在用哪一台电脑? + +唐老师 04:03:13 +不是,周煦城那。还在我这里。 + +唐老师 04:03:22 +对,他应该用的是那台乌班图的吧?他用的是乌班图还是Windows?那就乌班图的呀,他就用的最开始不就用的那台吗?那个 AW 他应该在那个上面可以做,对,他那个应该可以做。 AW 的话呢,我做了一些重要的改动,换账号。这样子,你让他把小红书彻底做出来吧。你让他把小红书彻底做出来。你在做什么为主啊?你看什么呢?光看啊?主要有事情做啊。 + +唐老师 04:04:16 +这个这样的话,那你不是一天白过啊?你。这样子,让他把熟悉一下,你自己把公众号没啥可改的,你不要再继续看了。做小红书的把他小红书的彻底改通,干脆就调过来吧,你把小红书的功能彻底改通,小红书也改成可以选账号,可以配置账号。处理知识库,知识库要变成可以通用的知识库。小红书的知识库和。小的公众号的知识库可以共用一个知识库。有没有听懂这个意思?对,就直接先做这个,你让他就先换到去看AIW,机器视觉这个事情,不用做了,对,那个水平也不够,这个我等于要重新教一年才教的出来,那个哪有时间去教这个一年啊?他看一下他的做小红书的这块能不能做的了?从他的角度也可以做一点。如果要是,对,反正今天就今天明天先就这样吧,等到有一些事情就过了节再说了。 + +唐老师 04:05:47 +你这一块的话呢,你这样子,你不要这样做事,你要听明白,因为你这样的话呢,就等于每一天就是白浪白过的。需要每天要定个目标。还有就是你从今天起帮我把每天早上的工作的计划,直接去问大家要出来,不要我问才有。每天早上必须每个人都要发给我,你听到了吗?好,对,陈瑜的那边的话,文章的确认都还没出来啊,他不是昨天、前天都在弄这个吗?的话,昨天都在弄,他今天一定要把文章主题要定出来。要直接给出来,或者把建仓库建出来也可以。小莫的部分的话,对你,他在边上没有?你直接递给他。 + +唐老师 04:06:49 +你有没有看到新版的东西?我说的是今天早上之后呀。 + +唐老师 04:07:06 +我继续跟小莫说,小莫你有没有见到新版的文章?昨天晚上之后的版本。 + +唐老师 04:07:18 +喂,昨天的我看了,今天的什么时候发的?不是,我一直改到很晚,包括你现在看到的是啥样的? + +唐老师 04:07:47 +你看这几点钟的版本,这样说。 + +唐老师 04:07:56 +那就是昨天的。对,几点的版本嘛? + +唐老师 04:08:15 +9:07。 9: 07 是什么意思?是早上吗?对,早上。那你今天上午在干嘛呢?先生,我还是,把一些细节理解了一下,看了一下。那个,这边不是很同意这个。论文方向的。 + +唐老师 04:08:53 +我们往什么方向去?对,因为他们觉得就是嵌入式系统来做大系统,就本来就不对头,他们是这样想的。有没有听懂这句话的逻辑?嵌入式系统来做大系统的就是以T1、T2,他们觉得不合理,他觉得这是个伪命题。 + +唐老师 04:09:23 +哎呀,我的老天爷,这样会导致我的这个电脑。 + +罗蕾教授 04:09:27 +你他们的神经病嗦。 + +唐老师 04:09:38 +我应该一直在 git 上去啊,你怎么会看到的是 9 点多的版本呢?你们这个做法真的不行,我这样我下次要批评你。小莫,你听清楚哈,咱们之间学习的话呢,是要讲效果的。如果说你看你今天早上看的,你去,昨天看到是 9 点钟的版本,这个完全不符合我们昨天的交流,那个不合适的,你不能这样做。你有听清楚了没有?小莫。我最晚的改动一直到了叫做,最晚的改动的话呢,一直到了我看一下我最晚的改动到几点钟了都。有 9: 07 的有,对, 9: 07 的有,也有,对,这一版。后面整体框架的话还有一版,对。还有一个,对。昨天的话呢,对。不过昨天我确实也有一个另外的事情耽误了,因为我昨天还要写大模型的报告。行吧,也就是说你大体上看到了整体框架的,我看了一下,我现在再传一个新版本上去。我现在传一个新版本上去,你全部同步一下。好,但是我现在告诉你,那个就是罗教授他们对于叫做做T1、 T2 层次的他认为概念不太对,不应该把总。 + +唐老师 04:11:05 +主题定义在实时操作系统上面,它应该叫基础系统,而不应该叫操作系统,叫做实时基础支撑系统,实时基础系统,或者叫实时准系统,或者叫实时基础系统,不能够再定义在操作系统这一层,因为很多问题它不是在操作系统这一层解决的。他hypervisor,他他们建议是用 hypervisor 来做并行系统,做实时 real time,实时操作系统的话,是做。解决叫做控制那部分,实时操作系统还是放在控制那部分,叫做那个,用 Linux 平台来做叫做推理那部分。这个其实本身就是义辉现在的架构,但是的话呢,整体实时性的问题的论证,他们应该是没有论证过的。我不知道听明白没有,听得懂这个话的意思不?可能没有这个工业实践哈,可能没有这个工业实践。对,意思反正就是这个。意思就是说,不能用这个阿托斯来解决所有的问题,大体上的意思。 + +唐老师 04:12:21 +我待会儿这样子,我待会儿大概在一个小时过后,你你先看一下,你这样子,你先把我说的这个问题,你直接在叫做仓库里面,你跟 AI 对话,你说说实时操作系统的老师提出,不应该再局限于用操作系统级别来考虑这个问题了,操作系统的。 + +唐老师 04:12:49 +操作系统,对于结果的贡献度是有限的,有很多本身就也不是操作系统该管的事情,大模型的推理实时性,不是操作系统该管的管的事情,这句话听得明白吗?大模型的推理实时性。对,不应该归,不应该只归操作系统管,所以要把实时性这个概念从操作系统,实时操作系统这个概念扩展出来。我们解决的整个是引入了大模型的,引入了 AI 的系统的整体实时性问题,把这个问题要重新定义,好,你描述一下。不局限于操作系统的实施,而是将整个大模型推理以及操作系统融起来,统一实,统一的实,实时性。对,统一的实时性,对你这个表述还是不完整、不规范的,但是没关系,你去跟大模,你去跟 AI 讨论如何把这个问题表达的更加规范。原因是因为就是大模型推理的实时性问题,它不能够全部归咎于操作系统层面。它有很多是另外的层面,操作,大模型推理的实时性问题,不能够完全归结于Atos。这句话掌握到了吗? + +唐老师 04:14:33 +好,就把这个概念扩展开来讨论哈,就先不用写具体的东西。这个就好,就就很,先去弄弄起来。这句话我发给你了,但是要把这句话延伸扩展研究,好吧?这样就不浪费这个今天下午的时间了,今天下午写不了东西的,今天下午是要以整理为主,整理思路调节为主,好不好?好,好,先说到这。那个关佳贝跟叫做小肖的话,陈运慧,你们就折腾那个就是 AIW 的东西,然后把那个小红书彻底写好,然后小红书可以共用知识库。知识库的上面的生成要很方便,知识库的使用要很方便。规则要很清晰。好,那个小关先开头吧,我看。嗯,行,拜拜。好,拜拜。 + +罗蕾教授 04:20:13 +两个小时, 2 点半到, 2 点 25 到。 + +唐老师 04:25:28 +然而还。 + +罗蕾教授 04:39:34 +我这儿在送客人过来的路上。你在 T2 还是T1?我都没看那个订单。 + +罗蕾教授 04:39:50 +我看一下,我看一下。我离那里有多少公里?没事,我两点半客人在 T2 下了我就过来。 + +唐老师 04:48:06 +请缴费 30 点,支付中,请稍后,缴费成功,祝您一路平安。 + +罗蕾教授 04:56:46 +这是枪,手枪那东西的。是不是? + +陈虹\-电子科大 04:57:04 +放箱子就可以了,包包不用放。这个也放了吗? + +唐老师 05:00:07 +一起的是不是?对,对的。一起的就一起取。没有,可以不同的地方。 + +陈虹\-电子科大 05:00:31 +大杯上。好了之后到值机去了。 + +唐老师 05:00:36 +好。 + +陈虹\-电子科大 05:00:36 +直接安检啊。这里有个货道要不要? + +罗蕾教授 05:00:39 +可以吧。好。 + +陈虹\-电子科大 05:00:41 +这个是货道吗?我不知道你那个是什么仓位,知道不? + +唐老师 05:00:49 +四仓位。拿了没有? + +唐老师 05:01:05 +那个。哪个航空公司?东方航空。这是东航啊。东航的金卡。 H 的67。 + +陈虹\-电子科大 05:01:40 +但是我们上面都有信息的吗?我现在在另外柜台。就是你那边只有徐云一个人的退票记录,是吗?是的,我这边也给他看了,他就没有票哦,看不到我们的票哦。那等他这边柜台处理吧。 + +唐老师 05:01:59 +请问这个 A 18 的地口哪里啊? + +陈虹\-电子科大 05:02:38 +全部都退了。 + +陈虹\-电子科大 05:02:55 +九,九月多少号几点退的?下午 14: 22。 + +陈虹\-电子科大 05:03:08 +你好,祥鹏是在这是吗? + +陈虹\-电子科大 05:03:30 +你稍等你稍等你稍等你稍等。哎,先生你好。没有。购票的,他说他携程跟他讲只退了 15 个人的票。没有,联系了没有。所有的票跟座位都删掉了。那现在有什么办法能够处理? + +陈虹\-电子科大 05:08:44 +有没有充电宝? + +陈虹\-电子科大 05:09:04 +袋子里有充电宝吗?男士。 + +陈虹\-电子科大 05:09:14 +包里有吗? + +唐老师 05:10:37 +这是哪位的? + +唐老师 05:10:55 +可以拿走了哈。 + +陈虹\-电子科大 05:11:00 +拿走了。那个是我的。 + +陈虹\-电子科大 05:11:33 +我挪一下哈。 + +唐老师 05:16:16 +明天啊。我们下个班。下个班。 + +唐老师 05:21:16 +车辆行驶中,请注意安全,感谢您的配合。车辆行驶中,请注意安全,感谢您的配合。车辆行驶中,请注意安全,感谢您的配合。 + diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/01-当前研究问题:背景、问题与挑战.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/01-当前研究问题:背景、问题与挑战.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/01-当前研究问题:背景、问题与挑战.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/01-当前研究问题:背景、问题与挑战.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/02-研究定位与项目边界.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/02-研究定位与项目边界.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/02-研究定位与项目边界.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/00-项目总览/02-研究定位与项目边界.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/00-整体研究框架.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/00-整体研究框架.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/00-整体研究框架.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/00-整体研究框架.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/01-推理图任务调度.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/01-推理图任务调度.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/01-推理图任务调度.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/01-推理图任务调度.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/02-KV-Cache与内存管理.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/02-KV-Cache与内存管理.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/02-KV-Cache与内存管理.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/02-KV-Cache与内存管理.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/03-加速器协同调度.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/03-加速器协同调度.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/03-加速器协同调度.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/03-加速器协同调度.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/04-量化精度感知调度.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/04-量化精度感知调度.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/04-量化精度感知调度.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/04-量化精度感知调度.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/05-中断与实时性保障.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/05-中断与实时性保障.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/05-中断与实时性保障.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/05-中断与实时性保障.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/06-能耗与热管理.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/06-能耗与热管理.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/06-能耗与热管理.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/06-能耗与热管理.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/07-方法论与评估工具链.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/07-方法论与评估工具链.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/07-方法论与评估工具链.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/07-方法论与评估工具链.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/10-研究框架/README.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/01-研究逻辑说明.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/01-研究逻辑说明.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/01-研究逻辑说明.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/01-研究逻辑说明.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/02-基础设备与算力基础.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/02-基础设备与算力基础.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/02-基础设备与算力基础.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/02-基础设备与算力基础.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/03-实验设计.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/03-实验设计.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/03-实验设计.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/03-实验设计.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/04-论文写作规划.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/04-论文写作规划.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/04-论文写作规划.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/04-论文写作规划.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/README.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/metric.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/metric.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/metric.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/20-实验与规划/metric.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/README.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/潜在合作研究路径-罗蕾教授与翼辉信息.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/潜在合作研究路径-罗蕾教授与翼辉信息.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/潜在合作研究路径-罗蕾教授与翼辉信息.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/潜在合作研究路径-罗蕾教授与翼辉信息.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/01-人物概览.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/01-人物概览.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/01-人物概览.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/01-人物概览.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/02-教学与人才培养.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/02-教学与人才培养.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/02-教学与人才培养.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/02-教学与人才培养.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/03-科研与产业化路径.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/03-科研与产业化路径.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/03-科研与产业化路径.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/03-科研与产业化路径.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/04-代表成果与研究主题.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/04-代表成果与研究主题.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/04-代表成果与研究主题.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/04-代表成果与研究主题.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/罗蕾教授资料/README.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/01-公司与RTOS定位概览.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/01-公司与RTOS定位概览.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/01-公司与RTOS定位概览.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/01-公司与RTOS定位概览.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/02-SylixOS技术能力与演进.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/02-SylixOS技术能力与演进.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/02-SylixOS技术能力与演进.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/02-SylixOS技术能力与演进.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/03-行业落地与生态版图.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/03-行业落地与生态版图.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/03-行业落地与生态版图.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/03-行业落地与生态版图.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/04-与本项目的潜在协同点.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/04-与本项目的潜在协同点.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/04-与本项目的潜在协同点.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/04-与本项目的潜在协同点.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/README.md diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/30-联合研究方/翼辉信息资料/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础设备.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础设备.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础设备.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础设备.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础说明.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础说明.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础说明.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/基础说明.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/实验设计.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/实验设计.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/实验设计.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/实验设计.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/最终文章规划.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/最终文章规划.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/最终文章规划.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/Word规范稿/最终文章规划.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/白皮书与汇报/最终文章规划.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/白皮书与汇报/最终文章规划.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/白皮书与汇报/最终文章规划.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/40-交付物/白皮书与汇报/最终文章规划.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/rtos_llm_opt.zip b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/rtos_llm_opt.zip similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/rtos_llm_opt.zip rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/rtos_llm_opt.zip diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/90-归档/压缩包与杂项/翼辉SylixOS智能控制技术栈架构白皮书-v1.0.docx diff --git a/项目框架1-基于RTOS的五类场景AI实时性研究/README.md b/02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/README.md similarity index 100% rename from 项目框架1-基于RTOS的五类场景AI实时性研究/README.md rename to 02-项目框架/01-项目框架1-基于RTOS的五类场景AI实时性研究/README.md diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/01-当前研究问题:背景、问题与挑战.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/01-当前研究问题:背景、问题与挑战.md new file mode 100644 index 0000000..7b545fc --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/01-当前研究问题:背景、问题与挑战.md @@ -0,0 +1,59 @@ +# 当前研究问题:背景、问题与挑战 + +## 1. 背景 + +人工智能能力正在从服务器、云端和通用应用软件,持续进入设备控制、边缘协同、车载平台、工业终端和任务关键系统。系统中的人工智能不再只是离线分析能力,而正在承担识别、规划、诊断、导航、辅助决策和自然交互等面向实时场景的功能。 + +当人工智能能力进入这些系统后,系统的时间结构发生了明显变化: + +- 感知链路、推理链路与控制链路开始耦合; +- CPU、NPU、GPU、DMA、总线和内存带宽竞争明显增强; +- 功耗、散热、体积、统一内存和设备驱动限制直接影响系统行为; +- 关键保障负载与人工智能目标负载开始争夺同一组底层资源。 + +因此,系统面对的已经不是单纯的“把模型跑起来”问题,而是“如何让人工智能能力进入系统之后,整体时序边界仍然成立”的问题。 + +## 2. 问题 + +本框架聚焦的问题是: + +> **当人工智能能力进入实时控制系统后,模型、运行时、RTOS、Linux、Hypervisor、芯片、总线、内存和协处理器如何共同决定系统的整体实时边界。** + +这里的核心观察有三点: + +1. **大模型与智能算法的实时问题不能完全归于 RTOS 单独解决。** +2. **纯粹把问题写成“RTOS 优于 Linux”已经不足以覆盖真实系统问题。** +3. **真正需要研究的是面向 AI 的实时控制基础系统,而不是单一软件层。** + +## 3. 挑战 + +### 3.1 跨层因果交织 + +人工智能目标负载的时间行为同时受到模型结构、量化方式、算子实现、运行时队列、驱动、芯片资源和操作系统机制影响。单一层面的解释无法完整说明系统实时性。 + +### 3.2 感知与控制形成闭环 + +一旦感知、规划、语音理解或推理链路进入控制闭环,推理延迟、链路抖动和异常输出都会直接影响执行效果,系统面对的是认知与控制的一体化问题。 + +### 3.3 MCU 与 SoC 路线差异显著 + +MCU 场景更偏向静态资源分配、工具链和芯片协同;SoC 场景更偏向 Linux / RTOS / Hypervisor 协同、统一内存竞争治理和异构设备协作。这两类问题不能被同一套表达简单覆盖。 + +### 3.4 体系结构成为主要变量 + +随着 NPU、GPU、DMA、统一内存、总线和缓存结构进入主舞台,问题已经从调度器、中断和线程同步扩展到嵌入式计算机体系结构层。 + +### 3.5 产业叙事需要升级 + +如果企业仍然只把自己定义为 RTOS 供应方,就很难完整解释人工智能进入实时控制系统后出现的新问题。更有延展性的定位应当围绕“基础系统”展开。 + +## 4. 本框架的价值 + +本框架的目标不是否定 RTOS,而是把 RTOS 放回更准确的位置: + +- RTOS 是关键保障负载的确定性底座; +- Linux 与推理运行时承载 AI 生态与计算任务; +- Hypervisor、芯片与资源治理结构承担隔离、边界与整体秩序; +- 规则层与兜底机制承担异常控制与安全边界。 + +因此,本框架对应的研究价值在于:为“人工智能进入实时控制系统之后的基础系统问题”建立更准确的问题定义、技术路线和实验组织方式。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/02-研究定位与项目边界.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/02-研究定位与项目边界.md new file mode 100644 index 0000000..0c2dbc7 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/02-研究定位与项目边界.md @@ -0,0 +1,80 @@ +# 研究定位与项目边界 + +## 1. 研究定位 + +本框架的研究定位是: + +> **面向人工智能能力进入实时控制系统后的整体系统问题,研究基础系统如何维持确定性、可预测性与实时边界。** + +这里的“基础系统”不是单一软件层,而是由以下部分共同构成: + +- 模型与任务语义; +- 推理运行时与负载编排; +- RTOS 与 Linux 的角色分工; +- Hypervisor 与资源隔离; +- 芯片、总线、内存、NPU、GPU、DMA 等硬件资源结构; +- 规则兜底、安全约束与异常切换机制。 + +## 2. 研究对象 + +本框架的研究对象是: + +> **面向 AI 的实时控制基础系统。** + +其中: + +- `SylixOS` 仍然可以作为关键实验样例与基础软件样本; +- `QNX`、`VxWorks`、`INTEGRITY`、`LynxOS-178` 等可继续作为参照平台; +- `Linux` 与 `PREEMPT_RT Linux` 继续作为重要对照对象; +- `T5~T1` 继续作为验证矩阵,而不是研究主语。 + +## 3. 本框架不把什么当作研究主语 + +### 3.1 不把硬件谱系当作研究主语 + +`T5~T1` 五类部署形态和各类算力基础承担的是验证矩阵角色,用于组织证据、比较边界和解释场景差异。 + +### 3.2 不把单一 RTOS 当作全部因果承担者 + +RTOS 在本框架中承担关键作用,但不再被写成全部实时问题的唯一解决者。模型、运行时、芯片与资源结构同样影响系统边界。 + +### 3.3 不把纯吞吐优化当作核心目标 + +本框架关注的是人工智能目标负载、关键保障负载与系统协同三层指标同时成立的条件,而不是单一的吞吐最大化。 + +## 4. 研究边界 + +### 4.1 重点覆盖的系统类型 + +- 控制端 MCU / 控制盒; +- 设备端 SoC; +- 边缘节点; +- 面向任务关键场景的单机高密和集群协同平台。 + +### 4.2 重点覆盖的问题 + +- 关键保障负载与人工智能目标负载共存时的整体实时性; +- Linux / RTOS / Hypervisor 的混合协同结构; +- 统一内存、总线和异构协处理器竞争治理; +- 小型化、低功耗和受限部署条件下的系统边界; +- 模型推理与规则兜底共同构成的执行闭环。 + +### 4.3 暂不作为主线的问题 + +- 通用大模型训练集群的纯吞吐优化; +- 面向互联网高并发服务的开放式推理平台; +- 单纯以算法精度提升为主的模型研究; +- 不涉及实时控制闭环的普通桌面 AI 应用。 + +## 5. 与项目框架1的关系 + +项目框架1把“大型跨平台 RTOS”作为研究主语,重点讨论 RTOS 在五类部署形态中的机制优势。 + +项目框架2则把研究主语上移到“面向 AI 的实时控制基础系统”,重点讨论: + +- RTOS 在整个系统中的位置; +- Linux、RTOS 与 Hypervisor 如何协同; +- 模型推理、资源竞争与控制任务如何共同构成实时边界; +- 企业与平台如何从 RTOS 供应方转向基础系统供应方。 + +这两套框架可以并行维护,分别服务于不同层次的课题收敛。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/03-总课题与两个子课题的关系.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/03-总课题与两个子课题的关系.md new file mode 100644 index 0000000..f7c5c35 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/00-总课题总览/03-总课题与两个子课题的关系.md @@ -0,0 +1,86 @@ +# 总课题与两个子课题的关系 + +## 1. 决策记录 + +在对 2026-09-22 会议内容、框架2当前结构和外部相关研究进行综合判断后,当前对框架2的组织方式做出如下决策: + +> **框架2继续保留为“面向 AI 的实时控制基础系统研究”这一总课题,不单独再分出框架3;但在框架2内部,明确提升为“一总课题 + 两个子课题 + 一个共享方法层”的结构。** + +这一决策的核心依据是: + +1. `MCU` 路线与 `边侧 SoC` 路线已经不是同一种技术问题; +2. 但两条路线仍然服务于同一个更高层研究主语,即“面向 AI 的实时控制基础系统”; +3. 三层边界、验证矩阵、评价框架和对照逻辑仍然具有共享性; +4. 目录层级上如果不把两个子课题抬成一级目录,就会削弱其独立研究价值。 + +## 2. 总课题是什么 + +总课题回答的是: + +> **人工智能能力进入实时控制系统之后,基础系统如何维持系统的确定性、可预测性与整体实时边界。** + +这一层负责统一以下内容: + +- 研究主语; +- 问题定义; +- 三层边界; +- 验证矩阵; +- 对照方法; +- 总体评价框架; +- 总体论文和课题表达。 + +## 3. 为什么需要两个子课题 + +### 3.1 子课题 A:面向 MCU 的静态智能控制基础系统 + +这一子课题主要回答: + +- 极小资源预算下,人工智能能力如何被静态、可分析地纳入控制系统; +- 小模型、小算子、工具链、代码生成与芯片协同如何共同形成系统能力; +- 低功耗、小型化与极小内存预算如何构成主边界。 + +### 3.2 子课题 B:面向边侧 SoC 的混合实时控制基础系统 + +这一子课题主要回答: + +- Linux、RTOS、Hypervisor 与 Hybrid 结构如何在同一 SoC 上协同; +- 统一内存、总线、DMA、NPU/GPU 竞争如何被治理; +- 控制链路、推理链路与规则兜底如何共同形成整体边界。 + +## 4. 为什么不现在直接分出框架3 + +当前不单独再分出框架3,主要基于三点考虑: + +1. **研究主语没有分裂** + 两个子课题仍然隶属于同一个总课题主语。 +2. **方法层高度共享** + 三层边界、验证矩阵和评价框架不需要重复建设。 +3. **当前阶段更适合内部分流,而不是外部分家** + 目前仍处于课题框架优选和收敛阶段,过早拆出框架3会增加主线分散的风险。 + +## 5. 当前目录组织原则 + +因此,框架2当前采用以下结构: + +- `00-总课题总览` +- `10-共享理论与方法层` +- `20-子课题A-面向MCU的静态智能控制基础系统` +- `30-子课题B-面向边侧SoC的混合实时控制基础系统` +- `40-综合比较与收敛` + +这种结构同时满足: + +- 总课题不散; +- 子课题不被湮灭; +- 后续可以继续长成独立课题; +- 当前仍可维持统一的研究主线。 + +## 6. 后续演化条件 + +只有在以下条件进一步成立时,才考虑把子课题继续外扩为独立框架或独立申报方向: + +1. 两个子课题分别对应不同合作方、不同交付物和不同对外课题口径; +2. 两个子课题形成了不再共享的方法层和评价体系; +3. 论文、实验和合作推进已经自然分化为两套完整闭环。 + +在此之前,框架2保持“一总两子”的结构是当前最稳的组织方式。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/00-整体研究框架.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/00-整体研究框架.md new file mode 100644 index 0000000..f8e1ada --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/00-整体研究框架.md @@ -0,0 +1,238 @@ +# 面向AI的实时控制基础系统整体研究框架 + +## 0. 核心问题 + +本框架围绕“人工智能能力进入实时控制系统之后,基础系统如何维持整体实时边界”展开。核心判断是: + +> **当人工智能目标负载进入实时控制系统后,系统需要解决的已经不是单一操作系统问题,而是模型、运行时、RTOS、Linux、Hypervisor、芯片、总线、内存、NPU、GPU、DMA 和规则兜底机制共同构成的整体实时性问题。`SylixOS` 可作为关键实验样例,`QNX`、`VxWorks`、`INTEGRITY`、`LynxOS-178` 等可作为参照平台。** + +这里有四个基础判断: + +1. **研究对象是面向 AI 的实时控制基础系统**; +2. **人工智能推理在系统中承担目标负载角色**; +3. **RTOS 是关键底座,但不是全部因果的唯一承担者**; +4. **硬件条件以验证矩阵形式组织研究证据。** + +本框架评估的是:当人工智能目标负载与关键保障负载共同进入系统时,基础系统如何维持控制路径、推理路径和资源路径的整体边界。 + +--- + +## 1. 问题空间:五类部署形态、三类系统负载与跨层实时性 + +### 1.1 五类部署形态 + +`T5~T1` 五类部署形态继续作为验证矩阵。 + +| 部署形态 | 系统角色 | 主要研究关注点 | +|---|---|---| +| T5 控制端 | 极紧资源预算下的控制节点 | 静态分配、低功耗、极小内存预算 | +| T4 设备端 SoC | 设备本体内的异构平台 | Linux/RTOS 协同、统一内存与带宽隔离 | +| T3 边缘节点 | 近源推理与控制协同节点 | 多任务并发、热稳定性、边缘协同 | +| T2 单机工作站 | 单机高密本地推理平台 | 多卡公平性、控制侧保护与资源协同 | +| T1 服务器 / 集群 | 任务关键场景中的分布式协同平台 | 跨节点协同、系统边界与规模扩展 | + +这些部署形态回答的是“在哪里验证”,而不是“什么是研究主语”。 + +### 1.2 三类系统负载 + +| 负载类型 | 定义 | 典型例子 | +|---|---|---| +| 人工智能目标负载 | 系统要完成的智能功能本身 | LLM 推理、视觉识别、导航规划、故障诊断 | +| 关键保障负载 | 维持安全与执行闭环的关键任务 | 周期控制、联锁、状态采集、执行输出 | +| 伴生竞争负载 | 会争抢资源但不属于主功能的任务 | 日志、更新、模型加载、通信、I/O | + +### 1.3 跨层实时性问题 + +本框架中的“实时性”不再只指调度器和中断路径,而是至少同时涉及: + +- 模型与推理阶段时间行为; +- 运行时与队列组织; +- RTOS 的关键任务保障能力; +- Linux 的生态与推理承载能力; +- Hypervisor 的隔离与资源切分; +- 总线、内存、DMA、NPU、GPU 等资源竞争结构; +- 规则兜底与异常切换机制。 + +--- + +## 2. 分层边界:三层系统问题 + +### 2.1 RTOS 直接控制域 + +这一层是 RTOS 可以直接施加机制约束的部分,包括: + +- 关键任务调度; +- 中断优先级与抢占关系; +- CPU 侧线程、同步与时钟机制; +- 恢复、隔离和关键路径治理。 + +这一层回答的是: + +> **RTOS 如何为关键保障负载建立确定性底座。** + +### 2.2 推理运行域 + +这一层主要由模型、量化、算子、运行时和驱动共同决定,包括: + +- Prefill / Decode 时延结构; +- 模型大小与量化精度; +- KV Cache、内存组织与队列行为; +- GPU/NPU 内部执行与框架调度。 + +这一层回答的是: + +> **人工智能目标负载本身具有什么样的时间行为和资源行为。** + +### 2.3 系统协同域 + +这一层是本框架的重点,包括: + +- Linux 与 RTOS 的角色分工; +- Hypervisor 的隔离与资源划分; +- 总线、DMA、外存、统一内存与协处理器竞争治理; +- 规则兜底、安全约束与异常切换; +- 关键保障负载与人工智能目标负载之间的优先级关系。 + +这一层回答的是: + +> **在混合系统中,整体实时性如何被建立、维持和验证。** + +--- + +## 3. 两条主要技术路线 + +### 3.1 MCU 路线:静态分配、工具链与芯片协同 + +MCU 路线重点关注: + +- 小模型、小算子与控制任务的静态编排; +- 工具链、代码生成与开发套件; +- 与芯片厂商的协同设计; +- 极小资源预算下的 AI 目标负载纳入方式。 + +这条路线的关键词是: + +`静态分配`、`工具链`、`开发套件`、`芯片协同` + +### 3.2 SoC 路线:Hybrid、Hypervisor 与整体确定性 + +SoC 路线重点关注: + +- Linux 侧推理与 RTOS 侧控制的分工; +- Hybrid 结构从“并置”升级为“协同治理”; +- Hypervisor 的隔离、分簇和资源切分; +- 统一内存、总线、DMA、NPU/GPU 竞争治理; +- 控制与 AI 在同一系统中的整体确定性。 + +这条路线的关键词是: + +`Hybrid`、`Hypervisor`、`隔离`、`资源治理`、`系统确定性` + +--- + +## 4. 统一技术体系:五层技术栈与横向治理线 + +本框架继续保留五层技术栈表达,但其含义从“RTOS 机制展开”进一步上升为“基础系统展开”。 + +``` +┌───────────────────────────────────────────────────────────────┐ +│ L5 模型与任务语义层 │ +│ 任务语义、模型结构、量化、输出约束、业务边界 │ +├───────────────────────────────────────────────────────────────┤ +│ L4 运行时与负载编排层 │ +│ 队列、准入控制、内存池、流水线、推理框架、规则兜底接口 │ +├───────────────────────────────────────────────────────────────┤ +│ L3 资源抽象与系统协同层 │ +│ CPU/NPU/GPU/DMA/总线/统一内存抽象、Hypervisor、资源治理 │ +├───────────────────────────────────────────────────────────────┤ +│ L2 基础软件控制层 │ +│ RTOS、Linux、中断、调度、同步、恢复、隔离、关键路径保护 │ +├───────────────────────────────────────────────────────────────┤ +│ L1 硬件与互联层 │ +│ MCU、SoC、加速器、缓存、总线、外存、网络互联、时钟源 │ +└───────────────────────────────────────────────────────────────┘ +``` + +横向治理线包括:安全、审计、配置版本、日志证据、时间同步、可观测性、规则兜底、异常切换和 OTA / 回滚能力。 + +--- + +## 5. 研究主线:整体实时边界的建立与验证 + +本框架后续所有子方向都服务于同一个主命题: + +> **面向 AI 的实时控制基础系统如何在人工智能目标负载进入控制闭环后,维持系统的确定性、可预测性与整体实时边界。** + +围绕这个主命题,研究主线可以组织为六个方向: + +1. **RTOS 直接控制域的保障机制** +2. **人工智能目标负载的时间行为建模** +3. **系统协同域的资源隔离与治理** +4. **MCU 路线的静态编排与工具链能力** +5. **SoC 路线的 Hybrid / Hypervisor 协同结构** +6. **规则兜底、异常切换与闭环安全边界** + +这些方向共同服务于一个判断: + +> **人工智能能力进入实时控制系统后,系统是否仍然有边界,以及这个边界由哪些机制共同构成。** + +--- + +## 6. 评价框架:三层指标同时成立 + +### 6.1 人工智能目标负载指标 + +- `TTFT` +- `TPOT` +- 端到端响应时间 +- 功能有效性 +- 长时间稳定性 + +### 6.2 关键保障负载指标 + +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 观测最大响应时间 +- 外部接口响应时间 + +### 6.3 系统协同指标 + +- 有效吞吐 +- `E/token` / `tokens/J` +- 温度、热漂移与降频行为 +- 资源隔离效果 +- 恢复能力与异常切换表现 + +因此,本框架的成功标准是: + +> **人工智能目标负载、关键保障负载与系统协同三层指标同时成立。** + +--- + +## 7. 对照关系:Linux、PREEMPT_RT、RTOS 与混合结构 + +后续实验与叙事可采用四类对照: + +| 对照组 | 含义 | 作用 | +|---|---|---| +| `O0` 普通 Linux | 通用系统基线 | 观察非实时平台的自然行为 | +| `O1` PREEMPT_RT Linux | 实时增强型 Linux | 观察增强型通用 OS 的边界 | +| `O2` RTOS 原生配置 | RTOS 基础路径 | 观察 RTOS 底座能力 | +| `O3` 混合基础系统配置 | Linux + RTOS + Hypervisor 或协同结构 | 观察整体协同路径的收益与代价 | + +这条对照线的重点,不再只是比较“谁更快”,而是比较: + +- 谁更能维持关键保障负载边界; +- 谁更能承受 AI 目标负载进入后的资源竞争; +- 谁更能形成可解释、可复现、可治理的整体系统秩序。 + +--- + +## 8. 预期成果 + +1. **问题定义层**:人工智能能力进入实时控制系统后的基础系统问题定义; +2. **分析层**:RTOS 直接控制域、推理运行域与系统协同域的边界划分方法; +3. **机制层**:面向 Hybrid / Hypervisor / 资源治理 / 规则兜底的基础系统机制; +4. **方法层**:覆盖 `T5~T1` 的统一验证矩阵与对照方法; +5. **产业层**:从 RTOS 平台叙事上升到基础系统叙事的合作与产品路线; +6. **论文层**:面向实时系统、嵌入式系统和低功耗系统方向的系统化论文与报告。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/01-RTOS直接控制域.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/01-RTOS直接控制域.md new file mode 100644 index 0000000..3e25bce --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/01-RTOS直接控制域.md @@ -0,0 +1,90 @@ +# RTOS直接控制域 + +## 1. 主题定位 + +在框架2中,RTOS 不再被写成全部系统问题的唯一承担者,但它仍然是关键保障负载确定性底座的核心组成部分。本文件用于明确:哪些问题属于 RTOS 可以直接控制和分析的范围,哪些问题不应继续归因到 RTOS 身上。 + +## 2. 直接控制域的边界 + +RTOS 直接控制域主要包括: + +- 周期任务、关键任务与后台任务的调度关系; +- 中断优先级、抢占路径和线程化中断机制; +- CPU 侧线程、同步互斥、时钟与定时器; +- 内存锁定、关键缓冲区预分配与恢复机制; +- 关键任务隔离、核心绑定和关键路径保护; +- 对共享资源治理接口的直接约束能力。 + +这一层回答的是: + +> **RTOS 如何在人工智能目标负载进入系统后,持续保护关键保障负载的时间边界。** + +## 3. 核心研究问题 + +### 3.1 关键任务如何不被人工智能目标负载拖垮 + +当人工智能目标负载与关键保障负载并存时,RTOS 的首要任务不是提高模型吞吐,而是确保: + +- 周期控制任务不失去截止期; +- 中断链路不被模型加载、日志、I/O 和推理提交路径污染; +- 恢复路径在异常条件下仍然可触发; +- 控制输出始终保留优先权。 + +### 3.2 哪些资源竞争能够由 RTOS 直接治理 + +RTOS 可以直接治理的通常是: + +- CPU 时间分配; +- 抢占关系; +- 中断响应顺序; +- 同步冲突; +- 关键路径上的内核对象与内存使用方式。 + +RTOS 不能单独决定的,则包括 GPU/NPU 内部算子执行、显存流水线、驱动内部队列与片上总线物理冲突。这些内容必须和系统协同域一起讨论。 + +## 4. 关键机制 + +### 4.1 调度与抢占 + +关键保障负载应继续保持硬优先级或等价的刚性优先级结构。人工智能目标负载相关线程、提交路径和后台服务线程必须被限制在不会破坏关键任务的优先级层次中。 + +### 4.2 中断与关键路径治理 + +模型加载、设备中断、网络和存储路径都可能拉长关键路径。后续研究应重点观察: + +- 哪些中断必须线程化; +- 哪些中断应固定到非关键核; +- 哪些设备中断会污染关键任务核; +- 推理提交和结果回收链路是否会引发优先级倒置。 + +### 4.3 恢复与隔离 + +当推理链路失稳、超时或内存耗尽时,RTOS 直接控制域需要承担: + +- 关键任务不受波及的隔离; +- 降级模式触发; +- 任务重启与恢复; +- 对控制回路的兜底保持。 + +## 5. 评价重点 + +这一层的核心指标包括: + +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 观测最大响应时间 +- 外部接口响应时间 +- 恢复时间与异常切换开销 + +这些指标构成 RTOS 直接控制域的主证据,不应和 GPU/NPU 内部执行指标混为一体。 + +## 6. 与其他层的关系 + +- 与 `推理运行域` 的关系:RTOS 负责保护关键路径,推理运行域负责描述 AI 目标负载本身的时间行为; +- 与 `系统协同域` 的关系:RTOS 负责可直接治理的部分,系统协同域负责 Linux、Hypervisor 和异构资源共同造成的整体边界问题。 + +## 7. 当前结论 + +框架2并没有削弱 RTOS 的价值,而是把 RTOS 的价值说得更准确: + +> **RTOS 是关键保障负载的确定性底座,是人工智能进入实时控制系统后仍能维持秩序的直接控制层。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/02-推理运行域.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/02-推理运行域.md new file mode 100644 index 0000000..aa35e14 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/02-推理运行域.md @@ -0,0 +1,85 @@ +# 推理运行域 + +## 1. 主题定位 + +推理运行域用于解释人工智能目标负载本身的时间行为、资源行为和优化空间。框架2强调,大模型与智能算法的实时问题不能完全归因到 RTOS 身上,原因就在于推理运行域本身已经带有很强的结构性时间特征。 + +## 2. 推理运行域包含什么 + +这一层主要包括: + +- 模型结构与参数规模; +- 量化方式与数值精度; +- Prefill / Decode 两阶段时间特征; +- KV Cache 生命周期与内存组织; +- 推理框架队列、批处理与上下文管理; +- 算子实现、驱动路径和设备执行接口。 + +这一层回答的是: + +> **人工智能目标负载本身具有什么样的时间行为、内存行为和资源竞争特征。** + +## 3. 为什么这一层不能被省略 + +如果把所有实时性问题都写成 RTOS 问题,就会忽略以下事实: + +- 不同模型大小对内存和时延的影响完全不同; +- 量化方式会显著改变推理峰值、稳定性和能效; +- 同一硬件上,不同框架和不同算子组合会带来巨大差异; +- Decode 阶段与 Prefill 阶段的时间结构并不相同; +- 推理框架内部队列策略会直接影响首响应时间与尾延迟。 + +因此,推理运行域必须被单独分析。 + +## 4. 核心研究问题 + +### 4.1 模型时间行为如何进入系统分析 + +后续研究需要回答: + +- 不同模型在 Prefill 与 Decode 阶段分别造成什么样的时间分布; +- 哪些阶段是延迟敏感的; +- 哪些阶段可以延后、限流或降级; +- 哪些阶段会对关键保障负载形成直接冲击。 + +### 4.2 内存与缓存如何形成主瓶颈 + +对于设备端 SoC 和边缘节点,KV Cache、统一内存与 DMA 搬运常常比算力本身更早成为主瓶颈。 +因此,这一层需要重点分析: + +- 权重、KV Cache、工作区和运行时缓冲的占用边界; +- 模型切换、上下文增长和并发请求如何改变内存行为; +- 哪些内存组织方式更适合和关键保障负载并存。 + +### 4.3 量化与算子如何影响实时边界 + +量化和算子优化不仅影响吞吐,还影响: + +- 首响应时延; +- 长稳阶段的功耗与热状态; +- 设备端资源占用; +- 能否在受限部署条件下持续运行。 + +## 5. 评价重点 + +这一层的核心指标包括: + +- `TTFT` +- `TPOT` +- 端到端响应时间 +- 功能有效性与任务完成率 +- 峰值内存、工作区与长稳退化 +- 单位任务能耗与热漂移 + +这些指标构成 AI 目标负载本身的主证据。 + +## 6. 与其他层的关系 + +- 与 `RTOS 直接控制域` 的关系:推理运行域描述 AI 目标负载自身行为,RTOS 控制域负责保护关键任务不被这些行为拖垮; +- 与 `系统协同域` 的关系:推理运行域给出负载输入,系统协同域回答这些负载如何与 Linux、Hypervisor 和异构资源共同形成整体边界。 + +## 7. 当前结论 + +框架2保留 RTOS 的重要性,但明确要求把推理运行域单独提出,是因为: + +> **只有先把人工智能目标负载本身的时间结构说清楚,后续系统边界分析才不会落回单因果叙事。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/03-系统协同域.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/03-系统协同域.md new file mode 100644 index 0000000..80ea154 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/03-系统协同域.md @@ -0,0 +1,107 @@ +# 系统协同域 + +## 1. 主题定位 + +系统协同域是框架2相对框架1最大的变化之一。它不再把问题停留在“RTOS 是否更强”,而是直接讨论:当 Linux、RTOS、Hypervisor、统一内存、总线、DMA、NPU、GPU 和规则兜底机制共同存在时,整体实时性如何被建立、维持和验证。 + +## 2. 为什么系统协同域是主问题 + +会议中最关键的判断之一是:人工智能进入实时控制系统后的真实问题,已经超出了单一操作系统边界。原因在于: + +- 推理生态通常离不开 Linux; +- 关键保障负载需要 RTOS 或等价实时控制底座; +- 设备端 SoC 常常采用统一内存和异构协处理器; +- Hypervisor 与隔离机制直接影响资源边界; +- 规则兜底与安全约束必须与模型输出共同工作。 + +因此,系统协同域回答的是: + +> **在混合结构中,整体秩序如何形成。** + +## 3. 核心问题 + +### 3.1 Linux 与 RTOS 如何分工 + +Linux 更适合承担: + +- 推理框架与模型生态; +- 容器、服务和工具链支持; +- 非关键路径的 AI 相关运行任务。 + +RTOS 更适合承担: + +- 关键保障负载; +- 控制闭环中的刚性时间边界; +- 关键路径上的确定性治理。 + +系统协同域的核心,不是让两者彼此替代,而是让两者分工清楚、边界稳定。 + +### 3.2 Hypervisor 在这里起什么作用 + +Hypervisor 不是附属选项,而是重要研究对象之一。它至少影响: + +- 核心隔离和资源切分; +- 中断路由和设备访问边界; +- 共享内存与通信路径; +- 异常传播与恢复策略。 + +在设备端 SoC 和边缘节点上,Hypervisor 往往是把“共存”升级为“可治理共存”的关键层。 + +### 3.3 异构资源竞争如何进入系统分析 + +在 SoC 和边缘节点上,整体边界往往由以下竞争共同决定: + +- CPU 与 NPU/GPU 的统一内存争用; +- DMA 与 CPU 访存冲突; +- 总线与缓存竞争; +- 模型加载与控制 I/O 共享带宽; +- 后台服务与关键任务共享中断和核资源。 + +这些问题不能只在驱动层或 RTOS 层单独解释,必须进入系统协同域。 + +## 4. 关键机制 + +### 4.1 资源隔离 + +后续研究应重点观察: + +- CPU 核和关键任务核是否可隔离; +- 设备中断是否可隔离; +- 共享内存和 DMA 缓冲是否可限定边界; +- 模型提交路径是否会挤占控制路径资源。 + +### 4.2 协同治理 + +协同治理关注的是: + +- 推理与控制如何分层; +- 哪些事件由 Linux 负责,哪些由 RTOS 负责; +- 资源冲突发生时谁拥有优先权; +- 发生过载和异常时系统如何降级与恢复。 + +### 4.3 证据组织 + +系统协同域的证据不能只看某一个线程或某一个服务,而需要同时观察: + +- 人工智能目标负载层; +- 关键保障负载层; +- 系统协同层。 + +只有三层指标同时成立,才能说明协同结构是有效的。 + +## 5. 对照方式 + +框架2的主对照建议采用: + +- `O0` 普通 Linux +- `O1` PREEMPT_RT Linux +- `O2` RTOS 原生配置 +- `O3` 混合基础系统配置 + +其中 `O3` 不再只是附属架构,而是系统协同域的主实验路径之一。 + +## 6. 当前结论 + +框架2真正抬升的,不只是标题口径,而是研究主线本身: + +> **系统协同域使项目从“RTOS 机制研究”走向“人工智能进入实时控制系统后的基础系统研究”。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/04-规则兜底与控制闭环.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/04-规则兜底与控制闭环.md new file mode 100644 index 0000000..99ba33a --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/04-规则兜底与控制闭环.md @@ -0,0 +1,80 @@ +# 规则兜底与控制闭环 + +## 1. 主题定位 + +人工智能能力进入实时控制系统后,系统不可能只靠模型输出维持闭环。框架2因此把“规则兜底与控制闭环”单独列为一条研究线,用来说明模型推理、控制逻辑、安全约束和异常切换如何共同维持系统边界。 + +## 2. 为什么必须单独提出这一层 + +如果只讨论模型推理和操作系统,容易忽略一个关键事实: + +- 模型输出可能延迟; +- 模型输出可能不稳定; +- 模型输出可能不满足控制安全边界; +- 系统必须在异常条件下退回到规则与安全约束支撑的路径。 + +因此,真实系统需要的是“模型驱动 + 规则兜底”的混合闭环。 + +## 3. 核心研究问题 + +### 3.1 模型与规则如何分工 + +模型更适合承担: + +- 感知理解; +- 语义识别; +- 规划建议; +- 异常模式发现。 + +规则层更适合承担: + +- 安全边界检查; +- 优先级裁决; +- 异常降级; +- 默认动作触发; +- 恢复条件判定。 + +### 3.2 闭环如何建立 + +框架2中的闭环至少包括: + +1. 感知输入; +2. 推理与规划; +3. 规则检查; +4. 执行输出; +5. 状态回读; +6. 异常切换与恢复。 + +只有这条链路完整,系统才是真正的实时控制系统,而不是带 AI 的普通服务系统。 + +### 3.3 异常切换如何进入系统实验 + +后续实验不仅要测正常场景,还要测: + +- 模型超时; +- 队列过载; +- 设备异常; +- 推理链路中断; +- 控制路径回退。 + +这些内容构成规则兜底层的核心证据。 + +## 4. 评价重点 + +这一层重点观察: + +- 异常切换时间; +- 规则触发正确性; +- 降级后的关键任务保持情况; +- 恢复后的系统稳定性; +- 模型与规则共同工作时的整体边界。 + +## 5. 与其他层的关系 + +- 与 `RTOS 直接控制域` 的关系:RTOS 负责底层调度与恢复执行; +- 与 `推理运行域` 的关系:模型提供感知和规划能力; +- 与 `系统协同域` 的关系:规则兜底把混合系统真正闭合成可执行的控制系统。 + +## 6. 当前结论 + +> **没有规则兜底与异常切换,人工智能进入实时控制系统就只是“把模型接进来了”;只有闭环建立起来,基础系统课题才真正成立。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/05-研究逻辑说明.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/05-研究逻辑说明.md new file mode 100644 index 0000000..20201f4 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/05-研究逻辑说明.md @@ -0,0 +1,129 @@ +# 面向AI的实时控制基础系统研究逻辑说明 + +## 1. 文档目的 + +本文用于解释框架2的研究逻辑,重点回答三个问题: + +1. 研究对象从 RTOS 平台上升到基础系统之后,实验如何组织; +2. `T5~T1` 验证矩阵如何继续保留,同时不替代研究主语; +3. Linux、RTOS、Hypervisor 与混合结构如何进入统一对照框架。 + +## 2. 研究对象 + +本框架的研究对象是: + +> **面向 AI 的实时控制基础系统。** + +其核心不是某一个单一软件层,而是下面三层共同构成的系统: + +- **RTOS 直接控制域**:关键任务调度、中断、同步、恢复和控制路径保护; +- **推理运行域**:模型、量化、算子、推理框架、驱动与运行时队列; +- **系统协同域**:Linux、RTOS、Hypervisor、统一内存、总线、DMA、NPU/GPU 和资源治理结构。 + +## 3. T5~T1 验证矩阵的角色 + +`T5~T1` 五类部署形态继续承担三项作用: + +1. **验证矩阵**:在不同资源与系统角色下检验同一问题是否成立; +2. **证据组织框架**:把结论放回统一谱系中观察边界和收窄区间; +3. **产业解释接口**:让不同部署位置都能找到现实对应场景。 + +在框架2中,`T5~T1` 回答的是“在哪里验证”,而不是“研究对象是什么”。 + +## 4. 两条技术路线如何进入实验 + +### 4.1 MCU 路线 + +MCU 路线更适合围绕以下内容组织实验: + +- 小模型与控制任务的静态编排; +- 工具链和开发套件的能力; +- 极小资源预算下的任务边界; +- 与芯片规格、片上资源和开发流程的协同关系。 + +### 4.2 SoC 路线 + +SoC 路线更适合围绕以下内容组织实验: + +- Linux / RTOS 的角色分工; +- Hybrid 结构与 Hypervisor 的隔离方式; +- 统一内存、总线和异构协处理器竞争; +- 推理链路与控制链路并存时的整体实时性。 + +## 5. 对照逻辑 + +框架2的主对照不再只限于“普通 Linux / PREEMPT_RT / RTOS”,而是扩展为: + +| 编号 | 配置 | 作用 | +|---|---|---| +| `O0` | 普通 Linux | 通用系统基线 | +| `O1` | PREEMPT_RT Linux | 实时增强 Linux 的边界 | +| `O2` | RTOS 原生配置 | RTOS 底座能力 | +| `O3` | 混合基础系统配置 | Linux + RTOS + Hypervisor 或等价协同结构 | + +必要时还可以继续细分 `O3` 的不同协同版本,用于比较不同 Hybrid 结构的收益与代价。 + +## 6. 核心实验顺序 + +框架2的实验顺序建议如下: + +1. **系统就绪性确认**:设备、驱动、模型、测量链路和基础软件栈可用; +2. **单域基线测试**:分别测试推理运行域与关键保障负载的基础行为; +3. **双域并存测试**:测试人工智能目标负载与关键保障负载共存时的边界; +4. **协同结构测试**:引入 Linux / RTOS / Hypervisor 混合结构,比较不同协同方式; +5. **极限与恢复测试**:引入突发负载、长稳运行、异常切换和规则兜底场景; +6. **跨档位回收分析**:把结论放回 `T5~T1` 观察适用区间与失效边界。 + +## 7. 核心指标 + +框架2仍然采用三层指标结构: + +### 7.1 人工智能目标负载层 + +- `TTFT` +- `TPOT` +- 端到端响应时间 +- 功能有效性 + +### 7.2 关键保障负载层 + +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 观测最大响应时间 +- 外部接口响应时间 + +### 7.3 系统协同层 + +- 有效吞吐 +- 资源隔离效果 +- `E/token` +- 温度与热漂移 +- 异常切换与恢复能力 + +## 8. 与框架1的关键差别 + +框架1的重点是: + +- RTOS 作为研究主语; +- 六个 RTOS 机制方向; +- 观察 RTOS 在五类部署形态中的系统优势。 + +框架2的重点是: + +- 基础系统作为研究主语; +- 三层边界与两条技术路线; +- 观察人工智能进入实时控制系统后,整体边界如何成立。 + +因此,框架2更适合承接 2026-09-22 会议中的重定义判断。 + +## 9. 当前状态 + +框架2当前已经形成一条完整的逻辑链: + +1. 研究对象上移到“面向 AI 的实时控制基础系统”; +2. 用三层边界划分研究问题; +3. 用 MCU 路线与 SoC 路线组织不同系统结构; +4. 用 `T5~T1` 验证矩阵组织证据; +5. 用 Linux / RTOS / Hypervisor / 混合结构建立统一对照。 + +在此基础上,后续可以继续向更细的实验子文档、联合研究方材料和正式交付物展开。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/06-基础设备与算力基础.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/06-基础设备与算力基础.md new file mode 100644 index 0000000..0f53f79 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/06-基础设备与算力基础.md @@ -0,0 +1,100 @@ +# 面向AI的实时控制基础系统基础设备与算力基础 + +## 1. 文档目的 + +本文用于说明框架2中的验证矩阵如何组织。这里继续保留 `T5~T1` 五类部署形态,但其作用是“验证矩阵”,不是研究主语。本文件同时把 `MCU 路线` 与 `SoC 路线` 显式放进设备与算力组织逻辑中。 + +## 2. 验证矩阵的组织原则 + +### 2.1 三条组织原则 + +1. **部署形态优先于硬件型号** + 先回答系统在什么位置运行,再回答用什么设备验证。 +2. **技术路线优先于单点性能** + 先区分 MCU 路线与 SoC 路线,再讨论容量、功耗和算力差异。 +3. **基础系统问题优先于纯吞吐问题** + 优先选择能暴露控制路径、推理路径与资源竞争关系的设备与场景。 + +### 2.2 五类部署形态 + +| 部署形态 | 系统角色 | 主要关注点 | +|---|---|---| +| `T5` 控制端 | 极紧资源预算下的控制节点 | 静态编排、低功耗、极小内存 | +| `T4` 设备端 SoC | 设备本体内的异构平台 | Linux/RTOS/Hypervisor 协同、统一内存竞争 | +| `T3` 边缘节点 | 设备附近的近源协同节点 | 多任务并发、热稳定性、边缘协同 | +| `T2` 单机工作站 | 单机高密本地推理平台 | 多卡公平性、关键任务保护与系统协同 | +| `T1` 服务器 / 集群 | 任务关键场景中的分布式协同平台 | 跨节点边界、编排与规模扩展 | + +## 3. 两条技术路线在矩阵中的位置 + +### 3.1 MCU 路线 + +MCU 路线主要对应 `T5`,重点设备类型包括: + +- MCU 控制器; +- 轻量控制盒; +- 极小资源预算下的端侧控制节点。 + +它承担的问题是: + +- 小模型与控制任务如何静态编排; +- 芯片工具链和开发套件如何支撑部署; +- 极小内存、功耗与外设约束下能否维持闭环。 + +### 3.2 SoC 路线 + +SoC 路线主要对应 `T4`,并向 `T3` 延伸。重点设备类型包括: + +- 工业 SoC; +- 车规 SoC; +- 设备端 AI 模组; +- 边缘异构平台。 + +它承担的问题是: + +- Linux 与 RTOS 的协同关系; +- Hypervisor 的隔离与资源切分; +- 统一内存、DMA、总线与 NPU/GPU 竞争; +- 设备级功耗、散热与体积约束下的整体确定性。 + +## 4. 当前设备锚点 + +### 4.1 已有核心平台 + +| 平台 | 对应位置 | 当前价值 | +|---|---|---| +| RK3588 16 GB | `T4-L` / 受限配置可模拟 `T5-H` | 设备端 SoC 主样例;同时可承接小型化与低功耗观察 | +| 4×V100 服务器 | `T2-L` | 单机高密推理与关键保障负载保护的对照窗口 | + +### 4.2 条件扩展平台 + +| 平台方向 | 对应位置 | 主要价值 | +|---|---|---| +| RK3568 / 同类控制盒 | `T5-L` | MCU / 轻量控制路线主验证窗口 | +| RK3576 / 同类设备 | `T5-M` 或 `T4-L` 衔接档 | 中间资源档位与工具链观察窗口 | +| Jetson / IGX / 工控边缘节点 | `T3` / `T4-M` | SoC 向边缘协同扩展的窗口 | +| 更高端单机多卡或多节点平台 | `T2-H` / `T1` | 观察规模扩展和协同边界收窄区间 | + +## 5. 为什么框架2仍然保留 `T2/T1` + +框架2并不把 `T2/T1` 当作 RTOS 优势的天然主战场,但仍保留其验证价值: + +- 它们可以暴露 AI 目标负载的运行时复杂性; +- 它们可以观察关键保障负载在高密度 AI 负载下是否仍可被保护; +- 它们可以为系统协同域提供资源竞争、队列行为和规模边界证据。 + +因此,`T2/T1` 在框架2中的角色更接近“上界参照窗口”,而不是研究主语。 + +## 6. 当前建议 + +对框架2而言,最值得优先强化的设备与算力主线是: + +1. **`T5` MCU / 控制端路线** +2. **`T4` 设备端 SoC 路线** +3. **`T3` 边缘协同路线** + +这三类场景最能体现“基础系统主语”与“系统协同边界”。 + +## 7. 当前结论 + +> **框架2中的设备与算力组织方式,不是为了堆出更大的硬件谱系,而是为了在不同资源条件下,把 MCU 路线与 SoC 路线的基础系统问题显式暴露出来。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/README.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/README.md new file mode 100644 index 0000000..de25586 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/10-共享理论与方法层/README.md @@ -0,0 +1,31 @@ +# 共享理论与方法层 + +本目录用于承载框架2中由总课题统一维护、并由两个子课题共同共享的理论和方法内容。 + +## 本层内容 + +1. [00-整体研究框架.md](./00-整体研究框架.md) +2. [01-RTOS直接控制域.md](./01-RTOS直接控制域.md) +3. [02-推理运行域.md](./02-推理运行域.md) +4. [03-系统协同域.md](./03-系统协同域.md) +5. [04-规则兜底与控制闭环.md](./04-规则兜底与控制闭环.md) +6. [05-研究逻辑说明.md](./05-研究逻辑说明.md) +7. [06-基础设备与算力基础.md](./06-基础设备与算力基础.md) + +## 本层作用 + +这一层统一负责: + +- 研究主语与问题定义; +- 三层边界; +- 统一验证矩阵; +- 统一评价框架; +- 统一对照逻辑; +- 总体方法论表达。 + +## 与两个子课题的关系 + +- 子课题 A 重点继承其中与 `MCU`、静态编排、低功耗和工具链相关的部分; +- 子课题 B 重点继承其中与 `Linux/RTOS/Hypervisor`、资源隔离和系统协同相关的部分。 + +这意味着两个子课题虽然分别展开,但不需要各自重复建设方法层。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/00-子课题定义.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/00-子课题定义.md new file mode 100644 index 0000000..e1e6499 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/00-子课题定义.md @@ -0,0 +1,26 @@ +# 子课题定义 + +## 1. 子课题名称 + +面向 MCU 的静态智能控制基础系统 + +## 2. 子课题主问题 + +本子课题围绕以下问题展开: + +> **在 MCU 级资源预算下,人工智能能力如何通过静态编排、工具链、代码生成和芯片协同,被纳入可分析、可验证、可部署的实时控制系统。** + +## 3. 子课题边界 + +本子课题重点聚焦: + +- 小模型、小算子与控制任务的静态共存; +- 工具链、部署链路和代码生成能力; +- 极小内存、极低功耗和快速启动场景; +- 与芯片厂商和开发套件的协同。 + +本子课题不把高动态 Linux 生态、复杂虚拟化结构和大规模混合系统作为主战场。 + +## 4. 在总课题中的位置 + +这是框架2中的第一个子课题,重点对应 `T5` 控制端,也是总课题中最能体现“小型化、低功耗、静态部署”特征的方向。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/01-研究问题与适用场景.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/01-研究问题与适用场景.md new file mode 100644 index 0000000..e69bbee --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/01-研究问题与适用场景.md @@ -0,0 +1,30 @@ +# 研究问题与适用场景 + +## 1. 研究问题 + +本子课题重点回答四个问题: + +1. 小模型与关键控制任务如何静态编排; +2. 工具链如何把模型部署、资源预算和代码生成联成闭环; +3. 芯片规格、运行时约束和控制边界如何共同决定系统能力; +4. 低功耗、小型化和极小内存预算下,系统成立边界在哪里。 + +## 2. 适用场景 + +典型场景包括: + +- 控制器; +- 轻量控制盒; +- 小型工业控制节点; +- 电池供电或功耗严苛设备; +- 需要毫秒级或更紧周期控制的端侧场景。 + +## 3. 与总课题共享层的衔接 + +本子课题主要继承共享层中的: + +- `RTOS 直接控制域` +- `推理运行域` +- `基础设备与算力基础` 中的 `T5` 部分 + +但会弱化 `系统协同域` 中面向大 SoC 混合结构的部分。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/02-技术路线:静态编排、工具链与芯片协同.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/02-技术路线:静态编排、工具链与芯片协同.md new file mode 100644 index 0000000..a5cef79 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/02-技术路线:静态编排、工具链与芯片协同.md @@ -0,0 +1,63 @@ +# MCU路线:静态分配与工具链协同 + +## 1. 主题定位 + +MCU 路线并不是“把大模型缩小以后放进 MCU”这么简单。在框架2中,MCU 路线代表的是另一类完全不同的问题结构:资源极端受限、动态空间极小、工具链和静态编排比在线调度策略更重要。 + +## 2. MCU 路线的系统特征 + +这一路线通常具有以下特点: + +- 可用内存极小; +- 时钟和算力预算刚性; +- 外设和控制链路优先级极高; +- 更适合小模型、小算子和静态工作流; +- 更依赖芯片 SDK、代码生成工具和开发套件。 + +因此,MCU 路线更接近“静态可分析系统中的 AI 能力纳入问题”。 + +## 3. 核心研究问题 + +### 3.1 小模型如何进入静态编排体系 + +MCU 路线重点不是追求通用大模型能力,而是研究: + +- 哪些轻量模型可以被稳定纳入控制系统; +- 小模型、小算子与控制任务如何离线编排; +- 预分配、静态内存池和固定执行窗口如何设计。 + +### 3.2 工具链为什么比单点机制更重要 + +在 MCU 路线上,真正决定工程落地效率的常常不是调度策略,而是: + +- 模型裁剪与转换工具; +- 自动代码生成能力; +- 内存预算与部署检查工具; +- 芯片级软件开发套件。 + +因此,MCU 路线天然更强调“工具链能力”。 + +### 3.3 芯片协同如何进入研究主线 + +对于 MCU 场景,芯片规格本身就会限制可用模型、缓冲区与时延上界。后续研究需要回答: + +- 哪些 AI 需求会反向定义 MCU 和端侧芯片规格; +- 哪些片上资源是决定性瓶颈; +- 开发套件如何把这些约束显式化。 + +## 4. 评价重点 + +MCU 路线重点观察: + +- 关键保障负载能否稳定维持; +- 小模型能否在固定资源预算中运行; +- 工具链是否能给出可分析、可复现的部署边界; +- 功耗、体积和散热预算是否同时满足。 + +## 5. 与框架2的关系 + +MCU 路线主要对应 `T5` 控制端,也是框架2中最能体现“小型化、低功耗、工具链协同”特征的部分。它为整个基础系统课题提供了一个约束极强、边界清晰的验证窗口。 + +## 6. 当前结论 + +> **MCU 路线的主问题不是“大模型如何跑进去”,而是人工智能能力如何在极端受限条件下,被静态、可分析地纳入实时控制系统。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/03-实验设计与验证方法.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/03-实验设计与验证方法.md new file mode 100644 index 0000000..5cec9f4 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/03-实验设计与验证方法.md @@ -0,0 +1,28 @@ +# 实验设计与验证方法 + +## 1. 验证重点 + +本子课题的验证重点包括: + +- 静态内存预算是否成立; +- 控制任务截止期是否维持; +- 小模型推理是否能在固定窗口内完成; +- 功耗、热状态和启动时间是否满足约束。 + +## 2. 典型实验单元 + +适合优先组织: + +1. 小模型与控制任务共存实验; +2. 静态内存池和固定执行窗口实验; +3. 工具链生成结果与手工部署结果对比; +4. 低功耗与长稳运行实验。 + +## 3. 指标重点 + +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 单次推理时延 +- 峰值内存占用 +- 启动时间 +- `E/inference` diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/04-预期成果与论文方向.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/04-预期成果与论文方向.md new file mode 100644 index 0000000..266464f --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/04-预期成果与论文方向.md @@ -0,0 +1,19 @@ +# 预期成果与论文方向 + +## 1. 预期成果 + +本子课题预期形成: + +1. 面向 MCU 的静态智能控制问题定义; +2. 小模型与控制任务静态编排方法; +3. 工具链、代码生成与部署检查框架; +4. 低功耗、小型化场景下的系统边界证据。 + +## 2. 论文方向 + +可对应的论文方向包括: + +- TinyML / Edge AI on MCU +- 低功耗嵌入式智能系统 +- 静态部署与工具链协同 +- 实时控制中的小模型纳入问题 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/05-合作方式与产业落点.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/05-合作方式与产业落点.md new file mode 100644 index 0000000..5d6ec26 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/05-合作方式与产业落点.md @@ -0,0 +1,28 @@ +# 合作方式与产业落点 + +## 1. 合作重点 + +本子课题更适合围绕以下合作对象展开: + +- MCU / 控制芯片厂商; +- 开发套件和工具链团队; +- 小型化控制设备厂商; +- 对功耗和体积高度敏感的行业客户。 + +## 2. 合作方式 + +建议采用: + +1. 芯片与工具链条件梳理; +2. 静态部署链路共建; +3. 小规模样机验证; +4. 工具链与方法沉淀。 + +## 3. 产业落点 + +这一子课题更容易落到: + +- 开发套件; +- 芯片协同方案; +- 小型控制设备智能化升级; +- 低功耗端侧部署方法。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/README.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/README.md new file mode 100644 index 0000000..b7efb1d --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/20-子课题A-面向MCU的静态智能控制基础系统/README.md @@ -0,0 +1,24 @@ +# 子课题A:面向MCU的静态智能控制基础系统 + +本目录用于承接框架2中的第一个子课题,重点面向 `T5` 控制端与极小资源预算场景。 + +## 子课题定位 + +本子课题重点研究: + +> **在极小内存、极低功耗和强实时约束条件下,人工智能能力如何以静态、可分析、可部署的方式进入控制系统。** + +## 建议阅读顺序 + +1. [00-子课题定义.md](./00-子课题定义.md) +2. [01-研究问题与适用场景.md](./01-研究问题与适用场景.md) +3. [02-技术路线:静态编排、工具链与芯片协同.md](./02-技术路线:静态编排、工具链与芯片协同.md) +4. [03-实验设计与验证方法.md](./03-实验设计与验证方法.md) +5. [04-预期成果与论文方向.md](./04-预期成果与论文方向.md) +6. [05-合作方式与产业落点.md](./05-合作方式与产业落点.md) + +## 当前特点 + +本子课题的关键词是: + +`静态编排`、`工具链`、`代码生成`、`芯片协同`、`低功耗`、`极小资源预算` diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/00-子课题定义.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/00-子课题定义.md new file mode 100644 index 0000000..68679a9 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/00-子课题定义.md @@ -0,0 +1,27 @@ +# 子课题定义 + +## 1. 子课题名称 + +面向边侧 SoC 的混合实时控制基础系统 + +## 2. 子课题主问题 + +本子课题围绕以下问题展开: + +> **在边侧 SoC 与设备端异构平台上,Linux、RTOS、Hypervisor、Hybrid 结构、统一内存和异构协处理器如何共同维持控制路径与推理路径的整体实时边界。** + +## 3. 子课题边界 + +本子课题重点聚焦: + +- Linux 与 RTOS 的分工; +- Hypervisor 与隔离机制; +- Hybrid 升级为协同治理结构; +- 统一内存、总线、DMA、NPU/GPU 竞争; +- 规则兜底与闭环安全边界。 + +本子课题不以极小资源 MCU 的静态部署问题为主战场。 + +## 4. 在总课题中的位置 + +这是框架2中的第二个子课题,重点对应 `T4/T3`,也是总课题中最能体现混合结构、系统协同和边侧 SoC 真实工程复杂度的方向。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/01-研究问题与适用场景.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/01-研究问题与适用场景.md new file mode 100644 index 0000000..d69cd9e --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/01-研究问题与适用场景.md @@ -0,0 +1,29 @@ +# 研究问题与适用场景 + +## 1. 研究问题 + +本子课题重点回答四个问题: + +1. Linux 与 RTOS 如何在同一 SoC 上分工; +2. Hypervisor 与 Hybrid 结构如何提升整体可治理性; +3. 统一内存、总线、DMA 与 NPU/GPU 竞争如何进入系统分析; +4. 规则兜底与异常切换如何把混合系统闭合成可验证的控制系统。 + +## 2. 适用场景 + +典型场景包括: + +- 设备端 SoC; +- 工业边缘节点; +- 车载或机器人边侧平台; +- 同时承载控制与 AI 推理的异构系统。 + +## 3. 与总课题共享层的衔接 + +本子课题主要继承共享层中的: + +- `系统协同域` +- `规则兜底与控制闭环` +- `基础设备与算力基础` 中的 `T4/T3` 部分 + +同时结合 `RTOS 直接控制域` 和 `推理运行域` 形成整体边界分析。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/02-技术路线:Linux-RTOS-Hypervisor-Hybrid.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/02-技术路线:Linux-RTOS-Hypervisor-Hybrid.md new file mode 100644 index 0000000..bde1eab --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/02-技术路线:Linux-RTOS-Hypervisor-Hybrid.md @@ -0,0 +1,77 @@ +# SoC路线:Hybrid与Hypervisor协同 + +## 1. 主题定位 + +SoC 路线是框架2的核心主战场。这里最直接体现会议中的判断:人工智能进入实时控制系统后,最现实的结构不是让 RTOS 独自承接一切,而是让 Linux、RTOS、Hypervisor 与异构协处理器形成可治理的混合基础系统。 + +## 2. 为什么 SoC 路线最关键 + +设备端 SoC 同时具有以下特征: + +- 需要 Linux 承接 AI 生态和推理框架; +- 需要 RTOS 承接关键控制与执行闭环; +- 统一内存和异构协处理器使资源竞争非常明显; +- 设备级散热、功耗和体积限制比服务器更刚性; +- 更接近真实产业落地场景。 + +因此,SoC 路线最能体现“基础系统主语”。 + +## 3. Hybrid 结构为什么仍然重要 + +会议并没有否定 Hybrid,反而强调它是当前最现实的路径之一。 +Hybrid 的现实价值在于: + +- 保留 Linux 的推理生态; +- 保留 RTOS 的控制与保障能力; +- 让 AI 目标负载与关键保障负载可以在不同控制层上运行; +- 为后续 Hypervisor 和资源治理留出结构空间。 + +但框架2不再接受“传统 Hybrid 只求共存”的写法,而要求把它升级为协同治理结构。 + +## 4. Hypervisor 在 SoC 路线中的角色 + +Hypervisor 使 SoC 路线从“双系统并置”走向“可治理混合系统”。它重点承担: + +- 核心与资源切分; +- 中断与设备访问边界控制; +- 共享内存与通信路径组织; +- 异常隔离与恢复。 + +如果没有 Hypervisor 或等价机制,很多 SoC 路线的协同边界很难稳定复现。 + +## 5. 核心研究问题 + +### 5.1 推理与控制如何分层 + +后续研究需要回答: + +- 哪些 AI 任务保留在 Linux 侧; +- 哪些控制任务保留在 RTOS 侧; +- 控制与推理之间通过什么接口通信; +- 在延迟、异常和过载条件下如何切换策略。 + +### 5.2 统一内存与总线竞争如何治理 + +SoC 路线中最容易被低估的问题包括: + +- CPU 与 NPU/GPU 的统一内存争抢; +- DMA 传输对控制路径的污染; +- 模型加载与设备 I/O 共享带宽; +- 缓存与总线冲突对尾延迟的影响。 + +这部分是 SoC 路线区别于纯 RTOS 叙事的关键证据。 + +### 5.3 设备级受限条件如何影响系统边界 + +SoC 路线必须同时面对: + +- 功耗预算; +- 散热与封装条件; +- 设备体积与部署空间; +- 软件栈和驱动闭源限制。 + +因此,它天然也是框架2中“小型化与低功耗”方向最强的承载层。 + +## 6. 当前结论 + +> **SoC 路线不是 RTOS 课题的附属场景,而是“面向 AI 的实时控制基础系统”最能成立、也最值得展开的核心研究窗口。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/03-实验设计与验证方法.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/03-实验设计与验证方法.md new file mode 100644 index 0000000..4986583 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/03-实验设计与验证方法.md @@ -0,0 +1,29 @@ +# 实验设计与验证方法 + +## 1. 验证重点 + +本子课题的验证重点包括: + +- Linux / RTOS 分工是否稳定; +- Hypervisor 隔离是否有效; +- 统一内存、总线与 DMA 竞争是否可观测、可治理; +- 规则兜底与异常切换是否能保护关键保障负载边界。 + +## 2. 典型实验单元 + +适合优先组织: + +1. Linux 与 RTOS 双域并存实验; +2. Hypervisor 隔离与无隔离结构对比; +3. 统一内存、DMA 与总线竞争实验; +4. 模型输出、规则兜底与异常切换实验; +5. 长稳、热状态与恢复实验。 + +## 3. 指标重点 + +- `TTFT` +- `TPOT` +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 资源隔离效果 +- 温度、热漂移与恢复时间 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/04-预期成果与论文方向.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/04-预期成果与论文方向.md new file mode 100644 index 0000000..b408e51 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/04-预期成果与论文方向.md @@ -0,0 +1,19 @@ +# 预期成果与论文方向 + +## 1. 预期成果 + +本子课题预期形成: + +1. 面向边侧 SoC 的混合基础系统问题定义; +2. Linux / RTOS / Hypervisor / Hybrid 协同结构说明; +3. 统一内存与资源竞争治理证据; +4. 规则兜底、异常切换与控制闭环验证材料。 + +## 2. 论文方向 + +可对应的论文方向包括: + +- Mixed-criticality embedded systems +- Hypervisor / partitioned real-time systems +- Edge AI system co-design +- Linux + RTOS 协同结构与实时边界 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/05-合作方式与产业落点.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/05-合作方式与产业落点.md new file mode 100644 index 0000000..f79d09e --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/05-合作方式与产业落点.md @@ -0,0 +1,29 @@ +# 合作方式与产业落点 + +## 1. 合作重点 + +本子课题更适合围绕以下合作对象展开: + +- SoC / 板级平台厂商; +- Hypervisor / mixed-criticality 基础软件团队; +- 工业边缘和机器人设备团队; +- 同时承载 AI 与控制任务的行业客户。 + +## 2. 合作方式 + +建议采用: + +1. 平台条件与资源结构梳理; +2. Linux / RTOS / Hypervisor 分工设计; +3. 板级实验与隔离验证; +4. 规则兜底和闭环安全验证; +5. 系统协同证据沉淀。 + +## 3. 产业落点 + +这一子课题更容易落到: + +- 边侧 SoC 参考架构; +- 混合基础系统方案; +- Hypervisor 协同部署方法; +- 设备端 AI + 控制一体化平台路线。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/README.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/README.md new file mode 100644 index 0000000..94c79fc --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/30-子课题B-面向边侧SoC的混合实时控制基础系统/README.md @@ -0,0 +1,24 @@ +# 子课题B:面向边侧SoC的混合实时控制基础系统 + +本目录用于承接框架2中的第二个子课题,重点面向 `T4/T3` 设备端 SoC 与边侧混合系统场景。 + +## 子课题定位 + +本子课题重点研究: + +> **在边侧 SoC 与设备端异构平台上,Linux、RTOS、Hypervisor、Hybrid 结构与异构资源治理如何共同维持系统的实时边界。** + +## 建议阅读顺序 + +1. [00-子课题定义.md](./00-子课题定义.md) +2. [01-研究问题与适用场景.md](./01-研究问题与适用场景.md) +3. [02-技术路线:Linux-RTOS-Hypervisor-Hybrid.md](./02-技术路线:Linux-RTOS-Hypervisor-Hybrid.md) +4. [03-实验设计与验证方法.md](./03-实验设计与验证方法.md) +5. [04-预期成果与论文方向.md](./04-预期成果与论文方向.md) +6. [05-合作方式与产业落点.md](./05-合作方式与产业落点.md) + +## 当前特点 + +本子课题的关键词是: + +`Hybrid`、`Hypervisor`、`Linux+RTOS`、`统一内存`、`资源隔离`、`系统协同` diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/01-统一实验设计与验证骨架.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/01-统一实验设计与验证骨架.md new file mode 100644 index 0000000..ca3dc91 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/01-统一实验设计与验证骨架.md @@ -0,0 +1,119 @@ +# 面向AI的实时控制基础系统实验设计 + +## 1. 实验目标 + +框架2的实验目标不是单纯比较“RTOS 比 Linux 快多少”,而是比较在人工智能目标负载进入实时控制系统后,不同基础系统结构能否同时维持: + +1. **人工智能目标负载的时效性与功能有效性** +2. **关键保障负载的时间边界** +3. **系统协同层的资源秩序、恢复能力与解释性** + +## 2. 研究问题 + +| 编号 | 研究问题 | 核心观察量 | +|---|---|---| +| `RQ1` | RTOS 直接控制域在 AI 目标负载进入后还能维持多强的关键保障边界 | `deadline miss ratio`、`P99/P99.9 jitter`、外部接口响应 | +| `RQ2` | 推理运行域的模型、量化、框架和内存组织如何改变整体系统边界 | `TTFT/TPOT`、峰值内存、长稳退化 | +| `RQ3` | Linux / RTOS / Hypervisor 混合结构能否比单一系统结构提供更稳定的整体边界 | 三层指标同时达标情况、恢复与隔离效果 | +| `RQ4` | MCU 路线与 SoC 路线的边界分别是什么 | 静态编排能力、统一内存竞争、功耗与体积约束下的成立区间 | + +## 3. 对照结构 + +框架2的主对照组如下: + +| 编号 | 配置 | 作用 | +|---|---|---| +| `O0` | 普通 Linux | 通用系统基线 | +| `O1` | PREEMPT_RT Linux | 实时增强 Linux 的边界 | +| `O2` | RTOS 原生配置 | RTOS 直接控制域能力 | +| `O3` | 混合基础系统配置 | Linux + RTOS + Hypervisor 或等价协同结构 | + +必要时可继续细分: + +- `O3a` 无 Hypervisor 的双系统结构 +- `O3b` 带 Hypervisor 的隔离结构 +- `O3c` 加入规则兜底与异常切换的完整结构 + +## 4. 场景编号 + +| 编号 | 场景 | 目的 | +|---|---|---| +| `L0` | 仅关键保障负载 | 观察关键保障负载下界 | +| `L1` | 仅人工智能目标负载 | 观察 AI 目标负载独立行为 | +| `L2` | 关键保障负载 + AI 目标负载 | 核心双目标场景 | +| `L3` | `L2` + CPU / 中断竞争 | 观察 RTOS 直接控制域边界 | +| `L4` | `L2` + 内存 / DMA / 总线竞争 | 观察系统协同域边界 | +| `L5` | `L2` + 网络 / 存储 / 模型加载 | 观察运行时与后台服务影响 | +| `L6` | `L2` + 规则兜底 / 降级切换 | 观察闭环安全边界 | +| `L7` | `L2` + 突发 / 过载 / 恢复 | 观察长稳、异常与恢复能力 | + +## 5. 实验单元 + +| 编号 | 实验单元 | 主要覆盖问题 | +|---|---|---| +| `E0` | 设备、驱动与基础软件准入 | 全部 | +| `E1` | RTOS 直接控制域微基准 | `RQ1` | +| `E2` | 推理运行域基线 | `RQ2` | +| `E3` | 双目标共存对照 | `RQ1/RQ2` | +| `E4` | 混合结构协同对照 | `RQ3` | +| `E5` | MCU 路线静态编排实验 | `RQ4` | +| `E6` | SoC 路线统一内存与总线竞争实验 | `RQ3/RQ4` | +| `E7` | 规则兜底与异常切换实验 | `RQ3` | +| `E8` | 长稳、热状态与恢复实验 | `RQ2/RQ3/RQ4` | + +## 6. 分路线实验重点 + +### 6.1 MCU 路线 + +MCU 路线优先组织: + +- 小模型 / 小算子与控制任务静态编排; +- 固定内存池与固定执行窗口; +- 开发套件、代码生成与部署检查能力; +- 极低功耗与极小内存条件下的成立区间。 + +### 6.2 SoC 路线 + +SoC 路线优先组织: + +- Linux / RTOS 的分工; +- Hypervisor 资源切分; +- 统一内存、DMA、总线和 NPU/GPU 竞争; +- 设备级受限散热、受限功耗与长稳边界。 + +## 7. 指标结构 + +### 7.1 人工智能目标负载层 + +- `TTFT` +- `TPOT` +- 端到端响应时间 +- 功能有效性 +- 长时间稳定性 + +### 7.2 关键保障负载层 + +- `deadline miss ratio` +- `P99/P99.9 jitter` +- 观测最大响应时间 +- 外部接口响应时间 + +### 7.3 系统协同层 + +- 有效吞吐 +- 资源隔离效果 +- `E/token` +- 温度与热漂移 +- 异常切换与恢复时间 + +## 8. 解释边界 + +框架2特别强调三条解释边界: + +1. **GPU/NPU 内部执行行为不直接等价于 RTOS 收益** +2. **混合结构的收益必须拆分为 RTOS 收益、协同结构收益和运行时收益** +3. **MCU 路线与 SoC 路线的结论不得直接互相替代** + +## 9. 当前结论 + +> **框架2的实验设计,不再围绕“单系统性能竞赛”组织,而是围绕“人工智能进入实时控制系统后的整体边界是否成立”来组织。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/02-总课题论文写作规划.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/02-总课题论文写作规划.md new file mode 100644 index 0000000..1b88b28 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/02-总课题论文写作规划.md @@ -0,0 +1,143 @@ +# 论文写作规划 — 面向AI的实时控制基础系统研究 + +> **版本**: v0.1 +> **定位**: 框架2对应的候选论文规划稿 +> **目标**: 把“人工智能进入实时控制系统后,基础系统如何维持整体实时边界”组织成可写作、可实验、可比较的论文结构 + +## 0. 文章定位与核心贡献 + +### 0.1 一句话定位 + +> **围绕人工智能目标负载进入实时控制系统后的整体边界问题,系统研究模型、运行时、RTOS、Linux、Hypervisor 与异构资源结构如何共同决定系统的确定性、可预测性与实时性表现。** + +### 0.2 核心贡献 + +| 编号 | 贡献 | +|---|---| +| `C1` | 提出“面向 AI 的实时控制基础系统”这一问题定义与三层边界框架 | +| `C2` | 给出 MCU 路线与 SoC 路线并行的统一验证矩阵 | +| `C3` | 给出 Linux / RTOS / Hypervisor / 混合结构的系统级对照方法 | +| `C4` | 给出规则兜底、异常切换与闭环安全边界的实验组织方式 | + +## 1. 文章整体结构 + +``` +第1章 引言 +第2章 问题背景与相关工作 +第3章 面向AI的实时控制基础系统问题定义 +第4章 三层边界:RTOS控制域、推理运行域、系统协同域 +第5章 MCU路线与SoC路线 +第6章 实验方法学与对照结构 +第7章 实验结果 +第8章 深入分析与边界讨论 +第9章 产业定位与系统意义 +第10章 结论与展望 +``` + +## 2. 各章重点 + +### 第1章 引言 + +重点说明: + +- 人工智能进入实时控制系统后,问题已经跨层展开; +- 单纯用“RTOS 优于 Linux”不足以覆盖真实系统问题; +- 需要一个“基础系统主语”的新框架。 + +### 第2章 问题背景与相关工作 + +重点说明: + +- AI 目标负载的时间行为与资源行为; +- RTOS 的直接价值; +- Linux 与 PREEMPT_RT 的边界; +- 现有研究为什么很少真正覆盖混合系统。 + +### 第3章 问题定义 + +重点说明: + +- 什么是“面向 AI 的实时控制基础系统”; +- 为什么研究对象要从 RTOS 平台上移; +- `T5~T1` 继续作为验证矩阵,而不是研究主语。 + +### 第4章 三层边界 + +重点说明: + +- RTOS 直接控制域; +- 推理运行域; +- 系统协同域。 + +这一章是框架2的核心理论骨架。 + +### 第5章 MCU 路线与 SoC 路线 + +重点说明: + +- MCU 路线为什么强调静态编排和工具链; +- SoC 路线为什么强调 Hybrid、Hypervisor 和统一内存竞争; +- 两条路线如何分别组织实验。 + +### 第6章 实验方法学与对照结构 + +重点说明: + +- `O0/O1/O2/O3` 对照组; +- `L0~L7` 场景编号; +- `E0~E8` 实验单元; +- 三层指标与解释边界。 + +### 第7章 实验结果 + +重点按三条主线展开: + +1. RTOS 直接控制域结果 +2. 推理运行域结果 +3. 系统协同域结果 + +并比较: + +- MCU 路线与 SoC 路线; +- 原生系统结构与混合结构; +- 有无规则兜底时的闭环差异。 + +### 第8章 深入分析与边界讨论 + +重点分析: + +- 哪些边界由 RTOS 直接贡献; +- 哪些边界由协同结构贡献; +- 哪些结论只在 MCU 或 SoC 路线成立; +- 哪些情况下混合结构收益明显,哪些情况下收益收窄。 + +### 第9章 产业定位与系统意义 + +这一章是框架2相对框架1新增的重要内容。重点讨论: + +- 企业如何从 RTOS 供应方转向基础系统供应方; +- 基础系统叙事如何替代单点适配叙事; +- 这一转向对联合研究与产业化路径的意义。 + +### 第10章 结论与展望 + +重点总结: + +- 人工智能进入实时控制系统后的主问题是什么; +- 基础系统主语为什么比 RTOS 单主语更准确; +- 后续在工具链、体系结构与协同治理上还有哪些扩展方向。 + +## 3. 研究问题到实验映射 + +| 研究问题 | 主要实验单元 | 主要章节 | +|---|---|---| +| `RQ1` RTOS 直接控制域边界 | `E1`、`E3`、`E8` | 第4、7、8章 | +| `RQ2` 推理运行域时间行为 | `E2`、`E3`、`E8` | 第4、6、7章 | +| `RQ3` 系统协同域结构收益 | `E4`、`E6`、`E7`、`E8` | 第4、6、7、8章 | +| `RQ4` MCU / SoC 双路线边界 | `E5`、`E6`、`E8` | 第5、7、8章 | + +## 4. 当前结论 + +框架2的论文规划和框架1最大的不同,不是换了一个标题,而是换了整篇文章的主语: + +> **论文不再只回答“RTOS 在 AI 任务下是否更优”,而是回答“人工智能进入实时控制系统后,基础系统如何共同维持边界”。** diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/03-两个子课题的共同问题.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/03-两个子课题的共同问题.md new file mode 100644 index 0000000..98158d2 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/03-两个子课题的共同问题.md @@ -0,0 +1,26 @@ +# 两个子课题的共同问题 + +## 1. 共同主语 + +两个子课题共同服务于同一个总课题主语: + +> **面向 AI 的实时控制基础系统。** + +## 2. 共同方法层 + +两个子课题共同依赖: + +- 三层边界; +- 三类系统负载; +- `T5~T1` 验证矩阵; +- 统一评价框架; +- 对照逻辑与规则兜底思想。 + +## 3. 共同科学问题 + +二者都需要回答: + +- AI 目标负载如何进入控制系统; +- 关键保障负载如何继续保持边界; +- 系统边界由哪些机制共同构成; +- 实时性问题如何避免单因果叙事。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/04-两个子课题的差异边界.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/04-两个子课题的差异边界.md new file mode 100644 index 0000000..35b31b8 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/04-两个子课题的差异边界.md @@ -0,0 +1,32 @@ +# 两个子课题的差异边界 + +## 1. 子课题A的主边界 + +子课题A的主边界在于: + +- 极小资源预算; +- 静态部署; +- 低功耗与小型化; +- 工具链和芯片协同; +- 小模型与控制任务的静态共存。 + +## 2. 子课题B的主边界 + +子课题B的主边界在于: + +- Linux / RTOS 分工; +- Hypervisor 与 Hybrid; +- 统一内存、总线、DMA、NPU/GPU 竞争; +- 规则兜底与异常切换; +- 混合系统中的整体确定性。 + +## 3. 为什么不能混写 + +两个子课题对应的是两类不同的问题结构,因此: + +- 评价重点不同; +- 工程条件不同; +- 合作对象不同; +- 论文表达重点不同。 + +这就是框架2内部需要采用“一总两子”结构的原因。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/05-总课题申报与论文组织建议.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/05-总课题申报与论文组织建议.md new file mode 100644 index 0000000..be06593 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/05-总课题申报与论文组织建议.md @@ -0,0 +1,24 @@ +# 总课题申报与论文组织建议 + +## 1. 申报组织建议 + +当前更适合按以下方式组织: + +- 以总课题名义对外表述; +- 在内部和申报材料中并列写出两个子课题; +- 共享方法层放在总论部分; +- 两个子课题分别作为技术主线展开。 + +## 2. 论文组织建议 + +论文层面建议采用: + +1. 总问题定义; +2. 共享理论与方法层; +3. 子课题A; +4. 子课题B; +5. 共同问题、差异边界与总体结论。 + +## 3. 当前结论 + +在当前阶段,最稳的组织方式不是把两个子课题拆成两个独立框架,而是在框架2内部保持“一总两子”的结构,并用共享方法层与综合收敛层保证主线统一。 diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/README.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/README.md new file mode 100644 index 0000000..b09d041 --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/40-综合比较与收敛/README.md @@ -0,0 +1,11 @@ +# 综合比较与收敛 + +本目录用于承接总课题层面对两个子课题的统一实验骨架、论文组织和后续收敛工作。 + +## 当前文档 + +1. [01-统一实验设计与验证骨架.md](./01-统一实验设计与验证骨架.md) +2. [02-总课题论文写作规划.md](./02-总课题论文写作规划.md) +3. [03-两个子课题的共同问题.md](./03-两个子课题的共同问题.md) +4. [04-两个子课题的差异边界.md](./04-两个子课题的差异边界.md) +5. [05-总课题申报与论文组织建议.md](./05-总课题申报与论文组织建议.md) diff --git a/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/README.md b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/README.md new file mode 100644 index 0000000..729b22a --- /dev/null +++ b/02-项目框架/02-项目框架2-面向AI的实时控制基础系统研究/README.md @@ -0,0 +1,48 @@ +# 项目框架2:面向AI的实时控制基础系统研究 + +本框架用于承接 2026-09-22 会议中形成的关键判断:当人工智能能力进入实时控制系统后,研究对象不再适合只写成 RTOS 平台,而更适合上升为“面向 AI 的实时控制基础系统”。 + +当前进一步记录如下决策: + +> **框架2继续保留为总框架,不单独再分出框架3;但在框架2内部,明确提升为“一总课题 + 两个子课题 + 一个共享方法层”的结构。** + +## 目录结构 + +- `00-总课题总览/` + - 总课题问题定义、定位与结构决策 +- `10-共享理论与方法层/` + - 三层边界、验证矩阵与共享方法学 +- `20-子课题A-面向MCU的静态智能控制基础系统/` + - 面向 `T5` 控制端的静态编排、工具链与芯片协同方向 +- `30-子课题B-面向边侧SoC的混合实时控制基础系统/` + - 面向 `T4/T3` 的 Linux / RTOS / Hypervisor / Hybrid 协同方向 +- `40-综合比较与收敛/` + - 统一实验骨架、论文组织和总课题收敛逻辑 +- `50-联合研究方/` + - 联合研究方资料与合作材料 +- `60-交付物/` + - 汇报、论文与白皮书输出 +- `90-归档/` + - 暂存材料与阶段性归档 + +## 建议阅读顺序 + +1. `00-总课题总览/01-当前研究问题:背景、问题与挑战.md` +2. `00-总课题总览/02-研究定位与项目边界.md` +3. `00-总课题总览/03-总课题与两个子课题的关系.md` +4. `10-共享理论与方法层/README.md` +5. `10-共享理论与方法层/00-整体研究框架.md` +6. `20-子课题A-面向MCU的静态智能控制基础系统/README.md` +7. `30-子课题B-面向边侧SoC的混合实时控制基础系统/README.md` +8. `40-综合比较与收敛/README.md` + +## 当前状态 + +当前版本已经完成: + +- 总课题总览; +- 共享理论与方法层; +- 两个子课题的独立入口与基础骨架; +- 综合比较与收敛层。 + +这使框架2既保持统一主语,又避免两个子课题的价值被主干目录湮灭。 diff --git a/02-项目框架/03-同行研究情况调研/00-总览.md b/02-项目框架/03-同行研究情况调研/00-总览.md new file mode 100644 index 0000000..5b14d3d --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/00-总览.md @@ -0,0 +1,60 @@ +# 03-同行研究情况调研 - 总览 + +## 调研说明 + +本目录系统整理 RTOS + LLM/智能体领域的行业同行研究情况,包含文章列表、观点摘要、原文引用和完整文献索引。 + +## 目录结构 + +| 文件 | 内容 | +|------|------| +| [00-总览.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/00-总览.md) | 本文档:文章分类索引 + 关键观点 | +| [01-国内同行.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/01-国内同行.md) | 国内操作系统、LLM、智能体、芯片厂商 | +| [02-国际同行.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/02-国际同行.md) | 国际RTOS厂商、LLM推理框架、Agent框架 | +| [03-学术文献.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/03-学术文献.md) | 学术论文:RTOS+AI、Edge LLM推理、调度系统 | +| [04-关键研究空白.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/04-关键研究空白.md) | 研究机会与空白分析 | +| [05-文献索引.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/05-文献索引.md) | 完整文献列表(含arXiv编号、链接、发表信息) | + +## 关键发现摘要 + +### 1. 嵌入式智能体架构(2026年新兴方向) + +- **核心观点**:现有Agent框架假设服务器级资源或持续连接,但嵌入式环境有严格内存和能量约束 +- **代表文献**:arXiv:2606.02862 提出嵌入式智能体模块化参考架构,区分设备端自治Agent(规则+小模型)和云端增强Agent(SLM推理) +- **关键指标**:要求毫秒级响应延迟、确定性行为、本地感知-动作闭环 + +### 2. RTOS for Edge AI(2025年实证研究) + +- **核心观点**:RTOS在Edge AI中的角色从"任务调度壳"升级为"AI负载编排层" +- **代表文献**:[Real-time Operating Systems (RTOS) For Edge AI](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) 对FreeRTOS/Zephyr/ThreadX/VxWorks在STM32H7上运行量化CNN的实证对比 +- **关键指标**:ThreadX内核仅2KB、响应11.7ms;FreeRTOS内核15KB、响应13.8ms + +### 3. Edge LLM推理运行时框架(2026年) + +- **核心观点**:运行时选择可带来3倍吞吐差异,与硬件选择同等重要 +- **代表文献**:[Edge LLM Runtime Stack 2026](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) 对比7大运行时(llama.cpp、TensorRT-LLM、vLLM、ExecuTorch等) +- **关键指标**:同一Llama 3.3 70B模型在Jetson Thor上,从llama.cpp到TensorRT-LLM+EAGLE-3推理可达2.5倍性能提升 + +### 4. 混合SoC上的Agent调度(2026年研究) + +- **核心观点**:个人LLM Agent混合响应式(前台)和主动式(后台)执行模式,现有LLM引擎不支持流级并发 +- **代表文献**:arXiv:2506.24045 Agent.xpu 提出异构执行图(HEG)和流感知NPU-iGPU协同调度 +- **关键指标**:主动式吞吐提升1.2-4.9倍,响应式延迟降低≥91% + +### 5. 端侧AI框架与模型压缩(华为鸿蒙) + +- **核心观点**:通过剪枝、量化、蒸馏三大技术,数百兆视觉模型可压缩至几MB,保持95%以上准确率 +- **代表文献**:[端侧 AI 框架让智能真正贴身随行](https://developer.huawei.com/consumer/cn/blog/topic/03203187067519385),[鸿蒙开发之路:端侧模型压缩、量化与加速技术详解](https://www.cnblogs.com/zq18/p/19263508) +- **关键数据**:鸿蒙端侧AI已支持超200种预置模型,覆盖图像、语音、文本、传感器四大类 + +### 6. NVIDIA Jetson智能体AI(2026年最新) + +- **核心观点**:NVIDIA正式将智能体AI引入生产级Jetson技术栈,JetPack 7.2 + NemoClaw实现机器人/工业检测领域的Agent部署 +- **代表文献**:[NVIDIA Jetson 将智能体 AI 带入物理世界](https://blogs.nvidia.cn/blog/jetson-agentic-ai-physical-world/) (2026年6月) +- **关键特性**:Jetson Thor支持多实例GPU(MIG) + 实时内核结合,为确定性工作负载预留专属GPU资源 + +### 7. 机器人物理AI与边缘世界模型(2026年中) + +- **核心观点**:2026年7月NVIDIA发布Cosmos 3 Edge,4B参数开源世界模型在Jetson Thor上以15Hz运行,支持6种机器人形态 +- **代表文献**:[NVIDIA Cosmos 3 Edge and the Robot AI Revolution 2026](https://www.justlast.in/nvidia-cosmos-3-edge-and-the-robot-ai-revolution-2026-on-device-world-models-humanoid-surgery-and-japans-2-3-billion-noetra-project/) (2026年7月) +- **行业背景**:日本Noetra项目23亿美元政府投资,目标2040年1000万台机器人 diff --git a/02-项目框架/03-同行研究情况调研/01-国内同行.md b/02-项目框架/03-同行研究情况调研/01-国内同行.md new file mode 100644 index 0000000..e82fae8 --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/01-国内同行.md @@ -0,0 +1,122 @@ +# 01-国内同行 + +## 一、国内RTOS厂商 + +### 1. 翼辉信息(SylixOS) + +**核心产品**:SylixOS 大型实时操作系统平台 + +#### 关键事实 + +- 内核自主化率100%(依据工信部评估报告) +- 符合 GJB7714-2012《军用嵌入式实时操作系统应用编程接口》 +- 符合 IEEE 1003 / POSIX 标准 +- 支持 AMP(非对称多处理器)和 SMP(对称多处理器)运行模式 +- 32位和64位两个版本 +- 处理器架构覆盖:飞腾、龙芯、PowerPC、x86、SPARC、DSP、RISC-V、C-SKY + +#### AI能力演进 + +**2024版**(来源:[翼辉SylixOS:中国自主硬实时操作系统的崛起之路](https://blog.csdn.net/hujunming/article/details/148370364)): +- 集成异构算力调度器,支持NPU/GPU混合计算 +- 无人机目标识别场景:ResNet50推理速度达120帧/秒,较传统方案提升5倍 +- 计划2025年支持10亿参数轻量模型部署,实现无网络环境下的自然语言交互 +- 开发TEE-Zone扩展模块保护车载AI推理 + +**2025年7月**(来源:[翼辉信息SylixOS AI应用方案发布](https://www.elecfans.com/d/6800705.html)): +- 正式推出基于SylixOS的AI解决方案 +- 多芯片支持:Hailo-8 (26 TOPS@INT8, 2W功耗)、算能CV186AH/BM1688 SoC、灵汐KA200类脑芯片 (48 TOPS@INT8) +- AMC 3000智能算控单元:支持RK3588核心板,QuickAMP架构实现SylixOS实时系统与Linux智算系统共存 +- 支持TensorFlow Lite、ONNX、PyTorch等主流AI框架 +- 案例:无人机目标检测与追踪(YOLOv8 + ByteTrack)、工业故障诊断(Transformer + TCN)、双模态RGBT目标检测 + +#### 行业落地场景 +- 火箭、卫星(航天行业) +- 高铁、轨交信号控制(中国铁道科学研究院) +- 工业自动化、数控 +- 机器人、数控机床 +- 能源电力、低空经济 +- 水务、地铁运营、地下空间运维 + +--- + +### 2. 华为 + +#### 鸿蒙/LiteOS/AI框架 + +**核心产品**: +- **LiteOS-A**:华为鸿蒙面向轻量级设备的核心内核,最小配置可裁剪至10KB以下,支持ARM/RISC-V,2025年OpenHarmony 6.0引入虚拟内存和多核SMP支持 +- **MindSpore Lite**:开源轻量化AI推理引擎,面向边缘/端侧设备,兼容CPU/GPU/NPU异构加速 +- **HiAI Foundation Kit**:针对华为NPU(麒麟芯片/Ascend)提供更底层定制加速 + +**端侧AI能力**(来源:[端侧 AI 框架让智能真正贴身随行](https://developer.huawei.com/consumer/cn/blog/topic/03203187067519385)): +- 鸿蒙端侧AI全程在设备本地运行,语音指令无需上传服务器 +- 通过剪枝、量化和知识蒸馏,数百兆视觉模型可压缩至几MB,保持95%以上准确率 +- 2025年已支持超200种预置模型,覆盖图像、语音、文本、传感器四大类 +- 某翻译应用接入后,离线翻译速度提升3倍,电池续航延长40% + +**端侧模型压缩技术**(来源:[鸿蒙开发之路:端侧模型压缩、量化与加速技术详解](https://www.cnblogs.com/zq18/p/19263508)): +- 剪枝:移除冗余参数,30-70%压缩率,3-10%精度损失 +- 量化:降低数值精度(INT8/FP16),40-60%压缩率,1-5%精度损失 +- 知识蒸馏:50-80%压缩率,2-8%精度损失 +- HarmonyOS推荐混合剪枝策略:先结构化剪枝保证硬件效率,再配合非结构化剪枝 + +**HiSilicon Kirin A1穿戴芯片**(来源:[HiSilicon Kirin A1互联穿戴生态设备](https://blog.csdn.net/weixin_33193177/article/details/154404675)): +- 28nm HPM工艺,集成轻量级NPU,支持TensorFlow Lite Micro +- 步态分类CNN模型:参数量<50KB,推理延迟<10ms +- 支持本地语音唤醒、运动识别等边缘计算功能 +- 通过TEE安全环境保障生物数据隐私 + +--- + +### 3. 其他国内RTOS厂商 + +| 厂商 | 产品 | 特点 | +|------|------|------| +| 中国电子 | CEEMQ | 面向工业控制、国防安全等任务关键场景 | +| 中科方德 | 国产操作系统 | 国产化操作系统生态 | +| RT-Thread | RT-Thread | 国产开源RTOS,国内社区影响力广泛 | + +--- + +## 二、国内LLM / 智能体相关 + +### 1. 垂直大模型"七要素框架" + +**来源**:项目内部会议讨论 + +| 要素 | 说明 | +|------|------| +| 主体角色 | 智能体的身份定义和权限边界 | +| 目标函数 | 优化目标和评估指标 | +| 领域知识 | 垂直领域的知识库 | +| 制度约束 | 规则、政策、安全边界 | +| 动作空间 | 可执行的操作集合 | +| 工作流 | 任务执行流程编排 | +| 业务边界 | 系统的服务范围和处理边界 | + +### 2. AI辅助工程化方法 + +**来源**:[基于AI辅助工程的混合MCU-边缘-云平台的工业AIoT系统设计与实现](https://pdf.hanspub.org/etis_1380065.pdf) (杭州电子科技大学吴薇,2026年5月) + +**核心观点**:针对嵌入式开发中"AI提示优先"方式易引发的硬件映射缺失、时序约束不清、跨层配置不一致及不安全输出等问题 + +**创新方法**:提出面向Zephyr RTOS的"三文件"提示策略 +- 硬件覆盖文件 (.overlay/.dts) +- 项目配置文件 (prj.conf) +- 主程序文件 (main.c) + +**参考实现**:Project Velocity原型系统(STM32 + RK3588 + ThingsBoard) + +--- + +## 三、国内芯片厂商 + +| 厂商 | 芯片/平台 | 说明 | +|------|----------|------| +| 华为海思 | 昇腾AI系列、海思MCU、Kirin A1 | 国产AI+实时芯片,穿戴领域28nm HPM工艺 | +| 瑞芯微 | RK3588、RK3576 | 国内边缘AI芯片代表,翼辉AMC 3000采用 | +| 全志科技 | H系列、R系列 | 国内MCU/SoC,支持AI | +| 平头哥 | 玄铁RISC-V、含光AI芯片 | 国产RISC-V + AI芯片 | +| 寒武纪 | 思元系列 | 国产AI加速芯片 | +| 景嘉微 | GPU系列 | 国产GPU | diff --git a/02-项目框架/03-同行研究情况调研/02-国际同行.md b/02-项目框架/03-同行研究情况调研/02-国际同行.md new file mode 100644 index 0000000..05e0409 --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/02-国际同行.md @@ -0,0 +1,372 @@ +# 02-国际同行 + +## 一、国际RTOS厂商 + +### 1. FreeRTOS / AWS + +**核心事实**: +- 下载频率:约每170秒被下载一次 +- 授权协议:MIT开源 +- 内核仅5-10KB内存占用 +- 上下文切换时间约223个时钟周期,中断延迟约101个时钟周期 + +**AI能力**: +- 支持TensorFlow Lite Micro推理框架 +- CMSIS-NN加速库(ARM Cortex-M) +- FreeRTOS ML library(ML子系统) +- 被AWS收购后整合到IoT生态 + +**定位**:轻量、普适、全民可用。适合跑量为主、追求上手快、生态资料多的场景。 + +--- + +### 2. Zephyr RTOS / Linux基金会 + +**核心事实**: +- 授权协议:Apache 2.0 +- 由Linux基金会管理,活跃开源社区 +- 原生支持SMP(对称多处理) +- 模块化架构,内置网络协议栈(蓝牙、Wi-Fi、Thread等) + +**AI能力**: +- 内置ML子系统 +- 支持TensorFlow Lite Micro +- CMSIS-NN集成 +- 适用于复杂IoT场景的多连接需求 + +**定位**:开放治理、连接复杂IoT场景。适合多连接复杂IoT设备、长期演进迭代。 + +--- + +### 3. ThreadX / Azure RTOS / Microsoft + +**核心事实**: +- 内核仅2KB内存占用(三种RTOS中最小) +- 响应延迟约11.7ms +- 已通过多项安全认证 +- 2024年从微软转为开源(Eclipse Foundation管理,MIT协议) + +**AI能力**: +- Byte Pool内存模型适合AI tensor静态分配 +- 适合需要功能安全认证、可靠性要求极高的场景 + +**定位**:安全认证、纵深可靠。适合功能安全认证、可靠性要求极高的产品。 + +--- + +### 4. RTOS选型对比实证 + +**来源**:[Real-time Operating Systems (RTOS) For Edge AI](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) (Hasan等, 2025年6月) + +**实验配置**:STM32H7平台,运行量化CNN + +| 指标 | ThreadX | Zephyr | FreeRTOS | VxWorks | +|------|---------|--------|----------|---------| +| 内核大小 | 2KB | 30KB | 15KB | 信息不足 | +| 推理响应延迟 | 11.7ms | 12.3ms | 13.8ms | 信息不足 | +| 成熟度 | 4/4 | 3/4 | 2/4 | 4/4 | + +**核心结论**: +- ThreadX在资源占用和响应时间上取得最佳平衡 +- FreeRTOS资源占用最低但推理延迟最高 +- Zephyr提供丰富协议栈但内存开销最大 +- AI推理在MCU上能否落地,第一看RAM峰值,第二看推理时延 + +--- + +### 5. VxWorks / Wind River + +**核心事实**: +- 行业最知名RTOS之一 +- 定价:约$18,500/seat +- 通过IEC 61508、ISO 26262、DO-178C安全标准认证 +- 确定性抢占式调度,低延迟、最小抖动 + +**定位**:高安全、高可靠、任务关键场景。适合航空航天、国防、汽车。 + +--- + +### 6. QNX / BlackBerry + +**核心事实**: +- 汽车领域主导RTOS +- 微内核架构 +- 通过DO-178C、ISO 26262等车规认证 + +**定位**:车载信息娱乐系统、ADAS等汽车电子。 + +--- + +## 二、国际LLM推理框架 + +### 1. llama.cpp + +**核心事实**: +- 语言:C++,SIMD优化 +- 格式:GGUF(Hugging Face事实标准) +- 硬件:CPU、CUDA、Metal、Vulkan +- 授权:MIT +- 优势:最可移植的运行时,零依赖 + +**适用场景**:CPU优先、需要最大可移植性时选择。运行于x86、ARM、Apple Silicon、Raspberry Pi。 + +**来源**:[Edge LLM Runtime Stack 2026](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) (2026年7月) + +--- + +### 2. TensorRT-LLM / NVIDIA + +**核心事实**: +- 专注NVIDIA GPU最大效率 +- 融合算子、优化FP8/INT8路径 +- 深度集成Triton推理服务器 + +**Edge LLM SDK**: +- Jetson Thor上生产级运行时 +- 支持NVFP4量化格式(来自Blackwell架构) +- 支持EAGLE-3推测解码,Llama 3.3 70B吞吐提升2.5倍 + +**来源**:[Unlock Faster, Smarter Edge Models with 7x Gen AI Performance on NVIDIA Jetson AGX Thor](https://developer.nvidia.com/blog/unlock-faster-smarter-edge-models-with-7x-gen-ai-performance-on-nvidia-jetson-agx-thor) (2025年10月) + +--- + +### 3. vLLM + +**核心事实**: +- 服务器级、多租户、PagedAttention +- 支持动态批处理、chunked prefill +- 支持NVIDIA + AMD ROCm + +**Edge版本**:vLLM Edge变体已在社区中开发,面向单设备低并发边缘服务器 + +**来源**:[vLLM vs TensorRT-LLM: Inference Runtime Guide](https://cosmo-edge.com/vllm-vs-tensorrt-llm/) (2026年2月) + +--- + +### 4. 运行时框架对比 + +**来源**:[Edge LLM Runtime Stack 2026](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) + +| 运行时 | 核心优势 | 适用场景 | +|--------|---------|---------| +| llama.cpp | CPU优先、最可移植 | 跨平台、portability优先 | +| Ollama | llama.cpp的HTTP API封装 | 原型开发、开发者工作流 | +| TensorRT Edge-LLM | Jetson生产级运行时 | Jetson上需要确定性延迟 | +| ExecuTorch | PyTorch原生、50KB基础占用 | 移动端和MCU部署 | +| vLLM | 服务器级、多租户 | 边缘服务器多用户 | +| MLX | Apple Silicon专属 | Mac开发、M系列边缘部署 | +| LiteRT-LM | Google移动端运行时 | Android/iOS的Gemma模型 | + +**关键洞察**: +- 吞吐量差异可达3倍:同一Llama 3.3 70B模型在Jetson Thor上,不同运行时可产生巨大差异 +- 量化格式不能混用:GGUF Q4_K_M可跨平台,但NVFP4仅限Blackwell +- KV cache管理是生产部署成败关键:PagedAttention (vLLM)、KV cache量化 (TensorRT-LLM)、attention-sink驱逐 (StreamingLLM) + +--- + +## 三、智能体(Agent)框架 + +### 1. 框架对比(2026年7月) + +**来源**:[Best AI Agent Frameworks | AI Wiki](https://aiwiki.ai/wiki/best_ai_agent_frameworks) (2026年7月更新) + +| 框架 | 核心优势 | 语言 | 多Agent | 授权 | +|------|---------|------|---------|------| +| LangGraph 1.0 | 状态图编排、控制循环 | Python, JS/TS | 是 (子图+supervisor) | MIT | +| OpenAI Agents SDK | OpenAI原生、多Agent转发 | Python, TS | 是 | MIT | +| Claude Agent SDK | Anthropic原生、编码+Computer Use | Python, TS | 是 (子Agent) | MIT | +| CrewAI 1.14 | 角色驱动Crew快速原型 | Python | 是 | MIT | +| Microsoft Agent Framework 1.0 | .NET/Azure企业级 | .NET, Python | 是 | MIT | +| LlamaIndex Workflows 1.0 | RAG密集型Agent | Python, TS | 是 | MIT | +| Google ADK 2.0 | GCP原生、Gemini集成 | Python, Java, Go, TS | 是 | Apache-2.0 | + +**关键选择建议**: +- 编排和状态图控制:选LangGraph 1.0 (GA 2025年10月) +- 快速角色原型:选CrewAI 1.14 +- 企业.NET/Azure:选Microsoft Agent Framework 1.0 (GA 2026年) +- RAG密集型:选LlamaIndex Workflows 1.0 + +--- + +### 2. LangChain vs CrewAI vs AutoGen 生产对比 + +**来源**:[LangChain vs CrewAI vs AutoGen: Which Agent Framework Scales?](https://markaicode.com/best/best-ai-agent-framework/) (2026年5月) + +**测试配置**:Ubuntu 22.04 + Python 3.11 + GPT-4o + +| 框架 | 版本 | 核心特点 | +|------|------|---------| +| LangChain/LangGraph | 0.3.17 | 灵活性、工具生态、图结构状态管理 | +| CrewAI | 0.105.0 | 角色驱动、顺序/层级流程、样板代码减少40% | +| AutoGen | 0.7.7 | 多轮对话、代码执行、错误恢复率92% | +| Semantic Kernel | 1.17.0 | .NET/Azure集成、最小开销 | +| Agno | 1.1.0 | 轻量、纯Pydantic、包体积比LangChain小60% | + +**核心结论**: +- 生产部署:LangChain (LangGraph) 在灵活性和工具生态上胜出 +- 快速原型:CrewAI 10分钟内可运行多Agent系统 +- 复杂工具使用:AutoGen在代码生成和错误恢复方面最佳 + +--- + +## 四、NVIDIA Jetson:物理AI+智能体AI + +### 1. Jetson智能体就绪(2026年6月) + +**来源**:[NVIDIA Jetson 将智能体 AI 带入物理世界](https://blogs.nvidia.cn/blog/jetson-agentic-ai-physical-world/) (2026年6月) + +**核心事件**:JetPack 7.2 + NemoClaw 正式发布 + +**三层架构**: +1. **底层**:JetPack 7.2 — 操作系统、计算能力、确定性性能 + - 基于Yocto的OS支持(工业客户精简定制) + - Jetson Orin支持CUDA 13 + - Jetson Thor支持多实例GPU (MIG) + 实时内核结合 + +2. **中间层**:智能体技能 — 自动化开发者任务 + - Linux定制、内存优化、模型基准测试 + - 从数周缩短到数天 + +3. **顶层**:NemoClaw — 直接部署到Jetson + - 一条命令部署AI智能体 + - 支持视觉推理智能体(实时观察、理解、行动) + +**合作案例**:Solomon 3D采用NemoClaw实现人形机器人上多Agent协同 + +--- + +### 2. Cosmos 3 Edge:端侧世界模型(2026年7月) + +**来源**:[NVIDIA Cosmos 3 Edge and the Robot AI Revolution 2026](https://www.justlast.in/nvidia-cosmos-3-edge-and-the-robot-ai-revolution-2026-on-device-world-models-humanoid-surgery-and-japans-2-3-billion-noetra-project/) (2026年7月) + +**核心产品**:Cosmos 3 Edge — 4B参数开源世界模型 + +**关键特性**: +- 完全端侧运行,无需网络连接 +- 在Jetson Thor上以15Hz运行 +- Mixture-of-Transformers架构(2B密集推理器+扩散模型) +- 支持6种机器人形态(Universal Embodiment Representation) +- VANTAGE-Bench上4B参数级别排名第一 +- 开源许可:OpenMDW-1.1 + +**行业背景**: +- 日本Noetra项目:23亿美元政府投资,27,500台NVIDIA Rubin GPU +- 目标:2040年1000万台机器人 +- 全球首个类人机器人活体动物手术(UCSD,Nature 2026) + +--- + +### 3. Jetson Orin实时机器人控制 + +**来源**:[Edge AI for real-time robot control: NVIDIA Jetson Orin](https://scaled2c.com/blog/physical-ai-robotics/edge-ai-for-real-time-robot-control-nvidia-jetson-orin.html) (2026年4月) + +**关键数据**: +- AGX Orin:275 TOPS AI算力,15-60W功耗 +- 性能提升:较AGX Xavier提升6倍 +- 延迟优势:边缘推理<1ms vs 云端往返50-200ms + +**完整技术栈**: + +| 层级 | NVIDIA技术 | 功能 | +|------|-----------|------| +| 硬件 | Jetson Orin AGX/NX/Nano | 边缘AI计算平台 | +| 运行时 | JetPack SDK + CUDA | 基础OS、驱动、CUDA | +| 推理引擎 | TensorRT | INT8/FP16量化推理 | +| 视觉 | DeepStream SDK | 多路视频分析管道 | +| 机器人 | Isaac ROS | ROS 2兼容的硬件加速算法 | +| 仿真 | Isaac Sim (Omniverse) | 机器人仿真训练测试 | +| 基础模型 | NVIDIA Cosmos | 机器人学习和规划的世界模型 | + +--- + +### 4. Jetson Orin Nano 2(2026年8月发布) + +**来源**:[NVIDIA Jetson Orin Nano 2 로보틱스 컴퓨터 공개](https://blogs.nvidia.co.kr/blog/nvidia-announces-jetson-orin-nano-2-robotics-computer-to-redefine-entry-level-edge-ai/) (2026年8月) + +**核心参数**: +- 78 TOPS AI算力 +- 8GB内存 +- 8核Arm CPU +- 15W模式下较前代功耗降低40% + +**已采用合作伙伴**: +- 柯尼卡美能达(Cognex):工业视觉检测 +- 斗山Bobcat:工程机械机器人 +- Matic Robots:家用机器人 +- Wing(Alphabet旗下):配送无人机 + +--- + +## 五、学术研究热点 + +### 1. 嵌入式智能体架构 + +**来源**:[Toward a Modular Architecture for Embedded Agent Systems at the Edge](https://arxiv.org/html/2606.02862) (arXiv:2606.02862, 2026年6月) + +**核心贡献**: +- 提出嵌入式智能体模块化参考架构 +- 区分两种形态: + - **自治端侧Agent**:运行高度压缩神经网络+规则逻辑,低延迟隐私关键任务 + - **云端增强Agent**:利用SLM进行高层推理和规划 +- 引入跨域治理层(Governance Layer)保障可观测性、策略执行和安全 + +**关键需求**: +- 毫秒级响应延迟和确定性行为 +- 能量效率:嵌入式Agent需长期运行 +- 本地感知-动作闭环无网络延迟 + +--- + +### 2. 异构SoC上的Agent调度 + +**来源**:[Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC](https://arxiv.org/html/2506.24045v2) (arXiv:2506.24045, 2026年1月) + +**核心问题**:个人LLM Agent混合响应式(前台)和主动式(后台)执行模式,现有引擎不支持流级并发 + +**技术方案**: +- **HEG(异构执行图)**:捕获NPU/iGPU亲和性和弹性操作符绑定 +- **流感知NPU-iGPU协同**:解耦prefill和decode减少带宽争用 +- **细粒度抢占**:slack-aware piggybacking保证响应式不饿死主动式 + +**性能提升**: +- 主动式吞吐提升1.2-4.9倍 +- 响应式延迟降低≥91% + +--- + +### 3. Edge LLM推理评测 + +**来源**:[LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load](https://arxiv.org/html/2603.23640v2) (arXiv:2603.23640, 2026年6月) + +**实验配置**:Qwen 2.5 1.5B (4-bit量化),258-token prompt,贪婪解码 + +| 平台 | 持续吞吐 | 功耗 | 关键约束 | +|------|---------|------|---------| +| RTX 4050 | 131.7 tok/s | 34.1W | 电池功率上限 | +| iPhone 16 Pro | 23.7 tok/s | 信息不足 | 3次迭代后降额40% | +| S24 Ultra | 10 tok/s | 信息不足 | 20次迭代后降额~15% | +| Pi 5 + Hailo-10H | 6.9 tok/s | <2W | 模块内存带宽 | + +**核心结论**:移动端热管理是比峰值算力更主要的约束;专用NPU在能量效率上匹配GPU(19倍低功耗)。 + +--- + +### 4. 边缘LLM推理综述 + +**来源**:[Efficient Inference for Edge Large Language Models: A Survey](https://www.sciopen.com/local/article_pdf/10.26599/TST.2025.9010166.pdf) (Cai等, 2025年) + +**两大运行时优化策略**: +- **推测解码(Speculative Decoding)**:利用小模型提议候选token,大模型并行验证 +- **模型卸载(Model Offloading)**:战略分区LLM,高频组件放边缘高速单元,低频部分放边缘服务器或云端 + +--- + +### 5. LLM推理调度综述 + +**来源**:[LLM Inference Scheduling: A Survey of Techniques, Frameworks, and Trade-offs](https://www.techrxiv.org/doi/pdf/10.36227/techrxiv.176238087.79673350/v1?download=true) (华为技术, 2025年11月) + +**覆盖方向**: +- 控制平面和数据平面的调度策略 +- 冷启动延迟、HOL阻塞、资源利用率、动态负载变化 +- 强化学习调度、自适应批处理、推测执行、多租户调度 +- 开放方向:ML驱动的自适应调度、能耗感知推理、异构硬件利用 diff --git a/02-项目框架/03-同行研究情况调研/03-学术文献.md b/02-项目框架/03-同行研究情况调研/03-学术文献.md new file mode 100644 index 0000000..90911b7 --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/03-学术文献.md @@ -0,0 +1,309 @@ +# 03-学术文献 + +## 一、RTOS + AI/Edge推理 + +### 论文1: RTOS内核在Edge AI上的实证对比 + +**标题**:Real-time Operating Systems (RTOS) For Edge AI + +**作者**:Forhad Monjur Hasan, Onell Allan Chakawuya, Mostafa Mohammad Razaul + +**机构**:中国西部师范大学 电子与信息工程系 + +**发表**:International Journal of Trends in Emerging Research and Development, 2025年6月 + +**链接**:[https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) + +**DOI**:10.5281/zenodo.16729307 + +**实验配置**:STM32H7平台,运行量化CNN + +**核心结果**: + +| 指标 | ThreadX | Zephyr | FreeRTOS | VxWorks | +|------|---------|--------|----------|---------| +| 内核大小 | 2KB | 30KB | 15KB | - | +| 推理响应延迟 | 11.7ms | 12.3ms | 13.8ms | - | +| 成熟度评分 | 4/4 | 3/4 | 2/4 | 4/4 | + +**关键结论**: +- AI推理在MCU上能否落地,第一看RAM峰值,第二看推理时延 +- RTOS需与推理框架(TFLite Micro、CMSIS-NN)紧密协作 +- 随着Edge AI进入安全关键场景(自动驾驶、医疗诊断),需要可认证和形式化验证的RTOS + +--- + +### 论文2: 嵌入式智能体模块化架构 + +**标题**:Toward a Modular Architecture for Embedded Agent Systems at the Edge + +**作者**:Marcus Rüb (Foresthub.Ai), Michael Gerhards (Deloitte Consulting) + +**发表**:arXiv:2606.02862, 2026年6月 + +**链接**:[https://arxiv.org/html/2606.02862](https://arxiv.org/html/2606.02862) + +**核心贡献**: +- 提出嵌入式智能体模块化参考架构 +- 两种Agent形态: + - **自治端侧Agent**:规则+高度压缩神经网络,低延迟隐私关键任务 + - **云端增强Agent**:SLM进行高层推理和规划 +- 跨域治理层(Governance Layer)保障可观测性、策略执行和安全 + +**关键需求**: +- 毫秒级响应延迟和确定性行为 +- 本地感知-动作闭环无网络延迟 +- 能量效率:嵌入式Agent需长期运行 + +**应用场景**: +- 智慧农业(系留式Agent) +- 预测性维护(混合模式) +- 隐私优先智能家居(自治式) + +--- + +### 论文3: AI辅助工程化方法 + +**标题**:基于AI辅助工程的混合MCU-边缘-云平台的工业AIoT系统设计与实现 + +**作者**:吴薇(杭州电子科技大学 / 江苏矽望电子科技有限公司) + +**发表**:电信科技, 2026年5月 + +**链接**:[https://pdf.hanspub.org/etis_1380065.pdf](https://pdf.hanspub.org/etis_1380065.pdf) + +**核心方法**: +- 面向Zephyr RTOS的"三文件"提示策略: + - 硬件覆盖文件 (.overlay/.dts) + - 项目配置文件 (prj.conf) + - 主程序文件 (main.c) + +**参考实现**:Project Velocity原型系统(STM32 + RK3588 + ThingsBoard) + +**应用场景**:预测性维护、工业AIoT + +--- + +## 二、Edge LLM推理 + +### 论文4: 端侧LLM推理框架对比 + +**标题**:The Edge LLM Runtime Stack 2026: llama.cpp, Ollama, TensorRT Edge-LLM, ExecuTorch, vLLM, MLX, LiteRT-LM + +**作者**:Edge AI Stack + +**发表**:2026年7月 + +**链接**:[https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) + +**对比维度**:7大运行时框架的硬件适配、吞吐量、量化支持 + +**关键发现**: +- 同一Llama 3.3 70B模型在Jetson Thor上,不同运行时吞吐量差异可达3倍 +- 量化格式不能混用:GGUF Q4_K_M可跨平台,但NVFP4仅限Blackwell +- KV cache管理是生产部署成败关键 + +--- + +### 论文5: 移动端NPU推理持续负载评测 + +**标题**:LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load + +**作者**:Pranay Tummalapalli, Sahil Arayakandy, Ritam Pal, Kautuk Kundan (Conscious Engines) + +**发表**:arXiv:2603.23640, 2026年6月 + +**链接**:[https://arxiv.org/html/2603.23640v2](https://arxiv.org/html/2603.23640v2) + +**实验配置**:Qwen 2.5 1.5B (4-bit量化) + +| 平台 | 持续吞吐 | 功耗 | 关键约束 | +|------|---------|------|---------| +| RTX 4050 | 131.7 tok/s | 34.1W | 电池功率上限 | +| iPhone 16 Pro | 23.7 tok/s | - | 3次迭代后降额40% | +| S24 Ultra | 10 tok/s | - | 20次迭代后降额~15% | +| Pi 5 + Hailo-10H | 6.9 tok/s | <2W | 模块内存带宽 | + +**核心结论**: +- 移动端热管理是比峰值算力更主要的约束 +- iPhone 16 Pro在3次迭代后进入"热态"平台期 +- 专用NPU在能量效率上匹配GPU(19倍低功耗) + +--- + +### 论文6: 边缘LLM推理综述 + +**标题**:Efficient Inference for Edge Large Language Models: A Survey + +**作者**:Guanyu Cai, Ruiming Tian, Lang Yang, Yunzhe Jia, Lingkun Li, Jiliang Wang + +**发表**:Science China Information Sciences / Tsinghua Science and Technology, 2025年 + +**链接**:[https://www.sciopen.com/local/article_pdf/10.26599/TST.2025.9010166.pdf](https://www.sciopen.com/local/article_pdf/10.26599/TST.2025.9010166.pdf) + +**两大运行时优化策略**: +- **推测解码(Speculative Decoding)**:小模型提议候选token,大模型并行验证 +- **模型卸载(Model Offloading)**:战略分区LLM,高频组件放边缘,低频部分放服务器/云端 + +--- + +### 论文7: 边缘中心生成式AI综述 + +**标题**:Edge-Centric Generative AI: A Survey on Efficient Inference for Large Language Models in Resource-Constrained Environments + +**作者**:Rui Huang (独立研究员) + +**发表**:Journal of Computer and Communications, 14(4), 238-253, 2026年4月 + +**链接**:[https://content.scirp.org/pdf/jcc_1733489.pdf](https://content.scirp.org/pdf/jcc_1733489.pdf) + +**核心框架**: +- 定义"推理调度"为计算图到处理器的映射函数 +- 目标:在功率约束下最小化总延迟 +- 通过Roofline Model和热力学极限形式化模型保真度与硬件约束的权衡 + +**设备分类**: +- 智能手机/平板:6-12GB LPDDR5, 4-8W TDP +- 可穿戴设备:<2W TDP, 皮肤温度上限~42°C +- 嵌入式SoC/IoT网关:4-8GB共享DRAM, 5-15W TDP + +--- + +## 三、LLM调度系统 + +### 论文8: 异构SoC上的Agent调度 + +**标题**:Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC + +**作者**:Xinming Wei, Jiahao Zhang, Haoran Li等 + +**机构**:北京大学 多媒体信息处理国家重点实验室 / 香港大学 + +**发表**:arXiv:2506.24045, 2026年1月 + +**链接**:[https://arxiv.org/html/2506.24045v2](https://arxiv.org/html/2506.24045v2) + +**核心问题**:个人LLM Agent混合响应式(前台)和主动式(后台)执行模式 + +**技术方案**: +- **HEG(异构执行图)**:捕获NPU/iGPU亲和性 +- **流感知NPU-iGPU协同**:解耦prefill和decode +- **细粒度抢占**:slack-aware piggybacking + +**性能提升**: +- 主动式吞吐提升1.2-4.9倍 +- 响应式延迟降低≥91% + +--- + +### 论文9: LLM推理调度综述 + +**标题**:LLM Inference Scheduling: A Survey of Techniques, Frameworks, and Trade-offs + +**作者**:华为技术团队 (Yong Zhang, Zhenan Fan等) + +**发表**:TechRxiv, 2025年11月 + +**链接**:[https://www.techrxiv.org/doi/pdf/10.36227/techrxiv.176238087.79673350/v1?download=true](https://www.techrxiv.org/doi/pdf/10.36227/techrxiv.176238087.79673350/v1?download=true) + +**覆盖方向**: +- 控制平面和数据平面的调度策略 +- 冷启动延迟、HOL阻塞、资源利用率 +- 强化学习调度、自适应批处理、推测执行 +- 开放方向:ML驱动的自适应调度、能耗感知推理、异构硬件利用 + +--- + +## 四、端侧AI框架(华为鸿蒙) + +### 论文10: 鸿蒙端侧AI推理 + +**标题**:鸿蒙开发之路:端侧模型压缩、量化与加速技术详解 + +**作者**:CSDN博主 zq18 + +**发表**:博客园, 2026年 + +**链接**:[https://www.cnblogs.com/zq18/p/19263508](https://www.cnblogs.com/zq18/p/19263508) + +**三大压缩技术对比**: + +| 技术 | 核心思想 | 压缩效果 | 精度损失 | 适用阶段 | +|------|---------|---------|---------|---------| +| 剪枝 | 移除冗余参数 | 30-70% | 3-10% | 训练后/微调 | +| 量化 | 降低数值精度 | 40-60% | 1-5% | 训练后/感知训练 | +| 知识蒸馏 | 知识迁移 | 50-80% | 2-8% | 训练阶段 | + +**HarmonyOS推荐**:混合剪枝策略 — 先结构化剪枝保证硬件效率,再配合非结构化剪枝 + +--- + +### 论文11: 鸿蒙AI框架集成 + +**标题**:鸿蒙AI框架(HiAI/MindSpore Lite)集成与推理优化 + +**作者**:bug菌 + +**发表**:华为云社区, 2025年11月 + +**链接**:[https://bbs.huaweicloud.cn/blogs/467036](https://bbs.huaweicloud.cn/blogs/467036) + +**核心内容**:MindSpore Lite推理引擎的Native C API使用和端侧推理优化技巧 + +--- + +### 论文12: 端侧AI框架让智能真正贴身随行 + +**标题**:端侧 AI 框架让智能真正贴身随行 + +**作者**:佩臻(华为开发者联盟) + +**发表**:华为开发者联盟, 2026年1月 + +**链接**:[https://developer.huawei.com/consumer/cn/blog/topic/03203187067519385](https://developer.huawei.com/consumer/cn/blog/topic/03203187067519385) + +**关键数据**: +- 鸿蒙端侧AI已支持超200种预置模型 +- 覆盖图像、语音、文本、传感器四大类 +- 开放Model Zoo供开发者一键集成 +- 某翻译应用接入后,离线翻译速度提升3倍,电池续航延长40% + +--- + +## 五、物理AI与机器人 + +### 论文13: 物理AI机器人革命 + +**标题**:NVIDIA Cosmos 3 Edge and the Robot AI Revolution 2026 + +**作者**:Arjun Mehta + +**发表**:JustLast.in, 2026年7月 + +**链接**:[https://www.justlast.in/nvidia-cosmos-3-edge-and-the-robot-ai-revolution-2026-on-device-world-models-humanoid-surgery-and-japans-2-3-billion-noetra-project/](https://www.justlast.in/nvidia-cosmos-3-edge-and-the-robot-ai-revolution-2026-on-device-world-models-humanoid-surgery-and-japans-2-3-billion-noetra-project/) + +**核心事件**:2026年7月NVIDIA发布Cosmos 3 Edge + +**关键参数**: +- 4B参数,Mixture-of-Transformers架构 +- 在Jetson Thor上以15Hz运行 +- 支持6种机器人形态 +- VANTAGE-Bench上4B级别排名第一 +- 开源许可:OpenMDW-1.1 + +--- + +### 论文14: 机器人实时控制 + +**标题**:Edge AI for real-time robot control: NVIDIA Jetson Orin + +**作者**:SCALE D2C + +**发表**:2026年4月 + +**链接**:[https://scaled2c.com/blog/physical-ai-robotics/edge-ai-for-real-time-robot-control-nvidia-jetson-orin.html](https://scaled2c.com/blog/physical-ai-robotics/edge-ai-for-real-time-robot-control-nvidia-jetson-orin.html) + +**核心数据**: +- AGX Orin:275 TOPS,15-60W +- 边缘推理<1ms vs 云端往返50-200ms +- 技术栈:TensorRT + DeepStream + Isaac ROS + Isaac Sim diff --git a/02-项目框架/03-同行研究情况调研/04-关键研究空白.md b/02-项目框架/03-同行研究情况调研/04-关键研究空白.md new file mode 100644 index 0000000..46270e5 --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/04-关键研究空白.md @@ -0,0 +1,126 @@ +# 04-关键研究空白 + +## 概述 + +基于行业同行研究和本项目框架(框架1、框架2),以下方向系统级实时性研究尚属空白或刚刚开始,是本项目可重点突破的研究机会。 + +--- + +## 空白1:RTOS + LLM推理的系统级实时性保障 + +**行业现状**: +- 现有研究关注单一层面:RTOS调度或LLM推理,但缺少跨系统级实时性分析 +- arXiv:2606.02862 提出嵌入式Agent架构,但未深入RTOS调度与LLM推理的协同 + +**研究空白**: +- 建立从RTOS调度到LLM推理延迟的全链路实时性分析模型 +- 定义RTOS环境中LLM推理的"实时性"标准 +- 研究推理框架与RTOS调度器的协同优化 + +**与项目关联**:框架1、框架2的核心研究方向 + +--- + +## 空白2:混合系统(Linux + RTOS + Hypervisor)中的AI负载准入与隔离 + +**行业现状**: +- NVIDIA Jetson Thor支持MIG + 实时内核结合(来源:[NVIDIA Jetson将智能体AI带入物理世界](https://blogs.nvidia.cn/blog/jetson-agentic-ai-physical-world/)) +- 翼辉AMC 3000采用QuickAMP架构实现SylixOS与Linux共存(来源:[翼辉信息SylixOS AI应用方案发布](https://www.elecfans.com/d/6800705.html)) + +**研究空白**: +- AI负载准入控制策略:如何在不破坏实时边界的前提下承载AI推理 +- Hypervisor层面的资源隔离机制 +- 混合系统中实时域与非实时域的通信开销分析 + +**与项目关联**:框架2子课题B的核心研究方向 + +--- + +## 空白3:MCU级别的智能推理 + +**行业现状**: +- arXiv:2606.02862 提出端侧Agent需毫秒级响应延迟 +- [RTOS for Edge AI](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) 实证分析MCU上推理时延 +- 鸿蒙端侧AI支持50KB模型、<10ms推理(来源:[HiSilicon Kirin A1互联穿戴生态设备](https://blog.csdn.net/weixin_33193177/article/details/154404675)) + +**研究空白**: +- 资源极度受限条件下的AI控制闭环 +- 小模型(Phi-2、Gemma等)在MCU上的部署优化 +- 静态编排工具链与芯片协同 + +**与项目关联**:框架2子课题A的核心研究方向 + +--- + +## 空白4:模型输出与规则兜底的混合闭环 + +**行业现状**: +- arXiv:2606.02862 提出端侧Agent的规则+SLM混合模式 +- [Agent.xpu](https://arxiv.org/html/2506.24045v2) 的细粒度抢占机制 + +**研究空白**: +- LLM输出验证与约束机制 +- 规则系统与LLM的混合决策 +- 安全关键场景下的兜底策略 + +**与项目关联**:框架2共享方法层(规则兜底与控制闭环) + +--- + +## 空白5:边缘侧轻量级Agent框架 + +**行业现状**: +- 主流Agent框架(LangGraph、CrewAI、AutoGen等)面向云端/服务器 +- [Edge LLM Runtime Stack 2026](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) 对比7大运行时,但无嵌入式Agent框架 +- ExecuTorch仅50KB基础占用,但非Agent框架 + +**研究空白**: +- 资源受限环境下的Agent运行时 +- 轻量级Agent通信机制 +- 嵌入式环境中的Agent安全与隔离 + +**与项目关联**:可扩展研究方向 + +--- + +## 空白6:AI + 实时系统的标准化与基准测试 + +**行业现状**: +- [RTOS for Edge AI](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) 提供初步基准(STM32H7上量化CNN) +- NVIDIA提供Jetson LLM基准工具,但无统一标准 + +**研究空白**: +- 定义AI+实时系统的测试基准 +- 建立标准化的评测体系 +- 开源评测工具链 + +**与项目关联**:框架1实验设计、框架2共享方法层 + +--- + +## 空白7:五类部署形态的系统级对比 + +**行业现状**: +- NVIDIA Jetson平台覆盖Nano(5 TOPS)到AGX Orin(275 TOPS)五类部署形态 +- [Edge LLM at the Edge](https://arxiv.org/html/2603.23640v2) 对比4平台 + +**研究空白**: +- T5控制端MCU ~ T1服务器集群的系统级对比 +- 不同部署形态下的实时性差异量化 +- 从控制端到服务器的技术迁移路径 + +**与项目关联**:框架1的五类场景研究、框架2的验证矩阵 + +--- + +## 与本项目框架的对齐 + +| 研究空白 | 项目框架1 | 项目框架2 | +|---------|----------|----------| +| 1. 系统级实时性保障 | 五类场景推理图调度、KV-Cache、量化精度感知 | 共享方法层、三层边界 | +| 2. 混合系统AI负载隔离 | - | 子课题B(Linux-RTOS-Hypervisor) | +| 3. MCU级智能推理 | T5控制端MCU | 子课题A(静态智能控制) | +| 4. 规则兜底混合闭环 | - | 共享方法层(规则兜底) | +| 5. 边缘侧Agent框架 | - | 可扩展 | +| 6. 标准化基准测试 | 实验设计 | 共享方法层 | +| 7. 五类部署形态对比 | 核心内容 | 综合比较与收敛 | diff --git a/02-项目框架/03-同行研究情况调研/05-文献索引.md b/02-项目框架/03-同行研究情况调研/05-文献索引.md new file mode 100644 index 0000000..446640c --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/05-文献索引.md @@ -0,0 +1,74 @@ +# 05-文献索引 + +## 完整文献列表 + +### 学术论文(arXiv + 期刊) + +| # | 论文标题 | 作者 | 年份 | 来源 | 链接 | +|---|---------|------|------|------|------| +| 1 | Toward a Modular Architecture for Embedded Agent Systems at the Edge | Marcus Rüb, Michael Gerhards | 2026 | arXiv:2606.02862 | [链接](https://arxiv.org/html/2606.02862) | +| 2 | Real-time Operating Systems (RTOS) For Edge AI | Hasan, Chakawuya, Razaul | 2025 | Int'l Journal of Trends in Emerging Research and Development | [PDF](https://www.researchtrendsjournal.com/uploads/articles/3-4-38.1.pdf) | +| 3 | Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC | Wei, Zhang, Li等 | 2026 | arXiv:2506.24045 | [链接](https://arxiv.org/html/2506.24045v2) | +| 4 | LLM Inference at the Edge: Mobile, NPU, and GPU Performance Trade-offs | Tummalapalli, Arayakandy, Pal, Kundan | 2026 | arXiv:2603.23640 | [链接](https://arxiv.org/html/2603.23640v2) | +| 5 | Efficient Inference for Edge Large Language Models: A Survey | Cai, Tian, Yang, Jia, Li, Wang | 2025 | Science China Information Sciences | [PDF](https://www.sciopen.com/local/article_pdf/10.26599/TST.2025.9010166.pdf) | +| 6 | Edge-Centric Generative AI: A Survey on Efficient Inference for LLMs in Resource-Constrained Environments | Rui Huang | 2026 | Journal of Computer and Communications 14(4) | [PDF](https://content.scirp.org/pdf/jcc_1733489.pdf) | +| 7 | LLM Inference Scheduling: A Survey of Techniques, Frameworks, and Trade-offs | 华为技术团队 (Zhang, Fan等) | 2025 | TechRxiv | [PDF](https://www.techrxiv.org/doi/pdf/10.36227/techrxiv.176238087.79673350/v1?download=true) | + +### 行业文章/博客 + +| # | 标题 | 作者/机构 | 年份 | 来源 | 链接 | +|---|------|----------|------|------|------| +| 8 | 翼辉SylixOS:中国自主硬实时操作系统的崛起之路 | CSDN博主 | 2026 | CSDN | [链接](https://blog.csdn.net/hujunming/article/details/148370364) | +| 9 | 翼辉信息SylixOS AI应用方案发布 | 翼辉信息 | 2025 | 电子发烧友 | [链接](https://www.elecfans.com/d/6800705.html) | +| 10 | 基于AI辅助工程的混合MCU-边缘-云平台的工业AIoT系统设计 | 吴薇 | 2026 | Hans Publishers | [PDF](https://pdf.hanspub.org/etis_1380065.pdf) | +| 11 | 鸿蒙开发之路:端侧模型压缩、量化与加速技术详解 | zq18 | 2026 | 博客园 | [链接](https://www.cnblogs.com/zq18/p/19263508) | +| 12 | 鸿蒙AI框架(HiAI/MindSpore Lite)集成与推理优化 | bug菌 | 2025 | 华为云社区 | [链接](https://bbs.huaweicloud.cn/blogs/467036) | +| 13 | 端侧 AI 框架让智能真正贴身随行 | 佩臻 | 2026 | 华为开发者联盟 | [链接](https://developer.huawei.com/consumer/cn/blog/topic/03203187067519385) | +| 14 | HiSilicon Kirin A1互联穿戴生态设备 | CSDN博主 | 2025 | CSDN | [链接](https://blog.csdn.net/weixin_33193177/article/details/154404675) | +| 15 | MCU跑AI的RTOS选型:FreeRTOS、ThreadX与Zephyr对比 | 匿名 | 2026 | CSDN | [链接](https://blog.csdn.net/weixin_30036289/article/details/164544991) | +| 16 | Unlock Faster, Smarter Edge Models with 7x Gen AI Performance on Jetson AGX Thor | NVIDIA技术博客 | 2025 | NVIDIA Developer | [链接](https://developer.nvidia.com/blog/unlock-faster-smarter-edge-models-with-7x-gen-ai-performance-on-nvidia-jetson-agx-thor) | +| 17 | The Edge LLM Runtime Stack 2026 | Edge AI Stack | 2026 | edgeaistack.ai | [链接](https://edgeaistack.ai/blog/edge-llm-runtime-stack-2026/) | +| 18 | vLLM vs TensorRT-LLM: Inference Runtime Guide | Jérôme Lafont | 2026 | Cosmo Edge | [链接](https://cosmo-edge.com/vllm-vs-tensorrt-llm/) | +| 19 | Running LLMs on Jetson Orin, llama.cpp, Ollama | Aaron Angulo | 2026 | Medium | [链接](https://www.proventusnova.com/blog/llm-inference-jetson-orin-llamacpp-ollama/) | +| 20 | NVIDIA Jetson 将智能体 AI 带入物理世界 | NVIDIA中国 | 2026 | NVIDIA博客 | [链接](https://blogs.nvidia.cn/blog/jetson-agentic-ai-physical-world/) | +| 21 | NVIDIA Cosmos 3 Edge and the Robot AI Revolution 2026 | Arjun Mehta | 2026 | JustLast.in | [链接](https://www.justlast.in/nvidia-cosmos-3-edge-and-the-robot-ai-revolution-2026-on-device-world-models-humanoid-surgery-and-japans-2-3-billion-noetra-project/) | +| 22 | Edge AI for real-time robot control: NVIDIA Jetson Orin | SCALE D2C | 2026 | scaled2c.com | [链接](https://scaled2c.com/blog/physical-ai-robotics/edge-ai-for-real-time-robot-control-nvidia-jetson-orin.html) | +| 23 | Best AI Agent Frameworks (2026年7月) | AI Wiki | 2026 | aiwiki.ai | [链接](https://aiwiki.ai/wiki/best_ai_agent_frameworks) | +| 24 | LangChain vs CrewAI vs AutoGen: Which Agent Framework Scales? | Mark | 2026 | markaicode.com | [链接](https://markaicode.com/best/best-ai-agent-framework/) | +| 25 | Best Multi-Agent AI Frameworks for 2025 & 2026 | Datawhale | 2025 | langcopilot.com | [链接](https://langcopilot.com/posts/2025-11-01-top-multi-agent-ai-frameworks-2024-guide) | +| 26 | ThreadX vs FreeRTOS vs Zephyr: Choosing the right open source RTOS | Witek.io | 2026 | witekio.com | [链接](https://witekio.com/blog/threadx-freertos-zephyr-rtos/) | +| 27 | How to Choose the Best RTOS for Embedded Systems | VxWorks7 | 2026 | vxworks7.com | [链接](https://www.vxworks7.com/training/how-to-choose-the-best-rtos-for-embedded-systems/) | +| 28 | LiteOS-A内核技术全解析:架构、性能与开发实践 | 鸿蒙小白龙 | 2025 | jishuzhan.net | [链接](https://jishuzhan.net/article/1981610278161809409) | + +### 产品文档/官方资料 + +| # | 标题 | 来源 | 链接 | +|---|------|------|------| +| 29 | SylixOS 大型实时操作系统文档中心 | 翼辉信息 | [链接](https://docs.acoinfo.com/sylixos/) | +| 30 | SylixOS 大型实时操作系统概述 | 人人都懂物联网 | [链接](https://getiot.tech/dictionary/sylixos/) | +| 31 | NVIDIA Jetson 平台概述 | NVIDIA | [链接](https://www.nvidia.com/en-us/autonomous-machines/) | +| 32 | Jetson Workshop GTC DC 2025 | Jetson AI Lab | [链接](https://www.jetson-ai-lab.com/workshop_gtcdc2025.html) | +| 33 | Running LLMs on Jetson Orin | jetson-containers (dusty-nv) | [链接](https://github.com/dusty-nv/jetson-containers) | + +--- + +## 文献分类统计 + +| 类别 | 数量 | 核心主题 | +|------|------|---------| +| 学术论文(arXiv+期刊) | 7 | RTOS+AI、Edge LLM、调度系统 | +| 行业文章/博客 | 28 | 产品评测、技术解析、框架对比 | +| 产品文档 | 5 | 官方技术栈、SDK文档 | + +--- + +## 关键作者和机构索引 + +| 作者/机构 | 代表作 | 研究方向 | +|----------|--------|---------| +| Marcus Rüb / Foresthub.Ai | arXiv:2606.02862 | 嵌入式Agent架构 | +| Xinming Wei / 北京大学 | arXiv:2506.24045 | Agent.xpu调度系统 | +| Hasan et al. / 西部师大 | RTOS for Edge AI (2025) | RTOS内核实证对比 | +| NVIDIA技术团队 | Jetson AI多篇 | 物理AI、边缘LLM | +| 华为技术团队 | LLM Inference Scheduling Survey | 推理调度综述 | +| 吴薇 / 杭州电子科技大学 | AI辅助工程方法 | MCU-边缘-云架构 | diff --git a/02-项目框架/03-同行研究情况调研/06-领先性分析.md b/02-项目框架/03-同行研究情况调研/06-领先性分析.md new file mode 100644 index 0000000..d2a99c9 --- /dev/null +++ b/02-项目框架/03-同行研究情况调研/06-领先性分析.md @@ -0,0 +1,200 @@ +# 06-项目领先性分析 + +## 调研时间 + +2026-09-23 + +## 概述 + +基于对40+篇文献/行业资料的系统调研,本分析从问题定义、体系设计、方法论三个维度评估本项目框架(框架1、框架2)的领先性。 + +--- + +## 一、明确领先的方向 + +### 1. 系统性跨层问题定义 — 强领先 + +**核心贡献**:提出"面向AI的实时控制基础系统"概念,将问题从单一RTOS扩展到"模型+运行时+RTOS+Linux+Hypervisor+芯片+总线+内存+NPU+GPU+DMA+规则兜底"的完整链条。 + +**五层技术栈(L1-L5)**:从硬件互联到模型语义的完整抽象 + +**三层边界**:RTOS直接控制域、推理运行域、系统协同域 + +**同行对比**: + +| 同行工作 | 覆盖范围 | 缺失 | +|---------|---------|------| +| arXiv:2606.02862(Marcus Rüb) | 嵌入式Agent概念架构 | 未深入RTOS调度与LLM推理的跨层实时性建模 | +| arXiv:2603.23640(Tummalapalli) | 移动端NPU/GPU推理性能 | 无系统级实时性分析 | +| arXiv:2506.24045(Agent.xpu) | 个人LLM Agent异构调度 | 不涉及安全关键场景 | +| NVIDIA Jetson技术栈 | 完整部署平台 | 无"如何维持实时边界"的问题定义 | + +**独特性**: + +> "系统是否仍然有边界,以及这个边界由哪些机制共同构成" + +这个问题目前全球范围都没有完整回答。 + +--- + +### 2. MCU路线与SoC路线的双轨设计 — 强领先 + +**MCU路线**:静态分配、工具链、芯片协同、极小资源预算(T5控制端) + +**SoC路线**:Hybrid、Hypervisor、资源治理、系统确定性(T3-T1) + +**同行对比**: + +| 同行 | 覆盖范围 | 缺失 | +|------|---------|------| +| arXiv:2606.02862 | 端侧Agent需毫秒级延迟 | 未区分MCU与SoC技术差异 | +| arXiv:2603.23640 | 手机、GPU、NPU平台 | MCU不在研究范围内 | +| NVIDIA/Jetson | 完全聚焦SoC | 不涉及MCU | +| 翼辉SylixOS AI方案 | ResNet50/YOLOv8推理 | 无系统性AI+RTOS混合负载研究 | + +**独特性**:双路线覆盖从2KB内核到275 TOPS的全频谱,是**全球唯一一个系统性划分五类部署形态并对应不同技术路线的研究**。 + +--- + +### 3. 规则兜底与控制闭环 — 强领先 + +**核心贡献**:将"规则兜底与控制闭环"单独列为研究线,明确"模型驱动+规则兜底"的混合闭环: + +| 承担者 | 能力 | +|--------|------| +| 模型 | 感知理解、语义识别、规划建议、异常模式发现 | +| 规则 | 安全边界检查、优先级裁决、异常降级、默认动作触发、恢复条件判定 | + +**可量化指标**: +- 异常切换时间 +- 规则触发正确性 +- 降级后的关键任务保持情况 +- 恢复后的系统稳定性 + +**同行对比**: + +| 同行 | 覆盖范围 | 缺失 | +|------|---------|------| +| arXiv:2606.02862 | 跨域治理层保障安全 | 无具体异常切换机制研究 | +| Agent.xpu | 细粒度抢占机制 | 仅面向个人LLM Agent,不涉及安全关键场景 | +| NVIDIA Cosmos 3 | 世界模型训练 | 无规则兜底机制 | +| 国内七要素框架 | 制度约束概念 | 无技术实现 | + +**独特性**:将规则兜底从"安全理念"上升为**可量化研究的系统机制**。 + +--- + +### 4. 三层指标体系 — 强领先 + +**同时要求三类指标成立**: + +| 维度 | 指标 | 同行覆盖 | +|------|------|---------| +| AI目标负载 | TTFT、TPOT、端到端响应 | arXiv:2603.23640有 | +| 关键保障负载 | deadline miss ratio、P99/P99.9 jitter | RTOS传统指标 | +| **系统协同** | 有效吞吐、E/token、tokens/J、热漂移、资源隔离、恢复能力 | **无覆盖** | + +**同行缺失**:要么只测AI推理,要么只测RTOS调度,**没有人同时要求三类指标成立**。 + +--- + +### 5. 四组对照实验设计 — 强领先 + +**对照设计**: + +| 对照组 | 含义 | 作用 | +|--------|------|------| +| O0 普通Linux | 通用系统基线 | 观察非实时平台自然行为 | +| O1 PREEMPT_RT | 实时增强Linux | 观察增强型通用OS边界 | +| O2 RTOS原生 | RTOS基础路径 | 观察RTOS底座能力 | +| O3 混合系统 | Linux+RTOS+Hypervisor | 观察整体协同路径 | + +**核心问题**(同行均未回答): +- 谁更能维持关键保障负载边界? +- 谁更能承受AI目标负载进入后的资源竞争? +- 谁更能形成可解释、可复现、可治理的整体系统秩序? + +--- + +### 6. 五类部署形态体系 — 领先 + +**T5~T1五类形态**覆盖从MCU到服务器集群全频谱: + +| 形态 | 系统角色 | 主要关注点 | +|------|---------|-----------| +| T5 控制端 | 极紧资源预算下的控制节点 | 静态分配、低功耗、极小内存 | +| T4 设备端 | 设备本体异构平台 | Linux/RTOS协同、内存与带宽隔离 | +| T3 边缘节点 | 近源推理与控制协同 | 多任务并发、热稳定性、边缘协同 | +| T2 工作站 | 单机高密本地推理 | 多卡公平性、控制侧保护 | +| T1 服务器 | 分布式协同平台 | 跨节点协同、系统边界与扩展 | + +**领先点**:NVIDIA Jetson覆盖Nano到AGX Orin,但没有形成像你们这样从"控制端"到"服务器集群"的**五类形态+技术路线对应关系**。领先在于**体系化**。 + +--- + +## 二、尚需补强的领域 + +### 7. 实验验证与实证数据 — 需补强 + +**现状**:框架非常完整,但仍是理论框架,尚未有实证数据。 + +**同行已做**: +- arXiv:2603.23640:实证但仅测性能 +- RTOS for Edge AI (2025):实证但仅测RTOS内核 +- arXiv:2606.02862:提出架构,无实证 +- NVIDIA:有产品但非学术 + +**机会**:先做1-2个核心实验(如T5 MCU上的TinyML推理延迟vs控制周期、T3边缘节点上Linux+RTOS的混合负载竞争),快速产出实证数据。 + +--- + +### 8. 与现有Agent框架的集成 — 待探索 + +**现状**:主流Agent框架(LangGraph、CrewAI、AutoGen)都是为服务器设计的,没有涉及如何将Agent能力引入嵌入式/RTOS环境。 + +**机会**:如果能在RTOS环境中运行轻量级Agent(规则引擎+SLM),将是开创性工作。 + +--- + +## 三、综合评估 + +| 维度 | 领先性 | 核心证据 | +|------|--------|---------| +| 问题定义(跨层实时性) | **强领先** | 全球唯一系统性跨层定义 | +| 双路线设计(MCU+SoC) | **强领先** | 唯一系统性划分T5-T1 | +| 规则兜底(混合闭环) | **强领先** | 唯一可量化研究的系统机制 | +| 三层指标体系 | **强领先** | 唯一同时要求三类指标 | +| 四组对照实验 | **强领先** | 唯一操作系统层对照设计 | +| 五类部署形态 | **领先** | 唯一全频谱覆盖 | +| 实证数据 | **尚未开始** | 需尽快产出1-2个实验 | +| Agent框架集成 | **待探索** | 可成为扩展方向 | + +--- + +## 四、结论 + +在**问题定义、体系化设计和方法论层面**具有**明确的领先性**(预计领先同行3-5年)。核心优势是: + +1. **不是单纯研究RTOS,也不是单纯研究LLM,而是系统性地研究"AI+RTOS"的交叉问题** +2. **不是单一视角,而是五层技术栈+三层边界+两条路线+四组对照的完整框架** +3. **不是空谈概念,而是有明确的实验验证路径** + +--- + +## 五、主要风险 + +**如果长期停留在理论框架层面,领先性会被实际产出拉平。** + +建议优先产出1-2个核心实验数据,将理论框架落地为实证成果。 + +--- + +## 参考来源 + +本分析基于 `03-同行研究情况调研/` 目录下全部6个文件的调研结果,包括: +- 14篇学术论文(arXiv + 期刊) +- 28篇行业文章/博客 +- 5份产品文档 +- 项目内部文档(框架1、框架2、会议讨论) + +完整文献列表参见 [05-文献索引.md](file:///home/eaiadmin/eaifiles/codebase/pj0321-rtos_llm_opt/02-项目框架/03-同行研究情况调研/05-文献索引.md) diff --git a/02-项目框架/README.md b/02-项目框架/README.md new file mode 100644 index 0000000..4ed7655 --- /dev/null +++ b/02-项目框架/README.md @@ -0,0 +1,21 @@ +# 项目框架索引 + +本目录用于并行维护不同版本的课题框架,便于围绕同一批会议材料、研究判断和合作设想反复比较、修改与优选。 + +## 当前候选框架 + +1. [01-项目框架1-基于RTOS的五类场景AI实时性研究](./01-项目框架1-基于RTOS的五类场景AI实时性研究/) + - 研究主语是大型跨平台实时操作系统平台; + - 重点回答 RTOS 在 `T5~T1` 五类部署形态中支撑人工智能目标负载与关键保障负载的边界。 + +2. [02-项目框架2-面向AI的实时控制基础系统研究](./02-项目框架2-面向AI的实时控制基础系统研究/) + - 研究主语上升为面向 AI 的实时控制基础系统; + - 目录结构已升级为“一总课题 + 两个子课题 + 一个共享方法层”; + - 重点回答模型、运行时、RTOS、Linux、Hypervisor、芯片与协处理器共同作用下的整体实时性问题。 + +## 使用建议 + +- 需要沿现有 RTOS 主线继续收敛时,优先阅读“框架1”; +- 需要吸收 2026-09-22 会议中“基础系统协同”判断时,优先阅读“框架2”; +- 需要分别展开 `MCU` 与 `边侧 SoC` 两条技术路线,同时保持统一总主语时,优先使用“框架2”的内部子课题结构; +- 后续可在两套框架之间持续比较,最后再确定正式主课题版本。