Align the repository with the new collaboration workflow by separating meeting records from project framework materials, so discussion outputs and formal research assets can evolve independently.
216 KiB
20260922_093448 唐老师与罗教授团队会议全文
2026年9月22日 下午 3:20 5小时 26分钟 45秒
关键词
硬件 智能 语料 服务器 软件 实时 架构 产品 界面 操作系统 嵌入式系统 基础系统 模型优化 人工智能 模型训练 商业模式 系统架构 模型框架
文字记录
唐老师 00:00 期的板块的分析。然后说这个也有一些机会嘛,结果没想到就一做就做到了差不多十来年的时间,主要的时间放在这个投资融资上面去了。就在花旗。花旗是后面。
罗蕾教授 00:14 它专门有一个投资部嘛。
唐老师 00:16 它是下面的所罗门史密斯巴尼,所罗门银行,投行。投行。对,花旗是商行,花旗是总体来讲它是个商业银行,他们下面的投行叫所罗门,所罗门史密斯巴尼。然后呢,对,做美国,对,做投行,做投资,做了整整就七年的时间。到09。是很好的时代。是是是,那时候我跟像中信啊,像这个中金啊,他们的一些高层都有很多的交流,他们经常到美国去学习嘛,我跟他们做一些报告,所以那个时候就有很多个城市的投资官呐,包括住住户办代表啊,还有甚至国外的这些领馆的,都交流。
唐老师 00:59 后来我大概 10 年的时候吧,我 10 年的时候就回国来做一个这个券商,香港证券公司在大陆的首席代表。但是我整条线都是做科技投资的,都是这条线,科技企业上市。后面到 14 年的话呢,做重庆产业引导基金和杭州市基金的头尾,一边也是,也都是科技条线的,还有常州人农村英才基金评委,到一直到 23 年, 2023 年科技上,就重庆科风投和重庆产业引导基金做重组,他们的一些资产合并到渝富集团去。然后呢,我渝富的领导没那么熟,哈哈。我就跟他们讲,我说我就不做了,我就回到。跟学校去多做一些合作,所以现在是跟上海交大 X 实验室,我们在计算机软件学院那边的 X 实验室,我在跟他们联合在做一个相当于这个是一个三产的公司。这是一个三产的公司,就是。
罗蕾教授 02:06 是上交大自己的公司。
唐老师 02:08 其实是老师的。老师的公司。老师的公司。
罗蕾教授 02:11 上交大的一个教授的公司。
唐老师 02:13 对对对。
罗蕾教授 02:14 主要做什么呢?做投资吗?
唐老师 02:15 我们没有,这个就不是投资了,就是就是大模型优化。
罗蕾教授 02:18 就做产业优化。
唐老师 02:19 纯技术型的。纯技术了。对对,我们现在是,其实我我本身学的就是就是神经网络。
罗蕾教授 02:25 这家公司叫什么?
唐老师 02:27 叫博通博通致远软件。博通致远。对,博通致远,对对。
罗蕾教授 02:32 主要是做 AI 的。
唐老师 02:34 做AI,我们主要做大模型优化。
罗蕾教授 02:36 大模型优化。
唐老师 02:37 对对,做大模型的算子优化为主的。对。然后,对对,算子优化当中的话呢,涉及到这次我给你们看。
罗蕾教授 02:46 计算机还是很活跃的。
唐老师 02:48 嗯,非常活跃,就是他们那边几个老师呢,本来本来想给我安排一个教职这类的,后来我说这个事情。太累了。有没有意义哈?就是大家可能商量完了过后还觉得,因为他们很多想法和做法呢,还有包括人手也比较充沛。对。还不如就是让我来直接帮他们把这个算法变成这个一个可以实施的东西。对。
唐老师 03:11 刚好那个又工信部呢,去年的 10 月份,又找我去,我给他们很早就讲过课,工信部就是万寿路那边那个,中小企业中心,他们不是搞那个,每一年,就小巨人,小巨人的和那个专精特新,都是他们那边评的嘛。我之前的话呢,通过清华大学的商学院,给他们的学员讲过课。后来去年 10 月份,他们搞新的一个班,叫小巨人班,做了一个先进制造商学院。就是工信部现在的。
罗蕾教授 03:48 这个商学院谁搞的呀?
唐老师 03:50 就是中小中心。
罗蕾教授 03:51 他们自己搞的商学院。对。
唐老师 03:53 哎,他们还挺。对对对对对,还真是,对。但他这个商学院有一点跟别人还不太一样,他他其实更多像一个小巨人的一种培训基地的感觉。智能制造哈。对,智能制造,全是智能制造企业。他下面的话呢,先进制造商学院开了两种班,一种是总裁班,一种是就是上市预备班。就是上次预备班的第一期开班的时候,他们几个老师找我聊,然后就觉得可能我的经验阅历跟他们是最匹配的。就是技术背景完全覆盖的到他们几乎大部分的企业,半导体为主嘛。
唐老师 04:31 他们这一轮想以半导体、AI、软件,还有智能升级为主,就是工厂里面的就是从简单的原来的那种第一代的早期机器人。对。升级成工业机器人,闭环闭环的工业机器人呢。还有本地算力仓啊,还有这个,现在是系统里面的话增加 AI 啊这些,他这一块都都是涉及到。现在的今天的商学院的学术主任的话呢,就是罗伟光,罗老师。对罗伟光,对,就罗老师他是做学术主任的,然后我还有另外几个老师,其实包括了一个徐明,就是。原来北交所的总经理。
罗蕾教授 05:15 都在里头。
唐老师 05:16 嗯,北交所总经理是。太高大上了。是讲讲课老师跟我一样。
罗蕾教授 05:21 北京是不一样。
唐老师 05:22 对,他就号召力就就比较低。对,北交所总经理直接请来当老讲授课老师。太高大上了。是不是?所以就是这么一个背景,我觉得也挺好,后来我就没有去正式的去申请那个交大的教职,我就直接以这个对。对,对,先,对对对。
罗蕾教授 05:50 相当于自己就更加自由一点。
唐老师 05:53 对对,就自由一点,然后他们,因为商学院,交大商学院,那个工信部的先进商学院也经常要找我去讲课。对。所以这样不然他们就会比较麻烦,他们说如果这样每次去借调的话,还要走手续,所以干脆就说反正他们老师们几个商学院本来就经常请我们,就干脆就先以这个先这样合作起来先再说,明年再看吧。所以今年的话呢,就是我们这个博通致远的话呢,就是。现在的我这个能投影的话,我给你们看一下啊。
罗蕾教授 06:28 这个现在行不行?
萧炫百 06:29 是有。
唐老师 06:31 没开。
罗蕾教授 06:31 应该是要用这个,可能要用这个。你问一下那个谁。这个投影,这个是不是要用这个?这个怎么用?我看看。
唐老师 06:48 用这个吧。投影仪坏了是吧?你帮我开一下,谢谢。
唐老师 07:08 他们,其实我现在都还在重庆科风投他们那个基金里头,我还认投委的。大概一两个月还得去一趟,给他们报告,对对。重庆的还有一个杭州的一个杭州实业集团的一个基金也是,我等一下,认他,因为他们的周期都比较长。但弄完了过后的话,两三年弄完了过后,可能我会跟另外的政府机构或者是基金的,我们再合作一个新的。
唐老师 07:49 帮我切到切一个信号,罗老师的在学生当中的声誉和行业地位。非常的受受大家尊重的这个。昨天我我跟,昨天我还去副总那边了,昨天我还去赴宴那边了,对。
罗蕾教授 08:23 他昨天晚上不是到北京去了哈。
唐老师 08:25 是是是,昨天中午的时候,他跟我在又多聊了一会。然后呢,他们陈燕,陈仁斌教授的话,他们在搞那个垂直大模型训练嘛。对。然后我们就有一点简单的交流,就大概也说了一下,垂直大模型训练当中的一些问题。所以我想的话呢,今天两三个维度吧。主要其实跟您报告。就我现在的时间精力主要是还是在大模型上面的。就像嵌入式系统和实时操作系统,那肯定都是只是学生级的哈,哈哈,您是老师,所以就来稍微讲一下,讲一下我们现在的想法和计划,看看您怎么指导一下这个事儿。一辉他们那边也很期待这个事儿。一辉信息呢,他们在国内算是算嵌入式和实时算做的比较有点,成果了。对。但是他他也有他的局限性。他们董事长的话呢,等一下跟您专门讲一下这个事儿,他们董事长。
唐老师 09:31 能不能给他做一些概念和技术栈的扩展?所以我给罗老师报告了一下,说他们确实有这个想法,也在他们的首席科,首席也在跟我一起想这个思路。我先说一下博生汇源的事,公司名字叫博生智远,我们现在的商标叫做博生汇源。其实是有交大和一个副院长,还有一个是电,还有一个是那个。上海理工大学,上海理工大学光学院的高院长。这也是一个原因,为什么就,就是实际上是有两个教授,两个院长在里头,但是他们都在一个项目里面,本来他都是在合作的。所以大家一碰,哎,结果发现还挺好的。对。
唐老师 10:18 大家都想有有一个校外的哈,咱们就当自己人说话了,就说的直白一点,就都想有个校外的能够转化产品的一个小的团队吧,然后刚好就适合我来弄这个事情,然后我又能做一些研究,所以大家就还是比较。觉得就比较顺,就推起来了。我们这个其实也搞了两年的时间了,从 24 年初开始到现在,我们总共做了大概 6 套架构。是因为我们面向横向课题的时候写的,但是稍微更聚焦具体一点,就我就先拿这个说一下。哎,他为什么有一个?哎,这个线不是特别稳啊。那反正先看吧。里面呢,我们做了这些其实都是比较。比较。
罗蕾教授 11:16 这个线还是换一个线,是这个线吗?
唐老师 11:19 我换一个试试看。
罗蕾教授 11:20 哎,这个线。
唐老师 11:21 也是也是。
罗蕾教授 11:22 对对对,是他那根线有问题。
唐老师 11:24 我觉得这根线好像有点问题,对,我换一个那个,对。这个也是插上的,那我换一个口试一下。谢谢。上海交大的人工智能,人工智能领域里面,现在它有三个部门在承担,一个是 AI 中心,一个是软件学院的 X 实验室。我们就这条线上面,我们就跟 X- Lance 实验室,对,这个更稳定,就合作比较多。好,那我这个就简单说一下这里哈,后面还有一些技术课题的信息。这个呢就是,哦,可能都,可能是兼容性的问题,可能不一定是这个,就将就看吧。好,这个是我们的几套架构,这个主要是做里面的话呢,像时序预测的呀,都是数据融合啊, LM 行为架构啊,我的老天爷,这怎么会这样呢?
萧炫百 12:35 我我没有带。
唐老师 12:41 这就奇了怪了,他这为什么老是这个?是分辨率的问题。有可能是分辨率的问题,两位老师不用动了吧,我就自己调一下,我看看他是不是这个分辨率。对,有可能是这个,我还没遇到过这种情况,但是。哦,可能刷新率的问题,我这个刷新率现在写的是300,看你把这个刷新率调到60,看能不能让它兼容性高一点。
唐老师 13:16 哎,对,这回应该可能差不多了。哎,对,好像就是分辨率。哎,也不对。哎,看看他们有没有别的电脑什么的。就这个,当。
唐老师 13:52 如果有那种转换口的话,可能会不会好一点?
唐老师 14:21 就我们前面的话呢,做了很多的项目,就是比较具体的实施的。还是。中间时不时会闪,就这个情况。不好意思,耽误大家了。
萧炫百 14:35 哦,他是,我试试坐过来,坐过来行不行?
唐老师 14:45 对对对。
萧炫百 14:53 哎,稍等,我看看够得到吗?直接插HDMI。
唐老师 15:21 我要换一个就是输入源。
唐老师 15:43 几号园?你看一下你的是几号园?二。你就要看到二吗?
萧炫百 16:08 对,可以,你要不发给我?
唐老师 16:10 好的,您的,我看一下,我跟您加微信。
唐老师 16:22 这个接接口会稳定一点,是吧?
萧炫百 16:24 好像好像还可以,我把鼠标拿过来。
唐老师 16:27 好的,谢谢。可以。好的。
萧炫百 16:52 加进去。
唐老师 16:53 好的,明白。
萧炫百 17:15 好像不能抖,稍微抖一下就会。
唐老师 17:19 它这个机器设置有问题啊。
萧炫百 17:21 感觉是有一点。
唐老师 18:02 再试试。好,谢谢谢谢。好。
唐老师 18:18 啊,谢谢谢谢谢谢。
唐老师 19:00 我们商商学院最近的一些讲课的东西,我发给你看一下。
萧炫百 19:28 主要是管理方面的。
唐老师 19:30 对,就是,这个是先进制造商学院,他们那个是讲管理课程和上市课程为主。对,我再,对,我们,我这条线我可以稳定。
萧炫百 19:45 哦哦,你这条线可以稳定。
唐老师 19:46 对,这条线我可以稳定,我们先。那好。先先稳一会试一下,看看不要让再耽误那个罗老师时间了,对,这样的话可以,诶,那行,那这样就可以那个。可以是吧?对对,这样就可以那个,就还还电脑还给你了。对。这样就不用耽误你的时间了,对,这个终于找到一个解决手段了,可以了。不容易。
唐老师 21:04 换了一条线。
罗蕾教授 21:06 总算对了。
唐老师 21:07 搞好了搞好了。
罗蕾教授 21:12 是线的问题哈。
唐老师 21:13 对,换了一种线,换了一种那个 type c 的线放过来。哦好。这个就是先进制造商学院的娄老师和他们的,这个是工信部的同事,这个是一个做那个半导体的企业,它是叫纳川智能。这个是,这就是他们的下面的。先进制造,先进制造领先融资对,训练营,就这样的一个,这就工信部自己办的。挺难得。对,然后呢刚才说的我再简单一分钟说一下吧。就是这个比较简单,这其实是一个有点相当于商业软件公司,有一点,但是我们当时定下来的计划就是基本上不做商业化的软件交付为主,是以这个 AI 驱动的才做, AI 驱动的。像这个就是亿德这个企业哈,也跟肖老师讲一下这个,这个是我们的一个近期的交付的一个重点。这个企业的话呢,它是做手术显微镜的企业,手术显微镜中国国内整个还没有实现就是 AI 导航。
唐老师 22:20 手术的导航,就是在手术过程当中,这样让医生在术野里头可以直接看得到对眼球的一个诊断,包括散光的偏斜角度,还有也包括一些风险点,这个医生在,所以我们现在用的,当然这是一个比较,其实是相相对传统的一个技术解决方案了,就是一个图像标注的解决方案,这个方案呢不算很特别先进。但他从学术上来讲的话,有一点价值会在于说,医学上面的要标注,用于手术的,全国的案例是很少。就是尤其是在手术里面,医学里面做诊断,图像诊断的项目是比较多一点的。这个应该是我们全国最多是第二个项目吧,前面复旦大学有一个项目,我们这个是跟上海交,上海交大,上海第一人民医院。那个上海理工大,我们几个一起做,这个项目就是我直接在带团队实施。
罗蕾教授 23:25 这个相当于是要主要以素材为主,还是以?
唐老师 23:30 直接给你看,是素材加。嗯,我直接给你看,这个。
罗蕾教授 23:44 就是帮他去。
唐老师 23:50 就是这个手术。
罗蕾教授 23:52 手术显显微镜系统哈。
唐老师 23:54 对手术显微镜的这个 AI 辅助导航系统。 AI 辅助导航。就是现在蔡司莱卡这些他们都有三维导航了。就在手术过程当中的话呢,他医生可以看得到视野里头,直接用这个 AI 提示他该哪一些位置是风险点,哪些位置是该怎么做。像植入晶状体的时候的话呢,他那个晶状体有一个角度的问题。就晶状体角植入的角度,如果不正的话呢,他这个散光就纠正不了。所以这个就涉及到一个晶状体进去过后角度对不对?他如果。没有这个 AI 在视野里面去提示的话,就要靠医生自己拿一个尺子去量,就显得很笨拙。所以这是蔡司的一款,非常重要的一款那个产品。我们做的事情其实也简单哈,其实是这样的一个原生的一个手术显微镜,我们在旁边的话呢增加一条副屏,增加一块副屏副屏幕,就是不影响它的原来的主要的显示,增加块副屏幕,把这个就是对于眼球的分析。投影到叠加到画面上去。叠加了过后的话。
罗蕾教授 25:08 相当于数据还是用它采集来的。
唐老师 25:10 没错。
罗蕾教授 25:11 然后你主要是做一些,再做 AI 的一些分析哈。
唐老师 25:14 对对对, AI 分析, AI 分析。
罗蕾教授 25:16 然后再叠加上去。
唐老师 25:17 叠加上去了过后的话呢,医生他就可以看得到我这个晶状体进去的角度对不对?然后是要再转个方向,还是转个角度啊什么的。对。这样的话呢,他就不用手再拿个尺子在病人的眼睛上去比划了。这些就是用采。图像采集,边缘推理,的话呢,再用一个医药医疗的复评。总共一套系统的话呢,其实对于他们的成本增加是很小的,就是几万块钱,但是对于他的整个的卖价的增加就很夸张了,估计能够多卖 50 到 100 万块钱。
罗蕾教授 26:01 他是跟那个就相当于跟他做,卖这套系统的人合作。
唐老师 26:08 对对对,厂家。就跟厂家。我们是直接帮厂家做的。就这个就叫伊德这家公司,他是。中国,益德这家公司。哦,益德哈。这个益,这个厂家就叫益德,它整个做手术显微镜。然后呢,手术显微镜它一年的话呢,手眼科和外科的话,它大概一年卖 2000 台,一年 2000 台。
罗蕾教授 26:30 这个都是已经是,都是中国自己。
唐老师 26:33 它已经很多年了,它是中国目前在手术显微镜里面最大的公司。它其实比较适合嵌入式系统的。这个但是这一次我们用的是一个比较,就是不是很小体积的东西,主要是因为在第一代,我们想的话呢,这个。还不太适合把它马上做小的集成,我们现在第一代先先做的比较大,就是在外挂的这个东西,但是他们肯定是要往里面收的。就是他,就现在等于说我们在电脑,在显显微镜边上要放个主机嘛。放了一台一坨比较大的主机,一个他从他这个显微镜的这个视觉链路里面的话,有一条线。 4K 线引出来, HD 米的 HD 的信号。然后我进我的这台主机过后,推理完了过后再输入到一块副屏上去。
唐老师 27:24 我连他的主屏都没动,但是明年哈,就是反正这也是先预预报一下,就是明年是肯定要往这个主机里头收缩进去的,这个 AI 功能它没有必要完全掉一大坨在外头,它它完全可以收进去,然后的话呢,这样可能就要换成一个嵌入式系统来做相当一部分工作了。对。对对,所以这也是回头可能也需要您指导的一个点,对,这是一个。但我们今年呢,就是这会儿的时间的一个重心还不是完全在这个导航系统上,是在标注上面的。就是因为他现在全。
唐老师 28:00 世界都没有多少,全世界是没有公开数据库的,没有这个,对,没有公开的数据集和这个权重集的,就是关于眼科手术和外科手术的,因为这个东西它有高度的敏感性,对,而且每家医院也是当自己的宝贝来,就跟其他的行业是差别比较大,所以这一块呢就是发文章就会比较容易发一些,因为它独特性好,高很多,它的那个,现在上海第人民医院的话呢,下个月。想我们给他做一些 AI 推理方面的医学应用的一种探索的一些文章主题,帮他做做建议。这样他就可以去做这个。
唐老师 28:42 对,这是一个我们,现在在这方面,所以我们现在总的来讲就是博生智远,博生会员的话呢,我们是一定只做 AI 相关的东西。就是这前面的有一点,前面有一点这种商业交付呢,更多还是一种尝试吧,就是或者是一种研究性的,或者是有一点背后有关联的,我们才做的。哦,是第二个是吧?对。
唐老师 29:17 哦,这是,这台机器乐视,比较早。比较早的。对,那么就是这从几个角度来,都是围绕 AI 的应用的角度,像这个是 AI 的数据挖掘,这个其实是给。宝钢做的,只是他们要求我们不要把宝钢的名字写在上面,这是他二级供应商来做的一个项目,这是他二级供应商来做的一个项目,这个是宝钢差不多有 500 万米的管道的一个系统,就是整个宝钢的 500 万米的。反正今天这个就是有这个机会专门来讲一下,报告一下,我就也给您看一下吧,这样的话就很快速看一下,对,这样一个,这个是宝钢的一,这个只是一个小的数据集,是宝钢的一部分数据,这个,这里面的话呢,它的管道,每一个管道是运行情况,就是煤气管道,钢铁厂里面的煤气管道。然后这样的话呢,就对于这个管道的话呢,它好进行追踪。
唐老师 30:30 这个本身表面看是一个比较标准的 mis 系统, MS 系统或者是 mis 系统,但是它其实背后是比较重要的一些预测,它预测这个就是管道什么时候坏。它要预测,所以有一点小,就是一些模型应用在里头。对,有点小的推理模型应用在这里面,每根管道大概的一个状态,这种。就是类似于数据挖掘型的,也是我们有时候会做一下,嗯,不同的团队。
唐老师 31:01 刚才看给您看到的这个是我们的一个图像组,就是视觉图像组嘛,前面那个是数据挖掘小组的,这个是图像组的,这是一个主要的。另外还有一个我们有时候也帮一些企业做了一些靶点挖掘的,这都类似于就是叫做各种的非常大的各种数据源。国内有一个公司叫晶泰科技,它的第一代的模型也是我们帮他设计的,数据模型。数据模型。对,数据模型是我们帮他设计的晶泰科技的做药物的靶点发现的这个。这台机器太老了。太老了。乐视。
罗蕾教授 31:42 太老了。
唐老师 31:45 估计是 17 年的时候的,17、17、 18 年的,就比较那个,没事,我们就尽量先不耽误您的时间了。
罗蕾教授 31:53 对。
唐老师 31:53 好,我就,这个是我们那个一些以前和正在做的一些交付的东西啊,但是我们的真正的研究哈,这个现在。特别最近花时间比较多的是在这个方向上。
唐老师 32:12 他的那个就是菜单老是要自动打开,这个电视机的问题,这就不是我们的问题。
唐老师 32:32 对对对。
唐老师 32:46 那要不然这样吧,我干脆坐到你们边上来。对对。这样的话我就不太那个,不,不然他这个老是干扰我们说话。对。对,我就坐过来。靠拢一点。这时间本来大家也很宝贵,我就不再讲究形式了啊。这个是这样的,辛苦罗老师看一下他这个小屏幕。是这样子的,我们现在有一部分的工作可以在这个画面里,都可以看得到。这个是我们现在刚刚完成的一个很小的项目,大概只花了几周吧,我们在实验室里面的话,我们陆陆续续的在包括。我们自己买一些服务器,也还有包括用学校的一些,再加上跟昨天跟成都计算中心,我们也基本谈好了,他们提供就是服务器给我们,去做服务器的上面的大模型的配置的测试和优化。
唐老师 33:48 就拿这一台服务器来讲,它这样的一个东西,就是这台服务器呢,它的硬件在这里。这是它的硬件状态,它是,四块 V100 显卡。四卡,总计 128G 显存,驱动是5.80。版本啊,这个 CUDA 的 13 版。这是它的。这个这个界面还不是太优化,只是能看到东西而已。
唐老师 34:17 现在正在运行的是千问 3.6 的35B, 3B 的模型。 API 接入的话呢,是。这一些信息。这台机器现在正在跑的模型是 35B 的 A3B 的这种 FP 8 量化。这里面整个四台显卡的运行状态。现在这会没有人在用,是昨天我们重新又换了一些资料,然后你可以看得到这里就是整个运行的起来过后,这是实时状态。因为现在这会没人用,其实这个是电费消耗,空载满载等等,还有包括它产生的 token 的。价值。就是这个是设计为,给算力中心也好,给自己要部署算力的单位也好,他可以直接看得到,经济效益都可以看得出来。就是产生了多少个Token,比如说 12 次调用,产生了输出了1800、 1400 多个Token。我们待会稍微跑一下就,就会有更多的。这个界面的话,它是做模型切换,就一键就可以换过去。就这里可以开并发,可以开 2 路、 4 路、 6 路、 8 路,然后每一路的上下文。这个上下文长度的话呢,这个对它的影响都很大。然后我就直接切换一下,啊,我这个可以切一下。那你可以做一些算调度。对对对。
罗蕾教授 35:45 就是。
唐老师 35:46 配置和。
罗蕾教授 35:47 调度然后。优化。
唐老师 35:48 优化。算子优化。
罗蕾教授 35:49 算子优化可以直接给它产生效益的。
唐老师 35:52 对对,完全直接看得到的。就是算子开与不开,有和没有。对。哪种量化,完全直接可以看出结果来。
罗蕾教授 35:59 这块现在确实蛮蛮需要的。哎,正好我看罗静在吧,她。
唐老师 36:08 哦,用那个吧。
萧炫百 36:14 你这个并发指的是啥?谁有多少人可以并发用这个模式?
唐老师 36:18 对对对,就是并发,并发这个就是这个意思,对,并发就是这个意思。他们的这里,你看哈,他这里就是,就是整个就是说我们当然这个是个比较粗糙的原型哈。但我们已经完全,其实我们团队早就实现了,只是没有把它功能拼拢,就是我们现在可以对于一个服务器,或者一组服务器,其实一组跟一台其实是。本身算一回事。
唐老师 36:45 这一组一个。大的算力中心也好,一个小的机房也好,它的每一台服务器的运行状态,它的模型启动到什么阶段,它的硬件占用,它的配置参数,容器采用哪一种的,这里上下文并发数,我们给它可以全面的进行控制和和测试它的运行效果。这个是在这个界面能看得到的,这个界面现在正在换启动的正在进行状态嘛,就是载入的状态。就是它这里面分成大概 9 个步骤去启动一个大模型。然后每一个步骤到哪里了,这样的,就是整个系统状态的是很清晰记录的啊。然后呢这个,看一下这里的对比,这个地方的话呢,就等于我们把这台服务器上面,我们通过一个 NAS 系统,我们把市面上的现在的主流的能够自己部署的系统全部模型全部都有下载好,然后我们就一个个的去试。
萧炫百 37:48 那个 ECAT 是啥意思?
唐老师 37:51 因为。这个是 V O L L M 运行框架的一个社区定制版。
萧炫百 37:56 V,这个是,这个是一个定制版。
唐老师 37:58 是一个团队。现在是一个长沙的团队跟我们在配合做。我们拿他的这个。
萧炫百 38:04 哦,就相当于他定制的这个V。
唐老师 38:05 对,他拿里面改了大概三个算子。对,我们本来有有打算想自己写这一个版本,但是后来他们发现他们已经先做了,也发布出来了,我们就拿他来先用一下。他主要是针对这个地方,就是针对这个 V100 这个显卡。 V100 的话呢,这个卡是架构稍微早一点,是 volta 架构的。所以里面有一个算子,就是那个 fast attention。 flash attention 那个算子的话,它现在的。科大官方版启动不了,在这个硬件上面。
萧炫百 38:37 哎, Flash Tensor 不是说现在不咋用了吗?还还。
唐老师 38:42 我我看到的,反正至少我我不太清楚 B300 的情况,但是至少H200、H100、 A100 还有这个,都是必须要开才能速度上的去的。好,然后我给您看一下运行的比较,这个就是运行出来的结果比较是这样子的,你看这个,同一个模型哈,你看这里就效果就出来了,这个 FP8 的。这个都是不同的你看它的速度对比,就在这个地方,这是解码速度,这是解码速度,的话呢,用同一个框架,同一套硬件,同一个框架,同一个模型,但是不同的量化,量化。开不同的算子,那输出来的速度变化非常的大,差距能到 50 token 到 130 个 token 每秒中间,可以可以差距这么大。所以这样的话呢,就等于他们战略中心也好,机房管理也好,他组团队的时候也好,他就可以有很好的一个参照了。你看这里的90、79。
唐老师 39:50 后面的还有一些,还有甚至还有到五十几的都有,你看都有波动,都有波动,不同的参数,你看到五十几的都有,就没优化好的时候,现在基本上我们现在做出来的结果就是我们跟几个团队,这些团队都能够优化一倍以上。平均都是一倍,就是官方版的出来,装上去,平均是优化过后至少提高一倍。那你们商业模式是什么?是卖软件还是要跟。做优化,我们现在第一个商业模式是做优化。
罗蕾教授 40:25 优化是。如果跟他。
唐老师 40:26 就是模型,选模型,对。选框架,选量化,选参数。
罗蕾教授 40:32 优化,你怎么挣他这个钱呢?
唐老师 40:36 那现在是目前,目前是先做一些咨询费,哦,服务费形式的和联合课题。
罗蕾教授 40:41 那实际上还是一个项目的方式。
唐老师 40:44 偏目前还是这样,到后面会有一个新的做法,我我先说一下那个,这个项目呢,这个成都计算中心这里的话呢,大概率想用这个项目来申报科技厅最近的项目。
罗蕾教授 40:57 哦,蛮好。
唐老师 40:57 对,他就是以这个模型优化和运行的效果的。我在,我后面还有。
罗蕾教授 41:03 用你这个成果来做。
唐老师 41:05 对对对。解析你项目。对对对。
罗蕾教授 41:07 然后再把,再给你一些经费。
唐老师 41:10 是是,目前目前是第一步,现在在做这个。然后第二步的话呢,就是我们可能会做一个中国版的Happiness。就是中国版的社区的大环境的一个集中交流社区。
罗蕾教授 41:24 边缘社区,边缘社区你要去做啊。
唐老师 41:25 对对对。
罗蕾教授 41:26 这个这个还是投入。
唐老师 41:29 但是但是我们不打算。
罗蕾教授 41:31 你是完全市场化做,还是?就我们做。还是国家要支持你?
唐老师 41:35 就我们做了过后,现在成都计算中心他们也有这个想法,他说看这个项目,就是我们社区这个,就模型社区这个的话,是不是可以报到成都的 AI for science 里面去?跟那个关联,就是然后这里头,但是我们如果做那个大模型社区的话,我们不打算做成跟他们一模一样的重量级的我们想做的是本地化模型。嵌入式模型,端侧的,专业的,工具化的模型。
罗蕾教授 42:07 不做那种。
唐老师 42:08 不是万亿级参数的。
罗蕾教授 42:09 万亿级参数,不做那种,就是云上的哈。
唐老师 42:13 对对,我主要不做那个方向,可以带一点。对。但是的话呢,重点是工具模型,专业模型、垂直模型、本地化模型。我们把他们的每一种的配置,你你可以看得到,这里面他的这种,我们这个基础已经有了嘛,就是我们能够,你看一下最后的话,我可以推荐最佳性能前 20 种配置,那从模型框架量化,其实还可以包括硬件,还可以包括硬件的这个。对对,所以选型建议里面就会出现这个。对。就是这里面就会有不同的硬件结构。对。就会有这样子的一个选择,你用什么样的。
罗蕾教授 42:51 你再把端放进去。
唐老师 42:53 对对对对,端侧的这些放进去,所以是这样的一种,这是一个目前的一个方面,对,对,这里有一个测试报告图给你看一下。就这份测试的话呢,目前在国内市场上来讲的话呢,应该是比较少的一个。这是完整的一个。各种测试。
罗蕾教授 43:16 那谁,其他有有几家公司好像也在做这个事。那个什么汪玉,那个什么,无问西东,是吧?
唐老师 43:24 嗯,对,他们大概率也会有一点,就是自己在开发模型的人的话,他也大,大概率会做一点。
罗蕾教授 43:30 会做一点,有一些啊。
唐老师 43:30 但是他,但是他有个身份的问题,就因为从我们来讲的话呢,我们现在并没有主力在开发模型,或者是我们有这个能力训练一些模型,但是我们并没有把这个,就是叫训练一款模型,并且推广这个模型作为我的唯一主业,所以我们是一个第三方,那现在那个成都智算中心,他有一个非常强烈的需求,就是他需要有人来帮他证明这个,就是。生成 910 的运行效果。
罗蕾教授 43:58 对, 910 现在用不起。
唐老师 44:00 贵。对,就是他在这一块的话呢,他大概就如果有我们有这些运行的测试报告给到他们,他们就比较方便去给到那个,就是这些客户去看,对他就比较方便。
罗蕾教授 44:14 910 上那些模型到底怎么样啊?
唐老师 44:16 嗯,对对对,就是每个模型跑出来的效果如何,哪些是算子有问题,哪些是纯粹硬件能力限制。对。他就可以很清晰的去跟那个客户去讲了,他们都已经投了那么多钱,而且几个,其实不止他一家,好多家都有这个问题,就是电信的机房。电信在雅安水电站的机房也有这个问题,他们也是说不清楚这个运行效果会如何。所以就变成我们。对,这是一个方面哈,就是还有第二个方面是关于实时操作系统的那种方向的,在。
唐老师 45:01 没有没有,没什么事。对,然后这是一个关于当模型弦的研究的一个方面,另外一个是,只是嵌入式系统的,那个是我今天这边主要跟您要说一下,对,抱歉,这个前面耽误了一会儿啊。好,那个就是嵌入式的是这样子的,就是实时操作系统那一块呢,它是,因为一辉,最开始我是跟一辉他们在聊,然后一辉聊了过后呢,他们就是他们那个总。工的话呢,写了一个简单的报告。我现在再把它推展到有这样的一个初步的一个框架。
唐老师 46:22 所以大概是这样子的,给您特别报告一下这个。这个里面呢,我这个用词也未必是准确的哈,这个就是给您报告一下。大型跨平台实时操作系统支撑任务关键系统当中的人工智能目标负载的整体框研究框架。在人工智能目标负载进入这个关键系统过后,它的大型的跨平台实时操作系统,我这个词呢,是来自于一辉他自己的一个表达。这个跟。嵌入式系统的表达其实有点区别,这个是。
罗蕾教授 46:57 来看一下这个。
唐老师 46:58 诶,好好,肖老师,肖老师,对,就是。
罗蕾教授 47:02 大型的跨平台。
唐老师 47:03 这是他自己给他自己定义。
罗蕾教授 47:05 这个好像我们现在都很少这样说。
唐老师 47:07 对对对,这只是他,因为是他,他们,因为这个我我这个呢也可能有点外行哈,这个因为。
罗蕾教授 47:13 叫大型的跨平台。
唐老师 47:15 对对对,这是他们自己的一个说法。
萧炫百 47:18 一辉他一般对对,他是这么说的。
唐老师 47:20 对对,就是我我是。
罗蕾教授 47:21 为什么要这样说?
萧炫百 47:22 我我是顺着他们说的。大型就证明它功能多嘛,它有很多功能,你看它一般都说它是大型机。
罗蕾教授 47:29 跨平台是啥意思?
萧炫百 47:30 S86 啊。
罗蕾教授 47:31 对呀,这个就是所有的超系统都这样子的,不会只有它这样子的,对不对?
唐老师 47:38 我我这是因为我是先从他们那边交流出来的,所以这个写法,他也不太那个。
罗蕾教授 47:43 他也强调嵌入式了哈,他主要是强调实时了。
唐老师 47:47 对,他强调实时会多一点,就是在他的那个指标里面。
罗蕾教授 47:51 因为他是要和 Linux 啊。
唐老师 47:52 嗯,对。
罗蕾教授 47:53 他他这个这一类平台确定性、可预测性和实时性。
唐老师 47:58 是的。
罗蕾教授 47:58 以及相对于 Linux 和这个。
唐老师 48:01 对,就是比较那个普通的 Linux 跟那个就是 Premise 的那个, Real time Linux 的差异。
萧炫百 48:06 这是他们写的一个报告吗?
唐老师 48:08 这是我们,我跟他们联合写的。就是因为第一个稿是他们这边跟我一起讨论的嘛,所以我就用的是他们的那个叫法。大概哈,因为易辉呢,他也有个具体的需求,就是他明年要申报科创板。我们在谈他的就是商业化的路径的时候呢,就会感觉说,虽然他的高铁、航母这些东西,他也有一些好的实施案例。但他涉及到一个未来的增长性、扩张性的问题,那他如果能够在几种部署形态下面都能够有应用的话,那他就比较更好。
唐老师 48:44 讲这个故事嘛,所以是这个,有这样一个出发点。所以我们把它这个设计,当时设计的这个研究框架方程是五类部署,控制端、设备端、边缘,桌面和 T1 的服务器集群,这个就意义最小了,前面的意义会大一点。这个五种算力基础,它的控制端的是这样子的,代表平台是这些。的话呢,设备端的 RK 3588 呀。边缘端的 JSON 或者是 IGX 这种。
萧炫百 49:17 公司端是STM32,设备端它就 388 MX9,边缘端是Orin,IGX,工作站单机型算力基础,这是这是 PC 吗?
罗蕾教授 49:35 其实这两个它应该优势不大。
萧炫百 49:37 这服务器是吧?
罗蕾教授 49:38 后面这后面这两个应该没太多,因为基本上都跑Linux。
萧炫百 49:43 对,这为啥要?
唐老师 49:44 是这个意思。这个情况。
罗蕾教授 49:46 就是前面三个。
唐老师 49:47 对对对,只是说从框架上来讲嘛,把这个都表达了一下。对。就是可能看哪。
萧炫百 49:52 边缘端也基本跑的 Linux 啊,边缘。
唐老师 49:55 对,这也就是我们讨论的必要性所在,对他来说。我因为我这个项目的启动的一个出,当时的出发点哈,是在考虑说他能不能够多做一些场景,所以就就这样写了。对,单机。
萧炫百 50:10 信息区。
唐老师 50:11 对。然后在这个基础上的话呢,就是说这个人工智能的这个负载的话呢,它的这个就是在目标负载是推理、视觉检测、语义识别、故障诊断。关键保障,伴生的竞争。我觉得呢,在这个从因为我们自己也在实施一些边缘端的一些视觉检测嘛,就像我们刚刚做的就是易德的那个项目。我觉得原来的那些老算法和一些比较相对低功耗的一些解决方案,其实局限性还是蛮大的,局限性就比较大,它就必须用标注好的图片,训练好的,才能够在。非常,就是模式识别的时候,它的局限性非常的大。对。如果说提高一些算力的话呢,它的这个。泛化。泛化的能力会强非常多。是是。对,这是一个观察,然后另外当然嵌入式系统和实时系统的话呢,最重要的是关键保障负载,这个这个这些东西是比较核心的。
萧炫百 51:21 伴生竞争负载。
唐老师 51:23 就是非属于。
萧炫百 51:24 啊,就是指后台哈。
唐老师 51:26 这三种负载。
萧炫百 51:27 啊,对。
唐老师 51:29 对。然后呢这个就是技术栈的话呢,这个五层硬件互联,实时操作系统的。资源抽象,运运行时和这个模型,就是 AI 模型的这一层。那么这这样的话呢,就是 T5 到 T1 是说的验证的基础。然后呢这个就是人工智能目标负载的话呢,是 R RtOS 任务映射,然后的话呢,这样就看总体上肯定是看RtOS,就是实时操作系统对于人工智能目标负载的这样一个支持力力度会不会更好嘛。理论上其实理论上可能有。就是我们再用一个研究框架去证明它,或者说是。
罗蕾教授 52:11 对,其实可能还是在,因为。
萧炫百 52:13 它这个完全针对 Transformer 啊,是。
唐老师 52:18 你这个刚刚,你这这个研究本身也不完善嘛,刚刚开头。
罗蕾教授 52:22 就是你你,实际上先坤你可以说一下你的想法。
唐老师 52:25 是是是是,你看看对。没没,我们先先先看。
罗蕾教授 52:29 这种超系统和这个 AI 模型之间的一些关系。可以,或者那这个超系统如果我我是,我用一般的 Linux 和用AirPods,又有什么不一样?你把这个逻辑说清楚就行了。大逻辑。对,并不是说就说实际上超系统的一些优化和这个模型之间,超系统要做哪些工作?去解决模型的一些,就应用的 AI 应用的问题。
唐老师 52:59 嗯,对。
罗蕾教授 53:00 他最近也都在研究这方面的工作。主要涉及到端,其实跟一辉那个类似哈。但是我们。
萧炫百 53:08 对,我觉得他首先拉通不太现实,就比如说他说那三三个端嘛,就是那个就您您上面最。五端。五五个端啊,五个端嘛,就比如说控制设备和边缘。首先控制和这俩都不一样,控制它,它它基本上负载它不会是,就你刚才讲的 transformer 语言啊,多模态啊,这些东西它基本上不会有。
罗蕾教授 53:37 还是传统的那些算法。
萧炫百 53:38 它可能最多就是一些,最多就是卷积。对,一般就是卷积嘛,就你不管语音还是视觉,它可能是用卷积啊。在这儿呢,就说这个可能它是。如果你面向车,这可能又得分,比如说你面向车,它可能是一种静态的编译的形式。因为你要跟车的 Autosar 的代码生成来做结合嘛。比如说你要用 maxworks 或者是 simlink link 来生成代码。对,它可能是这样子的,可能它更多是工具来做代码的生成。就把这个 AI 的代码就生成了。可能就是生成C、 C 的代码,有一些你内部有些库。那些库可能就是算子。算只用 ARM 的那些指令嘛, CNN 啊这些东西。
萧炫百 54:34 来做加速,可能也很少有NPU,至少在车上,它目前 NPU 还发展还是比较慢,对,它不是大家都有NPU,至少可能要再等一下,比如说那个 U85 出来以后,有可能能有一些因为毕竟 NPU 加进功耗就更大了。所以这样就你既要考虑没有有 NPU 的和没有 NPU 的,至少俩都要考虑。
萧炫百 55:06 这个我觉得是可能是控制端的这个,他面临的一个问题,可能他的他他都是一种静态生成,静态编排的一种方式。他应该不是动态负载,要不然你那个内存也受不了,你这个比如说你你内部这些,这个有些这个动态的流程控制的话,那这个还是很痛苦的这个事儿,因为他基本上都说你的我我有个 owner 嘛,就说比如说那个买个 TFLM 里面规定的我就有一个内存就就就这么多。那我可能得编排好,谁用,怎么用,怎么谁谁调,是吧?
唐老师 55:41 不要那么,就没有那么动态性,静态的主要是存储这一块。
萧炫百 55:43 没有那么大的这个动态性,对。
罗蕾教授 55:48 对。给到推理多少?就这个。
萧炫百 55:51 对对对,然后什么时候。谁来用,那个也是编排好的,比如你这个时候这个模型,它虽然小嘛,但是它肯定也是一个任务嘛,它也有,也有执行的时间啊这些东西,那你可能就用,那你就用了,人家可能就用不了,要不然你竞争就就出问题了。所以它这个可能是这边,反正我目前这个看的稍微多一点。
罗蕾教授 56:14 这个和销售之间的关系。任务超系统,无无外乎就调度。
萧炫百 56:22 超系统得和编译器得有一个工具,得这个任务是一种静态的包括资源都是静态分的这么一个关系,你你得,相当于你是一种离线的编排在里面,你不是在线的编排,调度啊这些你都是编排好的,就你真的也要把这个加进来,就他的这有些东西也提的挺好嘛,你你有些实时的负载,你有些 AI 的负载,你可能还有些其他的负载,对,那你你要追求真的这种。终端侧你得追求实时性的话。静态。对,你把这些东西加进来,那你。你原来的时性的约束就破坏了。
罗蕾教授 57:03 代码数据的安排都是要静态,就特别是数据。
萧炫百 57:06 对,特别是数据。
罗蕾教授 57:08 静态这个是对的。但静态的话那就涉及到工具的一些。
萧炫百 57:13 哎就工具,主要主要我觉得主要在工具上。开发工具更多是工具。工具上啊。对,哎跟如果车上那就更更是这样嘛,因为你说代码得,你不是自己写的,你得生成嘛,你得跟那些这个开发的一些工具结合在一块,就是刚刚讲的MATLAB, MATLABS 啊,SYMLINK。 SYMLINK 啊这些东西。
罗蕾教授 57:35 所以是应该建立一套开发的环境和工具的环境。不光是操作系统,操作系统其实在里头它只是一个,在这个里头只是一块。
萧炫百 57:46 基础的能力。
罗蕾教授 57:47 哎基础的能力,它比如说划分任务啊,执行任务的时候,它不是,可能这里工具可能是不是更重要?
萧炫百 57:54 工具肯定更重要。
唐老师 57:55 哎工具更重要。
罗蕾教授 57:58 工具要跟他的开发环境。他们一般都有开发工具。但是涉及到芯片,因为那个最后转化。你最后推那个要转换成。他那个芯片。
萧炫百 58:08 对嘛,就调他的嘛,调他嘛。
罗蕾教授 58:10 那个要集成进去,把芯片的工具,跟 AI 相关的,和他操作系统的开发工具,结合起来。
萧炫百 58:17 对,他,他,他操作系统里面就有另外两两种做法,一个就是我我的工具和那个芯片的工具,去做结合,就这个我用你来做代码生成,做路径,这是一个,另外一个呢,就说他他他把你这个 NPU 还是当一个外设,就复杂驱动,就那个叫什么英飞凌就这么做的,就你做一个CCD,做一个复杂驱动,然后呢我我把这个数据给到你,你去算。但这个就有,反正还是有问题,因为。
罗蕾教授 58:49 先不说Autosam,因为他们都不是Autosam。一辉都不是Autosam。一辉就是有比较简单的,嗯嗯,嗯,一辉是比较像 oneos 那个东西。
萧炫百 59:00 但 oneos 最大的问题呢,就是你在 MCU 端,反正你做动态性,我觉得是个伪命题,就是你你你你做动态就实时就怎么保证保证,啊。
罗蕾教授 59:11 所以他要一辉如果在这方面他要发力, MCU 端发力,他就应该。和芯片公司捆绑,然后提供相应的开发套件。
萧炫百 59:21 对。
罗蕾教授 59:21 从这个角度,操作系统其实不用做太多事儿。然后还有就是所谓的算子优化。算子优化那还是跟模型的性能啊测试啊这有关系。那么和芯片公司合作可以做一些底层的算子优化。嗯嗯嗯,对。我想的哈。
唐老师 59:39 对。
萧炫百 59:41 对,对。
罗蕾教授 59:42 可以用这两个给他建议,那这方面呢可以一起搞一些课题跟我们一起。嗯,是是是,你就。对,你就那个唐老师把他。团结起来。是是是。就可以一起做这件事情。
唐老师 59:53 是是是,我我目的就是这个。因为这个讨论很初步啊,就是前面你看到的那个框架,咱们的那个总共的可能也不算很多。
罗蕾教授 01:00:01 如果就是在 SOC 这种方式下,其实静态也是很重要的,我觉得。
萧炫百 01:00:07 SOC 就有一个问题了哈,就说你是不是一定要把这个人工智能的负载放到放到 Artos 上来做?你还是说我通过。
罗蕾教授 01:00:20 放到 NPU 嘛, GPU 嘛。
萧炫百 01:00:22 不,就是我是不是要 Artos 来管这事,还是我用 Linux 来管?
罗蕾教授 01:00:26 用 Linux 还是 Artos 嘛?
萧炫百 01:00:28 对,就是这个问题。
罗蕾教授 01:00:30 问你, Airpods 的优点在哪?如果面对算算子,面对调度,它有什么优点?如果你现在就说都是用Linux,那一会就没有意义了。
萧炫百 01:00:42 对吧? MCU 上 MCU 肯定有意义, MCU 肯定有意义,我一直也在想这问题,对,对, SOC 就是这个问题,就 SOC 就是你肯定,既然你有那么多资源,你肯定是追求动态性的。对。就说你的这个模型肯定也不是这种比较小的,你比如说你可能要跑个 0.5 B, 1B 或者2B,这么一个模型嘛,啊啊。然后呢你肯定还是有很多的就比如说你讲的 prefer decode 这些,嗯,这些东西,你还有这个磁嵌入,什么位置向量等等这这些东西啊。那在这个里面呢,我就觉得这个东西你是不是要一定要阿托斯来支持这么一套机制,支持了以后反而阿托斯的特性就没有了。我我感觉就是。
罗蕾教授 01:01:33 但但是它本身就是一个实时控制系统,它其中呢也要有。人工智能的功能也原来实时的那套东西他肯定都已经有了。就我现在端嘛。我现在有了,但我现在要加 AI 的东西。是这样来理解他,如果是这种理解呢,他就软硬件升级,一种最简单办法就Hybrid。对。就是这是我们。
萧炫百 01:01:56 Hybrid 就是一种很很好的办法啊。
罗蕾教授 01:01:58 哎很好的办法,就 Hybrid 一,这边跑Arco,这边跑Linux。 Linux 就解决推理啊这些问题,嗯, Arco 呢主要是解决就是它本身实时性,控制器的问题。对对。其实这种架构是最简单的。而且一方面也可以兼顾这个生态,这边 Artos 就是 Linux 生态非常强嘛。这个可能是一个路径,但是要不要这样写?一辉有没有Hybrid?
萧炫百 01:02:25 一辉有啊,有。
罗蕾教授 01:02:27 做的怎么样?Hybrid。
萧炫百 01:02:28 反正也应该有些应用吧,应该有些,我好像以前分析过的,有有一些应用他才会的。
唐老师 01:02:35 这样的话就是就是实时的这个实时性的保障,这个就体现的不是很明显啊。
罗蕾教授 01:02:42 就是实时和这个就是和推理之间的关系。
萧炫百 01:02:46 你把你把你把 AI 这种就是这个叫什么呢?就说这个很灵活。
罗蕾教授 01:02:51 很灵活协处理器。
萧炫百 01:02:53 灵活的很弹性的负载放在一起,我觉得就是一个不好解决的问题,就不好解决,因为,当然你可以把它上升到科学问题是没问题的,比如说就是传统的经典的实时调度理论,我们的任务都是用 CPU 的,这个这个是一个嘛,我们只需要考虑 CPU 的问题, CPU 的竞争的问题, Cache 的竞争问题,内存的竞争问题。
萧炫百 01:03:16 好,如果你现在把问题把推理拿进来,推理有协处理器,有协处理器里面的UBE,有什么这些东西。那放到一起,那和 K7 放到一起,再和总线放到一起,和 DMA 放到一起,那这个传统的实时的调度理论就不适用了,它适用不了了。所以你就得从理论上再去解决这个问题了。
罗蕾教授 01:03:38 要竞争,主要是,使使,就相当于这些所有东西有个优先级的问题。优先级的问题,就是说所有的东西它不像原来在 CPU 上竞争,它是因为涉及到很多外存的,就是总线,就是总线的很多竞争,特别是内存的竞争。这方面一旦有这个竞争,可能,其实 Arcos 也可以做一些。规则上的要求,就原来你只考虑CPU,对。你现在就要参与到,对。比如说总线的什么策略的一些调度,就因为我们原来就仲裁策略嘛。整个这个策略就要 Argoos 管了。
萧炫百 01:04:19 对对。
罗蕾教授 01:04:20 是不是可以这样理解吗?
萧炫百 01:04:21 对, Argoos 管了以后呢,反正就是。
罗蕾教授 01:04:23 包括 DMA 这些都要 Argoos 管。
萧炫百 01:04:25 一个是调度理论就变得复杂了,另外一个可调度性分析也复杂了,比如说你你很多东西以前可能我只需要估算处理器的模型就可以了,处理器你我考虑你每条指令执行的时候,可能都是一个最坏的情况,比如说你既没有 TLB 也没有Cache。然后我还得刷一刷一下流水线。但是这个时间我是能估计的。你现在把 NPV 加进来,就不好估计了,因为你还涉及到很多 DMA 的操作了,搬运这些东西。这个是没有没有模型来,没有理论模型来支撑的。
罗蕾教授 01:04:58 但是从另外角度,我可以把存储这块我固定,也可以,相当于我就是这个区域给你,就没有那么多动态性。
萧炫百 01:05:09 但还是你设计的问题啊,就你你,比如说我就是把这个给你,那你 TRB 和和这段内存的映射关系。是不固定的,就 TLP 啊, cache 啊,它是在变的。那怎么弄啊?直接把它锁定。
罗蕾教授 01:05:23 不,你像诶那个A100,它就是自己的L1、 L2 开始,然后在外面加加那个自己的HBM,那,那但是它关键。对不对?它相当于是就完全独立的,它和 CPU 之间的关系就,就像它自己是个独立系统,诶,对。它自己就就相当于。
萧炫百 01:05:42 它能搬嘛,它能搬嘛,就是 GPU 能搬嘛,它能去搬嘛,但是 NPU 搬不了啊, NPU 得靠 CPU 帮它搬。
罗蕾教授 01:05:51 CPU 帮他搬呢,就要考虑基于优先级的,一些实时性的任务和非实时性的任务,就是相当于你可以认为它是一个大量计算的任务,和你的实时性,
萧炫百 01:06:06 它它相当于既有既有计算也有这个IO,对。而且这俩东西是交织的,就变成了就说。
罗蕾教授 01:06:14 这种呢其实确实哈,就是要和特定的硬件环境,要有一个深度的要去,找一个案例和场景来深度实践。
萧炫百 01:06:23 对,就是说你是不是一定能找到一个点,反正我现在也在思考哈。就是面向SOC,我是不是。一定要用 Artos 来做推理,我有什么?我有什么理由一定要用 Artos 来做推理?
罗蕾教授 01:06:36 那现在如果你不用Artos,反正你从 Linux 加 HyperVisor 加 Artos 来看的话,那像各就是硬件增加了,就实际上还是硬件增加了,就是它隔离了嘛,就各各管各的嘛,哎,两个就是它隔离了,就是反正我硬件能力很强,我就不要让你这个两个相互干预了,你你你的那个所谓的HyperVisor,实际上还是一种隔离的方法。
萧炫百 01:07:04 就是隔离嘛。
罗蕾教授 01:07:05 隔离方法以后,它这套。东西就独立,啊,那么跟芯片,如果我在一个同一个芯片里,它其实还是有问题,在一个 SOC 里,在一个板子上,它怎么来解决一个它们之间不要竞争的问题?你核心就是大家都不要竞争嘛,我分的你这个,分到你,对,全部都隔开嘛,嗯对。如果结合R, HV 的的时候, HV 的那一块还是要做一些事。
萧炫百 01:07:33 哎他他要做嘛,但是他能解决的问题就比较固定了,就比如说我我可能按分,我就按 cluster 分,对。按 cluster 分的分,我可能就是解决 L3cache 的共享的问题,对。竞争的问题啊,因为只有这个东西是。是要共享的。
罗蕾教授 01:07:47 所以在这上面一辉还可以做,我觉得是首先我们是,我们就用,这是一个方案, Hybrid 继续,但是 Hybrid 和这个模型之间在,就是在交互各种方式上,我们不是传统的Hybrid。是不是?就是 Hybrid 要升级。升级成支持。两种方式。就不竞争,或者是我考虑我整体的确定性,因为整体的确定性,因为这个有可能未来这个。
罗蕾教授 01:08:18 算力这一块它可能越来越重要,它也许在我们整个感知决策执行的过程中,它是一个很重要的一个块,你没有它,它可能控制都没办法控制。没办法做。就像自动驾驶那个,没有信号来控制,没有一个方向。对,就是相当于就感知决策执行嘛。你像感知这一块,它现在端到端大模型,它那个感知感知也是用的模型,然后最后就端到端一下闭环,它最后到控制,它的优先级不高,你这个控制都没有意义。
唐老师 01:08:49 没有没有控制的方向。
罗蕾教授 01:08:50 就是在这这种方式下。基于 HFigger 的,就支持大模型。支持实时,我觉得这个可以去考虑一下。
萧炫百 01:09:00 关关键就是说现在,反正我也不知道思考对不对哈。就端到端,它是不是要走到action?它一般都只有轨迹嘛,比如车上我我我只到轨迹。
罗蕾教授 01:09:11 它要走到action。
萧炫百 01:09:13 就你相当于我的执行器完全由模型来控制,这个好像现在它至少车上没法这么玩。
罗蕾教授 01:09:19 不,它就是走到action,然后它有兜底的,它实际上是有规则的,就是实际上你可以把它理解成像。哈尼斯那套东西。其实我觉得更像是那套东西。它有很多规则在,其实就是它有模型,有智能体的那套哈尼斯的那套规则。就是虽然大家都没敢对外讲,他用什么方式,但是他你想想,他最后就是万一我出昏招了怎么办?或者什么,他最后兜底的东西一定是要靠规则,一定是。
唐老师 01:09:51 有点像具身智能那个问题。
罗蕾教授 01:09:53 就是具身智能,就是机器人也是这个概念,所以为什么我让你们去研究哈尼斯嘛,我说因为你不光是模型,模型是解决不了,他的智商是。上限很高的,但是兜底怎么兜?对吧?那最终你兜底,实际上是要靠规则的。嗯,对。就是你走到这条路径,我发现完全跟我的想法都不一样,甚至我这个地方还在跑,我另外一个模型还在跑,或者一个小模型,或者是我就是一个规则的。我是一看不对了。我马上就就得按照我的规则走了。就不按照你的模型走了。
罗蕾教授 01:10:26 是是。就可能有这个问题,它实际上是一个整个系统结构。所以在这里头,就是我们先不说自动驾驶,也不说别的。它整个大模型参与到我们实施控制系统里头来。它其实这里它是整个体系要做一个深度的优化。对对对。就是说不是一个简单的,就是说什么用个简单用个 Artos 就能解决问题,或者简单用 Linux 就解决。是是是是。或者用个虚拟化就能解决问题。
罗蕾教授 01:10:54 这一套体系要有一个重构的,重新研究,我觉得这个事儿如果毅辉,正好唐老师,因为我们之前跟毅辉接触的不多,我们主要是支持另外两个操作系统公司。哦,明白。我先给你交个底,免得到时候毅辉有点,但是呢实际上跟他都没有竞争。我我明白。就是说,比如说我们做一个车这个板块的超系统公司,主要是,就是那个电科。电科,那个中电科技术软件,他们主要是车,像就是靠他在弄,其实他们就是整个什么项目啊,国家项目都是靠他。
唐老师 01:11:30 哇塞。
罗蕾教授 01:11:31 只是最后他没加入过去嘛,有各种原因,我们就说,实际上现在我们是中立的,我们跟哪家也没有什么,非常紧密,只是支撑,另外一个中国移动有个OneOS。 OneOS 其实他做的有点像易辉。
萧炫百 01:11:46 嗯,对,他俩有一些竞争,他俩有一些竞争。
罗蕾教授 01:11:48 他有点像英辉,他有点像英辉,但是呢也没走到这么死,就是我们跟他们有一些合作而已,没那么深。但英辉呢是要冲科创板,我觉得他一定要讲一些不同的故事。是。另外一个呢,确实我们在这个领域,我们对阿尔法的理解,对 Linux 理解,对那个包括模型,我们都在考虑,就是说我觉得可以牵个头你,就是可以跟他深入讨论,看看能不能够先搞一些,就是他来立一些预研项目。先立一些,就不是说真的落地,就为他科创板啊。讲故事的。他不一定真正能落地。罗老师那个。
唐老师 01:12:29 你明白我的意思。
罗蕾教授 01:12:30 对。就是要对,因为你科创化讲故事一定是很多专家都认可的一种模式,你不能说简单说一说就完了,再说我们说怎么落地。对。就是至少其中一个路径就 have way 的,加上linux,加arcoos,深度融合这个架构,怎么能够做?这是一种,我觉得这种深度融合比直接在 arcoos 上去加那个推理那套东西更好,因为这样的话它不耽误,但是它最终是一个整体的体系结构的一个融合,它不是一个简单的软件和硬件。它不是一个就靠软件解决所有问题,硬件加软件。这个从我们的角度,实际上是一个计算机体系结构的问题,这方面呢。
唐老师 01:13:14 我觉得他有这个体量来承担这个。
罗蕾教授 01:13:16 他应该有成本,你可以去跟他。
唐老师 01:13:17 他现在这次估值都 70 个亿了。
罗蕾教授 01:13:20 你可以跟他商量。不止这么多。我们的那个是这样的,因为我们不便马上出来。我听懂了。因为我们跟那些人都搅在一起了,也不知道,就是我们在支撑他项目,你说一下,我们去支持一辉了,罗老师团队支持一辉,那就麻烦了,反而就是你唐老师团队,然后背后呢跟着我们在你背后,你说是不是可以?小芬。
唐老师 01:13:43 嗯可以。那当然可以。
罗蕾教授 01:13:45 对,因为我们呢,你就相当于我们就是你的联合团队,哎,就是我们面对一辉的时候呢,可以你可以让展示我们,但是面对外面的就不要写我。
唐老师 01:13:56 我听懂了。
罗蕾教授 01:13:57 就明白我的意思,这样的话。我们也好做嘛,对不对?因为我们在千问实时系统,我们在国内还是有一些身份的。
唐老师 01:14:05 您的江湖地位。
罗蕾教授 01:14:06 对,我们有身份,但是我们一直呢就没有,就是其实我们原来想推动普华去做这个事儿,他没去做。我们像肖老师还专门做微内核,做虚拟化,做机密计算,其实这里还有一个机密计算在里头,机密计算就是说实际上就是防止模型被篡改。比如说在 Linux 系统中。
萧炫百 01:14:29 被篡改,被窃取。被窃取。你的本地数据的这个被窃取。
罗蕾教授 01:14:32 有一个跟芯片要密切相关的机密计算,可能一辉他们都。还没走到这一步。
唐老师 01:14:37 可能没有。
罗蕾教授 01:14:37 哎,我们这边都有这些技术。可能还没有。所以我们就可以在你这个体系上,我们对接他就完了。我们就不要出面。出面对外这个不好交代,对吧?
唐老师 01:14:49 理解理解理解。
罗蕾教授 01:14:50 但是这些思想呢,就说我们也不是说他们,那些人能控制我们,不会的,但是我们至少都是大家友好的,所以你,我觉得你第二个路径就应该走这条路径。然后静态分配第一个路径我们也可以跟你一起集成那个工具,去跟芯片 MCU 这个路径,第二个路径就是 SOC 的路径。那么他这个路径走通了,其实可以。不光是在他的工业,在一辉的场景,咱们也可以在具身智能讲这个故事。对对对对对。都是一回事儿。具身对。都是一回事儿,包括车厂都可以。车载。只是车呢现在收的很紧了。他已经收敛了,技术已经收敛,而且被一些巨头控制了。明白。就是被那些巨头呢,一般是干芯片和干算法的巨头,就是主要是干算法的和芯片结合的巨头。这些人呢,他其实可能思路是跟我们想的一样,但他不愿意第三方介入。他自己全部干,比如像地平线啊,某文台呀。什么包括英伟达,英伟达的一套,他也有自己算法,就是像某门塔这些,他也做英伟达的。那么还有很多源。多了,启行啊,什么文远知行啊,这些太多了,这个巨头,它已经长到了那么大了,那么大以后呢,它其实已经不愿意再说,让一个做超算系统,就包括一辉啊,普华都没有机会了,超算系统公司,你再来掺和它的东西。对。其实在里头,超算系统只是一个要素,它实际上是整个软硬件的架构。
萧炫百 01:16:22 对,现现在还不要说一辉和普华,那个 Connext 都比较全。
罗蕾教授 01:16:27 都已经出局了呀。
萧炫百 01:16:28 对,在高通和英伟达的下一代芯片里面都不用Connext。
罗蕾教授 01:16:32 它已经就是一个体系来解决这个问题了,它不是单独的靠一个 iPod 能解决的。
唐老师 01:16:38 其实其实我觉得就是罗老师,我觉得跟您这个交流哈,因为我确实在这一块算是比较外行啊,我觉得其实我我推动这个事情本身其实不是属于我能够专业领导的一个事情,
罗蕾教授 01:16:51 嗯,你的身份很重要。
唐老师 01:16:52 只是帮助他,只是帮助他来拓展他的应用场景和提升他的这个价值感嘛。
罗蕾教授 01:16:59 其实还是一个战略的一个帮他做规划。
唐老师 01:17:02 对对,我我顺着您刚才说的那个意思啊,我觉得其实这个逻辑啊。可能他有必要重新定位他自己,他就不应该只有一个。对。他就应该是一个更加完善的信息架构。对。
罗蕾教授 01:17:18 他应该就是一个面向 AI 的,具有实时性的。窄了。具有实质性的,能够解决实施控制类的,这种面向 AI 的,这种的基础软件的供应商。就用这个思路,不是。基础系统。基础系统。基础系统。基础系统更准确,软硬件协同,但是呢,就是说。如果他还想。把自己打成基础软件这个角色呢,因为他不去涉及到。
唐老师 01:17:48 硬件生产上。
萧炫百 01:17:49 但是他一辉有硬件的,他不是做 PLC 吗?
唐老师 01:17:53 他肯定都是,肯定都是外包合作吧。
萧炫百 01:17:55 做,对,但是他他产品里面是有 PLC 的。
罗蕾教授 01:17:58 包含 PLC 了,所以他不做硬的,他也没办法。他不集成,把他的,实际上就是基础系统,你说的基础系统这个概念可以的,但是他是面向 AI 的实时控制的基础系统。
唐老师 01:18:12 面向 AI 实时控制的。
罗蕾教授 01:18:13 哎,基础系统,软硬件全部在里头,基础的,但他不做最后的应用,应用还是第三方的,他是基础的软硬件系统,他要通过这种才能构建。所以我们现在都觉得单纯的我不是,单纯做 Arcos 已经没有意义了。对。但是你要懂Arcos,对吧?你要懂那个,你要懂模型,要懂我们芯片,对,要懂。其实要懂整个芯片的架构。就是我用芯片,甚至我设计整个基础的系统,我都要设计成满足这个,这个就是软硬件的设计都要整,对。基础的,然后在人家在上面加应用啊,比如你做好了以后给到那个,易德,他去干。
唐老师 01:18:51 哎,哎,他相当于是这个逻辑。
罗蕾教授 01:18:54 是不是?我觉得唐老师这一说,我们就可以。诶,根据走的这条路径去,我们来推进,我们作为一个参与者来推进。
唐老师 01:19:03 我觉得他完全,我觉得他完全能接能接受这个逻辑。对。对他来说呢,就是能不能够在这个新方向上马上起量,都还不是最主要的。他要讲一个故事嘛,现在。他要有这样一个技术路线,可以拿得出手来给大家看的技术路线,这个技术路线又的确是有价值的。
罗蕾教授 01:19:22 哪怕在 MCU 上也可以做一些这方面的,因为MCU。它的最后内存呢?它的外主存外存该怎么配呀?怎么来适配比如结合这个芯片,适配端上的 MCU 的 AI 的东西,其实也会涉及到这些内容。它也不是简单的就说除了配置工具,除了我们的集成工具以外,这个基础的软硬件,其实这个就是计算机,这个计算机系统,也要也要做一些设计。就是你你现在,就是我们想的东西,就它已经是对底层,我们对底层很熟了。但是问题就是说最终你还是受制于一个硬件的环境。
唐老师 01:20:04 嗯,你要现场。
罗蕾教授 01:20:05 哎,你是未来甚至指导做芯片的人, MCU 你该怎么设计?你该怎么设?你要做到什么样子?
唐老师 01:20:13 对对对。
罗蕾教授 01:20:13 就是说 AI 定义定义这个系统了。
唐老师 01:20:17 嗯,没错,是有我的应用。
罗蕾教授 01:20:19 AI 定义,我来指导,定, AI 定义嵌入式系统。嗯,是。从这个角度。是是是。对,再结合一辉的事实, AI 定义嵌入式系统。我现在就在想这个事儿,只是我们现在的力量还太小了。
唐老师 01:20:33 但是他们肯定愿意干呀。他肯定愿意干呀,因为他现在都看到,就是刚才那个薛薛老师讲的。那个就是 0.5 B、1B、 2B 模型,那肯定要上片子的,一定要进片子了,那你这个片子载载不了,你承载不了这个,那你这个片子设计就有问题。
罗蕾教授 01:20:49 对呀。
唐老师 01:20:50 这反过来用软件的需求来定义了硬件的需求规格。那当然咱们就,他既然有这种变化,我我没那么熟悉这个事儿啊,我只是觉得他既然以前没有这个需求,现在有这个诉求了,内存占用又大,推理要求又高,那那反过来的话,这里面的一系列的控制问题,他们就要出现一些新的改变。
罗蕾教授 01:21:12 架构也在变。内部的总线的情况和 AI 的,到底是做一个 NPU 协处理器,还是要怎么搞,对吧?它其实也在变的,对不对?那个就是原来CPU,因为原来总线都是以 CPU 为主的,对吧?我是 CPU 是中心,那么就是包括安霸那些,它都是以 CPU 为主,现在我有NPU,我又有GPU,对。
罗蕾教授 01:21:40 这个怎么怎么一个内部的总线的结构?就是有人讲存算一体,就是就是有专门做芯片做存算一体的。存算一体它就是要解决那个 NPU 那一块儿的就是存储的一个存储墙的问题。是是。对吧?存储墙的问题。那这些东西就怎么从计算机的体系结构的角度。对呀。嵌入式系统的体系结构的角度。还有还有那个。所以咱们不要局限在只是操作系统了。
唐老师 01:22:11 对对对。
罗蕾教授 01:22:11 已经,就是我们这,他他干了这么多年下来,我们干这么多年,操作系统已经没有什么再想的东西了,你反而从整个嵌入式计算机系统角度去想。
唐老师 01:22:22 没错没错。对吧?就是我其实这里面的一个观察呢,我觉得他需要的并不是在某一个点上面的一个论证或者小改进。对。我其实跟他不能谈的东西,我觉得应该是一个 5 到 10 年的技术路线。
罗蕾教授 01:22:39 他要引领这个行业去颠覆。
唐老师 01:22:40 是是是。
罗蕾教授 01:22:42 要去引领行业。
唐老师 01:22:43 是一个 5 到 7 年至少,这样一个技术方向。他接下来的话,他不能停留在原地说,我用了 Atlas 的话呢,这个而且我又是国产的,我又是安全的。
罗蕾教授 01:22:53 只是说点这个东西,这个能做的太多了。
唐老师 01:22:57 支撑不了,支撑不了他的未来的一个百亿市值的。是是是。对。这个事情我跟董事长讲的很直白。是是是。我说我说你这个,就这一点应用,你支撑不了你 100 亿的市值哈,哈哈哈,我跟他讲的很直白。
萧炫百 01:23:09 是是是,他就想最后就是,基本只能讲这个。
罗蕾教授 01:23:13 一辉的人还是比较要求进步的哈。
唐老师 01:23:16 嗯,他们还是那个很努力在做。
罗蕾教授 01:23:18 对,其实还可以。
唐老师 01:23:21 对对对,我发一下那个,就是他们那个张总做的那个稿子。加一下张总。
萧炫百 01:23:26 这加了加了加了。
罗蕾教授 01:23:27 加了啊,对。
唐老师 01:23:29 对,就我就我就是想的哈,其实这个真的是抛砖引玉,因为我确实我不是专业于做这个,但是呢因为最近我们自己搞模型优化,就不管是大片子小片子,我们都感觉到他这个问题还是。比较大的,我感觉以前的解决方案里面没涉及到这个东西。
罗蕾教授 01:23:47 他要靠体系结构来解决,他不可,不可能简单的靠一个模型。你看黄仁勋,英伟达厉害的,厉害的是他不是一个简单的 GPU 的公司,他是一个整个 AI 的智能的服务器智能系统的公司,他什么都有,连 CPU 都自己干了,然后GPU、 LPU 全自己干了,然后他实际上整个是从计算机体系结构的角度去做的。它是智算的体结构角度,它不是一个单纯的芯片公司啊。它已经不是芯片公司了。是是是。它其实是太牛了,未来其实我觉得,做芯片的,还有做底层的人,不走到这一步都没戏。都没戏,芯片实际上以后它也很简单了。它设计也会简单,因为它就从,但你的架构,你的设计该怎么干?
唐老师 01:24:41 对对,你看哈,这是他们的就是他们的总工写的。
罗蕾教授 01:24:46 对,这个是对的。
唐老师 01:24:48 工业最新智能底座,这个维度来玩。它就可信底座,向下连接去。对。整体架构设计。
罗蕾教授 01:24:56 这个架构我们看了一下,还是觉得哈。
唐老师 01:24:59 这个呢,我说一个我比较外行的理解哈,就是因为从我的角度来讲,我觉得这个故事不吸引人。就讲的不是太,就是说可能技术性是专业性有,但是,但是从就是叫做,这个本身对外我去表达它的价值也好,从技术路线的整体的价值观感来讲的话,就是。
罗蕾教授 01:25:23 就是在在这个底层这一块写的太弱,就是它是什么?他是什么?没看懂。就他到底要做啥?
唐老师 01:25:33 嗯,是是是。
罗蕾教授 01:25:34 他要干啥?他把大家都凑在一起,他要干啥?
唐老师 01:25:39 嗯,对。
罗蕾教授 01:25:39 对吧?你看他这个地方只有一个实施节点。什么时候?这里头哪些是他的吗?
唐老师 01:25:46 就没有了。
罗蕾教授 01:25:47 对对对,哪个是他的呢?当时肖坤你也看了,我发给你,就有点看不懂,是吧?嗯,是是是,有点看不懂。我觉得要重新画,重新画。
唐老师 01:25:58 对。
罗蕾教授 01:25:58 对他他是有这个思路在里头了。
唐老师 01:26:02 嗯,这个也,这个本身也是我们之前讨论的,第一次讨论。后面的就是五层架构呢,我们是拉的大了一点哈,但是这个是我们的第二次讨论。
萧炫百 01:26:13 这这个要好些。这个好。这个会好一些。这个要好一些。至少你提的问题还是大家都在考虑的有一些问题,这个架构要好一些。
罗蕾教授 01:26:24 对,所以唐老师是这样子,就思路都清楚了,看看你跟他怎么合作,先把合作谈好,谈好了以后我们才敢真正的走起来。
唐老师 01:26:36 哦,理解理解。
罗蕾教授 01:26:36 因为否则的话,他们一,我们一说,可能他就通了。你明白我的意思吧?而且在这里头我们的角色是。
唐老师 01:26:46 我先,我我。
罗蕾教授 01:26:47 你要明白这个,否则给他讲了很多东西。
唐老师 01:26:50 我们不会那个。
罗蕾教授 01:26:51 对你明白吧。
唐老师 01:26:52 这个稿子其实还没有给到他们。
罗蕾教授 01:26:54 对,我的意思是说你要跟他先把合作模式明确了。
唐老师 01:26:59 行的。
罗蕾教授 01:27:00 合作模式明确了以后呢,你可以讲背后有我们就行。好,当然当然。对,然后呢就是把这个明确了以后,我们未来比如说我们可以分步骤。首先帮他做规划。规划最好,咨询服务有一有一笔资金,就是相当于帮他,我不给他干活。对。我,但是我把你整个架构给你梳理,未来你的产品规划给他明确下来。做到这一步,第二步呢再说,有可能我还帮你干一些活。是。就说,比如说你的工具,我帮你做一些集成呐。对对对。我帮你去干一些活,我觉得我我现在想啊,因为那个唐老师你在做咨询方面更有经验。啊,明白明白。对你把它控制住这个节奏。啊好。否则话就是。是,因为他们也是很聪明的人,他也不差。
萧炫百 01:27:48 对,一辉的能力很强的。
罗蕾教授 01:27:49 对,也也是可能理解上呢,一点就透的一些事情。对,还有当本身你在工信部那个身份,也可以帮他忽悠,我不知道他们的董事长和总经理忽悠能力怎么样。
唐老师 01:28:05 行还是行的,毕竟他在南京都搞到六七十亿的营收了,还是基本上还是有。对,还是会忽悠的。对,但是他要有,但是他要有。
萧炫百 01:28:14 张国清不是都去过他们。
唐老师 01:28:17 但他有具体的东西。
罗蕾教授 01:28:18 张是张又侠他们的,不是。
唐老师 01:28:21 不知道。不是他们只是。但我我说实话讲,我觉得他们的技术高度还是不太够。他们因为帮助他们前面的话做舰船的,做卫星的,火箭的这些嵌入还是做的还是不错嘛。然后后面他们有一个主力是想移动到去做叫做无人机的控制,无人机,他们真的做了一款产品。做了一个无人机的就是拦截,他们做了一个那个东西。很具体的一个产品上去了。
罗蕾教授 01:28:58 没办法,就是要有硬件,没有硬件他肯定。对。他的那个。要挣钱。一个是挣钱,产值上不去,卖车系统太难了。
唐老师 01:29:08 对,但是这个问题哈,就是两个不同的思维,我们如果要是帮他要去撑一个 200 亿、 300 亿市值。一个那个就是。
罗蕾教授 01:29:17 那个没用。
唐老师 01:29:18 那个没有价值的,那个估值没有意义,对,这估值毫无价值。对。你要要换句话说,如果做成一个,比如说基于A,就为现在 AI 实时性提,能够提高 AI 实时性的整体的一个基础系统。
罗蕾教授 01:29:33 所以琢磨一下,如果这个价值上不去。真是咱们要下场帮他。做更多的事儿,这个思路整个要按这个来的话,那可以,可能合作的模式还有很多,可以探讨的。是是是是。对吧?你反正这方面就是。
唐老师 01:29:48 他们,我我去他们展厅的时候呢,我就觉得有点撕裂,就是一层角度来讲,就是我就感觉它中间好像差了点东西,就是最底层的RTU,ROT、 ATOS 的话有的,这个也看得出来。然后呢应用呢就就就乱了,就乱了,就乱了。
罗蕾教授 01:30:05 就因为他没有足够钱支撑他往前走了。
唐老师 01:30:07 他不是一个系统架构,我感觉他不是一个系统性的架构,就是。本来从操作系统往上走一点,该是什么?再走一点该是什么?
罗蕾教授 01:30:14 就是天花板在那儿了。
唐老师 01:30:16 那直接一下跳到一个一个产品上去了。
罗蕾教授 01:30:18 看不到未来,看不到未来,就跟我们原来有一阵子特别希望的,是能够做替代 QX 的东西。但现在回过头来看呢,这个东西不做也没事儿了。好像也没啥了,哈,因为二投资好像也没啥了, QX 可能都要被干掉了,那回过头来就今天跟你谈这个思路,其实就是我们最近在思考的一个。就是跳出来,跳出 artcos 去,做一个更加面向未来的东西。对,我觉得。
唐老师 01:30:48 哎,对。关键词就放到放到实时性。对。不一定是OS,而是实时。
罗蕾教授 01:30:53 对, Real time,实时控制系统的面向 AI 的。实时控制系统它一定有AI。对。我怎么解决它的问题?我也不是针对所有的系统,对吧? AI 的东西太多了。对对。就不要说,因为实时是它的核心嘛,它懂实时。对。然后另外它要一定和 AI 结合,怎么把实时和 AI 结合?是的是的。这是我们一直在思考的东西。因为我们干了这么多年实操型。三十多年,四十年,三十多年。
唐老师 01:31:25 怎么接?行行,我我我大概理解,对。那就是说在边侧的话呢,用 Hypervisor 的维维度来。
罗蕾教授 01:31:33 要要去改造Hypervisor,然后同时呢要结合系统。嵌入式的软硬件系统来做。
唐老师 01:31:41 那这个我就说个稍微具体一点的哈,就是其实这个就是如果从联合研究写文章的角度来讲的话,这个是一种什么样的一种形式呢?就是。这边有没有机会,这个需要需要需要。
罗蕾教授 01:31:56 可以啊,写文章都是简单的事儿。对,我们可以做原型,可以写文章,是吧?肖坤。
萧炫百 01:32:04 可以啊,文章文章是没问题。
罗蕾教授 01:32:07 文章都很很容易的事儿,文章是简单的嘛,就是有原型,相当于是基于一个硬件的环境。
萧炫百 01:32:16 对,你们如果就刚才说的抽象出来的这些科学问题肯定是可以写文章的,而且能发比较。适合发个 A 嘛, A 刊或者 A 会, A 会嘛。
唐老师 01:32:29 我让那个呀,我可以让那个就是。
罗蕾教授 01:32:31 他还有这个需求吗?
唐老师 01:32:33 我觉得有,我觉得有另外一个维度,因为他原来的那个维度太现实在那个 Artos 这个概念圈子里头了,他就没出来。他只他每次讲到的都是只是我的 Artos 适配了什么,我的 Artos 适配了什么,这个表达。
罗蕾教授 01:32:49 实际上就是有一个什么类型的概念,就是说我面向实时控制的 AI 的,这个 AI 的嵌入式系统的一个一个。其实应该是这个。
萧炫百 01:33:02 哎,我看我跟发过一次咋写的?
唐老师 01:33:03 是这个问题。流量游戏。
罗蕾教授 01:33:05 就是这个架构,就是,实际上是,就是一个。
唐老师 01:33:08 实时控制系统或者是实时控制。
罗蕾教授 01:33:10 哎,实时控制。
唐老师 01:33:11 面向 AI 的实时控制。
罗蕾教授 01:33:13 系统的体系结构。
唐老师 01:33:15 对,实时控制系统的体系架构。
罗蕾教授 01:33:17 体系架构。
唐老师 01:33:18 是我觉得他要往这上面改了,因为他每次他们的首席跟我在开会的时候,包括接待领导我们一起去,我们有几个领导一起嘛,所有讲到的 99% 的一句话就是我们的操作系统适配了哪个系统,适配了哪个系统,适配了,他讲的都是适配的概念。
罗蕾教授 01:33:34 这个这个太多了。这个能做的这方面的人也。
唐老师 01:33:37 对呀对呀,已经不像二十年前了,对不对?
萧炫百 01:33:40 这个感觉是做生态的感觉是做生。
唐老师 01:33:43 他就是应该要去做生态,往下做了,他不能停留在原来的那个,他就是要以套件化的方法,解决方案的方法了,往下做,他反过来应该就像罗老师说的那句话,他应该来指挥硬件厂家,怎么去强化他的硬件,哪一下一代应该是什么?下一代硬件你该是什么?因为你要达到这个,就是结合 AI 的问题过后的实时性, AI 的实时性。
唐老师 01:34:09 我我跟那个罗老师讲一个问题啊,我这个不专业哈,但是我观察到这么个问题,我们在看因为我在带我的博士生的时候呢。有一个这个问题,我还没想好怎么来描述这个问题,我先跟您说,大概说一下哈,看看需要需要什么能够把这个问题更规范化表达一下。就其实这里头的话呢,就是大脑和小脑的角度的话,这个奥尔斯一般来讲是控制小脑控制这一块,但是我就感觉这里头感觉我我感觉这两块,就是认知跟控制这两个问题的话呢,它本身它不应该是一个割裂的问题啊。你认知的话呢,像您刚刚说的那个车上的路。一个机器人的话呢,他在那里叠衣服。
罗蕾教授 01:34:53 决策执行嘛。
唐老师 01:34:54 他本身他是必须要对。
罗蕾教授 01:34:56 闭环的。他是必须要闭环的。
唐老师 01:34:58 对。这个换句话说。如果我感知这块儿出了问题的话,我控制不就出问题了吗?对。这是一个比较泛的一个观察哈,就看看您怎么从您的这个更专业角度去解读这个。还有一个点的话,那是关于语音的事情,这个语音的事情的话呢,我有一个有一次我们在分析的时候,我发现这个语音这个问题好像是一个,就是贯通两边的,就是因为语音不管是听还是说,就是听懂和说出来,它是既需要走大模型,又需要走控制。它不是它是一个一个动作,它有两边要串了。对。因为控制我要来讲出来嘛,我要把它那个驱动我的这个音频硬件。对。然后的话呢,但是我要讲出来之前,我要先用大模型。识别识别。跑完了之后再来合成,哎对,识别意思,然后又来合成语音。对。然后又要驱动硬件出来。对对。就是这条语音这条线好像是比较特殊一点。就是既要贯穿大模型的调用,又要涉及到小模型的,对。控制的那一块。就就我讲的不专业哈,您您大概。
罗蕾教授 01:36:09 TTS 相当于最后它要把。比如输出的token,你本来是看的是文字,它把它讲出来。
唐老师 01:36:16 对。
罗蕾教授 01:36:17 就是人机交互嘛。
唐老师 01:36:18 人机交互就是先要想出来,对。然后又再转换成声音,又要再讲出来。对对对。它像是两个步骤。
罗蕾教授 01:36:25 对,它也是两个不同的体系。
唐老师 01:36:28 是两个不同的体系在一个动作里头。
罗蕾教授 01:36:30 对对对。
唐老师 01:36:31 它在一个动作里头。
罗蕾教授 01:36:32 这也是要有实时性的要求。
唐老师 01:36:34 啊对,我我为什么。
罗蕾教授 01:36:36 你不能说延迟半天,就说都说不出来,对吧?对对对。他要很自然的交互。
唐老师 01:36:40 你下面的问题是没有问题的,你你你 TTS 以后的讲是没问题的。对对。但是前面呢?对呀。你你如果要是这个,就是一句话确实很复杂。那那你总不能说就是想了 20 秒吧,那咋办啊?这个,这不是一个真人的交互感。
罗蕾教授 01:36:56 对,体验这个体验比较重要。
萧炫百 01:36:59 对,现在是,第二个问题我不,我我我没咋思考过哈,就第一个问题,大小脑,他。你在现在这个阶段,他就是还是一个很现现实的问题,就说你自身的状态感知,自身的状态的稳定,他还是主要靠小脑,因为他他确定控制嘛,你比如说我要多少电机,我的这个周期是多少?我一定要把每个电机要控制到,那他他肯定是一个比较确定性的东西,所以他现在这个,这个一般会有一个独立的。
罗蕾教授 01:37:32 老师,你下午是在哪个地方?
唐老师 01:37:33 我下午就准备去机场了。
罗蕾教授 01:37:35 哦,下午几点的?
唐老师 01:37:37 我是比较晚的机票。哦,好。
萧炫百 01:37:41 对,这个他他这样做起来啦,反正是从现实的工程上考虑这个问题嘛,你大脑再和小脑来交互嘛,你大脑更多是规划嘛,你做一些规划,做一些感知,做一些规划,所以反正目前我还觉,我觉得还短时间是比较难融合的,这两个东西,因为你真要融合了,就是因为实际上人他有很多东西也是本能的。
唐老师 01:38:11 我我们不不,我们不解决所有问题吧,我觉得先解决一两个问题,我我那个。因为我现在在做的有一个组的话,他做的是。叫全双工语音。全双工语音那个事情。全双工语音这件事情当中呢,就一个是本身有一些它的工程上的这个语音的问题啊。但是另外一个问题就是这个这个从大模型里面调数据来出来,经常会卡在那里。不是卡在小小脑部分的,是卡在大脑这个部分的。
罗蕾教授 01:38:42 对,大模型本身它的这个响应速度啊。优化的问题。
唐老师 01:38:48 对,响应速度优化,或者说如果它确实优化不了。那我就要换别的机制来打断它。对,对。我就只能去打断他了,我就必须用一个。
罗蕾教授 01:38:58 这里也就是具体场景,他这个大脑怎么能够解决实时的问题?其实也有这个问题,当这里他实时有可能就是我的算子优化呀,卡被卡住了,可能这个整个这个。
唐老师 01:39:11 我我我觉得这个这个换句话说哈,就是不是打断您的意思啊,我就想把这件事情呢,我想跟一辉重新沟通一下。我觉得一辉他不能够停留在。Rtos。 Rtos 的核心概念。
罗蕾教授 01:39:24 只做 Rtos 没用了。
唐老师 01:39:25 是,他就应该要么就是低时延。对。低延时。对。整体他就是低延时。
罗蕾教授 01:39:30 要解决实时的问题。实时。系统吧。对,让体,让 AI 在这个能满足场景的要求。它应该结合这个,它不能再Arco。是是是。它能到 70 已经是超水平发挥了。
唐老师 01:39:45 对啊对啊,我肯定是超水平发挥,我们私底下。
罗蕾教授 01:39:49 对,超水平发挥,还讲了很多故事,但实际上这些东西价值,它给给别人带来的价值没有体现出来,就是你的价值只只是一个Arco,人家也觉得你解决不了我的实际问题,就跟我们现在说汽车上超巡有多么多么重要。你再讲这个也没意义了。对吧?你其实就是说,但最终呢,你看看各家做解决方案人,他有他的想法,他一定有超系统团队。
唐老师 01:40:18 对。
罗蕾教授 01:40:19 他只是说他不会单独再讲什么超系统的事儿,包括华为。
唐老师 01:40:22 嗯,有道理。
罗蕾教授 01:40:23 这些都是这个概念了。对。对,所以你超系统的公司该怎么发展?就是人家那个人家有人家的玩法,那我超系统公司该怎么发展?你要找到一个路径出来。
唐老师 01:40:36 是是是,对,我跟他的这一次的这个探讨,一定程度上就是推他这一步。对。就是就是把他往前推这一步,动一下。对。虽然可能我没办法马上把他整个给改了哈,但是至少让他动一下,让他不要再停留在只是这个 Aros 的这一点点。对。不要一出来讲就是适配了什么,适配了这个那个。
罗蕾教授 01:40:58 那个那个都都一样,所有人讲法都一样。对。那有可能科创板人家说不定谷华还冲的比他快呢,他讲汽车超系统故事。是哦。然后他还是国家队儿。他还有政府那个电科的背景,只不过他的机制不像易辉,易辉可能更灵活点,我还有受到很多的。
唐老师 01:41:20 对对对对对。
罗蕾教授 01:41:22 就是他要快,要快打这个这张牌。
唐老师 01:41:25 行的行的,我回头跟他好好沟通一下这个事情。是。对,这个就反正这个事情。他们是计划多久嘛? 27 年。啊就 27 年明年报,他已经就到最后一轮了,他们董事长的弟弟跟我一起去 10 月 18 号去美国考察一下,他自己去不了,因为他自己身。可能稍微敏感一点。对。他的一个亲弟弟,他跟我一起去美国这一次,也跟那个罗老师报告一下哈。我现在其实一个方面做这个,研究嘛。另外一方面呢,我还有一些职能的,就是帮助一些基金找项目嘛。对。对,这个还是还是一个比较重要的事,其实。包括工信部他找我,也不是纯粹是技术的问题,他也希望说帮他们搭一搭生态,把这个企业和这个投资圈啊,上市步骤啊这些去贯通一下,这样的一个。对。那您这边如果要是有这个,合适的项目,您都可以,蛮可以推荐。一个是直接让工信部的中小中心,比如说倾斜一点儿,省这个就是叫做那个专精特新啊,小巨人这种,这个我本身就是一个评委。
罗蕾教授 01:42:36 我们对,我们这边有一个,我们孵化了一个做汽车安全的,网络安全数据安全的公司,也是已经是小巨人了,他们也遇到一些瓶颈,现在呢就准备呢也是要和端侧的 AI 要结合,当他们的思路。
唐老师 01:42:53 我我们今天这个讨论的东西不限于只是给。
罗蕾教授 01:42:56 对对对,我知道我知道,只是只是他们现在还没到这么,就是因为他不是做 art house 的,他是做安全的。更多的是从 AI 的可信底座,这个,可信 AI 的可信底座这个角度,他们也在讲故事吧。也支撑不了。当他的估值很低了,他的估值就是去年投下来也就是投后 7 个亿。当他不像易辉那么会讲故事,所以他在汽车的安全这个领域,网络安全数据安全也是头部。
唐老师 01:43:29 也拿不出来。那也很不错呀。
罗蕾教授 01:43:31 对,我觉得我觉得你下回有机会的时候。好啊好啊好啊。可以到成都时候,反正你过来。对对对对。跟他们聊聊。
唐老师 01:43:39 可以可以。
罗蕾教授 01:43:39 看看能不能帮他们也推动推动。他们现在呢,反正就是说,车上这些单子呢,一年有个将近一个亿左右,这个是保。也在做一些飞车的一些业务。比如说想把也软硬,因为硬件也可以做嘛,反正软硬件都在。飞车的主要是呢,特别是他们比较有特色的,是他的那个测试工具。
唐老师 01:44:05 啊测试工具。
罗蕾教授 01:44:06 就是面向AI,面向就智能终端的。安全的测试工具,工具,它不局限汽车,因为汽车行业这么多年下来,它已经比较成熟,对车这一块儿他们比较熟,就是就自己就建立了一套测试。测试工具,这个工具呢,它可以用在很多智能终端。现在也是迭代。一些 AI 的能力。
唐老师 01:44:31 他这个测试主要是测试什么?
罗蕾教授 01:44:33 测试的安全啊。安全。主要测试,比如说漏洞渗透啊。整车零部件啊。那么他到。
唐老师 01:44:40 他他是测软件还是测硬件?
罗蕾教授 01:44:43 他是这样的,是测这个系统。测系统。里头会涉及到软件,也涉及到硬件,因为你说一个零部件。对。那他这个漏洞,当体现出来漏洞主要还是软件的漏洞,对吧?但是他可能有很多访问的点,比如说有WiFi、有蓝牙这些无线的东西,他他会通过这个来做一些攻的。
唐老师 01:45:04 那他的那个客户都是这个,就是主要主机厂这些吗?
罗蕾教授 01:45:07 主机厂建厂,还有现在除了车以外,他也在扩展一些其他的,比如说端上的。
唐老师 01:45:15 所以他是以安全和检测为主。
罗蕾教授 01:45:17 安全检测为主,安全的解决方案,也也在叠加AI,因为你不可能不叠加AI,所以他们也在折腾,你下回有机会也可以看一看。好啊好啊好啊。看一看也可以指导一下他们,他们想呢,就是反正也在,都需要一个,因为创始团队呢,原来也是我们团队带出来的。他们原来呢,没干过那么大的事儿,技术能力很强,也是干操作系统出身的。
唐老师 01:45:44 干到一个亿已经不小了。对,一个多亿嘛。也不小了。
罗蕾教授 01:45:47 就说现在就要经历这个过程。是是是。经历以后呢,原来我帮他们帮的比较多,现在呢我就说你们自己要去折腾,因为实控人也不是我,对吧?你实控人要去理解,对对对。这个社会的情况,你要去搞,我们我们团队呢,是。我们特别是在整个整车的信息安全强标都是我们牵头的。国家的。那厉害。那我们是在国家三个单位。
唐老师 01:46:13 你本来这个江湖地位就在这里。
罗蕾教授 01:46:15 我们原来是干操作系统出身的,干汽车的,然后后来干上了端上的安全,为什么?因为我们懂它的软硬件。是是是。懂它的基础的东西。是是是。搞安全的人不懂那个,这个嵌入式系统。对对对。所以我们搞到了安全,他也都,大家都很通,在安全方面我们操作系统加安全,现在再加AI,实际上现在就是这三个。
唐老师 01:46:37 那个那个我,你明白我的意思吧?非常好,真的,我我怕说漏了这句话,我还想跟您报告一下,其实如果接下来哈,就是因为可能我我不太了解咱们团队的一个。我相信规模已经很大了哈,只是说我们自己的话呢,有一个想法,也可能会做一点,就是我们可能会帮助一些其他的公司做代训。代训大模型。代训专业模型。我那个。这个蛮好的。对,这件事情。因为这个投入太大了,代训。对对对。
罗蕾教授 01:47:10 对,相当于是这个大模型不局限在基础大模型,数字的,专门做的都可以刷。
唐老师 01:47:14 不不,我我们专门做垂直的,我们专门做垂直的,给您看一篇文章,这个是我们跟那个。就我们实验室的这两个教授,那个陈世斌教授也有点想参与这个事,他昨天跟我在聊。
唐老师 01:47:28 就我们提出来了一个这个称之为叫做垂直大模型训练的一个框架。这个是比较新的一个框架,就是我们做了一个研究哈,称之为叫做垂直大模型,它具就是叫做语料的不充分性和业务边界的混乱,是一个常态,目前的常态。那么关于这个垂直大模型经常被理解成通用大模型加行业语料,但是他忽略了这个垂直智能体需要的深层次结构,我们提出来说。这个训练的不足,并不只是数量不足,而是训练目标没有充分编码。这几样东西,就是比如说对,这里哈,我们举个例子,就是说垂直大模型等于通用大模型加行业语料,这个是表面上具有合理性,很多人也这样表达的。但是真实场景里面的话,差别非常的大。银行柜员客服和这个淘宝机器人客服,虽然都是客服,但是它是完,它并不是语料风格的不同。它的背景是在于监管审计身份校验。这个是前一种,然后后一种是以促进成交为主的,它的目标不同。非常的不同。类似的话呢,还有像这个做顾问业务的,做总战略的也不同,但是在现在的这个模型训练当中,它区分不出来。
唐老师 01:48:50 所以我们现在的话呢,把这个我们就直接往下看到这吧,我们就提出这样一个东西来,就是我们的话呢,认为说它需要包含的边界,服务对象边界、问题类型边界、介入边界、动作交互这个等等啊,然后提出来七大要素,我们提出来这个就是垂直大模型训练框架。真正构成其实大模型的不是通用语料,和领域语料的结合,而是说七个耦合的条件,就是包含主体角色,模型首先必须明确我是谁,它是要,不同的角色输出逻辑就不同,就不同的逻角色,这个。对,对,是的是的。
罗蕾教授 01:49:31 不同角色肯定输出逻辑不一样,它角色决定了它。
唐老师 01:49:35 对对对。对,这个,这个也是一个关键点。然后然后目标函数,就是模型必须明确我为了什么要优优化,对。合规、成交、安抚。增长长期价值。是。然后这个有点像什么呢?就是有点像就是模型现在,您刚刚讲到的就是如果说一个机器人哈,它有一个危险的动作。它前面半截的动作它可能是合理的动作,但是它一旦越过一个边界过后,它就会产生破坏性。对。那么这个现在是一种外部边界围栏的一个思路来处理的,就是给它设定各种各样的动作边界。但是实际上这个是有点问题的。能不能够让这个模型天生的就知道它这个动作?只能做到那个范围,而不是从外部去拦截它。
罗蕾教授 01:50:21 这就是模型本身的要有这个能力。
唐老师 01:50:24 对对,模型本身的能力,制度约束,边界约束。对。那个陈瑞斌老师他跟我讲的意思是,他。
罗蕾教授 01:50:31 他要想干这个。
唐老师 01:50:32 差不多,对,因为他现在在做一个什么呢?他在做物理边界。他在做,因为他是在工业机床上去用的嘛,他在做物理边界,物理的规则。然后这里面我们具象下来了过后的话呢,会变成一个对于语料的处理就不一样。就是这个不是纯粹的概念,它对于我们真正训练模型就是不一样的。换句话说,以前可能大家会觉得有3万条语料, 10 万条语料就够来训练一个角色模型。在我们这套框架里面,它就是不够的。它不是纯粹的数量不够,是它的结构里面不够,它缺了东西。
罗蕾教授 01:51:11 它缺一些约束啊,它的要求啊,有些语料是要有有明确要求的哈。
唐老师 01:51:17 对,要有角色、目标,这条语料背后的目标是什么?对,它是在一个安抚客户的场景下说的话。还是说来促进成交的话,目标。
罗蕾教授 01:51:28 所以这个这个训练才是有价值的。对对对。找到合适的语料哈。
唐老师 01:51:33 我们要把,所以这个框架一实施起来,我们做了一半吧,这个工作,我们就大概到,就是这个东西可能我们也会有有有这个。
罗蕾教授 01:51:43 就相当于帮别人去做这个。
唐老师 01:51:45 对对。垂垂直模型的训练。垂直的模型训练,对。
罗蕾教授 01:51:48 从数据采集,给他定义什么样的数据。
唐老师 01:51:51 对对。
罗蕾教授 01:51:52 开始就一直把这个做起来。
唐老师 01:51:54 对对对,没错没错。这个蛮好。对对,这件事情如果说您这边用得着的话哈。好。我们也很乐意。行。对对对,不管是从研究的角度,还是从真正帮帮人家训练的模型。对对对。我我们现在机床还是有点资源,就是。
罗蕾教授 01:52:08 对你这个挺好,因为我们这边有个陈红老师呢,他也做垂类的,但他主要,他的特色呢是在。因为训模型他不行。对,这个投入太大了,但是他主要是做一些智能体。和类似于潘纳提尔那套东西。因为他对数据比较比较清楚,然后搞计算机体系结构的嘛,对哈尼斯那套东西比较熟。就搞计算机的嘛。他所以。模型对他来说觉得门槛太高了,他想把这个结合起来。你看你正好让陈老师。
唐老师 01:53:12 我。我们现在这个思路还是。这个挺好。还是比较新的。
罗蕾教授 01:53:18 一会儿可以让我们这个成龙老师,他。
唐老师 01:53:20 他就。
罗蕾教授 01:53:22 平常就在这边。他也自己搞了一个公司,专门来做这个。原来最最早做区块链,到。到做大数据。可信数据空间也干过,现在转向了,就是基于数据,把普兰特尔再加模型。是是是。再加智能体结合进去。是是是。哎,他就干这个。是。也做一些项目,到时候你们可以再交流一下。好呀好呀。反正就下一步,在一辉这个合作的话,那个汤生,你你来你来牵头,看看怎么弄,到时候我们三个人可以拉一个群,有什么事儿我们随时可以。
唐老师 01:53:57 好好好,肖老师。
罗蕾教授 01:53:57 可以沟通,反正这个事儿呢,具体。好的好的。我跟,因为思路,今天其实我们大思路都都已经清楚了。如果需要肖老师配合你到什么南京啊。他都没问题。好的好的。他就可以去了。
唐老师 01:54:12 我机票给你们买好。
罗蕾教授 01:54:14 没事,反正肖老师这边,就是他就是我的博士。培养出来的,然后他现在比我,比我强多了,知道吗?比我强多了,就是我现在干不动了。
唐老师 01:54:25 您是这个已经功成名就了,可以了。
罗蕾教授 01:54:29 确实也干不动了,这个再加上呢,就是很多事呢,他现在也比较自由。自由呢,在学校。在学校然后比较自由,反正有什么合作啊,我觉得你多请教。哎,不客气。就是你看唐老师他的思维,他是从一个从一个价值的角度去看这个事儿。嗯嗯嗯,是是。而且呢他做投资,科技投资,科科技投资就是说,你对于一个公司怎么定位,他要重新给他做战略战略的规划的。嗯,是的。就我觉得哈,这个定位特别重要,就是这个定位就意味着你能不能融到钱,你能不能够让资本市场要要支持你。比如说你就说一辉现在 70 亿,他上市至少要 200 亿。不可能 100 亿吧,他上至少是 200 亿,这 200 亿这故事怎么讲?对呀。就是这个意思啊。就很现实。你比如说像我就觉得我比较忧郁就不好,我觉得他就乱七八糟,没想清楚他他到底讲什么故事。
唐老师 01:55:25 对。
罗蕾教授 01:55:25 对不对?嗯,是的。对,他他现在可能就 30 亿嘛,他跟亿华比还差一点,现在看起来就是这些 Arco 公司,可能就是他,还有可能真能上。
唐老师 01:55:36 对,目前看来还是机会比较大。
罗蕾教授 01:55:38 对,因为包括南南京市政府也支持他嘛,对不对?
唐老师 01:55:41 是的是的是的。
罗蕾教授 01:55:42 全力要支持嘛。
唐老师 01:55:43 对。但他董事长还是比较,这一点还是谦虚的。可能也跟我那个工信部的身份有点关系嘛,他估计。对,你肯定是认的嘛。他可能他可能知道我不是乱讲。
罗蕾教授 01:55:54 对,因为工信部他最后要。不好意思。上市都是要邀请的。
唐老师 01:56:00 对。是,现在就。他要。邀请制,对对对。
罗蕾教授 01:56:02 对,都是邀请的,我给你介绍唐老师,唐老师身份比较多哈,他他相当于在海外,你是本科是哪个学校?
唐老师 01:56:13 厦门大学。
罗蕾教授 01:56:13 厦,哦,我忘了,厦门大学后来到美国。
唐老师 01:56:16 哥伦比亚大学。
罗蕾教授 01:56:17 然后哥伦比亚就是很投行啊,然后搞投资啊,自己还亲力亲为在干,回来又回来了,回来主要是科技投资。顾问在工信部中小企业的发展中心,嗯,对。也做很多事情,对。同时呢他也在上开发那个体系做创业,同时也跟很多企业做一些服务,就是他们现在就是他们自己做的事情,对。就是垂类大模型的预训练,帮别人做,然后也在做算子优化,我就说你呢,你给唐老师介绍一下,我,唐老师,那个唐老师,我要出发了,等一会儿呢,到时候你们一起,好,然后请唐老师,我是什么呢?因为今天我的一个同学来了,哦,理解理解。我们同学要七十周年。年庆,我们要去踩点,要去找一个地方去吃饭,去看看好不好吃,我没办法,我只有我,我陪他去。
陈虹-电子科大 01:57:10 还要踩点啊。
罗蕾教授 01:57:11 哎呀,我就搞的我,其实没办法,我们现在成都同学,反而成都同学都退休了也不管,都是我,我这个不退休,我没办法,我没办法,就是我说那些同学都玩。也不出来,哎,就。
陈虹-电子科大 01:57:28 几号回来嘛?
罗蕾教授 01:57:30 26 号开始。
陈虹-电子科大 01:57:31 26 号就要开始啊?就开始,要整几天。
唐老师 01:57:35 还停了一,还停了我一节课。
罗蕾教授 01:57:38 26 号,东辉总,中中午的飞机,你看一下你要不要请他吃个饭哈。
陈虹-电子科大 01:57:45 看他有没有空嘛。
罗蕾教授 01:57:46 不,你就问问他嘛,是也是他的投资者,也我的同学,就这个龙联科技的创始人,也是上市公司,他有两个创,好,你们你们就,你好好请教一下,中午你就。
唐老师 01:58:01 好好好,好好好,拜拜。谢谢谢谢,谢谢罗老师。对,对,那个我呢我呢是属于被投资基金的身份耽误了的。
陈虹-电子科大 01:58:14 科科科学家啊。
唐老师 01:58:16 对对对,我我实话实说,这个现在这几年感觉下来的,还是比较喜欢做具体科研。但是呢,确,也确实就是跟罗老师讲的那个情况,我在美国工作的时候呢,也是阴差阳错的,我们那时候都双学位嘛。然后呢就花旗银行呢,他们就比较喜欢这种背景的,然后就请我们去做这个投资的分析师,投行的那个对。投行分析师。
陈虹-电子科大 01:58:42 他其实反而要招那种理工科的。
唐老师 01:58:43 对对对,就没有没有理工科背景的人根本去企业跟他交流不了,听不懂,然后我们就很专业嘛,我们什么都能够跟他谈。然后呢后来我回国又做了一段时间,然后又管基金又管了段时间。我我我我也工作二十几年了。
陈虹-电子科大 01:59:02 但你也看着很年轻。
唐老师 01:59:03 我我是七几年的,我是我是七六年的。
陈虹-电子科大 01:59:06 呃差不,你比我小。
唐老师 01:59:09 然后那个。你哪本科哪一级?我是 94 级。
陈虹-电子科大 01:59:12 哦,那可以可以。我九三级。
唐老师 01:59:16 九三,差不多嘛,师姐。没有没有,不敢。那个,所以后来跟那个,就是刚才跟肖老师和那个罗老师也聊了比较多关于这个实时操作系统的事情。然后这件事情呢,它是属于我在交大跟那个 X 省实验室,还有那个上理工的高院长,光光光学院的高院长,我们联合做的一个公司,在做的一个事情呢,就是垂直大模型的待训练。就是就是帮别人训练。这个意思就是。
陈虹-电子科大 01:59:47 哎,我这个我,我打打岔一下,不好意思啊,唐总。因为我最近看了一篇文章,就是好像是腾讯的,做大模型的人出来讲的哈。那个是一个探讨,他就提到说,其实现在好像做垂类大模型,是不是是这个,就他的投入跟产出好像是觉得有一点,不是那么的,就值。
唐老师 02:00:10 我我理解哈,我我跟你解释一下这一点,我觉得这话有道理。因为因为垂直大模型的话呢,它天生哈,就是像肖总啊,像罗老师本身在,也在指导工业企业嘛,也在指导您这边,也和还有汽车汽车企业,我觉得从企业本身的角度来讲,去训练一个垂直大模型,往往可能是。得不偿失的。主要的原因是因为这里面有很多底层的基础性的研究。由企业来做不太合适。就是因为你的垂直大模型,你服务的客户量太少了。你你看一个通用大模型,服务的客户量是多大?那都是那都是亿级的。
陈虹-电子科大 02:00:48 实际上你是个行业的才行哈。
唐老师 02:00:50 对,他是,就是这有点像专业帮人家开发软件的意思。对对对。你这样想吧,你你自己去开发一套软件。对。一定会更好用吗?这不见得。对对对。因为你你的用户量就太少。对对对。然后。
陈虹-电子科大 02:01:02 而且数据肯定也没有。
唐老师 02:01:03 数据不够,数据数据明显不够,还有一个更操作性的问题,是你要怎么准备数据都不,都不一定。
陈虹-电子科大 02:01:11 对对对,我要怎么去把那个语料走成高质量的?
唐老师 02:01:14 就是这个问题。
陈虹-电子科大 02:01:15 也也不知道该怎么做。
唐老师 02:01:17 你你看哈,我这里有一篇文章就是专门讲这个问题的。那个跟肖老师,你肖老师,你要有有兴趣一起,有兴趣我们都一起可以完善这个。这个是这个这个文章就是我们上交大的几个老师准备要发的一篇。对对对。对,就是这个是出,还还不是正正式稿哈,就是只是一个题目吧,开个题。就不充分性跟业务边界,这是两个问题。这个不充分性的话呢,它讲的是什么意思呢?它讲的其实大概是这个意思,就是我们直接看这儿吧。现在主流的对哈,在这个大模型产业化里面广泛接受的公式是垂直大模型等于通用大模型加行业语料。对吧?大家这么认为的。但是的话呢,行业语料的话呢。他本来看起来好像是行业语料来补充这个场景和表达习惯,基本上好像这样就可以,但是实际上是失效的。因为你看这个一个银行柜台的客服跟淘宝客服,虽然方向都是客服,但是他不是语料风格的问题,他背后有非常多的规则,在语料里面反映不出来。同一句话,我们甚至可以这样说,淘宝客服的同一句话,他可能是在一个目的不一样的时候,他的意思其实并不相同。
陈虹-电子科大 02:02:36 潜,有点以前说叫潜规则可能不对,就是一个背后的一个隐藏的含义。
唐老师 02:02:42 是是是,七要素,我们已经把它归纳出来了。叫七个要素。我们已经把它归纳出来了。所以我们提出来就是,对,已经方法化了,人化了,就是我们城市大模型训练框架,七个要素,就是主体角色。然后的话呢,目标函数。就角色不同,输出逻辑就应该不一样。对对对。然后目标函数就是为了什么目的去做这个动作,或者讲这句话。对。然后呢领域知识。所以语料基本上只能包含领域知识,它只有这个部分,它其他基本都是缺的。嗯对。然后制度约束。然后动作空间。然后工作流,动作空间和工作流它是有升级的概念。就是比如说如果。我有一个交流,触发了我的一个机制过后,我应该升。升级或者降级,我要么就抛掉这一个处理流,要么就升级它的处理流,或者分叉。就它就不应该再停留在我这个对话里头了。就是这个在垂直大模型里面会有这种情况。对。在您看在通用大模型里面没有这个情况,在通用大模型的语料对对话里头,你看你跟豆包讲的时候,豆包没有让你去干别的事情。它从来没有这个建议。它就是只是以它的知识来进行回答。对。这个它没有工作流的概念的。工作流是在我们在外面要搭一层。
陈虹-电子科大 02:04:00 这个动作空间跟工作流跟现在的智能体。
唐老师 02:04:03 有关系。对。好,但是这里头的差别在于什么呢?我觉得的话呢,就是说这个。这个其实智能体本身其实就是模型的一个外延。
陈虹-电子科大 02:04:12 对,在做这个具体的。
唐老师 02:04:14 对,它就是一个外延。
陈虹-电子科大 02:04:15 执行啊,或者是这一块相关的。
唐老师 02:04:17 但是有一些东西哈,就是说我觉得智能体能解决很大一部分问题,但是有一种问题我们觉得不应该由智能体全部来解决。比如说像机器人的危险动作。具身智能当中如果出现这个机器人的,你你可以这样理解,机器人的话呢它一个动作在一定的幅度范围之内。它的某一个动作在幅度范围之内它是安全的。对。一超过就危险了。力量。在每个某个范围之内,它是安全的,一超过就危险了。现在的做法都是什么?边缘拦截。都是外围拦截。对。智能体也是这个目的。都是外围拦截。
陈虹-电子科大 02:04:53 对,从工具侧去拦。
唐老师 02:04:54 从工具侧来拦截的,你能不能够定义成他在做某个动作的时候,他就本身天生自然就带有边界。你不要再从外部去拦截。因为外部拦截我认为是不符合实际情况的,你相当于什么?这个这个从方法上。
陈虹-电子科大 02:05:10 对,从人的整体来考虑就就不自然了。
唐老师 02:05:13 不自然的呀。你看一个人。
陈虹-电子科大 02:05:15 我如果说我要去。我如果说我要去。比如说要去打一个什么东西,我的力度是大了。
唐老师 02:05:19 对呀对呀,不是外部人。
陈虹-电子科大 02:05:21 到了这个手这儿,手自己在那儿说。
唐老师 02:05:24 再另外再一只手来拦你一下,他不是这样做的,他是一开始本身就带有目的了呀。目的范围边界。
陈虹-电子科大 02:05:31 就是其实你这个动作空间就是这个。
唐老师 02:05:33 动作空间是本身的。哦,明白。是这个意思。
陈虹-电子科大 02:05:37 对。从源头。
唐老师 02:05:39 从源头上的。
陈虹-电子科大 02:05:39 给你给你训练,你就你就不能,你自己就是一个有意识的,就是你就是。
唐老师 02:05:45 你是带了目的的,你带了目的带了责任感,带了边界。
陈虹-电子科大 02:05:50 你对你这个行业的垂直领域的这些行为,你是知道它的边界的。
唐老师 02:05:55 对。对对对。
陈虹-电子科大 02:05:57 就是训练的。时候就在这个过程当中。对,就。就要去,就让他要。
唐老师 02:06:01 语料就不一样了呀,因为这个直接语料就不同了。
陈虹-电子科大 02:06:04 对对对,你要有这个维度的语料。
唐老师 02:06:06 对你没有这个维度,你就不可能训练出来嘛,对吧?这个道理就说明白了。明白明白。就这样的话呢,就是你整个原来的。
陈虹-电子科大 02:06:13 工作流也包括了,工作流的也包括了。
唐老师 02:06:15 对对对对,语料就不同了。
陈虹-电子科大 02:06:18 那明白了,我们现在还没有,我们现在就是靠智能体来做这个。
唐老师 02:06:23 哎明白,这个这个在一般场景下还是可以的。
陈虹-电子科大 02:06:25 对,这个因为就是刚才我跟你说的那个问题,就是成本太高。对。一般一般的企。企业肯定都是干不了这个事儿的。
唐老师 02:06:34 那所以我们来做嘛,哈哈哈,我们来帮助企业训练。对呀对呀,这个好,这个好。我们自己有工具,有方法论,我们连设备都有,我们有两台服务器专门可以用来做小模型,就 7B 以下的模型训练我们都可以带走。
陈虹-电子科大 02:06:46 但是还有另外一个问题啊,唐总,就是。还有一个问题就是有有的人探讨过,但是我自己没有,因为我也没有训练过这种微,或者叫再训练,后训练,有的叫有的叫微调。后训练。可能两个还不不完全一样,就是确实我看到过文章说后训练这种的比微调的精度更高的。对。但是呢,就是有有专家也提到过,就是说。好像说如果说我们对垂直领域的一些训练,会把通用大模型的一些其他能力,有时候会,好像会拉低。
唐老师 02:07:18 减弱是吧?
陈虹-电子科大 02:07:19 对,就是,这个我我我没有遇到过啊,因为我没训练过。
唐老师 02:07:22 我觉得我觉得不太,我觉得不太会,主要是这么个意思哈,就是这里面就讲起来就比较多了哈,我我我再给您看个小东西啊。刚刚肖老师看到过,我们还有另外一个东西,是这种东西,就是我们做这个大模型的这种,管理工具。这个管。
陈虹-电子科大 02:07:41 就是个平台。
唐老师 02:07:42 对对,就是一个平台,它是。这个是用来测速和调优的,测速调优和优化。那这个里面的话呢,就是这个机器现在在运行的是这个模型。
陈虹-电子科大 02:07:53 哦,你那个三五B,A3B,还有那个,哦,还量化的。
唐老师 02:07:58 量化,不同的量化。你看一下我们有多少种不同的量化。
陈虹-电子科大 02:08:02 有。这是你们自己量化的吗?
唐老师 02:08:05 因为我看外部量化的。也有,我看网上也有,呃。外部量化的,但是我们在一个平台上来用它,来测。对对对。来测,来跑效果,跑出不同的,看最后跑出来什么效果。
陈虹-电子科大 02:08:16 运行比较。
唐老师 02:08:17 你看一下这里。这里运行比较,同一种模型的不同量化。然后的话呢,最后跑出来的 token 数。你看这个可以调多少?嗯,对对对。就我们现在做的有一部分工作就是帮助这个算力中心优化它的模型配置。在在原有的硬件基础上,怎么样选择最优的这个地方你看啊,模型框架量化启动参数。在这些上面去选。就模型框架量化启动参数。
陈虹-电子科大 02:08:44 就我可以选一个最适合我这个应用场景的。
唐老师 02:08:47 没错没错没错没错,就是这个目的。对对。就这个目的,然后你看这里基准测试有这么多种。
陈虹-电子科大 02:08:55 各种方面的。
唐老师 02:08:56 对,各种,就是短文本的,长文本的,编程性的,然后,是,高并发,低并发。
陈虹-电子科大 02:09:02 我们最近最好,最近正遇到一个事儿,是什么?有,我们的两个场景。因为我们在做纪委的,数据的线索,找找背后的隐藏的交易啊,这个,我们原来呢,我们是做的数据分析的那套,然后最近呢,我们就把智能体叠加上去了。对。我们就发现,其实因为我很多的真正的数据分析,我是用我的工具做的,因为数据量大了,我也不可能给到大模型去做。对对。所以实际呢,这个大模型更多的就是对用户问题的一个意图的理解。用户意图理解。对,其实相对来说,后面我们就用了最近3.8。
唐老师 02:09:48 嗯,3.8。
陈虹-电子科大 02:09:48 3.8 的 27B 的。对。 NV 的FP4。FP4。诶,其实效果很好。对啊。因为其实就,所以我刚才看您这个。呃。测的方面不一样,对。对对对。就效果还不错,但是呢,我们后边又有另外一个问题,就是。我们数据不是,它现在数据是各种表嘛,格式就很多样,实际上我们除了分析的智能体,我们还要做一个。数据治理的智能体,对,在做这个智能体的时候呢,其实我们就会要生成一些脚本。因为我要处理表,各种表头啊这一类的。但是我们就发现用量化 FP4 这个 NVFP4 这个,它就要花很长时间。他要花 18 分钟才能够帮我们生成出来,我们就换了一个模型,就是那个distill,就是opus。那 distill 它就很快。所以其实都是量化的。对。但是它侧重的方向不一样。就有的。
唐老师 02:10:53 那那那是肯定的。对。千问就是有些是任务就是比较慢。
陈虹-电子科大 02:10:57 就是,所以。是有这个问题。所以最后现在还不知道。
唐老师 02:11:00 或者你用伽马也可以啊。伽马是吧?对伽马,伽马的话呢是那个谷歌的开源版。谷歌的那个开源版。
陈虹-电子科大 02:11:08 我们现在主要还在用千问。
唐老师 02:11:09 这个这个。
陈虹-电子科大 02:11:11 伽马。
唐老师 02:11:11 这个效果。特别好。哦这个。对,这个效果相当好,很轻。
陈虹-电子科大 02:11:15 这个我们还没有。你可以拍一个。我拍一个。
唐老师 02:11:17 对, Gamma 4, Gamma 4 的效果相当不错。
陈虹-电子科大 02:11:20 哦,相当不错。
唐老师 02:11:21 嗯嗯嗯,而且它很小,在12B。
陈虹-电子科大 02:11:27 这个能在那个现在那个那个 DGX 那个 Spark 上跑得起来吗?
唐老师 02:11:33 应该跑得起来。128G。 128 完全够了。
陈虹-电子科大 02:11:35 啊,完全够了。对对对。那后边试一下。
唐老师 02:11:38 我这也是我们的一个建议哈,就是说以后的话呢,我们这一个平台,我们会把它发展成一个比较面向整个社区的一个。我们想提出一套。我们会开源一部分。开源一部分。开源一部分。但是到后面我们会把它作为免费工具。我是做免费工具,还不是。
陈虹-电子科大 02:11:59 这是服务,是奉献了。
唐老师 02:12:01 对对。奉献了。但是我们的目的是这样,我就可以测出很多种大模型在不同的场景下的表现。然后我再加算子优化。再加算子优化。
陈虹-电子科大 02:12:11 你们其实核心还是更基础设施,更底层这一块。
唐老师 02:12:14 对对对,我们。
陈虹-电子科大 02:12:15 你刚刚说是整个这个东西是上交的一个团队吗?
唐老师 02:12:18 对。
陈虹-电子科大 02:12:18 你你在那个上交的一个团队啊。
唐老师 02:12:20 没错没错。
陈虹-电子科大 02:12:23 我们没那么好的条件,就只能做应用。
唐老师 02:12:26 企业不一样呀,企业的目的肯定是首先要要往自己的这个业务目标去奔的嘛。对对对,是这样。是吧?你不可,你不太容易,你不太可能分出一个。是的是的。一个小,一个团队,三个月,六个月专门就去训一个模型。是的是的。训了过后明天能不能起作用,你也不知道。
陈虹-电子科大 02:12:42 对,就是这个问题。
唐老师 02:12:44 这是你你不好办。
陈虹-电子科大 02:12:45 我其实一开始我们都想的,因为因为现在是这样,因为我不是说做纪委这个事儿哈,他们要等着他的建算力,那个时间周期就太长了。而且呢,实际上成本也特别高,政府的那。那个那个流程也很慢,所以实际上我们是想说给他小盒子,就是做成单机版。单机版的。对,单机版这种模式,就正好就发现那个还可以,就还可以用。其实最早我的想法就是,也是想说能够去做一些针对性的那种蒸馏微调的蒸馏。
唐老师 02:13:22 那我觉得没有必要了,我觉得您就把精力放智能体就够了。对对。足够足够。
陈虹-电子科大 02:13:27 然后后来考虑一下确实觉得可能那个路不一定对。
唐老师 02:13:30 对,你就底座模型加上智能体,足够解决绝大部分的场景问题。
陈虹-电子科大 02:13:35 因为我们原来的是确实智能体已经做了。但是我们是智能体加那个大大的模型嘛。就不是加的那种什么 DeepSeekV4 啊这一类的大模型,然后就后来就觉得说,因为这个大模型,他们本只能本地部署。
唐老师 02:13:51 你要你要本地部署的话,就要用小的。
陈虹-电子科大 02:13:52 就那个算力就太大,所以现在就核心就说。
唐老师 02:13:55 你们现在的机器用哪种显卡?5080。
陈虹-电子科大 02:13:59 我我们现在还在还在测,就是现在用的就是那个小小的那个。
唐老师 02:14:05 但 DGX 我觉得有一个问题是吞吐量哦。
陈虹-电子科大 02:14:08 对。那个问题有点大。就是有点慢,对,您这边有没有好的?
唐老师 02:14:12 我我我是建议你要么换3080。
陈虹-电子科大 02:14:14 4080 是吧?那 4080 可以做的比较小吗?
唐老师 02:14:18 我觉得没有必要那么小吧,我觉得一个机柜它的一块普通的电脑大小总是能接受的吧,它要那么小吗?
陈虹-电子科大 02:14:25 也不是,也不是说非得体积上, 4080 的, 4080 的有多大?那个。
唐老师 02:14:32 就是正常的台式机那么大。
陈虹-电子科大 02:14:33 我知道我们其实都有一个4080,我们自己。
唐老师 02:14:36 4080 有那个笔记本那个版本吧。但是它好像。也有,笔记本的版本那个不大。
陈虹-电子科大 02:14:41 但是它能跑得起吗?
唐老师 02:14:43 你如果用 27B 的,勉强是跑得起来的。如果用是这样子的,如果说你要用叫做跑到有并发, 4 线、 8 线、 10 线的。那肯定不行。那肯定就单机版单卡。
陈虹-电子科大 02:14:59 对,肯定不行。
唐老师 02:14:59 对,但是 DGX 也不行。
陈虹-电子科大 02:15:02 对,他也不行,他也不行,他所以说他就是,我们就是说他就是,目标就是指一个人用,因为一个就是一个办案人员嘛,他就用一台笔记本电脑加一个盒子,目前是这样规划的。就是这样。
唐老师 02:15:16 但我还是有点担心 DGX 的存储。
陈虹-电子科大 02:15:18 是慢是慢,是这个问题,有这个问题。那您说的这个 4080 它它有多少那个那个,它的显存有多大呢?
唐老师 02:15:28 那个是我看一下哈,就是现在有两个版本,40、4080、 4090 有一款是 48G 的魔改。但是你你,但是你们可能不太敢用这个就是改版的吧,二手版。你们可能不太敢用这种。
陈虹-电子科大 02:15:44 对对, 48G 不够诶。 18G 不够,因为他那个 DDR 是 128G 的。所以我担心他跑不起来。
唐老师 02:15:53 嗯,如果要 128G 呢,有另外一种方案,但是要看你们能不能给纪委用了。现在这个当然有点折中哈。大概5万块钱左右的那个就是 4 台V100,就是 4 台 V100 显卡,就是我现在这个。
陈虹-电子科大 02:16:08 V100 是吧?
唐老师 02:16:09 对,就 4 台 V100 显卡,这个。
陈虹-电子科大 02:16:12 V100 是。
唐老师 02:16:14 V100 是 2018 年的版本。但是他跑,这个我现在这台机器跑的就是这个,这个性能绝对够。但是机器有点大。这个机器有点大。这个地区的话呢,也差不多。
陈虹-电子科大 02:16:26 太大了,有可能有点不好弄。因为他们有可能档案还要带着带着的。
唐老师 02:16:32 哦,那那你那你只能先考虑BDS。
陈虹-电子科大 02:16:34 对,我现在目前就是考虑的这个这个。
唐老师 02:16:38 那你尽量用 BDS 看跑跑那个小一点的模型。
陈虹-电子科大 02:16:41 对,我现在就跑那个27B。
唐老师 02:16:44 如果只是语义理解的话, 12B 我觉得都够了。
陈虹-电子科大 02:16:47 12B 我担心精度不够。
唐老师 02:16:49 不是啊,他语义理解问题不大。
陈虹-电子科大 02:16:51 但是因为他那些问题还是有一定的复杂性嘛,他比如说要,我不知道哈, 12B 你觉得都够啊,但是我们原来跑那个 27B 的A3B。就觉得不太好,效果不太好。
唐老师 02:17:03 千问的前几代很差的。千问只有到 3.6 过后还勉强。
陈虹-电子科大 02:17:07 就是3.6, 3.6 的 35B 的A3B。就感觉效果不太好。
唐老师 02:17:13 你用 27B 感觉会还好。
陈虹-电子科大 02:17:15 对, 27B 感觉,其实我们在那边都是用的27B,因为那边他们现在那个卡只有A100,这个 DeepSeek 是跑不起的。对。我们实际上是在那边就是用的千问 3.6 的27B,但是是满血的,就稠密模型那种。但是在这个上跑不起,所以后边就。变成了27B,就 3.8 出来了,然后 27B 的量化版NAFP4,就还可以。对。效果跟跑出来效果就没什么太大差别了。
唐老师 02:17:45 那你速度呢?你感觉。
陈虹-电子科大 02:17:46 速度是要慢一点,是要慢一些的。
唐老师 02:17:49 但是如果你要是,如果你有便携的问题的话,那你就先用着呗,那你只能等着下一年换换硬件了。我觉得我给你一个快速的建议,我建议你不要再改了,就这个。就这个。对,基本上没有更好的。
陈虹-电子科大 02:18:05 更好的就是设备,算力,边端算力设备。
唐老师 02:18:08 对,基本没有更好的。
陈虹-电子科大 02:18:10 就是它整个带宽就是搞的有点慢。
唐老师 02:18:12 带宽太低了。
陈虹-电子科大 02:18:14 恼火,原来最好我们把那个 27B 的完全模型布上去,一秒钟就吐一个两个,那几乎是不能接受的。
唐老师 02:18:22 对,对,对,你现在一秒能到多少?
陈虹-电子科大 02:18:24 它现在能到 3 到 5 个。
唐老师 02:18:26 那够了呀。
陈虹-电子科大 02:18:26 还可可以,就是对FP4。
唐老师 02:18:29 那我建议你就现在就保持不要换,你只是需要最多等一代硬件,你再提高一下嘛,下一代硬件它速度带宽肯定会上去的。对,这个先解决问题为主。
陈虹-电子科大 02:18:39 对对对,先先把我们这个软件这些部分调优,现在已经在做这块儿了。
唐老师 02:18:44 你就就关心那个就好了,硬件不要再换了。是是是。你硬件怎么怎么换都达不到那个 128G 的那个门槛。
陈虹-电子科大 02:18:51 是的是的,就目前先这样子,先走着,但是还在,哎呀,这个不容易。
唐老师 02:18:56 对对对对对。给你加个微信。
陈虹-电子科大 02:18:58 谢谢谢谢,谢谢童总这个给指导。
唐老师 02:19:00 你们你们哪天如果要想训练模型的话,也可以跟我们聊一下。好。对对,谢谢谢谢。那你要跟他说过一声嘛。
唐老师 02:19:38 笔记本儿看起来行,笔记本看起来还可以。嗯,我给你发过来哈。
陈虹-电子科大 02:19:50 哎,好好好。
唐老师 02:19:51 好,那我跟你说一下,然后我们就简单吃个饭。
陈虹-电子科大 02:19:59 那现在现在唐总您是都在国内的是吧?
唐老师 02:20:05 我在国内比较多,但是硅谷那边的话,我也在带两个项目。有两个美国的软件公司,软硬件结合公司吧,他们现在。
陈虹-电子科大 02:20:15 哎,你要不要先把行李就先放这儿,吃完饭再上来拿?
唐老师 02:20:20 去有多远嘛?
陈虹-电子科大 02:20:22 就在楼下,就在楼下。
唐老师 02:20:23 哦,那我就不拿了。反正我们就简单的稍微,因为没办法,这个软件园里头没有什么。对对对,我我们简单的那个。对。我就去。不客气,我等会我就去机场。好的。
唐老师 02:20:52 哎呀,肖老师这个耽误你一个上午了。啊,没有没有没有。
唐老师 02:21:06 哇,你们是也是软件公司的。
陈虹-电子科大 02:21:24 就没事。
唐老师 02:22:06 跟陈总在这里合个影。啊啊啊,可以啊。对。对。对,我们一起啊,我们一起。你的呢?我们一起。好的。
陈虹-电子科大 02:22:27 跟他说一下。
唐老师 02:22:42 对,陈老师,我们一起合个影吧。哦,好好。找个同事帮我们拍一下。
陈虹-电子科大 02:22:48 我们要这个吕哥吗?吕哥不跟我们,我们要不全外边嘛。
唐老师 02:22:52 啊,我哪里都可以,融联是吧?对,融联也可以。好,好。
陈虹-电子科大 02:23:00 哎,罗静,罗静,你要不要帮我们拍张照呢?我们这一边三个公司,其实都是跟融联科技有一点关关联的。记得,老大,就是刚才罗老师说的罗总。好好好。您在中间,罗总,您在中间。
唐老师 02:23:29 我们再点个赞。点赞。再点个赞。
陈虹-电子科大 02:23:32 好。好。
唐老师 02:23:33 诶,谢谢。谢谢谢谢。
陈虹-电子科大 02:23:35 要要走要走里边,因为这个时候,对,对,要走里边,等我一下,我要上洗手间。好好好。我们先走了。好好好。
唐老师 02:24:01 你现在还讲课吗?讲课。哦,是给本科生还是给硕士?本科。现在都是这个博导也要给本科讲课哈。没有,我是硕导,我才是硕导。
陈虹-电子科大 02:25:26 我们要走这个楼梯下去,中午吃饭地方在楼上。
陈虹-电子科大 02:25:45 慢点慢点。你小心,边走边拿手机边看,小心楼梯啊。我们现在呢,最早前两年哈,更早的时候是区块链,然后后面就做到数据,从 19 年开始就在做一些数据的一些管理啊,然后分析啊,然后后面就这两年主要就是往从工具往行业做,就做了跟交通相关的一些,然后做了就是就是纪委,然后做完纪委以后呢,我们其实发现公检法它都有些相通,所以现在也在跟律所,就是做一些律师的一些智能体的产品,但是它因为涉及。知道数据嘛,所以说数据这块我觉得,其实是可以,跟 AI 这边做一个比较好的一个结合。对对。 AI 自己去处理数据还是要难一点的。
唐老师 02:26:53 处理数据和问数这两个问题。对。就是说两个不同的角度。
陈虹-电子科大 02:26:57 对,然后另外就是,其实现在就是还有,就是跟随那个, Pioneer 的那套思路。然后把本体的理念,就是跟 AI 结合,跟我们的那套数据的工具结合。就是比如说。一些本体和二维表的映射,因为实际上你除了本体的模型以外,你的数据怎么按照本体的方式组织和存储,所以这一块也是需要去解决的问题。所以目前呢是这样的一个做法,这边这边。
唐老师 02:27:31 所以都是,所以就都是基于数据处理,数据治理的角度在做哈。
陈虹-电子科大 02:27:35 数据处理、数据治理以及数据的行业的一些应用分析,然后呢结合AI。
唐老师 02:27:41 你们现在那个智能体的话呢,用什么方式框架来做呢?
陈虹-电子科大 02:27:46 现在用的是 agent scope。就是阿阿里的一个开源框架。这个框架呢,实际上前两天我们还发现它有bug,因为我们真正用,因为在纪委那边用的时候就发现,啊,这个数据量太大了,经常超限上下文。就发现它的压缩有问题,而且压缩了也很武断,哦,直接就截了,截断了,所以我们自己也做了一些记忆,因为涉及到一些确定性的数据的一个查询。你光是如果是有的,就是摘要丢掉了,它实际上或者压缩了,那我实际上整个就就查不准了嘛。
唐老师 02:28:29 哦,理解了。
陈虹-电子科大 02:28:30 我们自己就还要做一些记忆,那么这个记忆呢,我们还要分版本。就说你得有不同的时间的,不同的版本的。
唐老师 02:28:38 为什么要分这个版本?你这查询当中也要分版本吗?
陈虹-电子科大 02:28:41 它因为也涉及到,也涉及到一些。类似于,比如说有些关系啊。不光是查询,也会写,就是我叫什么,除了数据有来源,那个来源我们是不会去改它的。但是它会有一些。这个汤做的就比较像那个。他的人员关系可能是那个办案人员通过问答,然后我告诉你的。
唐老师 02:29:07 你等于其实是多模态的资料的资料抽取和关联的发现。
陈虹-电子科大 02:29:12 对对对,我不是简单的只是一个表。对。其实你看他们这次办案,因为我们现在已经在这个成都市纪委,在帮着他们办案嘛。他这次一个案件,他就调了 137 个文件。他有资金,有通话,有出行。
唐老师 02:29:28 那你用什么样的方式来组织这些信息?
陈虹-电子科大 02:29:31 其实我们最早用的图谱,后来其实图谱的模型,其实就是一个本体。这边这边。不去吃这个。是平时在这就习惯了。
唐老师 02:29:44 对。所以用本体的一个图谱。
陈虹-电子科大 02:29:47 对,肯定要必须要把这些关系全部放到。
唐老师 02:29:50 那你的本体怎么定义的?你这个定义的哪些本体?
陈虹-电子科大 02:29:53 这个建模嘛,我们现在核心就是刚才说的,我们还是根据我们能拿到的数据维度。来做的这个本体。然后核心就是他现在有中纪委建了一个央地数据。就是很多银行都把数据放上去了,所以我们这个本体就包含的刚才说的嘛,有资金。有有这个通话。
唐老师 02:30:16 哦,这些都是当本体来。
陈虹-电子科大 02:30:17 对,就是本体里头的一个一个一个点,一个点,对,一个实体,来定义了,对,所以。这个这个就是模型建好。
唐老师 02:30:27 我最近在看几个公司做的本体,我有点。有一点点像有点像一个小世界模型的样子。是。是吧?是,它但是它是一个。我不是强调物理的那个概念。
陈虹-电子科大 02:30:39 对对,一个是,我这两。
唐老师 02:30:41 它就是一个小世界。我在跟。我也没找到好的词来描述,但是我觉得就是一个世界啊,这不就是一个。
陈虹-电子科大 02:30:47 我在跟我的同事交流,我说实际上,你们要把业务场景的东西,就是要把它虚拟化、数字化到一个数字世界当中的。
唐老师 02:30:57 对呀对呀对呀,对呀对呀对呀。是这样子。我我就我觉得就是应该叫小世界模型嘛,对吧?
陈虹-电子科大 02:31:03 是说它没有物理模型。
唐老师 02:31:05 它没有,它不带物理关系嘛。
陈虹-电子科大 02:31:06 不带物理,但是实际它是你业务场景当中的一个数字模拟。
唐老师 02:31:11 对对。
陈虹-电子科大 02:31:14 小,有点像小碗菜。嗯,好。我们就反正一,一个人选,我们三个人一个人选两,两份吧,应该够了哈。
唐老师 02:31:21 好的好的。对。现在好像你们还没有这个概念,叫小世界模型的这个概念,就只有本体这个概念。
陈虹-电子科大 02:31:33 你光有模型还不行,你得跟这个模型关联的数据,所以我们现在把这个数据的映射,这方面也在做一些工具。后边唐总您这边如果有一些的话,我们可以,可以先再交流。
唐老师 02:31:48 交流一下,探讨一下。
陈虹-电子科大 02:31:49 来来来,先来一个。
唐老师 02:32:00 复刻了一个Workbody。我们自己写的。
陈虹-电子科大 02:32:04 哦,自己做了一个,是吧?我们自己复刻了一个。有点像一个技术平台。
唐老师 02:32:07 对对对,然后现在正在一个个的加,再加一些什么字体啊。
陈虹-电子科大 02:32:14 今天下午不是腾讯还要发布他们的 data 引擎嘛。正好要搞一个会,我还让我们同事看一下。
唐老师 02:32:20 要要要,我我我自己也在让我们同事学。但到后来我们发现,因为我们无论如何要有一个自己的界面拿去本地化交付的。我就干脆复刻了一个Workbody。
陈虹-电子科大 02:32:32 你喜欢吃啥?重新做了一个。都能吃辣吧?都可以。要不就您喜欢,你就拿,都拿就行。拿一个呗。对,拿一个番茄丸子,是能吃肥肠不?你要不要来个粉蒸排骨?你来一个粉蒸排骨吧。对,然后我们看,这些,对,看您要哪一个?可以可以,好,来搞点蔬菜。对,我来拿吧,你这个拿不了了,正好拿两个素菜。不要了,不要了,不要了。
唐老师 02:33:16 你要你要,我们三个人吃不了啊,主要是。再拿两个。六个菜啊。对,六个菜够了。
陈虹-电子科大 02:33:23 六个菜。对对对,再来个白菜。你往前走就行了,我来付。
唐老师 02:33:44 还有我的一个。南京的一个公司去做项目。他们也。
唐老师 02:33:56 我觉得现在这个问题好像变成一个比较比较新的一个模型。是。三个,三个一起的。啊,三个人。好的。
唐老师 02:34:15 筷子在哪里?在那边有筷子,拿串那边。
唐老师 02:36:35 我来装这个汤吧。对,陈老师,我来装这个汤。不好意思。可以可以。我我我也经常在学校吃饭的,我们差不多。
唐老师 02:37:40 我在上海占一半,另外一半的话就经常会去各地的学校和企业。今天晚上就直接到南京去嘛,南京那个。
唐老师 02:38:00 对,医和院是一个,另外还有一个是做,叫溯远基金,那溯远基金它是做医疗器械的。我今天下午就正常讲的话,我今天下午去一个企业在南京的。南京的一个医疗器械公司,他们可能让我跟他们建立一个商业模式。
唐老师 02:38:33 对,我现在我做了 10 年的投委嘛,我管基金管了 10 年, 23 年起我就先不善于做AIGC,只是我现在这个身份还挂着管基金的投委,他们就很多时候经常请我做评委。
陈虹-电子科大 02:38:56 评判一下这个项目好不好。
唐老师 02:39:01 四川省的发改委,他数字经济,创新体验项目也是我做的,就刚刚上个星期的。可是他要不做的话,我们就再。做了做了,他做。
唐老师 02:39:28 肖老师这个平常,肖老师的话呢,是在,都在学校。哦,哦,明白了。
唐老师 02:40:16 做,最早做上上公司的代理起家的。知道。主要是在做。
陈虹-电子科大 02:40:30 第三,在这个楼里头有三家公司,有三家公司的话,有的是老板自己投的,像我们就是老板自己私人去投的。
陈虹-电子科大 02:40:53 然后合成公司的老板就是,主要是给他这方面团队的资料吧。
唐老师 02:41:06 计算机系的同学创业本来就比较容易一点。
唐老师 02:41:18 计算机呢,卖个软件也能够。开个公司,然后就卖个东西,开个公司。
陈虹-电子科大 02:41:34 现在我呢,还是商业比较难做,我现在就觉得商业这块对我的影响特别大。
唐老师 02:41:42 哎,但是你们接得到一基本的单子啊,这个也很不容易啊。
陈虹-电子科大 02:41:48 第一个单子实际上是人家过不来,找到我,然后客户以后就觉得我应该还在这方向上可以有一些处理。
唐老师 02:42:25 你给到他的智能体的话呢,是通用办公智能体为主,还是以专用的为主?对。通用的做不了。
陈虹-电子科大 02:42:55 对的,他不同, AI 刚出来的时候,没办法,找不到自己的位置。他那些训练啊,根本没有啥。可以有一些发挥的这个地方。
唐老师 02:43:44 对对对。肯定是小头了。
唐老师 02:44:08 对对对,不然你怎么接嘛?非常合理,非常合理,直销是不太现实,这么复杂的。
唐老师 02:44:41 他们是不是先做了一个 RIP 过后?他不做RIP,他做的是。
陈虹-电子科大 02:44:51 都还没弄好。
唐老师 02:44:53 这个,但我现在都倒,倒回来想,现在如果做数据没有先做 RIP 怎么做呀?这个表格关联的啥事啊?我的老天爷啊!他怎么可能处理完呢?这么多对话记录,这么多的语音。好。
唐老师 02:45:22 好。
唐老师 02:46:05 对对对。
唐老师 02:46:11 我差不多了,我这两天吃的很饱。稍微有点简单。啊不不不,挺好挺好,我觉得我们就要轻松一点,轻松一点,挺好的。
唐老师 02:49:33 我做机器人比较多一点,我就在想,我把这个带去项目。
唐老师 02:49:52 训练个大模型,相当于这个意思,就帮纪委,你的客户,团队训练个大模型,因为你你肯定知道。
唐老师 02:50:15 我觉得训练他,他就是体验嘛。
唐老师 02:50:32 行业大模型,然后我们再帮他训练,相当于是他的外包嘛。
唐老师 02:50:46 嗯,不一定,还有估值的问题。估值估值。估值的问题。那些鞋大部分都不上市。
唐老师 02:51:16 这种如果他没有真的需求,大户型的价值就没有那么明显了。上云的话,没有什么特别的错误,他只是投入之后的话,不能够马上看到效果。但是从另外一个意义来讲,你在做这个大模型的过程当中,你所积累到的这些知识,行业知识和这个训练过程的话,你是把你自己的这个水平要提高很大一些的。
唐老师 02:52:26 行业的业务逻辑。
唐老师 02:52:48 那这种搞几搞几百万的是很正常的。
唐老师 02:53:12 哎呀,我跟你讲,你完全应该跟他,建立一个,这这就是机机检AI,机检 AI 大模型。这个我做不了,因为这数据他也不可能给你的。那倒也是,太敏感了。对对对。
唐老师 02:53:53 挺好吃的。
陈虹-电子科大 02:55:55 对。对。你可以啊,当然当然。号召我们。
唐老师 02:56:05 我们到时候搞一起搞也可以啊。对。因为这个模型优化机制呢,有一部分机制就是他们在测这个。就是测不同的段子。对,你们做优化嘛,我们就做一些。哎对呀,你提供一个。对对对,我们我们也,我我可以先帮你测一下,对吧?你可以先,如果你有时候你想,比如说哪个机器,对,我们帮你测一下,对不对?你就不用你自己去买了。
陈虹-电子科大 02:56:32 我真的我还很头痛,我每次因为又不能自己去买,然后到处去求人。
唐老师 02:56:38 这个事情呢,就是我我接下来就打算干这个事,就我专门帮大家测。
陈虹-电子科大 02:56:46 我前两天找另外三个人借那个盒子,然后就打电话。后边有可能大家一起去卖呀,
唐老师 02:56:56 合理合理。
陈虹-电子科大 02:56:57 借的都是,这周又还回去了,因为他们也是在不停的在挪,对。那个应用那个客户上。对对对。这周就没在我们手上。大家都大家都。
陈虹-电子科大 02:57:17 你要不要送一下他?不用不用,我自己。你你下午到哪里?我去机场。
唐老师 02:57:23 我待会有个会。哦,下午有个会哈。行行行,再次再次再次感谢。好好好。我们把我们是是是把这直接。小心小心,后面。好好好,好,拜拜。
唐老师 02:58:27 学校的场地内。我们有不少的服务器,直接还有。
陈虹-电子科大 02:58:34 有一个数据中心,是吧?
唐老师 02:58:36 比较小的吧,就是也有几百个 T 的量。哦哦哦,你们那个算力是要对外出租的吗?我们我们编程是用租的算力,我们自己跑模型用我们自己的。
陈虹-电子科大 02:58:48 也不会,就没有对外吧,就是你们自己在用。
唐老师 02:58:52 我们自己,我们自己搭了几个服务器,是都是大型的服务器。
陈虹-电子科大 02:58:57 那您现在这个团队是也有一个产业化公司?对,有一个。一个产业化公司。
唐老师 02:59:02 另外呢是就是博生资源。
陈虹-电子科大 02:59:05 博生,是吧?
陈虹-电子科大 02:59:17 还老板你。你们要不要看一下?一会给我。 AI 那个那个纪委的那个正体。
唐老师 02:59:25 好好好。
陈虹-电子科大 02:59:26 没有没有,正好也跟那个唐总这学习学习。我们主要还是。更更接近那个一流。
唐老师 02:59:36 哎,我们呢,还是。您没有没有,您这个是很实际的,这是这是这是,你没有这么一个具体的落地的这么一个多多模态数据点的话,那数据是。
陈虹-电子科大 02:59:50 对,反正被逼的一步一步干了,原来。我们也是做平台啊,这些你发现很难落地,做平台做基础设施,这种就是大体系。就包括现在做应用,其实前面也是挡着的,那种就是。小公司的生存,对,很难的。那也收不了太短。
唐老师 03:00:12 基本上就是,被拿掉了三分之二的钱。
陈虹-电子科大 03:00:17 差不多。壳是配套的。
唐老师 03:00:19 壳不是啊,随便买的,三分之二的挂在上面。
陈虹-电子科大 03:00:22 对。
唐老师 03:00:22 你这个对,根本就不合理。
陈虹-电子科大 03:00:27 走遍这个现状。对。
唐老师 03:00:29 还是可。
陈虹-电子科大 03:00:32 对,我说的是,大家就合理把效率。对,只有从这中间来讲讲。国内的水会影响。
陈虹-电子科大 03:00:58 咋回事?好了。
陈虹-电子科大 03:01:10 然后你把这个时间拿出来。
唐老师 03:01:29 合理合理。真的一样。真的一样。在上海可能管。也很小啊。
陈虹-电子科大 03:01:45 国内的风气了,都是这样。
陈虹-电子科大 03:02:05 这个我们说的律所的。律所的一个。这个就是我们纪委的,先退到退到这个。
唐老师 03:02:17 哦,是这样设置的。数据资产治理。
陈虹-电子科大 03:02:25 对,就是这个就是一个入口,然后入口就是进到一个案子,这数据都是我们构造的假的。哎,对对。对,然后现在现在是这样,就是这个案子呢,他第一步他要导入数据,因为现在他们的数据呢还是线下拿的,有大量的数据是线下拿的。然后拿到的数据呢就是包括。就是所谓的银行流水啊,婚姻信息啊,税务呀。
陈虹-电子科大 03:02:49 理财啊,通话呀,什么机动车,这儿只是举了几个例,其实有很多,这个模板大概有,目前我们都已经看到了 130 多个,就是每一个底下,还有还有现在就是还有自己本地的警综平台的,就不光这些,就我们现在这个还没有还没有那个更新,就是这个,对,所以就是各种数据,数据进来以后呢,其实刚才看到就是说,导入以后哈,我们就要做清洗,就目前这个是最困难的一个问题,就是好多,因为其实现在的这套产品也不止我们公司在做。也有,其实我们是后发的,还不是先发的。但是之前的工具基本上都没怎么用起来,卡在哪个地方?就卡在这些数据导不进来。为什么导不进来呢?就是因为他们线下拿的数据就是千奇百怪的,各种格式的,所以我们目前呢是靠人,我们本来原来其实做的已经还比较好,但是都不行,所以说我们现在目前在现场是靠人在帮他们用原来的那套思路在弄,我们这段时间就是在做。 AI 治理智能体,对,就这,您看到的。其实这个背后就是,其实这背后有三个智能体,有一个智能体是导入。导入的意思就是说,
唐老师 03:04:10 嗯,因为格式嘛。
陈虹-电子科大 03:04:11 那个表头,有各种乱七八糟的东西,所以我们在识别这个,然后导入,导入之后呢,其实就还有一个匹配。明白。就是跟我后台的那个模板,就是本体的那个做映射。对,做镜。然后第三一个呢,就是转换,清洗。就那个清洗,我怎么样?我们因为我已经内置了很多规则了。我实际上这个清洗。并不是说我要写行程代码来做清洗,而是说我要把那些规则做匹配,然后再做清洗,但是怎么选规则就是 AI 做的,所以。明白。这个后边就是我们现在就用了这套来做,只是说明面上看不,就说你可以关掉,也可以人工做,也可以自己做,就是按这个。
唐老师 03:04:51 没办法人工做吧。这个还能人工做啊?
陈虹-电子科大 03:04:55 它有的呢,规范点的了,就人工直接就读了嘛,因为 AI 有点慢,这个是个问题,但这个 AI 稍微稍微就比人工,就是比你原来那个。
唐老师 03:05:05 你你那个就是说,这就是你要做本地化的部分。对。是吧?
陈虹-电子科大 03:05:09 对,就是 AI 就有点慢,就是它会,比如说刚才他们今天早上还在说,就是大概 137 个文件。要花接近两个小时,他们觉得至少目前因为那个办案人员在等着他的,他就没办法去等这两个小时。
唐老师 03:05:25 他的那个他的那个说的两个小时是指的什么呢?是用你们这个都,因为从你现在这个接口看起来好像是一个本,走云端 API 的吧?
陈虹-电子科大 03:05:38 不是不是。
唐老师 03:05:39 你这个是走本地 API 的吧?
陈虹-电子科大 03:05:41 我们。你说的云端一篇,你说的是我们目前这个,AI,这个测试的肯定是走的云端,但是在那边是走的一个本地的。
唐老师 03:05:49 本地,他本地用的是什么硬件?
陈虹-电子科大 03:05:51 本地用的A100,他们不知道在哪里去搞了八张。
唐老师 03:05:54 A100 的话,那怎么还要两还要两个小时啊?
陈虹-电子科大 03:05:58 要啊。可而且是那个,我们布的是那个千问 3.8 的27B。因为 A100 布不起DeepSeek。
唐老师 03:06:07 对对对。布不起,没办法。八张 A100 的话,八张 100 是多少大的存量了?容量了?
陈虹-电子科大 03:06:13 一张好像是。六。
唐老师 03:06:15 八张。一张是80,那不是。
陈虹-电子科大 03:06:17 对,其实我们没有用完的,只用了 4 张。只用了 4 张。
唐老师 03:06:21 那可能是。
陈虹-电子科大 03:06:22 但是实际不是不是这个,其实它不是这个问题,它就是因为每看一个文件,它就要花几秒钟,所以说整个数再加上几个步骤下来,它确实要要要那么多时间,我们不过最近还在做优化,尽量把它再优化一些。所以这个是清洗好的,清洗好以后你就可以看到这里头,就你可以看到这就是我们已经装进来的这个数据资源目录,现在没有,就这个数据质量就可以都,相当于是可以都可以看到的,有待处理的。然后数据有了以后,实际后边就是,我们就是要对这个人员去看他的问题了,这就 1 号人物,然后这个 1 号人物有关联的那么多人,就是从他的。
唐老师 03:07:05 哇,没有这个系统怎么做啊?那就只有手工建表。
陈虹-电子科大 03:07:08 手工他们现在,办人员跟我们说的,他们也要花上一个月、两个月的时间。
唐老师 03:07:12 整理一个人的。对,就是。要的要的要的。
陈虹-电子科大 03:07:14 然后自己去一笔一笔的去自己去看,对,然后就很花。
唐老师 03:07:18 来回翻来回翻。
陈虹-电子科大 03:07:19 来回翻,对,所以现在基本上他们现在就很喜欢这个东西。
唐老师 03:07:23 非常好非常好。嗯,然后。
陈虹-电子科大 03:07:25 这就是对他的一个原来的数据方面的一个分析,你看,他的亲密度,就他跟这些人,有的是他的家属,有的是他的司机保姆,然后资金的总的情况,每,后边就是这原来我们的一些分析模型,就是他的账户资产。然后我们其实真正办案过程当中确实看到,像有的人有一个 160 多份保险, 20 多套房产,然后来往的资金流水上亿,这是我们办案当中遇到的。但我我们也不知道具体那个人是谁,对对对。就觉得真的现在有太夸张了,这个东西。
唐老师 03:08:03 天呐,老百姓过的这么难受。
陈虹-电子科大 03:08:05 对呀,我们这个现在那么辛苦,是吧?对,干这个活,但是没办法呀,所以他这个抓一下也是对的,我觉得,也是对的。
唐老师 03:08:14 有道理,太有道理了。是吧?应该应该应该是。
陈虹-电子科大 03:08:18 当然也确实没办法,我觉得我们没办法,我们只是一,一个工具而已。这是对,就是。
唐老师 03:08:24 这个图很好看的。
陈虹-电子科大 03:08:25 对,这是这个图就是可以关系的一个全员的一个这个全景的图。
唐老师 03:08:33 这个图的话呢,就是怎么样那个分层次呢?有没有有没有一个。
陈虹-电子科大 03:08:38 他现在,这个是可以筛的,可以做关系筛选的,就是现在是把通联资金人员都放在上面,你也可以只看一个。对。只看其中一个。对,这就是他,比如说我选中他。
唐老师 03:08:50 他就跟这些人。挺好挺好挺好挺好。
陈虹-电子科大 03:08:51 有一个关系。
唐老师 03:08:52 我我我对,您您先弄完,然后我有个想法。
陈虹-电子科大 03:08:56 然后这,因为现在确实,您说这个图,我们在实际办案中,他们真的喜欢这个图。
唐老师 03:09:02 对,非常喜欢。
陈虹-电子科大 03:09:02 就非常喜欢这个图,然后还有模型分析,就是各种资产代持模型啊,这一类的。
唐老师 03:09:08 这个代持模型是什么意思?
陈虹-电子科大 03:09:09 就是相当于,关系,他,他通过关系去,比如说他的保司机的儿子帮他代持了一个房产。就这一类的。
唐老师 03:09:18 但是这种那你怎么确定的了它是代持啊?
陈虹-电子科大 03:09:23 首先就是比如说他的司机的儿子,首先从他的收入来看,觉得他是没有这个东西的。第二一个,就这个人老到这个房子去。
唐老师 03:09:35 就是比如说他在这个房子。他正在使用这个房子。
陈虹-电子科大 03:09:37 对,他使用这个房子。
唐老师 03:09:38 但是他却并没有。
陈虹-电子科大 03:09:39 他在那个停车。或者他在帮这个房子。
唐老师 03:09:42 首先是这个跟物业的关联度。
陈虹-电子科大 03:09:44 水电气。对对对。所以就通过这些,这就是他们的计算法,就是之前给我们也讲过的。
唐老师 03:09:49 哦,他们的,首先他们自己有业务模型,然后他们。
陈虹-电子科大 03:09:52 原来有,但是并不是每个地方的人有,所以我们实际上相当于就是也在帮他。
唐老师 03:09:58 把这些都做出来。你这个做出来了过后,他不是。都可以全国用啊。
陈虹-电子科大 03:10:02 其实我们目前反正就是在山西和四川嘛,在山西和成都嘛,正在推嘛。
唐老师 03:10:08 哦,那你做完了过后,那他们是按照省一级单位来买这个系统。
陈虹-电子科大 03:10:12 我现在就想做成单机版嘛,单机版就可以到第四啊,就是他们每个科室就可以买嘛。这挺好。
唐老师 03:10:19 对,就是一台也不是很贵。那你那你这个逻辑可以啊,那你你后面的那个,你后面的后面的那个机器啊,就是因为马上不是有 128G 的显存的那个机器了嘛。对对。这个方向就就这样做。
陈虹-电子科大 03:10:31 对,我就我们现在就。
唐老师 03:10:32 你就不要,干脆你就不要换硬件了,你就盯住这个硬件,你就盯住这个硬件去找。找好的模型,和智能体,反过来想,不要再换硬件了,你就这两样东西。好好。这样会更。好的好的。你符合你这个需需求。
陈虹-电子科大 03:10:48 就符合我们现在这个。
唐老师 03:10:49 我们那个,我们是没有,对,我们那个很大,这么大一坨。是是是。那个,而且还有专门的人去配置,那个不适合你这个场景。
陈虹-电子科大 03:10:59 对。没事嘛,我们反正先把这个做了嘛,后边有其他的。
唐老师 03:11:02 是是是。
陈虹-电子科大 03:11:03 根据这个变化的东西,我觉得跟唐总这样也可以,后边也可以合作嘛。是是是。这就是各种各种模型,各种计站法,他们叫计站法。有,反正每个底底下还有一些,所以就很多。但实际上他们办人员自己不想去学。他不想学,这也就是这一次为什么我们能进成都市纪委,就是我们用了 AI 分析。
唐老师 03:11:25 就这个 AI 分析,其实。对对对。
陈虹-电子科大 03:11:27 AI 分析背后是。
唐老师 03:11:28 对对对,就是调用那些智能。计算计算法的。调用那些。对。
陈虹-电子科大 03:11:32 对对对。所以我跟你提到的就是我这边主要是意图的理解。
唐老师 03:11:36 对对对,我听懂了,我听懂了。猜明底下的各种。要对应到各种的操作。对对对。对应到具体操作。
陈虹-电子科大 03:11:41 是这样子的一个方式,所以。大概就大概就是这样一个东西,就是目前也在,也在就是在。
唐老师 03:11:47 相当不错相当不错。
陈虹-电子科大 03:11:49 正儿八经在用,主要这一点我觉得是最最好的一个。
唐老师 03:11:53 我我我觉得那个就是有一个东西可以可以,你们也可以做一做先,看一下,我们也可以合作做,看哪个,我可能这个月先把那个就是大模型评测的那个算子优化那套软件先搞完。下个月的话,其实现在人家已经在找我了,就是一个做营销公司,做营销的公司。他呢就是想跟我一起搞一套销售线索分析。
陈虹-电子科大 03:12:21 也差不多。
唐老师 03:12:21 有有没有点像,有一点像。
陈虹-电子科大 03:12:23 其实跟线索相关的,包括我们现在,你看这,其实我为啥刚才给你看这个,这个就是个律师的。对。律师的,你看他是什么了?他就是律师不是会拿到很多的客户给他的材料嘛。
唐老师 03:12:37 对对对对。
陈虹-电子科大 03:12:37 那么其实他也是要在这材料里头去找证据。
唐老师 03:12:40 是是是是是,有点像像像像,真的像真的像。
陈虹-电子科大 03:12:44 我就说我实际上是从这块往外再延伸。
唐老师 03:12:46 我觉得你好好强化这个逻辑是对的, 100% 对,因为这个国内其实肯定没有成熟的解决方案。就是多模态数据治理。多模态数据治理,关系发现。对对对。是吧?关系发现,关系驱动,展示。
陈虹-电子科大 03:12:59 其实纪委里头了,它还主要都是结构化,但是在这个里头就就有图片了。
唐老师 03:13:05 对呀。也有图片,其实也有也有音频,只是现在没放在这儿。对,肯定有,肯定会有嘛。
陈虹-电子科大 03:13:10 对,所以您看,您看我们,我们做阅卷的时候,您可以看,就比如说我看到这个,它这个是里头有一些证据哈,比如说子女的医学证明。是是是。然后我其实马上就会到这个证明,证明呢,我在这里头就抽出来,他关心的这个关键信息,比如说子女的姓名。然后我点这个姓名,他就会在这个原始文档上,就会对应起来。对,为什么要对应呢?因为。这个我没有做过。对,因为他他那个拿到拿到那个就是法庭上,他实际上是要在你的原件上。是的是的。
唐老师 03:13:41 去。给出来的。我们做过一模一样的设计,这个这个我们那个工作台跟你长得都差不多。
陈虹-电子科大 03:13:47 对,这这没问题,这个后面其实核心就是他要把所有的证据了,就是融合在一起,做关联分析就得出他律师要的大事记。然后还有就是他的证据目录,就这个地方。是,这个证据目录,证据目录就是诶,这就是他上庭要的内容,最后我们因为现在还没做完,就是最后要把这个东西导出来,因为我其实在帮他做分析的,就律师,他你看他这里头就告诉他你还有证据缺口的。就你现在还不够。
唐老师 03:14:18 你。哎呀,做的真好。所以就是你现在拿进来了,你只能说这个房子是你的共同财产。那个,行行,我我就直接说一说一个点哈。你这个系统的话,打算卖给律师不?
陈虹-电子科大 03:14:29 哎呀,现在我还,就是这个销售有点头痛,就是因为律所很,目前不是卖给律师,目前是以服务的形式他们来用。
唐老师 03:14:38 怎么用?怎么用?
陈虹-电子科大 03:14:39 就是他相当于注册成一个用户。哦,SaaS。有点像SaaS。但现在就是头痛,因为他太散了,你懂我意思吧?太散了,我我现在这个,我这个团队没有能力,今天早上来的那个女生,其实就是想跟他们在法律界的人。去合作。
唐老师 03:14:56 那要不我们合作搞吧,这个项目。可以啊。我有很多律师啊,我多了。太好了呀。我我我有几,我我我我,因为我们做基金的人,好的,喊律师很好喊,你懂吗?
陈虹-电子科大 03:15:07 你需要他给你审那些文档。
唐老师 03:15:09 对,我们我们太多了,就是因为我们本身天生就是,我们金融行业天生就跟这个律师打交道特别特别多,我认识至少两三百个律师。哇。至少,我我给过钱的都有。
陈虹-电子科大 03:15:20 而且还都是比较高端的。
唐老师 03:15:22 对对对,而且我们付过钱的,对,我们也付过钱给他。
陈虹-电子科大 03:15:27 收入也挺高的那种。对。
唐老师 03:15:29 都不是小律师。
陈虹-电子科大 03:15:30 我现在做的这个其实也是在跟一个律所合作,但是呢他们有点慢,我我实话实说,就是。
唐老师 03:15:36 那我们合作做这个吧。都做了快一年了。这个业务我们合作做吧,这这种开发我们其实都能够完成一部分。但是没关系,你你做了就你先做呗。
陈虹-电子科大 03:15:44 我们谈的律师模式,我们其实做了好几个,就是不光是这个,我还有一个,这是婚家的,其实它还可以扩,就是扩成任何。任何那种类型的。
唐老师 03:15:55 理解理解理解。但是因为我目前。我前一阵我给律师讲过课,有几个律所的老总来听。但是因为我没有专门做任何的业务板块的,我就讲的是通用智能体的,他们听了呢,觉得有收获,但是跟他们的业务呢接口不是很紧。所以你刚好有这个产品,那不是挺好的吗?
陈虹-电子科大 03:16:13 对,我我其实有几个,我再给您看一下,就是因为这个你看嘛,这还有一个,就是这就是跟律师有关的几个产品,一个是资金分析的,一个是这个访谈的,我先给您看看这个访谈,这个访谈呢。他实际上这个,我们现在已经放到外面再开始推了。这个访谈呢,还是主要针对婚家。这个婚家的核心干什么呢?就是他可能就是用户来,就是客户来给他做了一次咨询,那客户就走了,他们就觉得黏不住。对。黏不住了,他现在核心就是说,对。我就把访谈的内容哈。对。其实前边都简单,就是把它转成文字都简单,但是。在这,这就是跟他业务有关的。
唐老师 03:17:00 对对对,要要要提炼出一个简要的一个。我们会从这个,对,这个里头提炼出事实。提炼对。
陈虹-电子科大 03:17:04 比如说客观事实和他的主观表达。挺好。客观事实呢,就相当于你以后打官司,你就要从这些方面。就分财产,分娃,婚姻状况,主观表达就是他诉求,客户的诉求。所以我们经过这个以后呢,实际上他可能有多次访谈,就会把它整合在一起。明白。整合在一起了之后就会进入一个,相当于一个所谓的咨询分析,就相当于跟你合成一个咨询报告。对。然后这个咨询报告本来应该是律师自己出的,但是现在就帮他写出来了,出出来他觉得有问题他可以改一改,这没问题,然后改完以后他就可以导出,导出报告他就可以交给客户。对。那么交给客户呢有两种,一种是专业版,一种精简版,专业版其实。已经就是帮他把后续你要怎么去,对。打官司的各种方式,就你看就很。
唐老师 03:17:52 对对对。很细了。做的挺好的。
陈虹-电子科大 03:17:54 对,然后呢你就可以把这个东西,比如说如果你这个客户本来就给你交了比较高的咨询费,就可以给他一个专业版的。如果只是想,如果只是想说,
唐老师 03:18:05 明白的。
陈虹-电子科大 03:18:07 连一下。
唐老师 03:18:07 理解理解。
陈虹-电子科大 03:18:08 就给你一个精简版,将来你来再来找我。
唐老师 03:18:10 理解理解。
陈虹-电子科大 03:18:11 所以这个也是,就是这个产品是,但也是针对婚家,可以。
唐老师 03:18:15 就目前我们。我听明白。两个是针对婚家。尊重婚家的成熟一点哈。
陈虹-电子科大 03:18:18 对,然后还有一个就是。资金分析的资金分析的呢,其实主要是还是从我们纪委里头,抽,就是说相当于出来的。
唐老师 03:18:30 你抽了一个模块出来。
陈虹-电子科大 03:18:32 抽了一个模块出来,它核心呢还是帮助,就是律师去,因为他们会拿到几百页。
唐老师 03:18:38 证据分析,那个叫做婚,那个离婚案的咨询,对。就签约前咨询,相当于是。
陈虹-电子科大 03:18:46 对,然后这个就。这个呢就是。就说他们有的做执行的,包括有的就是做那种好多那种刑事案件里头也会有跟资金相关的,他们可能从银行,或者支付宝,或者微信就调回来,一堆那个资金顺,就是跟我们那个银行流水,跟我纪委那个银行流水,这个我知道,这个打,这个档掉了,那我就给你。可以。大概说一下,就是这个。我理解。其实也是首先会,对。通过他的交易流水,把那个关系图谱。
唐老师 03:19:21 嗯,关系图谱。
陈虹-电子科大 03:19:22 也给他展示出来,就是他跟谁谁谁,比如说转了多少钱。想一下哈。然后呢他会有那个。然后我们资金流。那个应用那个的档哦。我,你看嘛,这个。你怎么用这个呀?哦,用官网哈,哦,对对对对对,哎,我忘了。
唐老师 03:19:49 那个我们呢没有聚焦在一个业务,一个行业里,我们主要是,我是从纯粹从 AI 维度的。明白。就是,就是谁有 AI 的需求。然后我们分析一下,我们能做就帮他做一下,我们还没有搞到,还,我们还不像一个专业的一个交付型的软件公司。我们还更多偏研究型的。也就。
陈虹-电子科大 03:20:13 但你这很重要啊,对,这个就是刚才那个资金的,我大概看一下,你看也是有数据导入,这个数据导入也是,就是这个,你看就可以马上对应的流水就这对应起来了,然后导入完以后呢,我们就实际上就做资金分析,然后也是这样一个图谱,就是他在资金当中跟大家交流的。这个东西,交易明细,他就可以在这儿查,就可以做查,可以通过。
唐老师 03:20:39 但是如果说你这里拆成三个门户的话,就可能不是太好卖哦。你从这个三个口的话,对现在销售销售怎么样?就是。
陈虹-电子科大 03:20:49 销售是这样,我们现在正在跟一个,就刚才说的那个律所嘛,他们在做那个跟同道,您听说过同道吗?对,我们就相当于。
唐老师 03:20:59 成都这边还是有名的同道。
陈虹-电子科大 03:21:01 同道他们在,他说是在上海的嘛。
唐老师 03:21:04 对,上成都这边是有点,但我还是在成都跟他们碰到的。对,确实。
陈虹-电子科大 03:21:09 他,但是他总部在上海。然后是同道这边,他在联系,就是在跟同道要合作。
唐老师 03:21:16 那,但是这个就这一条,他们觉得这样合适吗?就是这一个单个功能的话。
陈虹-电子科大 03:21:24 现在就还在谈,因为我们第一个产品其实还不是这个,是一个脱敏的产品。这个脱敏的产品是一个全本地的。
唐老师 03:21:34 哦,就是资料脱敏。
陈虹-电子科大 03:21:35 对,因为你想现在好多律师他其实把那个文件直接丢给互联网大模型,其实。对对对。很危险的,对,所以其实,我们现在是有一个本地脱敏工具。
唐老师 03:21:46 那那你把这个脱敏工具,要不然我们也可以帮你代理一下嘛。可以啊。这个简单啊。
陈虹-电子科大 03:21:51 这个就是这儿。就这儿就可以下载试用。就在我们的官网。
唐老师 03:21:56 是一个是一个Excel,一个 EXE 文件了,相当于。
陈虹-电子科大 03:21:59 对,它要安装。安装。安装部署的,就是一个本地的。
唐老师 03:22:02 大概运行界面有没有?我看一眼,那个。
陈虹-电子科大 03:22:06 我装了一个,我自己本地装的。
唐老师 03:22:08 我看一下就行。这个我倒是可以帮你直接推荐一下。
陈虹-电子科大 03:22:13 这个呢,看能不能就是搞一些集采,哈哈,这个,因为如果能集采,就是给到,比如说多少个多少个那个客户,对,诶诶诶诶在哪里?这个有点乱,这个桌面。
唐老师 03:22:26 嗯嗯,挺好挺好,你根据这个律师已经做了这个。
陈虹-电子科大 03:22:31 对,做了四个,相当于做了四个小产品吧。这这个是一个脱敏的。
唐老师 03:22:37 哦,脱敏的效果主要目的是什么?脱掉名字喽。
陈虹-电子科大 03:22:42 可以可以是不止,你看发票的我都可以脱。
唐老师 03:22:45 哦,做覆盖。
陈虹-电子科大 03:22:46 就是做,可以做那个,就是你看这是一个银行流水,就是把他的,你看这是没有没有那个,没脱之前,他可能有账户,对方的账户名字,然后我们可以把他就是说,对替换。可以替换,也可以信号掩码,也可以替换,预览,也可以是信号的,这是替换。它的目的是什么呢?我现在这很简单啊,原来主要是针对主要针对法律文书,可,但是也可以就根据你的场景来调。它核心是因为他们现在直接把这个东西丢给大模型,其实是很危险的,所以呢,就先脱敏再丢给大模型。然后脱的过程当中呢,我们是不变语义的,比如说你这个人叫,比如说叫林浩宇,那我里头就全部给你脱成01。然后假设你是一个案件有好多个文文档的话,都拖成01,那么你再把有名字的,有真实看起来是个人名字的,丢给大模型,它不光是就拖姓名。语义不会变。不会变,然后还可以还原。对,语义不会变。就回来我们还会还原,你可以看到这有个还原。理解。就是你把你大模型里头给你生成的文件丢到这,然后还原就还原成它原始的名字了,所以他就可以直接拿着那个来用,所以这块律师好像还可以,他们还觉得很有用,所以现在就是。
陈虹-电子科大 03:24:09 正在跟同道那边的人谈一个律协,上海律协吧,再谈一个集采,就是比如说一年他们的,他相当于律协本来要跟律师提供一些服务嘛,这个服务呢,他就给有些工具,他就免费给他们用,但是呢他就比如说一年给个 20 万,就按这种模式。
唐老师 03:24:31 律协给得到那么多啊?
陈虹-电子科大 03:24:33 不知道,要看要看有多少量。就你有多少,比如 1000 个、 2000 个。那我确实就是每个人也很便宜了,一个才 10 块、 20 块钱啊,一年的费用啊。他因为集采嘛,他多嘛,所以实际上。对对对对对。
唐老师 03:24:47 就我给你。如果是 2000 个人的话,才 100 块钱一个人。
陈虹-电子科大 03:24:51 对啊,就很便宜的。对对对,是这个意思。一年也很便宜,所以是,所以这个东西是这样的一个一个一个思路,而且很多企业也可以用。对。比如说什么会计师事务所,税所,因为税所前两天联系了,他们就对这个也很感兴趣,但是我现在最大的问题就是我接触不到,我就是好多我都得靠朋友们,反正跟大家分嘛。
唐老师 03:25:13 那就合理啊。对呀,就渠道分。我们我们跟很多税所和律所都要交流,天天生的,我们这我我现在。
陈虹-电子科大 03:25:22 因为你做那个基金是吧?
唐老师 03:25:23 投资嘛,对。投资里面包括那个就是投前的一个尽调,包括投后的一些管理,还有甚至是这个回购仲裁啊这些,我们的接触非常多。
陈虹-电子科大 03:25:34 啊,那这个很可以啊。
唐老师 03:25:35 日日均交流的,我们这个是。
陈虹-电子科大 03:25:37 日均交流都有很多。
唐老师 03:25:38 日均交流的。
陈虹-电子科大 03:25:40 那看看,反正就是大概就就把我的东西都跟。
唐老师 03:25:44 哎对对对,可以。都跟那个唐总一股脑的都交流出来了。
陈虹-电子科大 03:25:48 好的好的好的。如果其实您觉得如果律所这方可以有些合作,我们这边都很开放。因为我的销售渠道现在是比较弱一点的,所以我都是在跟大家合作。
唐老师 03:25:58 好的好的,我我觉得完全合适。那个我我也给你看一两个。
陈虹-电子科大 03:26:02 您您您这要不要这个?可以呀,可以。
唐老师 03:26:05 我也那个,我也做了一点。但我们呢,就是。
陈虹-电子科大 03:26:09 你那个有点不好用啊,我们俩换一下吧。
唐老师 03:26:12 你不好不好。哎,也可以,我。我就这样挪过来一点,推过来一点。那个,对,有几台服务器已经部署好了,我这个界面我也给你看一下。现在用。
唐老师 03:26:40 看已经装好的,像这个是,这个是数据治理的管道系统,一个叫,就是湘雅的,不不湘雅,就是宝钢的宝钢的,宝钢的管道管理系统,这个是一个帮他们做的一个比较大的项目,这个就整个全国几百万米的,管道管理,这种是我们。
陈虹-电子科大 03:27:04 就是他们的管道,是吧?
唐老师 03:27:06 对,他们的煤气管道的管理,然后预测这个就是管道寿命。延长管道寿命。
陈虹-电子科大 03:27:12 嗯嗯嗯,那这个也也很也很那个。
唐老师 03:27:15 对,还是有点意思。有点难。对对他们来说还是比较有。
陈虹-电子科大 03:27:18 对,有用。
唐老师 03:27:20 对他们比较有意义。这是一个做电商的一个管理平台。诶,这台服务器是不是有点问题?反正。
陈虹-电子科大 03:27:34 没事,大概知道。
唐老师 03:27:36 啊,好,行了。跨境的。对,跨境。对,一个跨境电商的一个平台。跨境电商的工具平台。这是。产品。
陈虹-电子科大 03:27:53 主要是在帮他管什么呢?产品。
唐老师 03:27:55 产品哈。产品产品。
陈虹-电子科大 03:27:56 就是上架的那些。
唐老师 03:27:57 产品上架,产品上架前的资料处理。产品上架资料处理。这个这个只是个展示服务器,就里面有一些资料是。嗯,客户的哈。都是,对,这里面可能。就各种狗笼子,你看规格参数。对。然后卖点。有些资料。
陈虹-电子科大 03:28:18 那个问题也是跟数据关联比较强哈。嗯,现在也有数据关联。都要有。
唐老师 03:28:24 素材处理,数据关联。对,这个跟那个商机发现那个还不是一回事儿,商机发现那个我还觉得。我我可能还更有兴趣把它完善一下,这个系统我们也。
陈虹-电子科大 03:28:34 那个线索的那个。
唐老师 03:28:35 嗯,线索那个,商机发现,那个是,对,那个是我们最近打算认真做一下。然后呢,对,我刚才,就是我们刚刚把它启动起来是这个东西。
陈虹-电子科大 03:28:49 啊一个数字员工哈。
唐老师 03:28:50 嗯,这个这个这个画面是完全复刻的那个,就是workbody。就就work。
陈虹-电子科大 03:28:58 对对,有点像。
唐老师 03:28:59 不是有。有点像是根本就是故意的。
陈虹-电子科大 03:29:03 就是外观上跟他。
唐老师 03:29:05 外观。
陈虹-电子科大 03:29:06 你也可以用我们这个。
唐老师 03:29:07 对对对对对,就就是你你你就在选的时候,你要么就。对你可以。
陈虹-电子科大 03:29:14 至少至少领导提不出异议,是吧?你跟 Workbody 有啥区别了?我这个我至少这个功能上跟它是一致的,但是我还比它有有本地的优势。
唐老师 03:29:23 对,我可以本地化。对对对,本地的优势。那就就,而且我们还是有点不一样。你看 Workbody 它没有这个部分。它没有工作流。嗯,它不会给你显示出来。对,它不会显示工作流,我们这个就可以显示工作流在这里,是吧?懂懂。就一步一步的工作流是什么,标题推荐热点,标题生成,提纲生成,怎么创作。对对对。这里未开始未开始未开始未开始。
陈虹-电子科大 03:29:45 嗯,对对对,就很清楚,他到底做到哪一步了。
唐老师 03:29:49 对,然后上传物和产物。这里。
陈虹-电子科大 03:29:51 啊,有一个上传啊。
唐老师 03:29:53 上传物和产物。就是你上传了什么,然后得到了什么。就就就比较清楚嘛,是吧?
陈虹-电子科大 03:30:01 可以可以。
唐老师 03:30:02 所以这是我们的那个工作工作台,我们接下来可能有一半的时间会放在这,花精力在这上面。对,有一半的时间我们想做一个比较通用的一个工作台。对。
陈虹-电子科大 03:30:12 这样通用的工作台。但这个你跟你就跟他们对上了嘞,也会不会有。这个竞争就是跟 Allbody 啊。
唐老师 03:30:20 其实是这样子的,竞争归归有竞争嘛,但是这个产品我们开发的成本本来也不高。就是随便做做的,就就就就。
陈虹-电子科大 03:30:29 现在就只有靠这个。
唐老师 03:30:31 就就就随随便便做就做出来了,这这也没有太多。要靠。我们也自己自己可以用。
陈虹-电子科大 03:30:36 要靠效率跟那个技术来。对对对。占。对。就是你卖得了多少,都对我来说都是盈利的。
唐老师 03:30:43 对啊,我们都都可以嘛。可以。然后呢还有一点就是我们如果说有这个完善了过后,我们自己的关联公司啊,还有。也可以用。都可以用,我们自己也可以用。这真正拿给拿给我们自己用。公众号助手,我我现在有一个小业务,就是帮企业做叫做整体战略营销的提升。就是实际上我们是 GU 那部分。但是 GU 那部分的话呢,它。 GU 那部分它不是纯粹只有这个。创作文,创作文章哈,但是我们也也也可以,就是说我这里的话,比如说。我把这个平台稍微强化一点,就变成一个 GU 平台了。我我这样增加几个助手。增加几个助手专员,我就变成一个 GU 平台。
陈虹-电子科大 03:31:27 都可以帮,就相当于你已经原来需要好多秘书啊,或者助手来帮你做的事。
唐老师 03:31:33 对对对。
陈虹-电子科大 03:31:33 交给这个了,将这交给这个数字员工做了。
唐老师 03:31:36 对,就数字员工,这我是真正把它当成一个,我的底层模型是一个真正的数字员工。
陈虹-电子科大 03:31:41 你要做资金的管理啊,这一类的,你可能会涉及到好多文档啊这些,是吧?对。那你就丢给他们帮你管,那肯定是还是减轻很多负担的。
唐老师 03:31:50 啊对对对对对,就是就是这个平台呢,我我们先尽量把它做的通用化一点,然后再往这个就是专用化再去改的时候,我就只改这个。等于我就只改这个专员和技能就可以了。我就是学,其实我整体都是学习 Workbody 的思路嘛。那你如果想强调这个简历处理,想强调招聘,强调人员管理。对。你就强化这一部分的功能,功能就好了。是是是是。我我觉得我们可能最后的是这种情况,我可能做出几十个常用的。员工和技能过后,就可能企业来找我们定制的时候呢,他就选这几个,然后我们再把他按照这个就是去。
陈虹-电子科大 03:32:33 按照一个工作流,或者是,更好。或者也有可能有一些特定的企业的数字员工。
唐老师 03:32:39 企业企业的,我们就会变成,还有一种,对,一个是专用的数字员工,另外一个是这个意思,我们在这里面嵌了APP,就是等于说你的一个专项的东西,不是叫数字员工的,我们就给你用,我们这个叫xAPP,你看它比 workbody 多了一段, workbody 里面没有这个 APP 的概念。
陈虹-电子科大 03:32:58 我之前都在想,因为我现在居遇到一个比较大的问题,就是。我们刚才不是给您看的那几个 AI 应用嘛,我现在遇到比较大问题是我觉得我的,不知道找哪个平台去放。我自己往那个网站上放,其实我那个生态就很孤立嘛。实际上我当时还看了workbody,我在想说他能不能让我把我的应用放上去。但是目前还没有找到办法,就是。其实就是相当于有人如果就像抖音一样,是吧?或者建个淘宝一样,我就把我的这个这个 AI 应用放上去,那大家。也可能推,通过一些推流啊,别人就推给一些律师啊。是的是的。就有可能我我就免得我到处自己去找那个。
唐老师 03:33:40 对,你看哈,这里头有一个点,就是你现在呢做的是专项功能。我我觉得我们这个事情说不定长远讨论一下有没有点。就我们是做通用功能的事。
陈虹-电子科大 03:33:52 对呀,你做平台嘛。
唐老师 03:33:54 对,我做平台。你看我这里面我并没有强调说我是为谁服务的。是是。我没有强调哪个行业。我这里面的技能的话,你像这个语音转写。是吧?合同审查报告,这都通用的。
陈虹-电子科大 03:34:08 你们可不可以搞一个,比如说就是。就是比如说律师,
唐老师 03:34:11 律师事务所。
陈虹-电子科大 03:34:12 行业的,对呀。
唐老师 03:34:13 哎,律师事务所,是吧?
陈虹-电子科大 03:34:14 对呀,然后我们就把应用嵌进去,对呀,而且我们还可以在上边儿。根据他们的需求,比如说哪个觉得很好,我们还可以再开发新的,对对对,都往这上面放。
唐老师 03:34:23 没错没错。对呀。没错没错,这部分功能加上了,你们就拿你们的钱。
陈虹-电子科大 03:34:27 你去想一想,因为你光有一个平台也不行。
唐老师 03:34:30 对,我们没有应用。对呀。
陈虹-电子科大 03:34:33 是的是的是的。那我现在也头痛,你知道吧?
唐老师 03:34:35 是,你们就不用去开发这个壳了,这个壳还是很麻烦的。
陈虹-电子科大 03:34:39 对呀,而且我现在找,我觉得你这个最好的了,就是其实后边就是相当于一个生态。是。你如果有了这个生态,就这个我就不用到处去找了。是的是的是的。也很难受嘛。
唐老师 03:34:49 是的是的是的。我我觉得我们这个创新点哈,我跟你解释一下,我觉得我们这里头有一个创新点。就是这个APP。这个因为为什么呢?其实你光想一下哈,最大的问题就是 Workbody 其实天生不太适合于有特别重交互的这种。因为它太那个对话式驱动了。
陈虹-电子科大 03:35:11 对对对。
唐老师 03:35:12 它只有对话式驱动这一种模式。但是其实你刚刚看得到的,你那块的操作都是很多表格界面的。对, UI 的。诶,要有 UI 的。这个因为以前有有很多人就在说,以后都不要 UI 了。不是不是,绝对不是这样子的。
陈虹-电子科大 03:35:26 我觉得不行。
唐老师 03:35:27 绝对不是这样子的,所以你看哈,我们把这个地方 APP 放进来了过后,你看我的内部培训APP。然后你看, AI 的协作就自动退到退到这边来了。对对对对对对。是吧,这边就正常的用就好了。对对对。对对对。这个界面还是很有必要的。
陈虹-电子科大 03:35:41 很有用的,因为很多人他并不知道该怎么问问题,他实际上需要有人,就是。指导他的。对呀,引导,那个其实界面就是一种引导。
唐老师 03:35:51 对对对。我们我们内部的 code 代码里面把这个叫xapp,就是 xapp 就是嵌入我们的这个,就是大平台的这种,但是只是说因为我们现在。还没有对外正式发布,我们现在写的APP,但是实际上我们内部的代码叫XAPP。这个这个在我们的整个系统架构里面这一段是是这样搭的。所以这个我我觉得这一条算是比较成功的一个设计。嗯,对。就目前看哈,我我觉得这个还。这个自己还在写代码哈。哎对对对。
陈虹-电子科大 03:36:23 先定哪一个? codex 还是?
唐老师 03:36:25 呃,tree,我用的是 tree 和crocod。这两种都都都有。
陈虹-电子科大 03:36:30 现在用应该不会受影响吧?
唐老师 03:36:32 我我不是不是,我我用crocod,但是我用的是那个就是DeepSeek,我用 crocod 里面去调 DeepSeek 的。可以可以调。
陈虹-电子科大 03:36:41 最近也都从 Coder case, Coder s 调 DeepSeek 了,因为太贵了。
唐老师 03:36:46 太贵了太贵了。
陈虹-电子科大 03:36:47 它现在太贵了, DeepSeek 还行,就是。对。而且好像这个 4.1 好像还可以。
唐老师 03:36:51 对,4.1,我觉得4.0,我觉得 4.0 Flash 就已经不错了。
陈虹-电子科大 03:36:55 对, 4.1 现在我们现在配的4.1。
唐老师 03:36:59 你看啊,就是说我把我,我们内部的对象的四种对象。多了一种,就是这个XAPP。 APP 哈。对,XAPP。我这个 XAPP 的话呢,它的意思就是说,共享了工作台。但是他是。独立的一套界面。它不使用,它不以对话式界面为主。你看还有这个考试也是,这个考试。这个考试我也不可能用对话式界面啊,我肯定要有自己的界面。就我,所以我就,我觉得这个设计思路还是,目前看是对的。对。就我们就等于有两个改进嘛,一个是那个工作流的那个显示。
陈虹-电子科大 03:37:38 显示,一个是这个XAPP。
唐老师 03:37:40 对,XAPP。
陈虹-电子科大 03:37:41 跟 Workbody 比哈。
唐老师 03:37:42 对对,我们还,我我觉得我们还是有优势的。对。你看 Workbody 上面的那种界面,它的虽然说它也,虽然说它也有优势啊,极简。但是他的工作流的概念,他不清楚的。他没有他没有很明确的工作流,这个地方的话呢,如果比如说帮我查一下今天的股市,行情。你看他他的逻辑全部交互都在这个位置。我我其实觉得这个交互可以跳到这边来。对对。是吧?把这个环节就,什么MCP。
陈虹-电子科大 03:38:17 思考链就放到。
唐老师 03:38:18 MCP 没有必要显示啊。你如果要显示应该直接展开,我计划给你搜索,我我。几个步骤。是我我打算做以五个步骤来完成你的工作。对对对。是吧?比显示。这个不是强多了。
陈虹-电子科大 03:38:31 他现在的感觉就是陷入一种定式思维,就是现在各个对话的面向 C 端的都是这种。都是这种样子。他就沿用了。
唐老师 03:38:43 对你看他调了这个 skill 啊什么的,有必要吗?不需要啊,你其实就像我们那个界面,是吧?我们那个界面就变成那种。
陈虹-电子科大 03:38:52 我在跟我们同事,我还让他们改一下呢,因为他们把那个调用工具的那个东西给我搞出来,我说你这个有些工具的调用客户又不想知道。不需要知道。对呀,他又他又不懂你底下工具是啥。
唐老师 03:39:03 真的不需要知道,他你看他这个地方像文案校对,就识别文本目标语气定位风险表达,重写关键段落。
陈虹-电子科大 03:39:11 几个大步骤。
唐老师 03:39:15 是吧?这个这个肯定比那个好,我我们还是有点。简洁。对对,简洁明确,跟业务有关。
陈虹-电子科大 03:39:23 不是那种你的技术类的,哈哈哈。
唐老师 03:39:26 对吧?你你看到,如果说你做业务的人,你看到这里,哦,到这一步了,哦,到这一步了,哦,到这一步了。
陈虹-电子科大 03:39:32 那你现在这个后台配的大模型是哪一个?
唐老师 03:39:35 我都可以换嘛。
陈虹-电子科大 03:39:36 可以配的是吧?
唐老师 03:39:36 对,我可以换,我后台的那个全部都有,更换的这个。我我这是前前端也可以看得到,后端的话这里也可以看得到。 AI 路由。 AI 路由这个,各各种路由。就是 AI 的路由, AI 的用量。
陈虹-电子科大 03:40:00 嗯,还有一个 AI 用量哈。 token 的数量,你给它展示出来了。
唐老师 03:40:06 对对对。
陈虹-电子科大 03:40:06 因为我们现在都本地的,我们就觉得没关系了,随便用。
唐老师 03:40:11 挺好的,挺好的。没管。对,行。您把一些相关的软件的,你可以发给我,我回头就考虑起来,我们,我可以先帮你打探一下,这几个小软件的用法。好好。这几个小软件,如果它确实就有律师有兴趣了,我就直接那个推给他们。好。如果说他们觉得说可能还要改进的话。我也我也拉个会议给你,你也听一下他们的看法。
陈虹-电子科大 03:40:41 啊,因为我们现在证据了,我们暂时现在实际上有点暂停,为啥呢?我现在就是想从市场上得到一些。这个反馈和。
唐老师 03:40:51 那那这事你交给我,我我我们联合搞吧。哎呀太好了。我们真的真的可以联合搞。
陈虹-电子科大 03:40:57 谢谢谢谢。
唐老师 03:40:58 我也我也本来就跟那个律所开过会。很多哈。搞那个科普。搞 AI 科普,他们是挺乐意听我听的,听我讲的,但是我没有手上没有交付软件给他。你刚好有。是是是。那不是这这事就能够碰上了。
陈虹-电子科大 03:41:11 对对对对对,正好,诶,您在这,你别急啊。没事没事。我就说您在这,哎呦,我忘了给你倒水。
唐老师 03:41:17 我去那个吧,我去机场了。
陈虹-电子科大 03:41:18 你机场,你你还早的嘛,你下午要不就在这休息会。
唐老师 03:41:22 没没关系。
陈虹-电子科大 03:41:23 没人,这个房间都可以关着。
唐老师 03:41:25 没关系没关系,我去机场吧。
陈虹-电子科大 03:41:27 你直接就去了呀。
唐老师 03:41:28 对对对,我去机场。到机场休息会儿也是。对对对,我在机场休息,那个就这样也不用在路上再考虑后续的安排了。
陈虹-电子科大 03:41:36 嗯,下是是直接到那个。
唐老师 03:41:39 对,我到那个。
陈虹-电子科大 03:41:42 到南京哈。
唐老师 03:41:44 对,到南京。明天后天又是两场会,跟他们两个就是做做软,其实也是,易辉易辉其实是做软件的公司,跟罗老师的工作很像。叫一辉哈。一辉。一辉。一辉。对,一辉信息。那个一辉信息的话呢,还是不错的。就是在他们这个,就是嵌入式行业,嵌入式 OS 行业里面的话呢。少有的一个能够,可能能上市的公司吧。
陈虹-电子科大 03:42:17 现在做软件能上市都太难了。
唐老师 03:42:19 是。
陈虹-电子科大 03:42:20 你看我就是,就像您说的一样,这个利润,整个收入都被剥削了 2/ 3 了。
唐老师 03:42:26 对啊,你这个。怎么办嘛。你搞掉这么多利润过后,你还能剩下几毛钱来发展呢?对,好,我这边有了,好的。没关系,我。到机场去休息。对。
陈虹-电子科大 03:42:57 这包也有点重。
唐老师 03:43:02 哦,对对对,有可能是。
陈虹-电子科大 03:43:04 在那个。对,我看一下。
唐老师 03:43:59 我我觉得应该是。
陈虹-电子科大 03:44:04 我记得你来的时候你是穿的这件衣服。对对对。早上来的时候是穿的这件衣服,因为我当时看着你跟毛老师他们见面。好的好的,对对对。你先打个电话问一下,这边,因为你是经常在外面跑哈。是是是是是。只有这一边才能够下。好的。辛苦辛苦。
唐老师 03:44:41 你们现在有多少人啊?
陈虹-电子科大 03:44:44 我们团队小,大概 20 号人左右, 20 来号人,有一些学生。有专职,有学生,有我们的老师。小团队,但现在因为有了 AI 以后呢,就还好。
唐老师 03:44:58 嗯,对,所有的编程的能力就比较强了嘛。
陈虹-电子科大 03:45:02 基本上现在就是一一个人。就要就要负责一块儿。
唐老师 03:45:07 对,一个人就干一个项目。
陈虹-电子科大 03:45:08 对,基本上就一块儿,然后呢,别急,他在上,还等他下来,所以就还好,就不像原来就总觉得有点儿紧张,现在其实也,现在也紧张,但是呢就会就会变得比较快。对。就每个事儿推进都会比较快。有 AI 以后确实这个效率提升比较大。好。好的好的,唐总。好,谢谢,谢谢。我就不送你了哈,好,后边我们再交流。
唐老师 03:45:44 再见了,再见了。谢谢。谢谢。谢谢。谢谢。谢谢。
唐老师 03:47:27 我给你导航,说一下地址吧。这个不知道。不然的话我这个找不到出去的。
罗蕾教授 03:47:36 是不是我坐这个停车场进来吧?
唐老师 03:47:38 对, C7 栋,对,我只能跟你这样,对,我,对,不然我找不到出去啊,我找不到路。对,C7,我打了个地方叫C7,你用导航找进来吧,不然我找不到出去的地方。
唐老师 03:48:04 好吧,我改了。好好,你就要不然我找不到出去的地方,这边他这个路太乱了。
唐老师 03:48:20 那你就进来吧。
唐老师 03:49:37 2988,2988,我要去拿个衣服。
罗蕾教授 03:49:56 他是到哪里去了?
唐老师 03:49:57 就很近的地方。酒店国际。对对,我加一个途经点。
罗蕾教授 03:50:05 你这个是。
唐老师 03:52:43 你好,我是早上离开酒店的,有没有一件衣服掉在大堂了?对对,一件蓝色的西装。对,不是,都很久了。对,今天早上我 9 点钟就出门了。
唐老师 03:53:16 房间。呢?
陈虹-电子科大 03:53:18 房间你是哪个房间?
唐老师 03:53:20 那个是,房间是406。
陈虹-电子科大 03:53:24 406 是吧?您稍等,您电话先不挂,我问一下,那个房间可能还没打扫,我让我们大姐去看一下。或者您留个您的哎,我看您电话是?
唐老师 03:53:41 13917612988。
陈虹-电子科大 03:53:48 好的,我问了,然后我给您回复啊。
唐老师 03:54:21 师傅,你待会那样子,你找一个靠边上不挡路的地方,我看一下箱子里面有没有丢东西,因为刚才也没办法看。
罗蕾教授 03:54:34 到了酒店那里再说吧。
唐老师 03:54:37 你这里不好停,是吧?
罗蕾教授 03:54:50 我们每次接到这个天府机场的单子啊,都头疼呐。不去呢,你们乘客有意见。去了呢,我们自己要亏钱。不想去了。
唐老师 03:55:09 那他这个定价就不太对啊。那应该价格提高一点。
罗蕾教授 03:55:21 高啊,一下就需要的是高的单子嘛,你下个快车我们的还稍微好一点。你们下的是特惠单。
唐老师 03:55:31 哦,他这个那就他就不应该定在这个价呀。
罗蕾教授 03:55:38 那他怎么,他肯定要定这个价呀,但是。
唐老师 03:55:41 那你们为什么要接呢?他派过来的。这个不用跟你商量价钱的呀。
罗蕾教授 03:55:48 谁跟我们商量价钱?
唐老师 03:55:50 你不同意价钱他会给你派啊。
罗蕾教授 03:55:52 他派了让过去有单子啊,让你等啊,等五六个小时,你等不等啊?
唐老师 03:55:57 哦,你不接这个特惠单,他就要等你等五六个小时啊。
罗蕾教授 03:56:02 不是的,你接的这个单子,你过去也要等啊,等五六个小时啊。要等到单子才回来呀,你不等你就只有放空回来。就这样的,因为你们要下便宜的单子,所以说。
唐老师 03:56:21 那他应该要,你没有一个接受的底价的一个选择吗?
罗蕾教授 03:56:26 没有,哪有这样的说法呀?只有我们有时候让客人,有些客人他可以给我们加一点回来的费用,比方说 20 啊,比补一点虚啊,这样的,有些客人他愿意的,有些客人他有些,基本上他在,有些啊他就谈不好他就不去。
唐老师 03:57:57 像这种就是特惠车的话,他应该要给你设一个底价呀,你底价不到的。
罗蕾教授 03:58:03 不用他设底价都可以,只要过去你有单子给我们回来就行。他,你像过去你排队的单车多呀,很多车啊,至少要排到,我上次有一次我就待在那里等,等了 6 个小时,哇。对啊,那就是啊。
唐老师 03:58:27 那你就是,如果这种的话,那你应该要去的,去成要高一点才行啊。
罗蕾教授 03:58:33 对呀,就是这样的嘛,有时候你怎么说嘛,不行的。
唐老师 03:58:37 就是去成要高一点。特惠单的这个机制不对,你们就不应该有这个,像这种,他就不应该有特惠单子,他就不应该有特惠单。
罗蕾教授 03:58:49 对,那个酒店是吧?平台他不管那些,他只管你。
唐老师 03:59:00 他应该要跟你商量。不然的话,这个单子他就不应该派给你。你们都不能设底价的吗?
罗蕾教授 03:59:19 他也不管你啊,比方说你这个,我们取消,比方说没有给你,我跟你商量啊,或者是怎么回事,说不好,你去看,看他衣服找到没有。
罗蕾教授 04:00:07 我这在跟你聊。 20 块钱, 30 块钱。我说我们接到的这种单子啊,不去客人要有意见,去了我们要亏钱。
罗蕾教授 04:00:35 你看他是报销吗?还是。
罗蕾教授 04:01:01 我说的是 70 多块钱, 70 多。
唐老师 04:01:30 那个。
罗蕾教授 04:01:44 搞一半天还没有丢。
唐老师 04:01:46 对。
罗蕾教授 04:01:46 你搞,但是一般酒店,你掉在酒店里,酒店都有的。
唐老师 04:01:50 对。
罗蕾教授 04:01:51 我就说嘛,他说没有,肯定你就没有掉。
唐老师 04:02:07 想一想,想一下怎么做下一步。
唐老师 04:02:40 这样子,跟肖云慧讲一下,他不要再参与视觉项目了,他调过去看叫做智能体那一块,智能体吧,以叫做 AIW 这个,对,你先让他熟悉 AIW 这个,如果他现在在用哪一台电脑?
唐老师 04:03:13 不是,周煦城那。还在我这里。
唐老师 04:03:22 对,他应该用的是那台乌班图的吧?他用的是乌班图还是Windows?那就乌班图的呀,他就用的最开始不就用的那台吗?那个 AW 他应该在那个上面可以做,对,他那个应该可以做。 AW 的话呢,我做了一些重要的改动,换账号。这样子,你让他把小红书彻底做出来吧。你让他把小红书彻底做出来。你在做什么为主啊?你看什么呢?光看啊?主要有事情做啊。
唐老师 04:04:16 这个这样的话,那你不是一天白过啊?你。这样子,让他把熟悉一下,你自己把公众号没啥可改的,你不要再继续看了。做小红书的把他小红书的彻底改通,干脆就调过来吧,你把小红书的功能彻底改通,小红书也改成可以选账号,可以配置账号。处理知识库,知识库要变成可以通用的知识库。小红书的知识库和。小的公众号的知识库可以共用一个知识库。有没有听懂这个意思?对,就直接先做这个,你让他就先换到去看AIW,机器视觉这个事情,不用做了,对,那个水平也不够,这个我等于要重新教一年才教的出来,那个哪有时间去教这个一年啊?他看一下他的做小红书的这块能不能做的了?从他的角度也可以做一点。如果要是,对,反正今天就今天明天先就这样吧,等到有一些事情就过了节再说了。
唐老师 04:05:47 你这一块的话呢,你这样子,你不要这样做事,你要听明白,因为你这样的话呢,就等于每一天就是白浪白过的。需要每天要定个目标。还有就是你从今天起帮我把每天早上的工作的计划,直接去问大家要出来,不要我问才有。每天早上必须每个人都要发给我,你听到了吗?好,对,陈瑜的那边的话,文章的确认都还没出来啊,他不是昨天、前天都在弄这个吗?的话,昨天都在弄,他今天一定要把文章主题要定出来。要直接给出来,或者把建仓库建出来也可以。小莫的部分的话,对你,他在边上没有?你直接递给他。
唐老师 04:06:49 你有没有看到新版的东西?我说的是今天早上之后呀。
唐老师 04:07:06 我继续跟小莫说,小莫你有没有见到新版的文章?昨天晚上之后的版本。
唐老师 04:07:18 喂,昨天的我看了,今天的什么时候发的?不是,我一直改到很晚,包括你现在看到的是啥样的?
唐老师 04:07:47 你看这几点钟的版本,这样说。
唐老师 04:07:56 那就是昨天的。对,几点的版本嘛?
唐老师 04:08:15 9:07。 9: 07 是什么意思?是早上吗?对,早上。那你今天上午在干嘛呢?先生,我还是,把一些细节理解了一下,看了一下。那个,这边不是很同意这个。论文方向的。
唐老师 04:08:53 我们往什么方向去?对,因为他们觉得就是嵌入式系统来做大系统,就本来就不对头,他们是这样想的。有没有听懂这句话的逻辑?嵌入式系统来做大系统的就是以T1、T2,他们觉得不合理,他觉得这是个伪命题。
唐老师 04:09:23 哎呀,我的老天爷,这样会导致我的这个电脑。
罗蕾教授 04:09:27 你他们的神经病嗦。
唐老师 04:09:38 我应该一直在 git 上去啊,你怎么会看到的是 9 点多的版本呢?你们这个做法真的不行,我这样我下次要批评你。小莫,你听清楚哈,咱们之间学习的话呢,是要讲效果的。如果说你看你今天早上看的,你去,昨天看到是 9 点钟的版本,这个完全不符合我们昨天的交流,那个不合适的,你不能这样做。你有听清楚了没有?小莫。我最晚的改动一直到了叫做,最晚的改动的话呢,一直到了我看一下我最晚的改动到几点钟了都。有 9: 07 的有,对, 9: 07 的有,也有,对,这一版。后面整体框架的话还有一版,对。还有一个,对。昨天的话呢,对。不过昨天我确实也有一个另外的事情耽误了,因为我昨天还要写大模型的报告。行吧,也就是说你大体上看到了整体框架的,我看了一下,我现在再传一个新版本上去。我现在传一个新版本上去,你全部同步一下。好,但是我现在告诉你,那个就是罗教授他们对于叫做做T1、 T2 层次的他认为概念不太对,不应该把总。
唐老师 04:11:05 主题定义在实时操作系统上面,它应该叫基础系统,而不应该叫操作系统,叫做实时基础支撑系统,实时基础系统,或者叫实时准系统,或者叫实时基础系统,不能够再定义在操作系统这一层,因为很多问题它不是在操作系统这一层解决的。他hypervisor,他他们建议是用 hypervisor 来做并行系统,做实时 real time,实时操作系统的话,是做。解决叫做控制那部分,实时操作系统还是放在控制那部分,叫做那个,用 Linux 平台来做叫做推理那部分。这个其实本身就是义辉现在的架构,但是的话呢,整体实时性的问题的论证,他们应该是没有论证过的。我不知道听明白没有,听得懂这个话的意思不?可能没有这个工业实践哈,可能没有这个工业实践。对,意思反正就是这个。意思就是说,不能用这个阿托斯来解决所有的问题,大体上的意思。
唐老师 04:12:21 我待会儿这样子,我待会儿大概在一个小时过后,你你先看一下,你这样子,你先把我说的这个问题,你直接在叫做仓库里面,你跟 AI 对话,你说说实时操作系统的老师提出,不应该再局限于用操作系统级别来考虑这个问题了,操作系统的。
唐老师 04:12:49 操作系统,对于结果的贡献度是有限的,有很多本身就也不是操作系统该管的事情,大模型的推理实时性,不是操作系统该管的管的事情,这句话听得明白吗?大模型的推理实时性。对,不应该归,不应该只归操作系统管,所以要把实时性这个概念从操作系统,实时操作系统这个概念扩展出来。我们解决的整个是引入了大模型的,引入了 AI 的系统的整体实时性问题,把这个问题要重新定义,好,你描述一下。不局限于操作系统的实施,而是将整个大模型推理以及操作系统融起来,统一实,统一的实,实时性。对,统一的实时性,对你这个表述还是不完整、不规范的,但是没关系,你去跟大模,你去跟 AI 讨论如何把这个问题表达的更加规范。原因是因为就是大模型推理的实时性问题,它不能够全部归咎于操作系统层面。它有很多是另外的层面,操作,大模型推理的实时性问题,不能够完全归结于Atos。这句话掌握到了吗?
唐老师 04:14:33 好,就把这个概念扩展开来讨论哈,就先不用写具体的东西。这个就好,就就很,先去弄弄起来。这句话我发给你了,但是要把这句话延伸扩展研究,好吧?这样就不浪费这个今天下午的时间了,今天下午写不了东西的,今天下午是要以整理为主,整理思路调节为主,好不好?好,好,先说到这。那个关佳贝跟叫做小肖的话,陈运慧,你们就折腾那个就是 AIW 的东西,然后把那个小红书彻底写好,然后小红书可以共用知识库。知识库的上面的生成要很方便,知识库的使用要很方便。规则要很清晰。好,那个小关先开头吧,我看。嗯,行,拜拜。好,拜拜。
罗蕾教授 04:20:13 两个小时, 2 点半到, 2 点 25 到。
唐老师 04:25:28 然而还。
罗蕾教授 04:39:34 我这儿在送客人过来的路上。你在 T2 还是T1?我都没看那个订单。
罗蕾教授 04:39:50 我看一下,我看一下。我离那里有多少公里?没事,我两点半客人在 T2 下了我就过来。
唐老师 04:48:06 请缴费 30 点,支付中,请稍后,缴费成功,祝您一路平安。
罗蕾教授 04:56:46 这是枪,手枪那东西的。是不是?
陈虹-电子科大 04:57:04 放箱子就可以了,包包不用放。这个也放了吗?
唐老师 05:00:07 一起的是不是?对,对的。一起的就一起取。没有,可以不同的地方。
陈虹-电子科大 05:00:31 大杯上。好了之后到值机去了。
唐老师 05:00:36 好。
陈虹-电子科大 05:00:36 直接安检啊。这里有个货道要不要?
罗蕾教授 05:00:39 可以吧。好。
陈虹-电子科大 05:00:41 这个是货道吗?我不知道你那个是什么仓位,知道不?
唐老师 05:00:49 四仓位。拿了没有?
唐老师 05:01:05 那个。哪个航空公司?东方航空。这是东航啊。东航的金卡。 H 的67。
陈虹-电子科大 05:01:40 但是我们上面都有信息的吗?我现在在另外柜台。就是你那边只有徐云一个人的退票记录,是吗?是的,我这边也给他看了,他就没有票哦,看不到我们的票哦。那等他这边柜台处理吧。
唐老师 05:01:59 请问这个 A 18 的地口哪里啊?
陈虹-电子科大 05:02:38 全部都退了。
陈虹-电子科大 05:02:55 九,九月多少号几点退的?下午 14: 22。
陈虹-电子科大 05:03:08 你好,祥鹏是在这是吗?
陈虹-电子科大 05:03:30 你稍等你稍等你稍等你稍等。哎,先生你好。没有。购票的,他说他携程跟他讲只退了 15 个人的票。没有,联系了没有。所有的票跟座位都删掉了。那现在有什么办法能够处理?
陈虹-电子科大 05:08:44 有没有充电宝?
陈虹-电子科大 05:09:04 袋子里有充电宝吗?男士。
陈虹-电子科大 05:09:14 包里有吗?
唐老师 05:10:37 这是哪位的?
唐老师 05:10:55 可以拿走了哈。
陈虹-电子科大 05:11:00 拿走了。那个是我的。
陈虹-电子科大 05:11:33 我挪一下哈。
唐老师 05:16:16 明天啊。我们下个班。下个班。
唐老师 05:21:16 车辆行驶中,请注意安全,感谢您的配合。车辆行驶中,请注意安全,感谢您的配合。车辆行驶中,请注意安全,感谢您的配合。