对话网易伏羲:为什么做不“性感”的事情

发布:2023-09-19 21:19:44
阅读:12009
作者:市界观察
分享:复制链接

在大模型引发的新一轮热潮之下,对话、写诗、作画已经不再是大模型的全部。在刚刚过去的上海人工智能大会(WAIC)上,中国工程院院士邬贺铨表示:现在需要深入思考大模型的应用方向,将大模型切实投入城市发展、金融科技、生物医药、工业制造、科学研究等领域。“也需要专业的企业和组织加速其在实体产业落地,为产业刚需带来实实在在的价值,真正大规模服务社会。”

而作为国民经济的主体,制造业是工业产业的基础。“AI大模型要加强制造业‘技术、产业、应用’的进一步融合,研发面向制造业的AI大模型技术,推动我国制造业数字化转型与智能化升级,进而为实现我国迈入制造强国的伟大战略目标作出新的重大贡献。”中国工程院院士李伯虎说。

在此背景下,许多公司都在基于自己的技术基础,寻求跨界赋能。据「市界」了解,“比起竞争激烈的虚拟人业务”,网易把更多目光投向了更能“改造实业”的制造业领域。

在浙江省平台经济高质量发展大会上,网易CEO丁磊表示:用最快的速度探索AI大模型的创新、应用,是网易的首要任务。

据了解,网易AI大模型正在加速覆盖百余个产业应用场景。在加速创新应用的同时,网易“伏羲”有灵众包平台今年还将为10万人提供AI新职业,包含挖掘机远程驾驶员、AI绘画师、AI表情绑定师等人机协作的就业岗位。平台还会根据求职者的用户画像,提供针对性的培训,帮助他们实现能力和收入的提升。

网易伏羲实验室负责人范长杰在不久前的人工智能大会上也表示,在AI发展的过程中,人不会被AI所替代, 而是可以从执行者变成任务的组织者或定义者,并有机会去做更多自由有趣的工作。伏羲基于自研的AOP(Agent-Oriented-Programming,面向智能体编程) 技术将人和机器统一抽象为智能体,提供统一范式的接口和建模方式,以群体智能人机协作的众包方式在数字孪生环境中完成任务,通过自动数据闭环降低数据获取成本,并通过 AOP 把困难复杂高算力任务分拆成子任务,使大模型的算力成本大幅下降。

2021年,网易伏羲成立了机器人部门。如果说“伏羲”承载着探索前沿科技的“顶天”期待,那机器人部门就是要“落地”,探索如何把前沿探索赋能到实体产业,帮助解决真正的问题。

这一次在网易新展台上,经由网易伏羲工程机器人团队花费了4个月开发的“装载机”展出。该无人装载机器人由网易伏羲和中建八局联合研发,基于拌和站场景研发的高智能化、全自动化的一款主力工程机械,一方面,采用了无人驾驶技术,实现环境感知、路径规划、主动避障、自主作业、自动监控与提醒等自动化功能。另一方面,利用数字孪生技术,搭建搅拌站智能系统,系统能利用大数据平台的综合数据分析,自主择优为站内装载机分发任务、实现装载机作业路径的智能规划执行。

“装载场景一般在室内,更固定,因而商业应用可能性更大。”网易伏羲工程机器人团队的产品负责人杨新伟对「市界」说。作为“无人装载机”背后的“总工程师”,以下是「市界」与他的对话实录:

Q:为何网易会涉足无人装载机,源头在哪儿?为什么网易不做看起来更“性感”一些的事情?

A:2021年,人工智能的突飞猛进,团队便判断机器人的硬件本体也会到达一个临界点,趋向于成熟。我们当时就在思考,要去做什么样的机器人?怎么做?切入哪个场景?当时有人提议可以去做挖掘机,采摘机等等。

最后为什么选择了挖掘机?第一,国家层面提出了一个挖掘机指数,是指用挖掘机的开工小时、开工率来判断一个国家的基建程度,经济发展水平,可见挖掘机的重要程度。第二,挖掘机有挖斗,小臂,大臂,其实跟机械臂很像,也很像一个机器人。把挖掘机类比成机器人,它所面临的场景是最复杂的。如果我们的 AI 能力能在挖掘机上起到帮助,其他的机械从理论上来说只会比挖掘机简单。因此就选择了一个最复杂、也最具有挑战的作为开端。

那今年为何又进一步推出装载机呢?一个是因为市场需求。

去年12月,我们跟中建八局签约后,拓展出了新的场景。他们反馈,现在招工难,成本高。因为现场灰尘大、需要三班倒,工地上都是 40 岁以上的人,年轻人不愿来。二是因为有了去年挖掘机的积累,加上我们又做了一个超大规模的预训练平台,基于此推出了 AOP 面向智能体的编程。有了这套范式后,此前无人挖掘机上的 AI 能力,包括游戏积累的 AI 能力,都能被抽象到平台上。基于这个平台和此前挖掘机上积累的工业模型,去做迁移,第一个场景便出现在了无人装载机上。

后续不止无人装载机,还会有推土机、压路机、塔吊等等。很多主机厂要跟我们合作。这些工程机械都可以直接复用现有的工业模型,包括对液压的转移模型、运动控制的模型、感知识别的模型。

这都是缘于我们过去在游戏里面积累了大量的数据、模型的经验。如果没有那些积累,从零开始做非常难。行业中有些伙伴卡在某个具体的技术难点,还是在用传统的思路去解决。如果没有用到很强的 AI 能力,实现的效率就无法满足真正的生产应用。

Q:网易的游戏能力具体是怎样迁移到工程机械上的?

A:一个是数字孪生。在真正开始去做研发的之前,我们做了整个挖掘机的数字孪生,这个能力就是从游戏迁移过来的,也可以理解为游戏化仿真。

在摸到真机之前,我们都是先在数字孪生的仿真环境里去做训练,学习在不同光线情况下它对物料的识别。在仿真环境下,也能通过摄像头去感知,物料怎么识别,卡车怎么识别,路径怎么规划,导航怎么避障等等。基础的算法都是在仿真环境下预演了百分之八九十,基本没什么大问题了才去摸真实的机器。因为真实的机器需要真实的场地,需要烧油,需要真人去维护,需要去现场,成本太高。那现在就基于我们自研的游戏引擎,去做环境仿真。

对机械来说,挖一勺沙子,跟挖一勺石头,感受是不一样的。我们去做一些精准化的仿真,帮我们去做精准化的模拟,这些数据的收集,再进一步的去反馈到我们的模型就可以变得更成熟。

其次是挖掘机的一些控制能力,传统的挖掘机是你要控制它的大臂、小臂,是要用两只手去操作,那在这个过程中我们从《永劫无间》里面去提取出来一个模仿框架。《永劫无间》是一个战斗竞技类的游戏,有玩家大量的操作数据,我们用那些操作数据训练出来一个仿真对战机器人。

它有很多的数据,输入的数据,用户输入的数据,用的是我们统一的一个编程框架,叫AOP,全称是面向智能体编程。人是智能体,机器也是智能体,游戏的角色也是智能体。在游戏对战环境中,这个角色看到了什么?感知到周围的环境是什么对手,出的是什么招?基于这个认知应该怎么去做一个决策?我应该释放什么样的招来挡你?那挡了之后会有一个函数,会变成基于一个自发学习的结果。基于这套在游戏里面的自学习框架,我们迁移到挖掘机上。

那对挖掘机也是一样的,我看到了这块石头,要挖,从哪里挖?也是有一个学习和认知的过程。那挖完之后,有几种不同的挖土的方式,直接平挖,还是先往下铲,再往上提,平往后铲?整个这个挖掘的过程,我们也是学习老师傅的数据,让真实的师傅去开我们的挖掘机,在不同的场景下去做了一些数据收集操作的数据。

去年做了挖掘机之后,能力集中在两点。一个是液压模型的学习。所有的工程机械都是液压驱动的,不是电驱的,针对液压模型去做分析。因为不同型号、不同分位、不同年限、不同厂家,它的液压都是不一样的,甚至每一台的也不一样的,因为每一台机器它的工况,它能负载,它的作业的情况,损耗的情况不一样,而且损耗会随着时间也会有变化。那我们就针对不同的机器做了一个液压模型的学习。第二是针对它的运动控制去做了一个学习,它怎么挖,怎么识别,卡车怎么识别,料斗怎么识别,说这铲料点等等,另外就是物料的视觉感知。这些能力做完后,我们就可以四个月的时间又推出一个无人装载机。

要实现彻底无人,数据量会需要更大,训练时训练周期、训练成本也会更大。因为感知到的数据不是说像 GPT 那种文本类的数据,它的数据,摄像头的数据,双目的数据,激光的数据,四周环境感知的数据非常复杂。

Q:从无人挖掘机到无人装载机,能力迁移的难点是什么?

A:无人装载机做了4 个月。但实际上整体的能力迁移大概只用 5 天,液压、运动控制、视觉感知这些都能很快适配好。

真正的难点在于,每一台机器它具体的业务场景,比如新增的料堆的识别,料斗的识别,一些特定场景的训练,这些都是需要单独收集数据,单独进行标注。因此,我们还有一个众包平台,把标注工作外包出去,像残障人士、全职妈妈、学生都可以远程手机去标注,用人的能力来弥补 AI 的不足。因为对于机器而言,从挖掘机迁移到装载机,再到以后的压路机,面对的场景不一样。

过去的模型在无人装载机上没有见过装载场景下的料堆,挖掘场景下的石头,是跟搅拌站的石头、碎石、沙子是不一样的。

所以需要针对特定场景下的一些数据进行标注,学习,形成一个数据闭环,再进一步反馈到大模型上,之后再去调用我们的模型,就可以有一个很好的应用。所以花了两个多月的时间在数据的收集和数据标注上。

Q:建筑机器人可以替代人类去做一些危险性、有潜在伤害性的工作,但前期投入研发成本都比较高,你们是怎么考虑投入产出比的?

A:这个事情我们跟中建八局测算过,可以节省 75% 的人力成本。原来至少需要 4 - 6 个人,现在只需要一个人。比如一个装载机师傅,工资是1万块/月,要三班倒,一个搅拌站至少有两台装载机的话, 6 个师傅,一年至少 60 万。那用上无人装载机后,换成一个普通的人,只需要看着监控,装载机不出错,大部分情况不需要人工去介入。它是完全可以满足生产的效率。

而且,可以吸引年轻人去工地。去工地干的活更轻松了,除了看监控,还可以同时做点别的工作。一个人可以干两份、三份工作,会诞生出新的工作,不再局限于只能坐在装载机本体上去干活。

如果智能工程机械能普及开的话,硬件成本会降低,也会减少矿难等令人心痛的事情发生。

另一方面,我们核心是能够输出一套标准的技术,并不是去造机器。

Q:除了国内市场,海外还有可拓展的空间吗?

A:海外需求量更大。澳洲的合作伙伴告诉我们,那边的场景人力成本会更高。他们有的地势陡峭,是需要专门开小型飞机接送挖掘机师傅,师傅工资也贼高,温度超过多少度就不干活。

我们尝试过从澳大利亚让他们远程控制杭州的挖掘机,是可以行得通的。那以后,中国师傅也可以开澳大利亚的挖掘机,即使有时差,可以让别的国家的人去开着那台挖掘机,大家永远白天工作,只要有 5G 的网络就可以实现,一个人还可以开多台。

而且澳洲政府是对这种智能采掘设备是有补贴的。国内目前对这方面还没有大量的补贴,如果能像新能源一样也对这种智能化设备有补贴的话,可能会进一步的去促进这个市场发展。

Q:你们后续的规划是怎样的?

A:我们更倾向于说合作伙伴可以自己来(提需求),因为每一个场景其实差异性都非常大,我们对每一个场景的理解和学习也都需要时间。但很多合作伙伴他们本身对场景更熟悉的,那我们愿意开放出我们的工业模型,开放出我们的平台,开放出我们的能力,让更多合作伙伴他们自己来。

我们更愿意是,我们主要把我们的核心能力做好,大模型做好,平台提供好,服务好每一个开发者,让大家自己来做自己的应用,而不是我们把所有的场景都做了。

目前我们还处于起步阶段,不同品牌、不同吨位、不同年限的机器,在不同场景,挖有色金属、挖石灰石、挖煤,这是三种完全不同的东西,它的模型都是不一样的,等数据足够完备之后,模型才会进一步的强大,会促进效率会进一步提升,客户就愿意投入更多的成本来做这件事情,形成正循环。

扫码进群
微信群
免费体验AI服务