本文是 NIO IN 2024 蔚来创新科技日系列的第三篇。前两篇分别记录了和，这篇主要介绍蔚来Banyan 3系统。
比较有意思的是NOMI GPT，这是蔚来基于AI大模型能力和原生智能系统，打造的全新架构。它通过引入NOMI Agents多智能体架构，基于大语言模型重构了NOMI的认知和任务能力，并且还引入了情感引擎。NOMI可以通过用户的主动教学，或者模型的自主反思学习，养成很多独特的表达方式。
这是通过自研的情景智能算法和技术架构，可以感知包括人、车、环境、服务等上千种原子信息，并且通过情境计算以及融合仲裁输出语义化的情境表述。
当然这只是其中一个方面，下面来看下蔚来Banyan 3到底有哪些升级。
以下是蔚来产品体验副总裁李天舒的演讲内容。
非常感谢启研为我们打下了这么坚实的地基，整车全域OS是产品体验深耕发芽的土壤，它和强大的感知硬件、计算平台、座舱交互系统深度结合，不断驱动着智能算法与应用的演进和创新。
汇木成林，欣欣向荣，接下来我为大家介绍一下Banyan智能系统的最新进展。
两年前，Banyan随ET7首次亮相，它搭载了超前的智能硬件、创新的架构，以及时至今日依然领先的千T异构架构，并且首发了上百项智能体验。去年，Banyan 2.0带来了更加沉浸的数字体验，NIO link和NIO Phone开创了更好的全景互联体验。行业领先的舒适领航，可充可换的加电地图与车载服务带来便利与安心。
4月底，我们正式推送了全量的NOP+全域领航辅助，Banyan已然枝繁叶茂。今天我将为大家带来全新一代智能系统Banyan 3。Banyan 3是蔚来首个基于AI底层能力打磨而成的智能系统，它可以充分发挥超前的硬件配置所带来的算力基础，也将最新的AI算法与智能硬件、原生的智能框架和智能座舱应用深度融合。今天这张图的keynote的榕树图就是取了defution技术和NOMI GPT prompt生成而来的。
相较于浅层的UI更新，Banyan 3最大特点是从底层运用AI技术来改变智能系统，带来具备成长性和个性化的用户体验。
我将会为大家重点介绍Banyan在智能底盘、智舱应用、情感方面的最新进展。
01.
Banyan3带来智能底盘升级
先来看一下智能底盘部分。蔚来在Banyan系统推出之时，就采用了全栈自研的智能底盘的架构，从底层打破了黑盒式开发的束缚，以底盘域控和中央计算平台为核心，打通了超感系统，车身感知、底盘感知以及执行器，这是国内首个真正实现完全可控、数据闭环并且持续进化的AI智能底盘。
蔚来在智能底盘领域的OTA次数、迭代深度以及体验广度都是行业之最。从刹车不点头的智能舒适刹停，释放激情的ET赛道模式、再到预知路况主动调节的4D舒适领航，舒适、驾控、安全安心，都收获了用户的好评。
最值得一提的是，行业首个量产交付的4D舒适领航。它能记录包括坑洼起伏和减速带在内的各种路面事件，并且下一次通过之前主动调节，4D预知不受环境、速度和可视距离的影响，大大提高了安全性和舒适性。
今天智能底盘的真正灵魂就是AI能力。蔚来开创性地采用多传感器融合感知，识别道路事件，让车可以记忆横、纵、垂以及时间四个维度的信息。在云端，我们训练了一个所有车主共享的群体智能，让每一个车主都能收获舒适性和安全性的收益。只有具备了超感系统、中央计算、端云一体和群体智能的全栈自研能力才可以实现。
发布半年来，超过了1.5亿个颠簸路况事件被识别，并且覆盖全国超过94%的县市。
随着时间的推移，蔚来AI底盘正在加速成长。随着可用性和可用范围的提升，Banyan 3 4D舒适领航正式升级为4D全域舒适领航。
其带来三大特性，最重要的是，不需要开启导航就可以激活4D，彻底解决大家最常用的通勤体验。
不仅如此，为了让AI底盘的预测和改善度更好地被大家感知，我们创新了一个实时计算的颠簸指数。分数越小，路面越平，并且创新引入了创新应用和路面可视化曲线，AI底盘的情况一目了然。每次都会有一个行程总结到你的APP里程里面。
最重要的是4D全域舒适领航将全面覆盖所有配备CDC动态阻尼控制的车型，也就是说es8、et7之后，ES6和EC6车主也能够体验到4D全域舒适领航。
随着AI底盘技术的发展成熟和数据积累，我们也在持续探索更加丰富的应用场景。Banyan 3推出了首个面向后排乘客的智能尊享模式，为家庭和商户用户打造安心平顺的舒适体验。
相比舒适模式，后排尊享可以让驾驶者瞬间拥有黄金右脚，在起步、跟车和动能回收的时候，让后排乘客几乎感受不到冲击和眩晕，并且在通过坑洼路面和减速带的时候处理得更加柔和，综合舒适性最多提升50%。对于后排容易晕车的乘客，这绝对是一项好消息。
4D全域舒适领航和后排尊享模式，是Banyan 3带来的更高的驾驶体验。只有具备AI智能底盘、端云一体架构以及群体智能，才可以实现。
02.
Banyan 3带来智舱升级
不仅是智能底盘得到了AI的深度赋能，大模型和端侧智能技术也在重塑Banyan 3
的智能座舱体验。
去年我们首次发布了蔚来的SkyOS-C数字座舱全栈架构。
今天基于AI核心底层能力，我们打造了首个车载的端云一体原生智能运行时。
通过引入端侧模型和NOMI Agents的多智能体框架，向下打通各原子能力域和子系统，催生出了全新的AI原生应用，Banyan 3的智能座舱体验会更加多彩。
在智舱娱乐和音频内容方面，Banyan是首个座舱量产杜比714全景声的智能系统。今天会场有很多麦克风和识音器，今天这场NIO IN就是联合杜比首次以714标准，直播到了用户的车机里面。
Banyan在媒体应用方面持续创新，好的内容是这些体验的重要基础。Banyan3与QQ音乐共同推出了臻品AI音质，通过AI空间音频编码和全景混音技术，让缺乏全景声的普通音源也能够解锁714的全景声体验，目前已经支持百万首主流歌曲。
所以高品质的内容还需要匹配一个更加专业的调音工具，在Banyan3推出的自研专家均衡器Pro EQ，首次将专业级的调音工具带进车里，支持从20Hz到20000Hz的频响曲线精细调节。
EQ界面富有颜值和科技感，更专业的界面是不是可以带来更简单的使用方式呢？今年晚些，我们将首次基于NOMI GPT实现AI生成EQ。
你可以让NOMI分析一首歌的曲风，歌手综合信息以后，实时生成一套实时曲线。你也可以个性化的表达，低音再强一些，人声再多一些等调音方案，还可以与朋友分享。
歌不仅听得爽，也要唱得嗨。我们是第一个推出车载无麦K歌的。今天带来无麦K歌的2.0。通过与多个平台合作，我们带来首个基于原生应用的AI智能伴唱体验。打开QQ音乐以后，无麦K歌可以做到只要你一开口唱歌，就能够AI消除原唱，切换为伴奏模式。
我们还带来了行业首创的AI声音滤镜，有时候气息不稳或者唇齿音，AI声音滤镜都可以帮你实时修复，智能修音让你立马变麦霸。
我们一直以车为中心，打造面向高品质服务开放平台。
Banyan 3随着sky core的升级，我们能够以轻应用和小程序的方式接入更多具有原生感的应用。
Banyan 3推出蔚来自研的Flux轻应用平台，在缺乏车载原生应用的当下，它可以直接基于Web生成Flux应用，获得接近原生应用体验的高品质的内容与服务。
很多用户都跟我反馈过，希望车里有像Apple Music一样的体验。今天，基于Flux平台，我们做到了无限接近原生应用的体验。
以apple music为例，你的账户、歌单、曲库和手机APP就能够实现完全地同步，而且可以通过NOMI播放控制。类似这样的轻应用还有很多，我们将在后续的Banyan 3发布会再跟大家陆续揭晓。
除了内容，日常更需要的当然是更高频的本地生活服务，比如订餐、点外卖、点咖啡，我们认为这些应用应当在车内被满足。
今天我们正式宣布接入车载小程序。我们可以看一下，跟随Banyan3升级，包括星巴克、麦当劳、微信读书在内的一批高品质生活小程序都将提供Banyan用户。
蔚来的车载小程序是一个原生的本地应用，采用和手机上一比一的原生比例，可以说这是今天交互体验最好的车载小程序了。
不仅如此，你还可以随时将它缩起，变成一个悬浮球，还不影响导航，随时可以查看。以后可以通过NOMI将小程序打开。后续OTA我们还支持更多原生AI能力与小程序的打通。Banyan3智舱应用可以更加个性和愉悦，丰富的应用，高品质的内容，以及更多服务生态的接入，也将为将来拓展AI的综合应用打下了重要基础。
03.
NOMI的成长
接下来我们来聊一聊NOMI的成长。
早在2015年，我们就立下了让车成为有情感的伙伴，让用户不再对着空气说话的初心。2017年12月，NOMI正式诞生。到今天这个初心依旧不变。
从诞生开始，NOMI从未停止成长的脚步，它是第一个可以起各种名字的AI，可以自定义对你的称呼，并且拥有拟人的灵动音色。不仅如此，咱们的NOMI还是第一个学会了记事、备忘甚至唱生日歌的才艺小能手。今年4月12日，正式发布了NOMI GPT。它带来了无限趣聊和大模型百科，以及行业首创的氛围魔法和趣玩表情。
三个月时间，用户已经和NOMI GPT交互超过1500万次，活跃度达到历史最高水平，这也进一步坚定了我们在情感技术上的投入决心。在接下去的日子里，NOMI的目标依然是成为懂你的情感伙伴。我们会在三个方向上让NOMI加速进化。
第一，更加拟人的交互。第二，让NOMI成为一个独当一面的得力助手。第三，NOMI应该成为一个有温度的情感伙伴。
为了实现这样的目标，基于AI大模型能力和原生智能系统，我们打造了全新的NOMI GPT架构。
它通过引入NOMI Agents多智能体架构，基于大语言模型重构了NOMI的认知和任务能力，并且还引入了独创的情感引擎。
让我们逐一打开。AI时代的人车交互范式应该能满足多人的自由交流。满足多模态信息的呈现，并且用简单直觉的方式传递信息。在Banyan 3，我们进一步迭代人车对话范式，通过自研的端侧免唤醒引擎，一秒内响应，让交互效率比之前提升了100%。而且无网也可用。
当NOMI面对多人交流的时候，它可以进行四路用户的对话定位分离，识别、理解和回答，并且根据先来后到和执行情况进行聪明的总结和回复，可以说是八面玲珑。比如一句话的多指令最近也很流行，基于大模型流式断句和理解能力，我们可以让NOMI支持一句话不停顿地连续说几十个指令，而且全都能够做到。
有了大模型后，我们还在探索如何帮助NOMI给你呈现更加丰富而多元的信息。这就需要NOMI的灵动视窗。这是NOMI GPT最重要的生成式的交互框架，它呈现带段落的富文本、图文混合的内容以及AIGC的图片，它还能根据情境生成场景、歌单以及调音方案。拥有了NOMI灵动视窗，配合高自然交互，绘声绘色的表情，今天可以说NOMI是大模型时代最完整最极致的人车交互范式。
我们还希望NOMI不仅能做好交互，我们希望它更能够主动规划，甚至帮用户代劳一些更加复杂的任务，成为一个真正得力的好帮手，这就需要基于大语言模型的NOMI Agents多智能体框架。
AI Agent就是可以自主理解、规划决策、调用工具并且执行复杂任务的智能体，而NOMI Agents多智能体架构，可以让NOMI立刻学会使用工具，比如调用搜索、导航、预约服务。根据任务的复杂性和时间跨度，NOMI可以进行复杂的编排并且建立自己的短时和长时记忆。过去问NOMI胎压不足怎么办，它告诉你去补胎，但是在智能体框架下，NOMI 可以调用各种服务和工具自动帮你搞定事情。总之一句话，让NOMI搞定事情。
让我来一个一个介绍一下本次发布的六大NOMI智能体。停车，向来是出行中的麻烦事。在多智能体框架下，只需要问NOMI给我找一个好停的停车场。NOMI就会主动分析停车场和目的地。它甚至告诉你这个车位是不是机械车位。这样深度的停车场信息NOMI都可以找到。
今年四季度，我们还将推出与腾讯合作的停车场地图，NOMI可以帮你一路导航到离目的地走路最近的停车位，并且实现车位级导航。停好车，NOMI还可以聪明地根据车位宽窄打开守卫模式。很多时候回到车内发现很多报警都是虚惊一场。NOMI可以调用记录仪，并且推理人靠近、车靠近、人驻留、开门杀等在内的八大场景。这是行业首创。
在闹市区的停车，事太多了，NOMI会对记录仪总结体验，只需要给你那些最重要的视频，而不是一个个手动翻查。大事不遗漏，小事不打扰。如果不巧，守卫Agent帮你发现一些小刮蹭，它也会快速帮你发起一键维保。如果这个时候需要驾享和代驾，这一次Banyan 3可以预约驾享服务，时间地点一步搞定，非常方便。
