JavaScript is required

商汤绝影,算法只是敲门砖,更想做车企智驾自研背后的那个人

最近,商汤绝影举办的2024绝影实力AI DAY,戳中了主机厂的各种痛点:

■ 真烧钱建算力设施?

■ 数据够高质量,够解决长尾问题吗?

■ 一段式端到端智驾上车了没?

■ 智舱的灵魂够有趣吗?

这些痛点本质上是,投入与产出是否成正比。

很可惜,主机厂普遍发现投、产不成正比。

这时,商汤绝影提出来一个解决方案:大家(绝影与主机厂)进行全方位深度合作, 共享大算力、大模型,共建数据基础设施 ,共同打造智能汽车大模型创新应用,携手共赢。

一直被诟病“贪大求全”的商汤终于找到了一条独属道路 。

01.

2024年的年终总结

2024绝影实力AI DAY上,商汤绝影展示了「驾-舱-云」三位一体的通用人工智能(AGI)产品体系与战略布局,发布了一系列基于AI大模型的全新产品:

■ 智能座舱大模型产品「A New Member For U」

■ 三大量产智驾解决方案

■ 产品化的世界模型「开悟」

首先,「A New Member For U」 ,类似于车端“贾维斯”,电子“管家”,察言观色,主动思考、服务、规划。比如,主动为后排睡着的孩子调高空调温度、降低音乐音量,并把底盘和驾驶模式调整为舒适模式。主动探测乘员身体状态,为生病的乘员和驾驶员寻找就近的医院,规划道路。

商汤绝影王晓刚强调,整个过程不需要用户挨个下指令,而是「A New Member For U」观察、思考和推理之后提供主动的服务。

在“主动”背后,是三大技术支撑:原生流式多模态大模型,像“人”一样看见、听见、感受、理解文字、图像、音频和视频;类人记忆框架,约等于人类的记忆机制;Always-on持续运行框架,时时在线,持续推理,实时响应。

这么看,「A New Member For U」,天生的“打工圣体”。

王晓刚称,目前舱内超80%的场景任务可由端侧快速响应完成,目前商汤绝影已实现耗时仅60毫秒的首包速度,并以40tokens每秒的推理速度进行输出,给到用户实时响应的沉浸式体验。其余场景任务将以端云协同形式兼顾快速响应和复杂推理思考,确保用户的需求都能得到快速且完善的应答。

目前商汤绝影的持续运行框架已广泛在车载芯片平台上完成部署适配,包括英伟达、高通、联发科等,可快速将技术落地应用在市场上的绝大部分车型。

其次,三大量产智驾解决方案 ,包括基础智驾方案、覆盖全场景的高阶智驾,以及基于UniAD打造的端到端量产智驾方案。

基于J6E和J6M两个平台,商汤绝影打造了AD Pro和AD Max两个量产智驾方案,其中AD Max能够实现城区无图NOP。J6平台的智驾方案预计2025年第二季度就会量产交付。

同时,商汤绝影也正式发布基于UniAD打造的绝影量产端到端智驾方案AD Ultra。无图,无激光雷达,仅需1个毫米波雷达和11个摄像头,只要200+TOPS的车载算力平台,就能够上车一段式端到端智驾,实现「类人」驾驶体验。

商汤绝影已经与大卓智能、东风汽车等达成战略合作,量产交付也正在推进中。而绝影的量产端到端智驾方案,预计明年四季度能够交付落地。

最后发布的「开悟」世界模型,最基础也是最核心的能力是生成高质量视频数据。 王晓刚称,「开悟」生成的场景视频,时间最长为150秒、分辨率可达1080P、视角可以实现11V,是行业首个可以同 时完成上述指标的智驾世界模型。

在时空一致性方面,目前行业基本都是生成1V或6V视角的视频,而「开悟」选择直接挑战目前的「最高难度」,生成11V多视角时空一致的视频。

基于行人车辆3D框和时空轨迹的信号输入,「开悟」生成的11V时空一致视频

凭借「开悟」世界模型强大的泛化能力,商汤绝影打造了端到端智驾场景集,覆盖的各类天气、光照条件、道路类型和动静态交互的场景种类达1024类,构建了千万级的场景库,2025年将会向全行业开放。

选择在2024年腊月发布「驾-舱-云」的全新产品,商汤绝影更像是在向资本和市场汇报过去一年在智能车领域的工作总结,为明年的量产上车提前造好势。

02.

卖算法只是表层

隐于2024绝影实力AI DAY身后的,才是商汤绝影敢提出与主机厂全方位合作的大杀器。

那就是大算力、大模型。

这也是商汤绝影敢于“交白盒”的原因。

在2024年的公开交流环节,王晓刚一再强调,绝影愿意白盒交付,对合作伙伴开源,帮助主机厂掌握大模型研发的Know-how。

白盒交付,对供应商来说并不是一件好事。虽然经历过去一段时间的博弈,软件供应商被迫接受白盒交付,但事实证明,当主机厂掌握know-how后,极大概率会抛弃供应商,启动自研。

商汤绝影并不担心在交付白盒后被主机厂抛弃,甚至期待着主机厂能够与自己对齐研发流程和体系。

因为, 算法只是敲门砖,大算力、大模型共享才是他们真正想做的生意

特别是端到端,以数据为驱动,更依赖的不是算法开发能力,而是高质量的数据和数据训练能力。

也就是, “端到端的决战,战场在云端。”

商汤科技上海临港建立AI智算中心,拥有超5.4万块GPU,算力已从700P增至25000P。它能够支撑超过20个千亿超大模型同时训练,并支持万亿参数大模型的全生命周期生成。

以“大算力”为基础,依托 “日日新 SenseNova 5.5”通用大模型,结合在汽车垂直领域的深耕与量产经验,商汤绝影针对智能驾驶和智能座舱打造了原生垂类大模型产品:

智能座舱:AI大模型座舱产品,「A New Member For U」

智能驾驶:端到端智驾方案,UniAD;应用于驾驶决策规划的智驾大模型,DriveAGI;AI数据生成,世界模型。

在合作中, 商汤绝影向主机厂共享、开放的是涵盖上述大算力、大模型和原生垂类模型的平台能力。主机厂则利用绝影的平台,导入自身的实车数据,形成数据闭环,以量产车型数据来驱动基础模型的训练和迭代,打造更有针对性、更差异化的智能体验。

王晓刚曾以大模型行业为例:既需要GPT-4这样的模型,也有基于GPT-4长出来各具特色的面向C端的应用或者Agent(智能体)。

回到开头的四个问题, 主机厂要投入的成本、时间就可大幅减少,大模型,甚至自研大模型上车的速度也将得以加快,减少与头部智驾的时间差。

借此,商汤绝影也可锻炼自身曾经不擅长的工程化能力。

现在主机厂上马端到端智驾,要么自研,如蔚小理,要么“华元魔”。如今,商汤绝影提出了另一条路,它隐,客户明。主机厂会接受商汤的提议吗,又会产生哪些新的担忧?与大卓的合作将验证商汤大算力和大模型共享的可行性。

点击查看全文
评论赞0分享
轨迹
商汤绝影智能驾驶

欢迎关注我们!

上海恩翌信息科技有限公司
1NE时代-小恩
188-1775-0862
沪ICP备17041240号-4