NE时代

近日，安谋科技Arm China在上海举办开年技术大秀《玲珑·视界》，现场发布了面向AI应用的新一代VPU IP—“玲珑”V560/V760，代号“峨眉”！

01.

为什么要发布视频专用的VPU？

此刻我们正生活在一个无处不是屏幕，无处不是视频的世界里。直播、短视频的持续火爆，各种设备形态与行业场景对摄像、视频能力的需求，使得专用的视频计算能力与处理单元成为时代的刚需。CPU+GPU体系已经无法满足海量视频业务的处理需求，于是专门的视频处理芯片VPU（Video Processing Unit）应运而生。

而AI的加速应用又带领我们进入了超视频时代，在这里，AI既是视频的生产者，也是视频的消费者。

以前，视频的生产者都是人，由人拿着机器拍摄产生。而AI时代，出现了文生视频、图生视频，AI也变成了视频的生产者。在消费端也出现了变化。之前的视频都是给人看的，但现在有相当一部分的视频用于AI训练，AI成为了视频最大的一个消费群体。

同时，视频应用对AI来说是不可或缺的要素，因为AI训练的数据80%以上都来自于视频数据。目前我们AI正在从虚拟世界向物理世界的演进当中，视频也是其中最重要的产品。

AI的应用对视频的发展有怎样的影响？

第一个是AI应用加速了视频分辨率的提升。目前视频的分辨率在从1080P到4K到8K在不断的发展，但受限于镜头的大小、尺寸等，在往8K演进的过程受到了一些挑战。但有了AI以后，随着AI算力的不断攀升，由AI产生的视频分辨率会往8K、16K持续提升。

第二，AI应用加速了视频质量的提升。一方面， AI需要大量的高质量视频数据进行训练，从而提升AI的训练效果和精度。另外一方面，由AI产生的视频，质量很高，没有噪音，也没有错误，所以它自然也要求视频编码器也是一个高的质量的视频编码器。

第三，AI应用需要更低的处理延时。现在我们的AI应用绝大部分都是端云结合的，也就是说在端侧和云侧需要更多的视频交互。这样就需要视频处理的延时要足够低，让最终的使用者获得更好的使用感受。

由于AI应用的蓬勃发展，特别是大模型的出现，使得视频的应用也更加复杂，因此我们也需要更强的VPU。安谋科技Arm China VPU产品总监汪奕磊表示：“在如今AI与视频相互赋能的时代，视频处理正面临前所未有的机遇和挑战。我们推出的‘玲珑’V560/V760是面向AI应用的新一代VPU IP，将以卓越性能为AI时代的各类视频应用提供强大核芯，可以覆盖云、边、端全场景。”

02.

玲珑”V560/V760，全能“六边形战士”

在超视频时代，数据洪流奔涌而至，云、边、端各侧视频海量生成。面对千差万别的应用场景，视频处理需求也各不相同。例如，云端AI场景日趋复杂，多模型并行、高负载任务密集，对视频质量和视频处理可靠性提出极高要求；云端与端侧的视频交互日益频繁，从视频直播到视频会议，需要更低延时的编解码技术来保障视频交互的实时体验。

为了满足这样的需求，安谋中国ARM China发布了玲珑VPU的新品V560/V760，代号“峨眉”。

这款产品是面向AI应用的新一代视频处理器。它具有灵活可配置的架构，创新的内容感知编码技术，单核可实现4K60FPS编码或8K30FPS解码，支持H266等所有主流的编解码标准。主要具有如下六个方面最主要的特性：

第一个是高性能。现在云端算力、AI算力越来越高，视频处理能力的要求也相应提高。峨眉这一代产品的单核解码性能比上一代有100%的提升。

第二个是高鲁棒性。云端收到的视频数据的来源很多，同时质量也参差不齐，甚至有些视频数据本身就有错误，因此就需要VPU能够对各种各样的数据能够进行解码。而玲珑VPU V560/V760有强大的错误处理性能，能够在丢包率高达20%的情况下，仍可以纠错解码。

第三个是高质量低码率。在云端的场景是需要高质量的编码，因此峨眉采用了内容感知的编码技术，在同等的格式下，编码的质量平均提高了20%。而在端侧，受限于传输带宽以及存的介质的容量大小，对视频的需求是低码率。该芯片可以在同样的编码质量下将码率平均降低20%。而在一些特定的场景下，最高可以降低到80%。

第四点是低延时。以云游戏的这个场景为例，对视频处理的延时需求是越低越好。玲珑VPU V560/V760采用了条带级编解码控制技术，使得延时下降到一帧的二十分之一。

第五点是多操作系统的兼容性支持。以智能汽车为例，它两个最重要的特性，一个是智能座舱，一个是智能驾驶。现在很多主流的厂家都在提舱驾合一，也就是把智能座舱和智能驾驶的功能放在一颗芯片里面实现。但是在智能座舱的领域，它跑的可能是安卓的操作系统。在自动驾驶的领域，它可能跑的是Linux或者是QNX的操作系统。这就需要我们的VPU在芯片里面能够被多个操作系统同时操控，并且不会发生冲突。玲珑VPU V560/V760的架构就支持这样的特性，能方便客户更好的集成应用。

最后一点是信息安全。在AI时代，信息安全受到了更大的挑战，特别是视频安全。“峨眉”这款产品，它不仅支持ARM专注的内容保护机制，并且还提供了更高功能的马赛克的等等。比如人脸、车牌等隐私信息保护等。

03.

全场景赋能，智能座舱、自动驾驶、人形机器人均可应用

“玲珑”V560/V760 VPU IP可以满足云、边、端全场景领域对视频处理“高效率、高质量、低能耗”的核心诉求，为各类视频应用提供技术支撑。

◎ lEdge AI领域：

如手持摄像设备、智能手机、Pad、AI PC、TV、边缘服务器、线上会议等应用场景，“玲珑”V560/V760 VPU IP在确保系统高效运行的同时，显著降低功耗和芯片面积，并且大幅降低视频码率和处理延时，实现用户体验、电池续航和芯片成本的最佳平衡。

◎ lPhysical AI领域：

如智能驾驶、智能座舱、机器人、无人机等应用场景，“玲珑”V560/V760 VPU IP支持多OS/虚拟化应用，增强系统集成灵活性与安全性，降低跨平台、多应用的开发集成成本与风险。

◎ lCloud AI领域：

如数据中心、视频转码、AI服务器、云游戏等应用中，“玲珑”V560/V760 VPU IP可在保证数据准确性的同时，实现高性能、高编码质量、高吞吐量、低延时的视频处理。

据安谋科技介绍，“玲珑”V560/V760 VPU IP现已完成首批客户授权，客户产品预计今年陆续量产。其在市场的成功，不仅源于其领先的技术产品，更离不开配套的支持和服务。

安谋科技Arm China VPU研发总监黄鑫博士表示：“‘玲珑’V560/V760的核心优势在于采用了灵活可配置架构，并融合积木式堆叠研发特色，这一设计对于高度碎片化的多媒体技术市场而言尤为重要，能够支持客户按需配置、敏捷创新。”

依托积木式堆叠技术，客户无需重复开发底层，即可根据具体场景按需配置模块，充分满足多领域、多场景的应用需求，从而大幅缩短新品研发周期，加速产品上市进程。