就凭这颗AI-ISP，卷出一英寸天花板

  新智元 道  

【新智元导读】都说和手机行业比，专业相机的行业门槛要高得多。与其踩着高跷够门槛，不如把相机做进手机里如何？

朋友，你听说过「可以打电话的相机」吗？

正巧小编在前几天就去亲测了一下。

传说中的一英寸大底，果真是名不虚传。

不过，想要让小白（bian）随手就能「出片」，还是很有难度的。

简单来说，手机厂商需要在三个领域同时发力：

升级镜头模组：更多的镜片、更大的传感器、更先进的涂层；

提高算法性能：滤除影响图像和视频质量的因素，获得更佳的计算成像效果；

自研处理芯片：为越来越强大的影像算法提供充分的算力支持。

而夜景的拍摄，对于手机计算摄影而言，一直以来都是一个巨大的挑战。

靠这颗「AI-ISP」架构的自研芯片，挑战「机圈夜神」

说来你可能不信，在晚上不扶不行（栏杆）的羊肠小径，刚刚这个「可以打电话的相机」竟然还能拍视频。

肉眼看大概是这样的：

拍出来是这样的：

在胶片摄影的那个年代，高感基本上只有800-1600。而那颗传奇镜头——徕卡「夜神」50mm f/0.95，即使在一根蜡烛的光线下，也能让你手持拍摄出满意的照片。

但我们今天的主角不是它，而是同样能在接近纯黑的环境中（环境照度小于1lux）获得充满细节且色彩丰富的画面的vivo X90 Pro+。

为更好地应对夜晚光线复杂的场景，vivo X90系列利用自研芯片V2和蔡司一英寸T*主摄，在保留夜色和动态范围的同时，逐帧处理色彩和动态，最终实现高动态的画质。

而且，当环境亮度足够极夜且手机完全固定的时候，还能智能触发脚架极夜录像，实现更极致的亮度和清晰度效果。

此外，由自研芯片V2支持的夜景视频，也可以在普夜、极夜效果间无缝切换，提升亮度和影调，对画面进行极致降噪。

不难看出，vivo在拍摄上获得的提升，少不了来自V2芯片的加持。

自研芯片V2架构

众所周知，AI是目前人类解决复杂问题模型的最先进技术工具。

为了让AI算法深度参与到图像处理的进程中来，vivo X90系列搭载的自研芯片V2发挥了至关重要的作用。

然而，负责图像处理的传统ISP通常是以行为单位进行运算的，而在将AI软件算法部署到NPU上时，需要以帧或块为单位进行处理信 。

为了解决这一问题，vivo在自研芯片V2上，把传统ISP架构升级为AI-ISP架构。

利用AI加速器在低延时、高能效的基础上引入AI实时处理运算架构，以分布式 状计算结构增强信息处理能力，实现发散式信息处理及存储，使处理与存储的效率大大提高。

vivo从底层技术出发，在自研芯片V2上重新构建了图像处理单元、片上内存单元和AI计算单元三大板块。

图像处理单元：将多达19种「王牌影像算法」写入芯片内核，全新升级的AI-NR降噪、HDR影调融合、MEMC插帧等算法，全面增强影像及显示效果。

片上内存单元：坚持使用DDR-Less片内近存运算架构，配合硬化在片上的超大SRAM，实现了运算快、延时低的特征，使峰值数据吞吐速率达到了每秒1.3万亿比特。

AI计算单元：通过深度学习加速器（DLA）提升芯片运行速度，并将能效比提升至闻所未闻的16.3 TOPS/W。

在这三个模块的共同支持下，V2实现了超高速协同、超高速缓存、超高能效比，vivo通过重塑芯片架构，真正实现了影像性能的「双爆发」。

不过，现在的旗舰机，标配旗舰芯片早就成了业内通行的做法，而且只靠「堆硬件」就能打出一片天的时代早已过去。

现在一块旗舰芯片，大家都在用，最终分出高下的，还是要看各厂家的调校和算法。

这其中，对算法调校功力考验最深的，莫过于影像模块。而在影像模块里，难度最大、最容易拉胯的就是夜景下的表现。

很多在白天光线条件好的时候能拍出亮眼照片的手机，到了晚上立马就露馅了。究其根本，还是在算法调校上下的功夫不足，白白浪费了硬件的潜力和性能。

前车之鉴犹在，vivo做的如何？

三大算法加持

vivo在这颗自研的V2里，就集成了让手机在黑夜里也能「如履平地」的3个关键算法——AI-NR降噪、HDR影调融合、MEMC插帧。

这些全新自研的AI算法，大幅提升了图像原始信息的实时 AI 降噪与 HDR 融合效果，使vivo X90系列得以实现细节更清晰、色彩更自然、质感更优秀的视频拍摄效果——继V1芯片之后，再次打破ISP算法效果的天花板。

MEMC插帧算法

MEMC即「运动估计和运动补偿」算法，也就是手机业界俗称的「插帧」算法。目的是为了在同等输入画面下获得更高的帧率，创造出一些本来并不存在的画面帧，再动态插入原画面中，实现提升帧率的目的。

无论是近年来流行的手机「高刷屏」，还是影像模块中的高帧率视频拍摄，都广泛用到了MEMC算法。

传统的MEMC算法的流程是这样的：

而对于vivo来说，「插帧」可不只能用在看视频上，玩游戏和拍视频也可以通过MEMC把体验「插满」。

AI-NR降噪算法

对于图片的AI降噪（NR）算法，也是业界的研究重点之一。

比如2021年，谷歌AI研究团队就提出了一种消除噪点和模糊的新方法，可以最大限度地提高计算效率，并在移动设备上以毫秒为单位地提高数百万像素图像的质量。

其中的降噪算法是通过对局部结构相似的像素进行平均来实现降噪的，计算成本很低。而去除模糊算法，尽管只限于修复那些模糊不严重的图像，但是速度非常快。

此次，vivo也利用V2芯片的硬件能力，将降噪和去模糊两大功能相结合。由此得到的AI-NR算法，在降噪效果上提升了高达20%。

HDR影调融合（Tone mapping）算法

Tone mapping算法是HDR拍摄模式背后的核心技术支撑。

人眼天生可以从极其不同的照明和光模式的场景中获得画面细节，但是相机就没有这么厉害了。

为了能够尽量让照片中的细节与我们的眼睛看到的细节相近，一个常见的方法是，多拍几张，然后组合成一张高动态范围照片，这就是HDR技术的思路。

按照传统算法 ，创建一张HDR图像分两步：首先获得辐射图，然后将辐射图转换为可视图像。

为了完成第一步，需要检索将曝光映射到像素值的函数的逆函数。为了完成第二步，则需要使用局部和全局色调映射来生成可显示的图像。

而此次vivo配合电影级的3DLUTs色彩风格，可以满足专业用户的?级整体调色、?级局部调色的需求。在城市夜景下，动态范围较之前，理论最大提升4EV。

如此一来，噪点、画面模糊、色彩表现、卡顿等等，这些最影响照片和视频观感的问题就被一一攻克了。

此时，如果还想要进一步提升成像素质，不拼硬件是不行了。

说起这个，在摄像头硬件配置上，这次X90系列真的没怕过谁。

追平黑卡，卷出「一英寸天花板」

说到摄影，圈儿里流行着这样一句话：「底大一级压死人」。

虽然不严谨，但确实也反映出了更大的传感器在进光量、虚化效果、噪点控制等方面的优势。

今年九月，带着一言难尽的「灵动岛」横空出世的iPhone 14 Pro，不仅将传感器的像素升级到4800万，而且还将面积增加到了之前的1.65倍。

不过，苹果把光圈缩小到了f/1.78，算下来的等效光圈，只稍微大了那么一点点（从f/6.5提升到了f/6.3）。于是在最终拍照时的景深表现上，和前代几乎没有区别。

国内方面，今年与徕卡深度合作的旗舰机型上，则搭载了最新的一英寸主摄传感器。

从下图的对比中（尤其是高光部分）不难看出，更大的CMOS可以让手机获得更好的动态范围，也就是让场景中最亮和最暗部分都能具有良好的细节。

除了徕卡，还有位业界巨佬，也和手机厂商搞了一波事情。

就在今年11月，蔡司和vivo联合推出了堪称「一英寸之王」的X90 Pro和X90 Pro+。

旗舰出世，影像为王。

在此次X90系列的「超大杯」X90 Pro+上，搭载了与索尼黑卡同尺寸的IMX989，面积比上一代X80 Pro的GNV增加了77%，整体感光能力提升了43%。

在镜片模组的配置上，采用超低色散高透玻璃镜片组成1G+7P 镜片模组，使成像色彩细节丰富细腻，光线表达更通透。

在装配工艺上，以AOA小型化堆叠工艺高精度组装，使镜片模组与一英寸传感器完美适配，真正发挥f/1.75大光圈的极致性能，有效改善紫边等成像缺陷，夜景效果表现更加通透。

与公版IMX989相比，这套f/1.75光圈+超低色散高透玻璃镜片的解决方案，让进光量又提高了24%。

更大的进光量，势必会带来了夜景和暗光下的表现提升。此次X90系列在夜景拍照感光能力、夜景视频基础画质、弱光/极夜环境下的画质上均有惊艳表现。

除了模组和工艺，vivo另一项黑科技，是镀膜。

vivo X90 Pro+的主摄模组采用「蛾眼仿生」设计的ALC镀膜，能够在镜片表面形成小于可见光波长的纳米级结构。

这种亚波长结构可以精确控制镜片表层的折射率，与上一代ALD技术相比，反射率降低了42.8%，实现光线「零反射」。

在双低反AR/SWC超低反光镀膜、IRCF色素旋涂工艺等业内领先技术的加持下，这颗「一英寸之王」在透光率上实现了质的提升，极大改善了光线在镜片与传感器间的折射。

那些夜间拍摄常见的鬼影、耀斑、花瓣现象等恼人的缺陷，纷纷消失不见。即使面对集中光源直接怼着拍也没问题。

配合vivo的「苍穹夜景系统」，无需三角架， 只需手持短短几秒（至多7～8秒），即可将无垠星空收于方寸之间。

手持星空摄影，vivo不只是说说而已。

手持星空摄影

新增的「蔡司耀斑人像」，不仅优化了逆光算法，而且还模拟了经典的电影镜头。由此带来的光晕特效，让整体氛围和格调「蔡司风」十足。

而「零延时」抓拍和新一代运动检测算法，解决了快门延迟的问题。

蔡司耀斑人像

此外，vivo还为专业级发烧友提供了进阶设置，比如14bit SuperRaw、视频Log模式等，极大地提升了后期处理的空间和品质。

14bit SuperRaw修图前后对比

能打电话的专业相机，可能不远了

以现在国内手机行业的「卷」，要说用户对手机影像的需求就是「扫个码」，只能是一句玩笑。

此次，搭载V2芯片的X90系列在手机影像领域的突破，其意义可能远不止「一英寸之王」这个炫酷头衔，更多的是为消费者带来了多一种选择。

这可能是手机在影像领域的一次突围。因为多年来，能够「比肩专业相机」一直是手机影像行业的目标，这种比肩不仅是硬件上的参数相当，更是使用体验和成像效果的不分伯仲。

这次vivo经历多年规划和努力，在X90系列上的成功尝试，对于产业界而言，是一次自主研发和联合研发相结合的成功经验的深厚积累。对于消费者而言，用一台手机的钱，换回「旗舰机+专业相机」的双重体验，更是无须取舍的双赢之局。

这样看来，从10年前以黑马姿态杀入智能手机市场，到今天誉满全球的「蓝厂」，vivo背后的基因，其实一直没变过。