HDR：为用户打造的视觉盛宴

Editor’s note

随着时代的发展，人们越来越不满足于屏幕画面有限的色彩，开始研究如何让画面与现实世界更加相似。本次LiveVideoStackCon 2021上海站大会我们邀请到了快手音视频技术部的章佳杰。他以几个小故事作为引子，来分析照片无法完美重现现实世界的原因，并分享关于HDR高动态范围视频干货。

整理 / LiveVideoStack

我叫章佳杰，在快手做图像算法，我是程序员，同时也是摄影师。作为摄影师，我的作品登上过NASA的星空每日一图，在这里我将不止从技术的角度也会从摄影师的角度与大家分享自身感受以及在HDR技术方面的细节。

我走过许多地方，见识过许多美景，可是大自然的奇美瑰丽往往还是超出了我的想象。这时我会庆幸自己爱好摄影，跋山涉水来到这个地方，如此美景得见一眼；可也常常懊悔自己能力不足，无法把眼前的美景完美记录下来，重新展现给别人看，给观众再现这样强烈震撼的感觉。方寸之间的数字世界实在难以完美复刻现实世界中的完美光线。

我自认是一个技术激进主义者，一直觉得赛博世界是一个很酷的概念。很多人都熟悉《黑客帝国》系列电影，这就是一个完全的赛博世界，其他很多艺术作品中也都有类似的概念，我看到了人们对赛博世界很酷的未来畅想。可是啊，当我站在湖边、雪山脚下、站在草甸花海中、站在岸边，看见朝霞、看见星光，我深深地明白，再先进的赛博世界，再厉害技术手段也无法完美复刻现实世界。

我面对美景拍下了照片，使出浑身解数加以后期制作修改美化，努力去再现大自然的美丽。我发在朋友圈也会收获许多点赞，可我知道真实的大自然远远超过了照片所能表达的内容，远远更生动鲜活。我不禁要问，照片与真实世界的差距是哪儿呢与大家分享一些我自己的经历和小故事，之后再给出我的思考。

01 故事分享

1.1 莫奈 – 《睡莲》

那是一种无法用言语表达的震撼，原来《睡莲》的原画是如此之大，十多米宽、两米高，有一面墙那么大，让所在的会场都放不下。原来在画册上细碎笔触并不细碎，一笔一划清清楚楚。原来原画的色彩如此生动鲜亮。然而在画册上看到的色彩总觉得有些灰蒙蒙的，有前辈对我解释说莫奈晚年罹患眼疾，所以色彩调得有些朦胧，可站在原画前发现不是这样，白的耀眼、红的热烈、蓝的深沉，还有不乏纯度很高的色彩混入其中，仿佛在发光。只是原画太大，将它印刷到画册上后颜色就混在一起，让人误以为是这样的风格。我在原画面前来回走动，每一个视角都仿佛在刷新我的认知，非常震撼。我被这些生动的颜色和热情的笔触所淹没，感受着那些从未在小小画册上体会到的情绪，让我流连忘返。这是第一个故事。

1.2 蓝鲸 – 《The Blue》

上图播放了YouTube搬运的游戏体验。屏幕上展示的是这个玩家看到的内容。很快会看到从背后冒出一条巨大的蓝鲸，巨大这个词已经很难描述我第一眼看到时候的震撼感受了，真的很大，大到要转头才能看全。那种栩栩如生、进而产生那种强烈的压迫感真的吓了我一跳。随着蓝鲸继续往上游，它巨大的尾巴甩过来，好像真的要甩到我脸上，我明明知道这是个VR的艺术作品，但我还是下意识坐地上躲避。这就是当视角从有限的屏幕拓展到无限的屏幕时，同样的东西所带来的感觉就会完全不一样，太震撼了。

我真心体会到沉浸式到底有多美妙，是一块不断追求更大尺寸的屏幕，是一种量变引起质变的体验。当拥有一块无限大屏幕时，当你的上下、左右、前后、全方位都能提供内容时，这是怎样一种震撼，这种体验至今难忘。

1.3 李安 – 《双子杀手》

去电影院之前我就了解到这部片子采取很多新的技术，比如 120 帧， 4K分辨率，CINITY 高亮度。我也事先了解在北美市场这部片子反响并不好，想着也许他又翻车了。怀着这样的心情，我去了最高级的 CINITY 厅看电影。电影开始后我很快就震惊了，很庆幸当时买了最贵的 CINITY 厅的票。扑面而来的那种生动感受无法形容，让我羞愧于我词汇的贫乏。画面很细腻，开场场景里草地上的小草能够一根一根地被分辨出来，甚至可以看见主角脸上的皮肤纹理，纤毫毕现。

在睡莲故事中，由于画册的尺寸太小了，承载不了一面墙那样大的《睡莲》原画的信息量，所以感受截然不同，看到原画才知道艺术家的厉害之处。

快手做短视频，在画幅方面我们做不了太多，用户手机屏幕大小已经固定。当然了，手机屏幕越来越大是一种趋势，我们已经做好不同屏幕尺寸的适配工作。

2.2 视角大小

李安的《双子杀手》，利用分辨率、高帧率、高动态范围这些加起来使得与普通3D电影完全不同，变成一个特别精彩并给人带来震撼感的故事。当观看普通的3D电影时，人们还可以意识到自己是在电影院中看电影，但在CINITY厅里看，一切就像真实的发生在眼前。

分辨率、帧率、动态范围这几项，去年快手已经支持了 1080p 高分辨率，60fps 高帧率，最后是高动态范围，正是今天我想分享的主题。

03 HDR视频

更高、更宽、更深是指更高的亮度和对比度、更宽广的色域、更细腻的色彩层次。

3.1 更高的动态范围

更宽的色域这个特性比较直白，HDR 视频能显示的颜色更多了。SDR 的标准能记录的颜色很少，离现实世界差得太远，显示不了现实世界的丰富色彩，由于历史上发光材料的限制，根据当年的技术条件规定了SDR使用的bt709这样的色域，而我们现在技术更先进了，可以显示更多的颜色，需要用更大的色域显示记录。

3.3 更深的色深

HDR视频有更高、更宽、更深的特点。我们日常的科普，为什么要用 HDR视频，就会用更高、更宽、更深来解释。但这还是太粗略了，不完整。我们大家作为技术人员，在多媒体处理领域里做专业的事应该要看得更深刻。

• 更高，有多高么一般说对比度 / 动态范围高，而不说亮度高p>

• 更宽，有多宽SDR颜色直接加饱和度行不行p>

• 更深，多深才足够it、10bit、12bitp>

上述这些问题，有的比较 trivial，比如更宽的色域，加饱和度的结果还是在原有色域中。在色域外的颜色人眼能够看见，但SDR标准的色域表示不了，只能用更宽的色域。

而其他的大部分问题，就不是那么简单直白了。

首先，人眼对亮度的感知范围极大。上图是我自己拍的一个普通的的夏日室内场景，窗外是地中海风格的白墙建筑。大家有这样的经验，在屋内看到阳光直射的室外，人眼毫不费力可以同时看清。上面是模拟图，显然最亮的像素值就是 255，最暗的像素值就是 0. 但是实际的亮度呢p>

那么在这个场景里，最亮和最暗的光线强度相差多少呢p>

A. 1:100

B. 1:1000

C. 1:10000

上图是我拍摄的原始照片数据，显示了其中连续 12档不同曝光的图像，最暗的可以看出外面的白墙可以被记录，最亮的那张可以看出沙发底下还是很黑，再过曝两档光圈，才可以拍到沙发下的细节。当时人眼感受比较接近倒数第二张和倒数第三张之间，但是窗外的白墙也可以毫不费力看清，不会像照片里这样有过曝的感觉。人眼对光线亮度的感受范围极大，可以很轻松跨4 个数量级，甚至更大。

在这个场景中，将沙发和白墙局部截出来，单独看的话人眼觉得两块区域的反差差不多，但从绝对亮度上相差非常大。因为人眼不是线性的，是按倍数关系的，上图中沙发亮暗差1：2.5倍，白墙亮暗差1:2.6倍。比率差不多，人眼就会觉得亮暗程度差不多。

04 定律

4.1 韦伯-费希纳定律

在场景更暗的区域，人眼的视杆细胞逐渐占主导，对反差的灵敏度会减小。符合史蒂文斯幂律，解方程可看出响应函数呈指数关系。gamma 是反映灵敏度相关的指数，不同的实验条件下，gamma 多在 2~3 之间。SDR 的 ITU 标准里指定的参考 CRT 显示器特性就是 gamma = 2.4。就是参照此实验定下来的参照依据。史蒂文斯幂律是在更暗的条件下符合的规律，用此规律设计编码，可以得到gamma编码，接近于现在sRGB编码。

05 响应

5.1 线性编码灰阶响应

如果按照Gamma规律设计是上图的感觉，可以发现比按照线性编码均匀很多，尤其是暗部的情况比刚才均匀很多，同样还是会发现，EV值还是略有不均匀。

Schreiber 将数据汇总在一起，做出了他的实验模型。在上图中横坐标是以10为底的对数坐标，横坐标是0-3之间对应实际亮度是1-1000 nit，1到1000大体上是横的直线，小于1的部分是斜的直线。

后面在此基础上做了更为复杂的Barten感知模型，更完整地描述了人眼对于不同亮度和空间的频率的响应情况。空间频率可以理解为细节程度，平坦的地方频域低，细节地方频域高。这个模型很复杂，感兴趣的话可以看一下paper原文。本次分享不考虑细节。

07 最小可感反差限

上图是上述三种编码方式的情况。可以很明显看出蓝色的线性编码线，在亮度低的范围内，它远远大于极限，表示在比较暗的地方，编码效率远远不够，在亮的地方又太浪费了。黄色的线情况会好很多，在暗部会有一些浪费。绿色的Log编码大部分情况都利用非常好，在暗的地方有一点浪费，这符合刚才直观感受。上图右边可以看出，Log编码暗度太长，太细腻；线性编码亮度会显得太长了，就表示其亮度效率低，有些浪费。这些编码都或多或少有问题，更不用说，这只是在SDR范围内的结果，三条曲线范围都是100nit为止。而HDR 亮度远远不止100nit，很容易可以到1000 nit，如果把上面的几条曲线扩展到1000 nit范围，那么问题会更加严重，用8bit编码就远远不够了。那么如何设计HDR视频编码呢比较通行的有两种方案。

HDR 视频里常用的 EOTF 函数有两种：HLG混合对数gamma和 PQ。

上述是技术的点，接下来我聊一聊快手做了什么现在正式支持了 HDR 视频的上传、观看。观看的环节可能大家会认为没什么东西，因为很直观、直白，播放HDR视频的时候调用系统API去播放就好了，这没有值得说的地方。但其实这里面还是有很多值得说道的。

统一后是不是就没有问题了呢是的，因为不是所有的手机都具备HDR屏幕，支持播放HDR视频，有些手机硬件无法解码HDR视频，或者手机系统根本放不了HDR，无法调用API。这就导致HDR视频传上来后，有的用户能看，有的用户看不了，这是不能接受的。

好了新的问题又来了，我们设想晚上在被窝刷视频，刷着刷着突然来了HDR视频，会特别亮，就会觉得刺眼。这和系统相册场景不一样，系统相机拍摄HDR视频就一直都是HDR视频，在浏览相册的时候一直是高亮显示状态，眼睛是适应的，而我们刷短视频的时候，往往前一个是 SDR后一个是HDR，亮度变化很大，在这里就需要自适应调整。这时候没有现成系统API可以用，我们需要自己来做。怎么去调整呢要上述一些transfer function方面知识。

“你必须万分努力，才能让结果看起来毫不费力”是对我们工作的总结，几个月的研究和开发，克服了很多的困难，大家很辛苦。我们在背后默默把细节做好，让用户能够特别简单地上传HDR，而另一边观众无论使用SDR手机还是HDR手机都能顺利看到漂亮的画面，且整个过程看起来毫不费力。这背后的艰苦工作只有我们自己知道，可是看到用户的认可并喜欢HDR视频，这一切我觉得都是值得的。

09 快手的未来发展方向

详情请扫描图中二维码或点击阅读原文了解大会更多信息。