UID1265468
威望6
金钱4690
交易诚信度0
主题30
帖子3581
注册时间2015-4-22
最后登录2025-8-9
中级会员
  
交易诚信度0
注册时间2015-4-22
|
本帖最后由 bluebay999 于 2019-6-16 10:52 编辑
逆色调映射概述
当前HDR内容短缺的问题是限制HDR普及和成熟的重要因素。对整个HDR链路,包括采集、调色、显示等多方面都需要重新调整,复杂度较高、周期较长,因此HDR内容短期仍比较匮乏。
如果能充分利用已有的大量SDR(部分文献中使用LDR,两者意义一致,本文中均使用SDR)视频源,将其转换为HDR内容,那么不仅可以改善HDR片源不足的问题,同时也可以有效利用已有的资源进行内容重置。为此,逆色调映射方法(inverse Tone Mapping Operator, iTMO或reverse Tone Mapping Operator, rTMO)应运而生。
由于在图像的过曝光和欠曝光部分存在大量的信息缺失,因此从SDR的单曝光图片,通过逆色调映射算法进行HDR内容的重构是一种病态问题(ill-posed),因为这需要算法预测或估计出过曝光或欠曝光部分缺失的信息是什么。因此,过曝与欠曝区域信息的重构,是逆色调映射技术中,需要着重设计的部分。一般情况下,逆色调映射算法将SDR内容变换为HDR内容需要经过以下几个步骤:
- 线性化:图片通常已经经过gamma校正,也就是说其电平信号与记录的真实场景中的辐射率(radiance)并不是线性关系。为了后续处理方便,会先将图像进行线性化处理。
- 动态范围扩展:该步骤是逆色调映射算法的核心部分,动态范围扩展方式决定着映射后图像的最终质量。对高光部分进行扩展,对低光部分进行压缩,可以达到目的。
- 过曝/欠曝区域重建:存在过曝或者欠曝现象的SDR图像相应区域会损失很多细节,因此需要通过一定的方式恢复或者重建该区域已获得更多的细节。
- 去噪:逆色调映射算法处理和存储使用的是16比特的浮点数,因此需要通过去噪消除量化或压缩而引入的噪声。
- 颜色校正:进行逆色调映射处理后图像的饱和度会降低,因此需要进行颜色校正让色彩表现(color appearance)和SDR源相一致。
需要说明,第一步线性化图像非常重要,在线性空间中操作图像的主要原因是对亮度和色域拓展有更大程度上的控制和可预测性。在一个未知的空间中,很难预测扩展如何表现,此外为了恢复场景属性,例如平均值、几何平均值、标准偏差等,需要精确估计场景的辐射度量。
当可以得到拍摄设备信息时,线性化可以通过设备的CRF来计算,但当图像储存为RAW格式时不需要这个操作,因为RAW格式本身就是存储为线性格式。然而,一般情况下我们并不能得到拍摄设备的CRF,并且视频和图像都是通过8bit非线性储存,这种情况下我们需要估计CRF来实现线性化操作。一般实现这种线性化的方法,最常用的是Gamma校正,除此之外还可以使用辐射校准等。
逆色调映射中的颜色转换
SDR图像与HDR图像的区别不仅体现在亮度范围上,也体现在色域差别上。常见的SDR图像/视频的颜色空间符合BT.709标准中规定的色域,而HDR图像/视频的颜色空间则符合BT.2020标准中规定的色域。这种色域的拓展,使得HDR图像/视频在可见光中的颜色覆盖率提高了近40%。因此,现今的逆色调映射算法不仅仅要对图像的亮度信息与对比度进行增强,还需要进行色域映射。传统的逆色调映射算法很少涉及颜色的处理,忽视这点可能引起增强后的图像/视频出现颜色偏移等现象。
逆色调映射算法中色域转换的常见方法是色彩校正(Color Correction),这种方法可以使映射后得到的HDR图像获得视觉上与原生HDR接近的效果;另一种方法是使用色彩或图像外观模型进行色域转换,一般这种模型都是基于人类视觉系统的特性来实现的,但是这种方法能否准确地预测复杂场景或任意观看条件下的转换参数是值得商榷的。
随着色域的标准化,颜色空间由BT.709向BT.2020的转换过程也被纳入了ITU的标准之中,ITU发布的色域转换建议书BT.2087中提出了由BT.709到BT.2020的色域转换流程,BT.2407建议书中提出了一种从BT.2020到BT.709色域转换的方法。BT.2087中提到的转换方法主要应用于解决BT.709/HD电视内容在BT.2020/UHDTV上播放的兼容性问题,方法是基于光电转换函数和电光转换函数及其反函数,具体转化方法可以参照ITU发布的文档。在逆色调映射过程中的颜色转换,可参考BT.2087建议。此外,更先进的色域映射算法考虑如何高效利用图像的空间属性。在空间色域映射中,不再存在从输入色域到输出色域的一对一颜色转换,而是考虑图像的局部背景,使得算法不仅可以准确地再现颜色,而且还能同时再现纹理和局部对比度,其主要方法有两类,一种是将传统映射过程中丢失的信息迭代添加回到图像中;另一类方法,最小化刻画色域映射图像和原始图像之间感知误差的损失函数,一般通过机器学习的方法实现。
|
|