图像传感器的动态范围是汽车成像中的一个关键指标。什么是动态范围?定义,动态范围(Dynamic Range)是可变化信号(例如声音或光)最大值和最小值的比值。
可变化的信号S有多种,对一帧图像而言,S的最小值为1,最大值受限于数据带宽,即数据能够存储的最大值。一张8位的灰度图,最大值255,此时理论上的动态范围就是48dB,10位图像动态范围可到60dB,20位图像动态范围120dB。
实际上,动态范围是一个通用的概念,不同的信号或者变量S都可以定义自己的动态范围,图像传感器有动态范围,显示器,投影机,打印机等等都有自己的动态范围。我们还可以定义一个人的动态范围,如果这个人条件艰苦时能吃苦,条件优渥时会享受,既能将就也会讲究,这就是个高动态范围的狠人。
场景的信号S不是图像的灰度值,它是场景发射光线的亮度。能够理解为S最大值是场景中最亮部分的亮度,S的最小值是场景中最黑部分的亮度。它与图像动态范围相关但不相等。同时图像的后处理通常会把线性数据压缩为非线性输出,这也会放大图像数值和场景动态范围的差异。
如果把场景的亮度作为横坐标,图像传感器输出的数据作为纵坐标,我们就得到图2所示的sensor输出和场景的动态范围映射关系。图像传感器把一定亮度范围的场景采集并映射为自己的输出,如图中红框所示。
图像传感器实际动态范围通常比场景的动态范围低,传感器的能力只能采集红框对应横坐标内场景的亮度范围。红框的位置需要动态调整移动,以适应场景亮度的变化,这是成像算法中自动曝光(auto exposure)模块的任务。
对汽车高动态范围的场景,会有同一场景中极亮和极暗部分同时出现的情况,例如夜间街道,既有车大灯也有街道的暗角,此时移动红框已经没办法同时看清楚两个部分,必须把红框做大,这就是汽车上用到的高动态范围图像传感器。
从原理上讲,红框尺寸受限于传感器的像素势阱容量,受限于尺寸,很难简单做大,车用图像传感器的高动态范围技术是行业面临的共同挑战。过去二十年来,车载图像传感器的高动态范围大致有如下四大技术流派。
第一个是动态改变像素的灵敏度扩充动态范围。如图3所示,图像传感器对场景亮度的映射变成非线性,随着环境亮度增加,像素灵敏度逐渐下降,灵敏度从亮度的线性函数变成分段函数。如下图所示,电荷积累分成三段,亮度低时灵敏度较高,对应黑色电荷,然后亮度中等灵敏度也中等,对应蓝色电荷,最后亮度最高灵敏度最低。从坐标图中能够正常的看到,此时像素的势阱容量即纵坐标不增加,但映射的场景亮度范围即横坐标可以显著增大,实现了增大动态范围的目标。
安森美(onsemi)的车用图像传感器产品线万像素的可变灵敏度sensor,就是基于此类技术,这个技术的最大挑战在于它改变了像素的灵敏度特性,让线性特性的灵敏度变成非线性,而这个折线的形状对电压、温度和曝光时长敏感,一致性差,动态范围扩展能力有限,只能勉强用于大尺寸像素黑白图像的传感器。目前这类技术已逐渐被市场淘汰。
第二个高动态范围技术是时分多次曝光。这个是目前主流车用图像传感器所采用的技术。做法就是图像传感器改变曝光时间连续多次曝光得到多帧图像,然后从中选择正真适合像素合并成一帧图像。如图4示意,传感器改变曝光时间,相当于自带自动曝光功能,对场景不同亮度分别采样,得到多个红框,然后把动态范围拼接起来。这个技术的优点是:像素势阱容量不用额外做大,只需把数据带宽做大;每个曝光的时长控制可以很精确,最终拟合的图像亮度线性特性好;动态范围扩展容易,仅用时分技术就能做到140dB的动态范围。
时分多次曝光技术有一个难以克服的问题,由于sensor的连续曝光时间上是依次滞后的,当场景中有快速移动物体或光照剧烈变化例如LED频闪情况下,多帧图像拟合后会出现运动物体伪影和色彩噪声。ADAS算法需要针对性地训练这类噪声。
第三个高动态范围技术是空分多次曝光,业内也有称之为大小像素技术。本质来说与时分多次曝光类似,由多帧融合,不同之处在于图4中的多个红框来源于空间尺寸上不同的两种像素,两种像素的图像拟合成为一张图像。由于两种像素在曝光时间上是对齐的,能够尽可能的防止了运动重影的问题,同时改善LED灯频闪现象。
不过有得就有失:空分曝光,意味着像素数量翻倍, 例如1百万像素传感器其实就是1百万大像素加1百万小像素,增加了功耗和设计复杂度;小像素挤占了大像素的面积,降低了大像素的低照性能;大小像素的灵敏度差异大,线性特性差,小像素在光学上无法和大像素兼容,需要大量的光学标定工作以补偿小像素的问题。这些都是用户在产品应用开发中要解决的工程挑战,此外,大小像素图像传感器受小像素尺寸限制,随技术演进会逐渐变成瓶颈,所以安森美在2009年就发明并申请了大小像素技术的专利,但并没有推出相应的传感器产品。
第四个高动态范围技术就是直接扩展像素的势阱容量。传统图像传感器像素的感光二极管在感光的同时兼具电荷存储的功能,因此像素的电荷势阱容量受限于感光二极管尺寸。随着像素尺寸越来越小,像素的容量也逐渐变小。安森美的超级曝光像素技术突破了这一限制,并在业内率先量产了基于这一技术的产品。技术路径就是为感光二极管外挂了存储电容,当容量饱和时,多余的电荷会被转移到电容中存储起来。这里的电容不参与光学感光,但扩充了像素的势阱容量。如图5示意,上面的小桶相当于感光二极管,下面的大桶相当于存储电容。大桶不直接接水,只存储小桶溢出的水。
超级曝光像素把电荷存储功能从感光二极管剥离出来,跳出了固有限制,实现了像素动态范围和感光二极管的解耦。这一技术拥有非常良好的线性特性,保留了单一像素架构,无需复杂的光学标定,并解决了时分导致的伪影和LED频闪的问题。与感光二极管的解耦,看似简单的一步,却打开了未来更小像素,更大动态范围产品的设计想象空间。
为了支持足够高的动态范围,业内产品通常会复用上述三种技术。一张高动态范围的图像,可能是时分多次曝光帧,大小像素帧,和超级曝光帧的复合拟合结果。这有点像汽车动力中的插混方案,动力可能来自自排发动机,涡轮增压,以及电机直驱的并联。这里多帧拟合的线性特性很像汽车驾驶动力变化的线性特性,保证输出的平顺与线性是高动态范围图像的巨大挑战。一般来说,技术种类越少,线性特性越好。
小结一下,CMOS图像传感器的动态范围是汽车应用中重要的参数指标,它是目前业内共同面临的技术挑战,这里介绍了几种传统动态范围扩展技术的特点,以及新出现的超级曝光像素技术,它的出现打破了既有技术的窠臼,我们预期会在市面上看到更多相关的优秀产品涌现。
安森美中国区汽车现场应用工程经理 William Chen图像传感器的动态范围是汽车成像中的一个关键指标。什...
4月21日上午,应急管理部宣传教育中心联合腾讯互娱举办的应急科普系列公益活动在四川省防灾减灾教育馆正...
近期,Fortinet 2023 核心合作伙伴大会在古都西安成功召开。Fortinet与数百合作伙伴、渠道伙伴等齐聚...
近日,由中国科协、中央广播电视总台共同主办的典赞2022科普中国在中央电视台综合频道播出。中国移动...
4月25日,人民日报刊登了《锚定时尚化路径,不断满足多元化客户的真实需求融合创新,服务美好生活》一文,...
近期,思必驰科技股份有限公司(下称:思必驰)拟冲刺科创板IPO上市,该公司本次拟公开发行股票数量不超...
现在的骗子可谓无孔不入,最近,又盯上了房东。日前,河南的张女士在58同城上发布一条出租房子的信息,...
近日,由国家工业信息安全发展研究中心联合行业单位撰写的《AI工业质检应用发展白皮书》(以下简称白皮书...
以数字技术为核心的新一轮产业变革正加速推进,人工智能的崛起更为变革叠加出新的动能,各领域在新技术...
4月21日至23日,以美丽中国美好生活为主题的第二届中国(武汉)文化旅游博览会在武汉举办,聚焦文旅行业的...
安森美中国区汽车现场应用工程经理 William Chen图像传感器的动态范围是汽车成像中的一个关键指标。什...
4月21日上午,应急管理部宣传教育中心联合腾讯互娱举办的应急科普系列公益活动在四川省防灾减灾教育馆正...
近期,Fortinet 2023 核心合作伙伴大会在古都西安成功召开。Fortinet与数百合作伙伴、渠道伙伴等齐聚...
近日,2023 年中国国际塑料橡胶工业展览会( CHINAPLAS )在深圳举办。英国商业贸易部携英国塑料联合会(...
近日,2023华为北京政企合作伙伴大会暨颁奖典礼在北京成功举办。荣联科技集团作为华为政企业务的重要合...
4月21日-23日,第八届中国(北京)军事智能技术装备博览会在北京国家会议中心正式举行。本次大会以天地...
新生,是春天的魔法。清扫,曾被佛陀赋予五层功德,扫地即为道,立地即成佛,在清扫中让一切物质的、精...
杉数求解器最新版本COPT 6 5已正式对外发布。此次升级的COPT 6 5版本大幅度的提高了混合整数规划的求解性能...
2023年4月17至21日,由恒生银行(中国)有限公司(恒生中国)、中国乡村发展基金会、中和乡村发展促进中...
温柔,揉进了春天的底色。人走在生机勃发的春天里,不自觉也生出几分温柔的心意来。于金地智慧服务山东...
近日,由中国科协、中央广播电视总台共同主办的典赞2022科普中国在中央电视台综合频道播出。中国移动...
4月25日,人民日报刊登了《锚定时尚化路径,不断满足多元化客户的真实需求融合创新,服务美好生活》一文,...
近期,思必驰科技股份有限公司(下称:思必驰)拟冲刺科创板IPO上市,该公司本次拟公开发行股票数量不超...
现在的骗子可谓无孔不入,最近,又盯上了房东。日前,河南的张女士在58同城上发布一条出租房子的信息,...
近日,由国家工业信息安全发展研究中心联合行业单位撰写的《AI工业质检应用发展白皮书》(以下简称白皮书...
近日,微众银行发布《2022年可持续发展报告》(下称报告)。报告以融入生活、持续创新为主题,涵盖了微...
2023年4月22日下午,由中国电信超高端手机品牌心系天下主办的愈见主题艺术展线