机器学习与计算机视觉(被忽视的isp图像处理)

【 声明:版权所有,欢迎转载,请勿用于商业用途。  联系信箱:feixiaoxing @163.com】

 

    目前国内大多数做adas或者无人驾驶的公司走的都是计算机图像方案,一方面是由于camera本身的低成本,另外一方面也是因为近期人工智能在图像领域的迅猛发展。但是,有一点很过公司都忽略的,他们过分关注与图像算法本身,而对图像质量、嵌入式优化这两个方面做的不是很到位。通常而言,这些公司都会拿一些成熟的测试视频进行开发,但是这些视频都是在别人已经调好的camera上录制的,而从市场上拿来的camera根本没有办法做到高质量的视频输出,这其中isp调优就是很重要的一块。

 

    目前的camera一般由这几块组成,分别是镜头、sensor、isp。当然,如果是夜视设备,还会多一个IR LED灯。镜头英文叫lense,它负责多少nm的光可以透进来。sensor就是感光芯片,它负责将光变成二进制信息,一般是yuv格式的矩阵。最后就是isp,isp负责将raw data变成漂亮的图片,或者是后续算法认可的图片。目前isp主要是软件完成,isp一般会有一个51芯片来进行处理。那么,isp负责的工作有哪些,我们可以一一看过来。

 

1、自动曝光

    一般拍照时,要求白天曝光弱一点,晚上曝光强一点。所以,自动曝光其实就是自动控制sensor的曝光时间。

 

2、自动对焦

    拍远景的时候,会要求镜头和sensor远一点,而近景的时候要求镜头和sensor近一点。isp可以通过算法自动识别近景和远景。

 

3、自动白平衡

    简而言之,主要要来解决色温问题,使得图像恢复成本来的颜色,不会出现偏黄、偏绿、偏蓝的问题。

 

4、镜头阴影矫正

    由于镜头本身特性,会造成图像中间过亮、边缘过暗的问题,可以使用软件算法修正这一问题。

 

5、gamma校正

    自然界的灰度变化和人对灰度的感知是不一样的,gamma校正就是解决这一问题。

 

6、WDR

    所谓WDR,就是指宽动态范围,它解决图像中部分过曝、部分曝光不足的问题,比如靠近窗口、日光灯下的图片。

 

7、畸变校正

    由于镜头的原因,图像会出现横向畸变和切向畸变。所以,使用特定软件算法可以解决畸变的问题。

 

8、色彩增强

    主要是增加色彩饱和度。

 

9、锐化

    通过特定的软件算法,让图像中的边缘、棱角更加的分明、显著。

 

10、去除噪声

    利用软件滤波算法去除图像中的特定噪声。

 

11、图像的缩放

    部分isp支持图像的缩放功能,比如支持不同的分辨率1920*1080、 1080*720、640*480等等。

 

12、图像旋转

    根据客户的要求,部分isp也会支持旋转的要求,比如旋转90度、180度、270度等。

 

13、镜像处理

    目前isp支持的镜像包括上下镜像、左右镜像。

 

14、控制曝光频率

    曝光频率其实决定了图像的帧率。如果只是消费级别的camera,20帧左右就可以保证画面流畅。但是如果是汽车上面的算法,应该是帧率越高越好,只要cpu、dsp、controller、hw处理得过来,并且没有明显的功耗和散热问题,这就可以。

 

    在实际开发的过程中,一个算法的调整很有可能会影响其他算法的调优工作,相互之间的关联性很大。并且,很多时候两个功能是没有办法同时获得的,比如亮度和噪声,如果只是单个摄像头,这个时候需要做的就是权衡和取舍。因此,现在的手机上面会出现了多个摄像头,比如说长焦、短焦、广角、黑白,这样可以同时兼顾近景、远景、白天、黑夜等多个拍摄场景。

 

 

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页