CN116862815B - 图像传感器拼缝校正方法、系统、电子装置及存储介质 - Google Patents

Abstract

本发明提出一种图像传感器拼缝校正方法、系统、电子装置及存储介质。该方法包括：在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；基于所述像素值，计算原始图像的校正系数；分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；基于融合校正系数，校正所述像素值，输出校正图像。本发明提出一种分段融合校正方法，在物理空间不同区域采用不同的校正系数，降低成像拼缝效应，使得该方法根据环境变化重新校正系数，具有自适应能力。

Description

图像传感器拼缝校正方法、系统、电子装置及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种图像传感器拼缝校正方法、系统、电子装置及存储介质。

背景技术

现有的图像传感器不均匀性校正方法主要包括暗场不均匀性校正和光响应不均匀性校正，其校正的图像传感器通常是整片图像传感器，而非拼接图像传感器。如图1所示，大面阵传感器为了增大传感器分辨率，采用多片传感器进行拼接，拼缝会在拍摄图像上形成明显的竖直或者水平拼缝线（拼接线），影响成像效果。物理拼缝线的成像与光源角度以及镜头相关，采用固定的校正系数不能适应图像采集环境以及镜头的变化，并且传统的横纹竖纹校正算法无法完全消除拼缝效应。

中国专利CN112291446B公开了一种大面阵CMOS图像传感器的非均匀性校正方法。首先在积分球均匀光照下，对CMOS图像传感器进行原始图像采集，并对采集到的图像进行非均匀度计算，得到非均匀度最大值对应的图像，然后根据CMOS图像传感器的结构特点，将大面阵CMOS图像的列进行分组处理，利用分组进行参数求取，最终建立用于对CMOS图像传感器进行非均匀性校正的校正模型。该专利与本发明的解决方案不同。

中国专利CN 115665579 A提出一种COMS图像传感器上的光响应非均匀性校正方法及装置，在进行非均匀性校正的过程中，本发明可以离线计算出图像在不同饱和度下的偏移量，在线计算时，只需要知道一个标准的校正矩阵，通过不同饱和度下的偏移量即可获得该饱和度下的校正矩阵参数，在校正计算的过程中，引入线性插值法、非线性插值法、最近邻原则，校准标准参数矩阵，增加校正精度。该专利与本发明的解决方案不同。

中国专利CN 102176742 B提出一种图像校正系数的获取方法、非均匀图像校正方法及系统，通过采用所述传感器阵列中的传感器单元至少为两组，采集传感器阵列不同工作温度条件下的多幅背景图像，根据所述传感器阵列中的传感器单元的分组，将所述传感器阵列输出的预校正图像的像素进行相应分组，按组获取所述预校正图像的各像素值，计算所述各组中像素值的平均值，在预校正图像的分组中，满足校正后图像的每两组像素值的平均值之差的平方和最小的条件下，计算出当前背景的校正系数。该专利与本发明解决的技术问题不同。

中国专利CN113450270A公开了一种校正参数生成方法、电子装置和存储介质，通过待校正的图像传感器，获取均匀光照条件下的单色对象的数字图像；在数字图像中确定感光响应不均匀基线，并在感光响应不均匀基线两侧确定相互对称的第一图像区域和第二图像区域；初始化第一图像区域内各第一像素的第一校正参数；将第一图像区域内的各第一像素作为参考标准，确定以感光响应不均匀基线为对称轴而对称于各第一像素的第二图像区域内的各第二像素的第二校正参数；根据第一校正参数和第二校正参数，确定待校正的图像传感器的校正参数，解决了相关技术中存在的图像传感器存在感光响应不均匀性问题，提升了图像传感器的感光响应均匀性。该专利与本发明解决的技术问题不同。

发明内容

本发明提出图像传感器拼缝校正方法、系统、电子装置及存储介质，可至少解决上述技术问题之一。

为实现上述目的，本发明提出了以下技术方案：

一种图像传感器拼缝校正方法，包括：

在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；

基于所述像素值，计算原始图像的校正系数；

分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；

基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；

构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；

基于融合校正系数，校正所述像素值，输出校正图像。

进一步地，所述构建融合系数函数，包括：以拼缝线位置S为轴，在S左右两侧的传感器图像中，分别设定左融合宽度L₁、右融合宽度L₂；在设定的左、右融合宽度范围内，围绕拼缝线位置S，构建融合系数函数f(i)，其中，i表示图像像素的列数或行数。

进一步地，所述融合系数函数f(i)满足f(S-L₁)=0，f(S+L₂)=0，f(S)=1，且f(i)在[S-L₁,S]范围内单调递增，f(i)在[S,S+L₂]范围内单调递减。

进一步地，任一所述传感器图像内所设定的融合宽度的总和小于所述传感器图像的宽度。

进一步地，所述基于融合校正系数，校正所述像素值，之前，还包括：存储所述任一有效子区域所对应的融合校正系数。

进一步地，所述基于融合校正系数，校正所述像素值，包括：基于所述原始图像的像素值及像素位置，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

本发明还提出一种图像传感器拼缝校正系统，包括：

图像采集单元，在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；

图像分割单元，分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；

参数计算单元，基于原始图像的像素值，计算原始图像的校正系数；基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；

校正单元，基于所述原始图像的像素值及像素位置，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

进一步地，还包括：

存储单元，用于存储所述任一有效子区域所对应的融合校正系数。

本发明还提出一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上所述的图像传感器拼缝校正方法。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像传感器拼缝校正方法。

本发明的有益效果如下：本发明提出一种分段融合校正方法，在物理空间不同区域采用不同的校正系数，降低成像拼缝效应，使得该方法根据环境变化重新校正系数，具有自适应能力。

附图说明

图1是图像传感器拼缝效应的示意图；

图2是本发明实施例1中图像传感器拼缝校正方法的流程图；

图3是本发明实施例1拼缝分段校正的示意图；

图4是本发明实施例1中多传感器图像设定融合宽度的示意图；

图5是本发明实施例1中融合系数函数的图像；

图6是本发明实施例1中图像校正的流程图；

图7是本发明实施例1中拼缝分段校正前的图像；

图8是本发明实施例1中拼缝分段校正后的图像；

图9是本发明实施例2拼缝分段校正的示意图；

图10是本发明实施例2中融合系数函数的图像；

图11是本发明实施例3中融合系数函数的图像；

图12是本发明实施例4中融合系数函数的图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

水平物理拼缝线会在图像上形成水平分界线，竖直物理拼缝线会在图像上形成竖直分界线，与之类似的校正算法称为横纹校正或者竖纹校正。水平拼缝线与竖直拼缝线的校正思路一致，本发明实施例中仅以竖直分界线（竖纹校正）为例，作以说明。本发明中提出的校正方法同样适用于水平方向的拼缝校正，只需交换本方案中的行列坐标就可以进行水平方向的拼缝校正。

实施例1

如图2所示，本实施例以竖直方向的拼缝校正方法作为示例，具体如下：

在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值，像素值包括行像素值和列像素值。

本发明以竖直方向的拼缝校正方法为例，进行说明，因此本发明中所记录的像素值，以图像所在列坐标为标引，记录为列像素值。原始图像包括若干传感器图像，以拼缝线作为传感器图像的分界线。

此外，若对水平拼缝线进行校正，则需要以行坐标为标引，记录原始图像的像素值为行像素值；具体校正方法同竖直拼缝线的校正方法，只需要将竖直方向的拼缝校正方法中列坐标替换为需要校正的行坐标。

本实施中，在均匀光源下采集若干不同亮度的图像，分别记录任一图像竖直方向上的任一像素（列像素值）x_m,i，其中，下标m表示当前光源亮度的级数，i表示图像第i列。

在第一级光源亮度下，记录原始图像的列像素值x_1,i，记作(x_1,1、x_1,2、...x_1,i)；变换光源亮度，记录在第二级光源亮度下原始图像的列像素值x_2,i，记作(x_2,1、x_2,2、...x_2,i)。

基于所述像素值，计算原始图像的校正系数。

本实施例中以选取两级光源亮度下的原始图像列的像素值为例，采用传统的竖纹校正算法，计算原始图像的校正系数。其中，原始图像的校正系数包括乘法系数k_i和加法系数b_i。

根据记录的不同亮度的原始图像的列像素值，分别计算列像素均值y_m,i，根据任一列像素均值y_m,i，计算其对应的校正系数，包括乘法系数k_i和加法系数b_i，计算公式如下：

传统的竖纹校正算法中，根据计算得到的校正乘法系数k_i与加法系数b_i，对任意像素p_r,i进行校正，校正公式为：p₀=(p_r,i+b_i)×k_i。其中，下标r表示图像第r行，i表示图像第i列；p_r,i表示任意传感器图像第r行第i列的像素值，也是像素输入值；p₀为像素输出值。

优选地，实际应用中，可设置多种（至少两种）光源亮度，采集其对应的传感器图像的列像素值。若记录多种（大于两种）光源亮度下的传感器图像列像素值，可使用如最小二乘法等其他计算方式，计算列像素均值。

分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像。

本发明中分割线数量和方向均可以自由设置，且分割结果中须有若干有效子区域，任一有效子区域内含有拼缝线及拼缝线两侧的传感器图像，且所有有效子区域可以还原拼缝线及拼缝线两侧的传感器图像。本发明中至少需要一条分割线，将整张图像分割成2个区域。

如图3所示，本实施例沿垂直于拼缝线方向，设置有一条分割线，将原始图像分割为上下两个水平区域。当拼缝沿竖直方向时，分割线数量小于传感器图像行数的一半；当拼缝沿水平方向时，分割线数量小于传感器图像列数的一半。

基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数。

本实施例中，参见图3，将原始图像分割为上下两个水平区域，任一水平区域均含有拼缝线及两侧传感器图像，因此该水平区域均属于有效子区域。

对任一水平区域j分别计算区域校正系数，具体过程为：根据记录的原始图像的列像素值，找到水平区域j所对应的列像素值x_m,i,j，其中，下标m表示当前光源亮度的级数，i表示图像第i列，j表示区域编号。

在第一级光源亮度下，水平区域j所对应的列像素值记作(x_1,1,j、x_1,2,j、...x_1,i,j)；第二级光源亮度下，水平区域j所对应的列像素值记作(x_2,1,j、x_2,2,j、...x_2,i,j)。

分别计算区域列像素均值y_j,i,m，并计算其对应的区域乘法系数k_j,i和区域加法系数b_j,i, 计算公式如下：

构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数。

其中，构建融合系数函数，具体包括：以拼缝线位置S为轴，在S左右两侧的传感器图像中，分别设定左融合宽度L₁、右融合宽度L₂，使得总融合宽度为2L；在总融合宽度范围内，围绕拼缝线位置S，构建融合系数函数f(i)，其中，i表示图像像素的列数或行数。本发明中设定的总融合宽度2L=L₁+L₂。

融合系数函数满足f(S-L₁)=0，f(S+L₂)=0，f(S)=1, 且f(i)在[S-L₁,S]范围内单调递增，f(i)在[S,S+L₂]范围内单调递减。

总融合宽度的范围与传感器行列数以及拼缝位置有关，任一传感器图像内所设定的融合宽度的总和小于所述传感器图像的宽度。

如图4所示，原始图像由4张传感器图像拼接，含有3条物理拼缝线。传感器图像1的宽度为d₁，即物理拼缝线1与左边界之间的距离d₁；传感器图像2的宽度为d₂，也是物理拼缝线1与物理拼缝线2之间的距离d₂；传感器图像3的宽度为d₃，即物理拼缝线2与物理拼缝线3之间的距离d₃；传感器图像4的宽度为d₄，即物理拼缝线3与右边界之间的距离。

对物理拼缝线1设定总融合宽度范围，具体包括：在传感器图像1中设定左融合宽度L₁，在传感器图像2中设定右融合宽度L₂。对物理拼缝线2设定总融合宽度范围，具体包括：在传感器图像2中设定左融合宽度L₃，在传感器图像3中设定右融合宽度L₄。对物理拼缝线3设定总融合宽度范围，具体包括：在传感器图像3中设定左融合宽度L₅，在传感器图像4中设定右融合宽度L₆。

其中，传感器图像1中设定的融合宽度L₁<d₁；传感器图像2中设定的融合宽度L₂+L₃<d₂；传感器图像3中设定的融合宽度L₄+L₅<d₃；传感器图像4中设定的融合宽度L₆<d₄。

如图5所示，本实施例提出满足以上要求的函数f(i)定义如下：

本实施例提出的函数f(i)为线性函数，仅作为一种融合系数函数的示例，融合系数函数的具体定义可以根据实际情况和需求，进行设定。

基于确定的融合系数函数、原始图像的校正系数以及区域校正系数，计算融合校正系数。对于水平区域j, 融合校正系数的计算公式，如下：

本实施例中，还设置有非易失性存储器，用于存储上述计算得到的融合校正系数，便于后续校正过程中找寻融合校正系数，提高校正效率。

基于融合校正系数，校正所述像素值，输出校正图像。具体包括：根据像素位置(r,i)，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

如图6所示，根据像素位置(r,i)计算当前像素所属区域j，从非易失性存储器中读取相应的融合校正系数和/>，对像素值p_r,i采用线性校正公式：，进行线性校正；输出校正结果p_out，替换像素值p_r,i，完成线性校正过程。

其中，下标r表示图像第r行，i表示图像第i列；p_r,i表示传感器第r行第i列的像素值，也是像素输入值；p_out为像素输出值。

本实施例处理前图像参见图7，经过上述校正方法，得到处理后的图像，参见图8。

优选地，还可以不设置存储器，不存储所述任一有效子区域所对应的融合校正系数。此时，校正具体过程为：通过像素位置(r,i)计算当前像素所属区域j，重复上述参数的计算过程，计算对应的融合校正系数和/>，对像素值p_r,i采用线性校正公式：，进行线性校正；输出校正结果p_out，替换像素值p_r,i，完成线性校正过程。

实施例2

在实施例1的基础上，本实施例中提出新的融合系数函数。其具体构建过程如下：

以拼缝线位置S为轴，设定左右两侧对称范围为融合宽度L，设定总融合宽度为2L；在融合宽度范围内，以围绕拼缝线位置S的轴对称函数，作为融合系数函数f(i)，其中，i表示图像像素的列数或行数。

本实施例中融合宽度的具体设定如图9所示。

融合系数函数满足f(S-L)=0，f(S+L)=0，f(S)=1, 且f(i)在[S-L,S]范围内单调递增。

本实施例提出满足以上要求的函数族f(i)定义如下：

式中变量n用于控制函数在[S-L,S]范围内单调递增的趋势快慢，L表示融合宽度的一半。本实施例提出的函数族仅作为一种融合系数函数的示例，融合系数函数的具体定义可以根据实际情况和需求，进行设定。

如图9所示，拼缝线与左侧传感器1的左边界的距离为d₁，拼缝线与右侧传感器2的右边界的距离为d₂，融合宽度满足L<min(d₁,d₂)。为了更好地体现区域划分的融合效果的作用，本实施例中设定融合宽度L<min(d₁/2,d₂/2)。

实际应用中，可以通过多次取n值，计算相应的融合系数函数f(i)，根据f(i)的融合效果，确定最终n值，以此确定融合校正系数。

本实施例中，如图10所示，取n=1，构建融合系数函数f(i)，具体如下：

实施例3

本实施例在实施例2的基础上，设定不同的融合系数函数f(i)。当0<n<1时，函数在[S-L,S]范围内单调递增越来越快。n=1/2时，函数f(i)图像如图11所示，具体表达式如下：

实施例4

本实施例在实施例2的基础上，设定不同的融合系数函数f(i)。当n>1时，函数在[S-L,S]范围内单调递增越来越慢。

n=2时，函数f(i)图像如图12所示，具体表达式如下：

本发明提出一种分段融合校正方法，在物理空间不同区域采用不同的校正系数，降低成像拼缝效应，使得该方法根据环境变化重新校正系数，具有自适应能力。

本发明还提出一种图像传感器拼缝校正系统，包括：

图像采集单元，在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；

图像分割单元，分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；

参数计算单元，基于原始图像的像素值，计算原始图像的校正系数；基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；

校正单元，基于所述原始图像的像素值及像素位置，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

还包括：存储单元，用于存储所述任一有效子区域所对应的融合校正系数。

本发明还提出一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的图像传感器拼缝校正方法。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像传感器拼缝校正方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图像传感器拼缝校正方法，其特征在于，包括：

在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；

基于所述像素值，计算原始图像的校正系数；

分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；

基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；

构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；

基于所述原始图像的像素值及像素位置，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

2.根据权利要求1所述的图像传感器拼缝校正方法，其特征在于，所述构建融合系数函数，包括：以拼缝线位置S为轴，在S左右两侧的传感器图像中，分别设定左融合宽度L₁、右融合宽度L₂，使得总融合宽度为2L；在总融合宽度范围内，围绕拼缝线位置S，构建融合系数函数f(i)，其中，i表示图像像素的列数或行数。

3.根据权利要求2所述的图像传感器拼缝校正方法，其特征在于，所述融合系数函数f(i)满足f(S-L₁)=0，f(S+L₂)=0，f(S)=1，且f(i)在[S-L₁,S]范围内单调递增，f(i)在[S,S+L₂]范围内单调递减。

4.根据权利要求2所述的图像传感器拼缝校正方法，其特征在于，所述任一传感器图像内所设定的融合宽度的总和小于所述传感器图像的宽度。

5.根据权利要求1所述的图像传感器拼缝校正方法，其特征在于，所述基于融合校正系数，校正所述像素值，之前，还包括：存储所述任一有效子区域所对应的融合校正系数。

6.一种图像传感器拼缝校正系统，其特征在于，包括：

图像采集单元，在均匀光源下，采集若干不同亮度的原始图像，记录原始图像的像素值；

图像分割单元，分割所述原始图像，使得有效子区域内含有拼缝线及拼缝线两侧的传感器图像；

参数计算单元，基于原始图像的像素值，计算原始图像的校正系数；基于任一有效子区域图像的像素值，计算该有效子区域对应的区域校正系数；构建融合系数函数，基于校正系数和区域校正系数，计算融合校正系数；

校正单元，基于所述原始图像的像素值及像素位置，找到所属有效子区域，确定与其对应的融合校正系数，校正所述像素值，输出校正图像。

7.根据权利要求6所述的图像传感器拼缝校正系统，其特征在于，还包括：

存储单元，用于存储所述任一有效子区域所对应的融合校正系数。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任一项所述的图像传感器拼缝校正方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的图像传感器拼缝校正方法。