CN110728705A - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110728705A CN110728705A CN201910906593.0A CN201910906593A CN110728705A CN 110728705 A CN110728705 A CN 110728705A CN 201910906593 A CN201910906593 A CN 201910906593A CN 110728705 A CN110728705 A CN 110728705A
- Authority
- CN
- China
- Prior art keywords
- preset
- image
- condition
- reference frame
- image registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 abstract description 10
- 230000009467 reduction Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003707 image sharpening Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括:获取多帧图像,并从该多帧图像中选取参考帧图像;根据该多帧图像确定当前图像配准条件;检测该当前图像配准条件是否满足预设条件,其中,当该当前图像配准条件不满足该预设条件时表示图像配准的准确度不满足要求;若该当前图像配准条件不满足预设条件,则将该参考帧图像作为输出图像进行输出。本申请可以输出得到成像质量较好的图像。
Description
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
多帧降噪可以提高图像的成像质量。但是,当图像中的噪声较多或者图像中的细节信息较少时,电子设备在执行多帧降噪的流程时,将无法得到准确的用于多帧图像配准的单应矩阵。若使用准确度较差的单应矩阵进行图像配准进而进行多帧降噪的话,多帧降噪输出得到的将是模糊的图像,即电子设备输出的图像的成像质量较差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以输出得到成像质量较好的图像。
本申请实施例提供一种图像处理方法,包括:
获取多帧图像,并从所述多帧图像中选取参考帧图像;
根据所述多帧图像确定当前图像配准条件;
检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
本申请实施例提供一种图像处理装置,包括:
获取模块,用于获取多帧图像,并从所述多帧图像中选取参考帧图像;
确定模块,用于根据所述多帧图像确定当前图像配准条件;
检测模块,用于检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
输出模块,用于若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法中的流程。
本申请实施例中,电子设备可以在图像配准条件不满足预设条件,即图像配准的准确度较低的情况下,不再进行多帧降噪,而是直接将参考帧图像作为输出图像进行输出。因此,本实施例可以有效避免因图像配准的准确度不足而导致的多帧降噪后输出模糊图像的问题。即,本实施例可以输出成像质量较好的图像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的第一种流程示意图。
图2是本申请实施例提供的图像处理方法的第二种流程示意图。
图3至图4是本申请实施例提供的图像处理方法的场景示意图。
图5是本申请实施例提供的图像处理装置的结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
图8是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的第一种流程示意图,流程可以包括:
101、获取多帧图像,并从该多帧图像中选取参考帧图像。
多帧降噪技术是通过对物理场景中同一点在不同图像帧中所成的像素点求平均像素值来获得较好的降噪效果的时域降噪技术。在拍摄多帧图像的过程中,人的手臂因为呼吸和肌肉收缩,难免会发生轻微的抖动,进而导致物理场景中同一点在多帧图像中所成的像素点的图像坐标发生了随时间的偏移。所以,需要估计图像之间的运动,将各图像向参考帧图像配准和插值,让物理场景的同一点在各配准和插值后的图像中对应的像素点有相同的图像坐标,进而用配准和插值后的多帧图像求平均像素值以进行降噪。
在图像配准方案中,一般的,首先电子设备在多帧图像中选取清晰度最好的一帧图像作为参考帧,在其中检测诸如Harris角点等特征点,并筛选出一定数量的较好的特征点。然后,电子设备在其他非参考图像帧中寻找与这些特征点配对的特征点,根据配对相似性筛选出一定数量的匹配特征点对。一般情况下,将图像之间的运动建模为仿射变换,选取三个匹配的特征点对,求解线性方程组即可以获得用于配准图像的单应矩阵的一个估计。为了消除匹配错误的特征点对对单应矩阵准确性的影响,会筛选出远远多于3个的匹配特征点对,然后使用RANSAC算法,多次随机抽取特征点对计算单应矩阵,得到多个备选单应矩阵。对于每一单应矩阵,电子设备都可以通过其他特征点对对该单应矩阵进行评分,评分越高表示越多的特征点对满足该单应矩阵的约束关系。电子设备可以将评分最高的单应矩阵确定为用于图像配准的目标单应矩阵。最后用该目标单应矩阵warp图像,然后对各个warp后的图像的像素求取平均像素值,进而获得降噪后的输出图像。
多帧降噪可以提高图像的成像质量。但是,当图像中的噪声较多或者图像中的细节信息较少时,电子设备在执行多帧降噪的流程时,将无法得到准确的用于多帧图像配准的单应矩阵。若使用准确度较差的单应矩阵进行图像配准进而进行多帧降噪的话,多帧降噪输出得到的将是模糊的图像,即电子设备输出的图像的成像质量较差。
在本申请实施例中,比如,电子设备可以先获取多帧图像,并按照多帧降噪的流程从该多帧图像中选取一帧参考帧图像。例如,该参考帧图像可以是该多帧图像中清晰度最高的图像。
102、根据多帧图像确定当前图像配准条件。
103、检测当前图像配准条件是否满足预设条件,其中,当该当前图像配准条件不满足该预设条件时表示图像配准的准确度不满足要求。
比如,102和103可以包括:
在选取得到参考帧图像后,电子设备可以根据上述多帧图像确定出当前图像配准条件,并检测该当前图像配准条件是否满足预设条件。其中,当该当前图像配准条件不满足预设条件时可以表示当前进行图像配准的准确度会较低,即当前进行图像配准的准确度不满足要求。当该当前图像配准条件满足预设条件时可以表示当前进行图像配准的准确度会较高,即当前进行图像配准的准确度满足要求。
如果检测到当前图像配准条件不满足预设条件,那么可以进入104中。
如果检测到当前图像配准条件满足预设条件,那么电子设备可以按照正常的多帧降噪的流程对获取到的多帧图像进行多帧降噪,从而得到输出图像。
104、若当前图像配准条件不满足预设条件,则将参考帧图像作为输出图像进行输出。
比如,电子设备检测到当前图像配准条件不满足预设条件,那么可以认为当前若进行图像配准的话,其配准的准确度会较低。在这种情况下,电子设备可以直接将参考帧图像作为输出图像进行输出。即,在图像配准的准确度较低的情况下,电子设备可以不对获取到的多帧图像进行多帧降噪处理,而是直接输出选取出来的参考帧图像。例如,电子设备可以将该参考帧图像作为照片输出显示到屏幕上供用户查看。或者,电子设备也可以将参考帧图像输出到下一个图像处理模块中进行诸如图像锐化等处理,即电子设备输出的该参考帧图像可以作为下一个图像处理模块的输入。
可以理解的是,本申请实施例中,电子设备可以在图像配准条件不满足预设条件,即图像配准的准确度较低的情况下,不再进行多帧降噪,而是直接将参考帧图像作为输出图像进行输出。因此,本实施例可以有效避免因图像配准的准确度不足而导致的多帧降噪后输出模糊图像的问题。即,本实施例可以输出成像质量较好的图像。
请参阅图2,图2为本申请实施例提供的图像处理方法的第二种流程示意图,流程可以包括:
201、电子设备获取多帧图像,并从该多帧图像中选取参考帧图像。
比如,电子设备可以先获取多帧图像,并按照多帧降噪的流程从该多帧图像中选取一帧参考帧图像。例如,该参考帧图像可以是该多帧图像中清晰度最高的图像。
202、电子设备提取参考帧图像的特征点。
203、电子设备统计参考帧图像的特征点数量,并将该参考帧图像的特征点数量确定为当前图像配准条件中的一个条件。
204、电子设备检测参考帧图像的特征点数量是否小于预设第一阈值,其中,当该参考帧图像的特征点数量小于预设第一阈值时,确定出当前图像配准条件不满足预设条件。
比如,202、203和204可以包括:
在选取得到参考帧图像后,电子设备可以对该参考帧图像进行特征提取,从而得到该参考帧图像的特征点(即合格特征点)。之后,电子设备可以统计该参考帧图像的特征点数量(即合格特征点数量),并将该参考帧图像的特征点数量确定为当前图像配准条件中的一个条件。
在统计得到参考帧图像的特征点数量后,电子设备可以检测该参考帧图像的特征点数量是否小于预设第一阈值。
其中,当参考帧图像的特征点数量小于预设第一阈值时,电子设备可以确定出当前图像配准条件不满足预设条件。在这种情况下,可以进入流程212中。
需要说明的是,当参考帧图像的特征点数量小于预设第一阈值时,可以认为参考帧图像中的合格特征点的数量太少。由于在合格特征点的数量太少的情况下无法准确地进行图像配准,因此可以进入212中,电子设备可以放弃多帧降噪,直接将参考帧图像作为输出图像进行输出。例如,电子设备可以将该参考帧图像作为照片输出显示到屏幕上供用户查看。或者,电子设备也可以将参考帧图像输出到下一个图像处理模块中进行诸如图像锐化等处理,即电子设备输出的该参考帧图像可以作为下一个图像处理模块的输入。
参考帧图像中提取的合格特征点数量太少可能是因为当前的拍摄场景光线太暗造成的。
当参考帧图像的特征点数量大于或等于预设第一阈值时,可以进入流程205中。
205、当参考帧图像的特征点数量大于或等于预设第一阈值时,电子设备对多帧图像中的非参考帧图像提取特征点。
206、根据参考帧图像的特征点以及非参考帧图像的特征点,电子设备确定匹配特征点对,并获取各匹配特征点对的匹配度。
207、电子设备计算所有匹配特征点对的匹配度的第一平均值,并将该第一平均值确定为当前图像配准条件中的另一个条件。
208、电子设备检测第一平均值是否小于预设第二阈值,其中,当该第一平均值小于预设第二阈值时,确定出当前图像配准条件不满足预设条件。
比如,205、206、207和208可以包括:
例如,在204中电子设备检测到参考帧图像的合格特征点数量大于或等于预设第一阈值。即,参考帧图像的合格特征点数量较多,比较有利于后续图像配准。在这种情况下,电子设备可以对多帧图像中除参考帧图像外的其它图像进行特征提取,得到这些非参考帧图像的特征点。
在提取得到非参考帧图像的特征点后,电子设备可以根据参考帧图像的特征点以及非参考帧图像的特征点确定出匹配的特征点对,并且电子设备可以获取各匹配的特征点对的匹配度。
例如,电子设备获取到4帧图像,分别为P1、P2、P3和P4。其中,P1为参考帧图像。参考帧图像P1中包含一特征点f1,图像P2中包含一特征点f2,图像P3中包含一特征点f3,图像P4中包含一特征点f4。其中,经特征匹配,电子设备确定出特征点f1、f2、f3、f4为互相匹配的特征点对,它们之间的匹配度为95%。
在获取到所有的匹配特征点对的匹配度后,电子设备可以计算所有的匹配特征点对的匹配度的平均值(即第一平均值),并将该第一平均值确定为当前图像配准条件中的另一个条件。例如,一共有3个匹配特征点对,第一个匹配特征点对之间的匹配度为90%,第二个匹配特征点对之间的匹配度为95%,第三个匹配特征点对之间的匹配度为91%。那么,所有的匹配特征点对的匹配度的平均值(90%+95%+91%)/3=92%。
之后,电子设备可以检测第一平均值是否小于预设第二阈值。
其中,当该第一平均值小于该预设第二阈值时,电子设备可以确定出当前图像配准条件不满足预设条件。在这种情况下,可以进入流程212中。
需要说明的是,当所有匹配特征点对的匹配度的平均值小于预设第二阈值时,可以认为特征点之间的匹配整体不够可靠。当特征点之间的匹配整体不够可靠时,根据特征点对计算得到的单应矩阵也会不准确。而利用不准确的单应矩阵将使得图像无法准确地配准。因此,电子设备可以放弃多帧降噪,直接输出参考帧图像。
当该第一平均值大于或于该预设第二阈值时,可以进入流程209中。
209、当第一平均值大于或等于预设第二阈值时,电子设备从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中该匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系。
210、电子设备计算所有备选单应矩阵的匹配分数的第二平均值,并将该第二平均值确定为当前图像配准条件中的又一个条件。
211、电子设备检测第二平均值是否小于预设第三阈值,其中,当该第二平均值小于该预设第三阈值时,确定出当前图像配准条件不满足预设条件。
比如,209、210和211可以包括:
例如,电子设备在208中检测到所有匹配特征点对的匹配度的平均值大于或等于预设第二阈值。即,特征点之间的匹配整体上比较可靠,比较有利于后续图像配准。在这种情况下,电子设备可以从所有匹配特征点对中每次选取预设数量的特征点对计算得到一单应矩阵。例如,电子设备可以从所有匹配特征点对中每次选取3个匹配的特征点对求解线性方程组即可以计算得到一单应矩阵(即备选单应矩阵)。
在本实施例中,电子设备可以多次执行上述每次从所有匹配特征点对中选取3个匹配特征点对求解线性方程组计算得到对应的单应矩阵的流程,从而得到多个备选单应矩阵。
其中,在得到每一备选单应矩阵后,电子设备可以利用其它匹配特征点对来验证该备选单应矩阵的正确性,即电子设备可以检验其它匹配特征点对是否满足该备选单应矩阵的约束关系。若某一匹配特征点对满足该备选单应矩阵的约束关系,则该备选单应矩阵可以得到对应的分数。若某一匹配特征点对不满足该备选单应矩阵的约束关系,则该备选单应矩阵不得到对应的分数。如此一来,每一备选单应矩阵均可以对应一匹配分数,该匹配分数越高表示有越多的特征点对满足该备选单应矩阵的约束关系。
通过上述方式,电子设备可以获取到所有备选单应矩阵的匹配分数。之后,电子设备可以计算所有备选单应矩阵的匹配分数的平均值(即第二平均值),并将该第二平均值确定为当前图像配准条件中的一个条件。
之后,电子设备可以检测第二平均值是否小于预设第三阈值。
其中,当该第二平均值小于该预设第三阈值时,电子设备确定出当前图像配准条件不满足预设条件。在这种情况下,可以进入流程212中。
需要说明的是,当所有备选单应矩阵的匹配分数的平均值小于预设第三阈值时,可以认为匹配特征点对之间的匹配不够准确。当特征点之间的匹配不够准确时,根据特征点对计算得到的单应矩阵也会不准确。而利用不准确的单应矩阵将使得图像无法准确地配准。因此,电子设备可以放弃多帧降噪,直接输出参考帧图像。
当该第二平均值大于或等于该预设第三阈值时,电子设备确定出当前图像配准条件满足预设条件。在这种情况下,电子设备可以在对多帧图像进行配准后进行多帧降噪,并输出降噪后的图像。
212、若当前图像配准条件不满足预设条件,则电子设备将参考帧图像作为输出图像进行输出。
比如,电子设备检测到当前图像配准条件不满足预设条件,那么可以认为当前若进行图像配准的话,其配准的准确度会较低。在这种情况下,电子设备可以直接将参考帧图像作为输出图像进行输出。即,在图像配准的准确度较低的情况下,电子设备可以不对获取到的多帧图像进行多帧降噪处理,而是直接输出选取出来的参考帧图像。例如,电子设备可以将该参考帧图像作为照片输出显示到屏幕上供用户查看。或者,电子设备也可以将参考帧图像输出到下一个图像处理模块中进行诸如图像锐化等处理,即电子设备输出的该参考帧图像可以作为下一个图像处理模块的输入。
在另一种实施方式中,本实施例还可以包括如下流程:
当第一平均值大于或等于预设第二阈值时,电子设备从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中该匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
电子设备计算所有备选单应矩阵的匹配分数的方差,并将该方差确定为当前图像配准条件中的又一个条件;
那么,电子设备检测当前图像配准条件是否满足预设条件,包括:电子设备检测所述方差是否小于预设第四阈值,其中,当所述方差小于预设第四阈值时,确定出当前图像配准条件不满足预设条件。
比如,电子设备在208中检测到所有匹配特征点对的匹配度的平均值大于或等于预设第二阈值。即,特征点之间的匹配整体上比较可靠,比较有利于后续图像配准。在这种情况下,电子设备可以从所有匹配特征点对中每次选取预设数量的特征点对计算得到一单应矩阵。例如,电子设备可以从所有匹配特征点对中每次选取3个匹配的特征点对求解线性方程组即可以计算得到一单应矩阵(即备选单应矩阵)。
在本实施例中,电子设备可以多次执行上述每次从所有匹配特征点对中选取3个匹配特征点对求解线性方程组计算得到对应的单应矩阵的流程,从而得到多个备选单应矩阵。
其中,在得到每一备选单应矩阵后,电子设备可以利用其它匹配特征点对来验证该备选单应矩阵的正确性,即电子设备可以检验其它匹配特征点对是否满足该备选单应矩阵的约束关系。若某一匹配特征点对满足该备选单应矩阵的约束关系,则该备选单应矩阵可以得到对应的分数。若某一匹配特征点对不满足该备选单应矩阵的约束关系,则该备选单应矩阵不得到对应的分数。如此一来,每一备选单应矩阵均可以对应一匹配分数,该匹配分数越高表示有越多的特征点对满足该备选单应矩阵的约束关系。
通过上述方式,电子设备可以获取到所有备选单应矩阵的匹配分数。之后,电子设备可以计算所有备选单应矩阵的匹配分数的方差,并将该方差确定为当前图像配准条件中的一个条件。
之后,电子设备可以检测上述方差是否小于预设第四阈值。
其中,当该方差小于该预设第四阈值时,电子设备确定出当前图像配准条件不满足预设条件。在这种情况下,可以进入流程212中。即,电子设备可以不进行多帧降噪处理,而是直接输出参考帧图像。
需要说明的是,当所有备选单应矩阵的匹配分数的方差小于预设第四阈值时,可以认为所有备选单应矩阵表现相似(即所有备选单应矩阵的匹配分数相差较小),没有一个较突出的备选单应矩阵。在这种情况下,利用这些备选单应矩阵中的任何一个单应矩阵来进行图像配准都将不够可靠。因此,电子设备可以放弃多帧降噪,直接输出参考帧图像。
当上述方差大于或等于该预设第四阈值时,电子设备确定出当前图像配准条件满足预设条件。在这种情况下,电子设备可以将匹配分数最高的备选单应矩阵确定为目标单应矩阵,并利用该目标单应矩阵对多帧图像进行配准后进行多帧降噪,并输出降噪后的图像。
在一种实施方式中,流程201中电子设备获取的多帧图像可以是在环境光亮度小于预设亮度阈值的环境下拍摄的图像。即,当在暗光环境下拍摄得到多帧图像后,电子设备可以从这多帧图像中选取一帧参考图像帧。然后,电子设备可以确定当前的图像配准条件,并检测当前图像配准条件是否满足预设条件。若当前图像配准条件不满足预设条件,则可以认为当前进行图像配准的准确度较低。在这种情况下,电子设备可以放弃进行多帧降噪,而是直接输出参考图像帧。若检测到当前图像配准条件满足预设条件,那么电子设备可以正常地进行多帧降噪处理,并输出降噪后的图像。
在另一种实施方式中,当在206中获取到各匹配特征点对的匹配度之后,电子设备可以按照从大到小的顺序,对各匹配度进行排序,并选取排序靠前的一定数量的匹配度,计算这些匹配度的平均值。例如,电子设备可以选取排前5位的匹配度,并计算它们的平均值。之后,电子设备可以检测它们的平均值是否小于预设第五阈值。若它们的平均值小于预设第五阈值,则可以认为特征点对之间的匹配整体不够可靠,此时电子设备可以放弃多帧降噪处理,而是直接输出参考帧图像。若它们的平均值大于或等于预设第五阈值,则电子设备可以正常地对多帧图像进行多帧降噪处理。
在本申请实施例中,按照流程从前到后的顺序,图像配准条件一共包括三个条件,分别为:参考帧图像的合格特征点数量、匹配特征点对的匹配度的平均值以及备选单应矩阵的匹配分数的平均值或方差。这三个条件中的任何一个条件不满足,电子设备均可以确定出当前的图像配准条件不满足预设条件。
在另一些实施方式中,比如,在计算资源允许的情况下,电子设备还可以综合考虑上述三个条件来确定当前图像配准条件是否满足预设条件。比如,当参考帧图像的合格特征点数量小于预设第一阈值时,电子设备可以根据合格特征点数量与预设第一阈值的差值,赋予特征点一个分数(第一分数),该分数越大,表示合格特征点的数量越接近预设第一阈值。当所有匹配特征点对的匹配度的平均值小于预设第二阈值时,电子设备可以赋予所有匹配特征点对的匹配度的平均值一个分数(第二分数),该分数越大,表示所有匹配特征点对的匹配度的平均值越接近预设第二阈值。当所有备选单应矩阵的匹配分数的平均值小于预设第三阈值时,电子设备可以赋予所有备选单应矩阵的匹配分数的平均值一个分数(第三分数),该分数越大,表示所有备选单应矩阵的匹配分数的平均值越接近预设第三阈值。之后,电子设备可以计算第一分数、第二分数和第三分数的和值,并检测该和值是否大于预设数值。若该和值大于或等于预设数值,则电子设备可以对多帧图像进行多帧降噪处理。若该和值小于预设数值,则电子设备可以不进行多帧降噪,而是直接输出参考帧图像。
在另一种实施方式中,电子设备还可以计算对上述第一分数和第二分数、第三分数进行加权求和,并检测该加权和值是否大于预设数值。若该加权和值大于或等于预设数值,则电子设备可以对多帧图像进行多帧降噪处理。若该加权和值小于预设数值,则电子设备可以不进行多帧降噪,而是直接输出参考帧图像。
在另一种实施方式中,电子设备可以利用机器学习的方式学习得到上述三个条件在判断图像配准的准确度方面的权重值,在利用该权重值对上述第一分数和第二分数、第三分数进行加权求和。
请参阅图3至图4,图3至图4为本申请实施例提供的图像处理方法的场景示意图。
比如,用户在环境光亮度小于预设亮度阈值的暗光环境下拍摄图像,如图3所示,用户点击了相机应用中的拍照按钮。此时,电子设备可以连续、快速地拍摄多帧图像,并将拍摄得到的图像存入预设图像缓存队列中。
电子设备可以从该预设图像缓存队列中获取上述多帧图像。之后,电子设备可以从这多帧图像中选取一帧参考帧图像,例如电子设备可以将这多帧图像中清晰度最高的图像确定为参考帧图像。
之后,电子设备可以对该参考帧图像进行特征提取,从而得到该参考帧图像的特征点(即合格特征点)。之后,电子设备可以统计该参考帧图像的合格特征点数量。
在统计得到参考帧图像的合格特征点数量后,电子设备可以检测该参考帧图像的合格特征点数量是否小于预设第一阈值。
如果检测到参考帧图像的合格特征点数量小于预设第一阈值时,那么电子设备可以放弃进行多帧降噪的处理,直接将该参考帧图像作为输出图像进行输出。例如,参考帧图像的合格特征点仅有5个,而预设第一阈值为8个。那么,可以认为参考帧图像的合格特征点过少,这是因为拍摄场景为暗光环境所致的。由于合格特征点数量过少无法准确地进行图像配准,因此本实施例可以放弃进行多帧降噪,而是直接将参考帧图像输出。例如,电子设备可以直接将参考帧图像作为照片输出。
如果检测到参考帧图像的合格特征点数量大于或等于预设第一阈值时,那么可以认为参考帧图像的合格特征点较多。例如,参考帧图像的合格特征点一共有10个,大于预设第一阈值8个。在这种情况下,电子设备可以对多帧图像中除参考帧图像外的其它图像进行特征提取,得到这些非参考帧图像的特征点。
在提取得到非参考帧图像的特征点后,电子设备可以根据参考帧图像的特征点以及非参考帧图像的特征点确定出匹配的特征点对,并且电子设备可以获取各匹配的特征点对的匹配度。
例如,电子设备获取到4帧图像,分别为P1、P2、P3和P4。其中,P1为参考帧图像。参考帧图像P1中包含一特征点f1,图像P2中包含一特征点f2,图像P3中包含一特征点f3,图像P4中包含一特征点f4。其中,经特征匹配,电子设备确定出特征点f1、f2、f3、f4为互相匹配的特征点对,它们之间的匹配度为95%。
在获取到所有的匹配特征点对的匹配度后,电子设备可以计算所有的匹配特征点对的匹配度的平均值(即第一平均值),并检测该第一平均值是否小于预设第二阈值。
如果检测到该第一平均值小于该预设第二阈值时,可以认为特征点之间的匹配整体不够可靠。例如,所有的匹配特征点对的匹配度的平均值为83%,低于预设第二阈值85%。在这种情况下,电子设备可以放弃多帧降噪,直接输出参考帧图像P1,如图4所示。
如果检测到该第一平均值大于或等于该预设第二阈值,例如所有的匹配特征点对的匹配度的平均值为92%,高于预设第二阈值85%,那么,电子设备可以从所有匹配特征点对中每次选取3个匹配的特征点对求解线性方程组计算得到一个对应的单应矩阵(即备选单应矩阵)。在一种实施方式中,电子设备可以利用随机抽样一致算法(Random SampleConsensus,RANSAC)随机从所有匹配特征点对中每次选取3个匹配的特征点对求解线性方程组计算得到一个对应的单应矩阵(即备选单应矩阵)。
在本实施例中,电子设备可以多次执行上述每次从所有匹配特征点对中选取3个匹配特征点对求解线性方程组计算得到对应的单应矩阵的流程,从而得到多个备选单应矩阵。例如,电子设备一共得到10个备选单应矩阵。
其中,在得到每一备选单应矩阵后,电子设备可以利用其它匹配特征点对来验证该备选单应矩阵的正确性,即电子设备可以检验其它匹配特征点对是否满足该备选单应矩阵的约束关系。若某一匹配特征点对满足该备选单应矩阵的约束关系,则该备选单应矩阵可以得到对应的分数。若某一匹配特征点对不满足该备选单应矩阵的约束关系,则该备选单应矩阵不得到对应的分数。如此一来,每一备选单应矩阵均可以对应一匹配分数,该匹配分数越高表示有越多的特征点对满足该备选单应矩阵的约束关系。
通过上述方式,电子设备可以获取到所有备选单应矩阵的匹配分数。之后,电子设备可以计算所有备选单应矩阵的匹配分数的方差,并检测该方差是否小于预设第四阈值。
如果检测到该方差小于该预设第四阈值,电子设备可以放弃多帧降噪,直接输出参考帧图像P1。
如果检测到该方差大于或等于该预设第四阈值,那么电子设备确定出当前图像配准条件满足预设条件。在这种情况下,电子设备可以在对多帧图像进行配准后进行多帧降噪,并输出降噪后的图像。例如,电子设备可以将降噪后的图像输出显示到屏幕上作为照片供用户查看。
可以理解的是,本实施例可以在暗光拍摄场景中多帧图像配准容易出错的情况下,规避多帧降噪算法在此种场景中因为图像配准错误而导致的输出图像模糊的问题。通过图像配准准确度判断流程(即当前图像配准条件是否满足预设条件),可以较智能地判断是否采用多帧平均的方式降噪,进而给用户在各种场景中提供最优的成像质量。
请参阅图5,图5为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括:获取模块301,确定模块302,检测模块303,输出模块304。
获取模块301,用于获取多帧图像,并从所述多帧图像中选取参考帧图像。
确定模块302,用于根据所述多帧图像确定当前图像配准条件。
检测模块303,用于检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求。
输出模块304,用于若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
在一种实施方式中,所述确定模块302可以用于:提取所述参考帧图像的特征点;统计所述参考帧图像的特征点数量,并将所述参考帧图像的特征点数量确定为当前图像配准条件中的一个条件。
所述检测模块303可以用于:检测所述参考帧图像的特征点数量是否小于预设第一阈值,其中,当所述参考帧图像的特征点数量小于所述预设第一阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,所述检测模块303还可以用于:
当所述参考帧图像的特征点数量大于或等于所述预设第一阈值时,对所述多帧图像中的非参考帧图像提取特征点;
根据所述参考帧图像的特征点以及所述非参考帧图像的特征点,确定匹配特征点对,并获取各匹配特征点对的匹配度;
计算所有匹配特征点对的匹配度的第一平均值,并将所述第一平均值确定为当前图像配准条件中的另一个条件;
检测所述第一平均值是否小于预设第二阈值,其中,当所述第一平均值小于所述预设第二阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,所述检测模块303还可以用于:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的第二平均值,并将所述第二平均值确定为当前图像配准条件中的又一个条件;
检测所述第二平均值是否小于预设第三阈值,其中,当所述第二平均值小于所述预设第三阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,所述检测模块303还可以用于:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的方差,并将所述方差确定为当前图像配准条件中的又一个条件;
检测所述方差是否小于预设第四阈值,其中,当所述方差小于所述预设第四阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,所述获取模块301可以用于:
获取多帧图像,其中,所述多帧图像是在环境光亮度小于预设亮度阈值的场景下拍摄得到的图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6,图6为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以包括透镜和图像传感器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。摄像模组401可以包括一个摄像头或者两个及以上的摄像头。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取多帧图像,并从所述多帧图像中选取参考帧图像;
根据所述多帧图像确定当前图像配准条件;
检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
请参阅图7,电子设备400可以包括摄像模组401、存储器402、处理器403、触摸显示屏404、扬声器405、麦克风406等部件。
摄像模组401可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图8,图8为本实施例中图像处理电路的结构示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏404可用于接收用户的触摸输入操作,以及显示诸如文字和图像等的信息。
扬声器405可以用于播放声音信号。
麦克风406可以用于拾取周围环境中的声音信号。比如,用户可以发出用于指示电子设备进行图像拍摄的语音。电子设备的麦克风406可以拾取到该语音,并由电子设备400的处理器403将该语音转化为对应的语音指令,并控制电子设备400的摄像模组401进行图像拍摄操作。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取多帧图像,并从所述多帧图像中选取参考帧图像;
根据所述多帧图像确定当前图像配准条件;
检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
在一种实施方式中,处理器403执行根据所述多帧图像确定当前图像配准条件时,可以执行:提取所述参考帧图像的特征点;统计所述参考帧图像的特征点数量,并将所述参考帧图像的特征点数量确定为当前图像配准条件中的一个条件;
那么,处理器403执行检测所述当前图像配准条件是否满足预设条件时,可以执行:检测所述参考帧图像的特征点数量是否小于预设第一阈值,其中,当所述参考帧图像的特征点数量小于所述预设第一阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,处理器403还可以执行:
当所述参考帧图像的特征点数量大于或等于所述预设第一阈值时,对所述多帧图像中的非参考帧图像提取特征点;
根据所述参考帧图像的特征点以及所述非参考帧图像的特征点,确定匹配特征点对,并获取各匹配特征点对的匹配度;
计算所有匹配特征点对的匹配度的第一平均值,并将所述第一平均值确定为当前图像配准条件中的另一个条件;
那么,处理器403执行检测所述当前图像配准条件是否满足预设条件时,可以执行:检测所述第一平均值是否小于预设第二阈值,其中,当所述第一平均值小于所述预设第二阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,处理器403还可以执行:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的第二平均值,并将所述第二平均值确定为当前图像配准条件中的又一个条件;
那么,处理器403执行检测所述当前图像配准条件是否满足预设条件时,可以执行:检测所述第二平均值是否小于预设第三阈值,其中,当所述第二平均值小于所述预设第三阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,处理器403还可以执行:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的方差,并将所述方差确定为当前图像配准条件中的又一个条件;
那么,处理器403执行检测所述当前图像配准条件是否满足预设条件时,可以执行:检测所述方差是否小于预设第四阈值,其中,当所述方差小于所述预设第四阈值时,确定出所述当前图像配准条件不满足预设条件。
在一种实施方式中,处理器403执行所述获取多帧图像时,可以执行:
获取多帧图像,其中,所述多帧图像是在环境光亮度小于预设亮度阈值的场景下拍摄得到的图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取多帧图像,并从所述多帧图像中选取参考帧图像;
根据所述多帧图像确定当前图像配准条件;
检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
2.根据权利要求1所述的图像处理方法,其特征在于,根据所述多帧图像确定当前图像配准条件,包括:
提取所述参考帧图像的特征点;
统计所述参考帧图像的特征点数量,并将所述参考帧图像的特征点数量确定为当前图像配准条件中的一个条件;
检测所述当前图像配准条件是否满足预设条件,包括:检测所述参考帧图像的特征点数量是否小于预设第一阈值,其中,当所述参考帧图像的特征点数量小于所述预设第一阈值时,确定出所述当前图像配准条件不满足预设条件。
3.根据权利要求2所述的图像处理方法,其特征在于,所述方法还包括:
当所述参考帧图像的特征点数量大于或等于所述预设第一阈值时,对所述多帧图像中的非参考帧图像提取特征点;
根据所述参考帧图像的特征点以及所述非参考帧图像的特征点,确定匹配特征点对,并获取各匹配特征点对的匹配度;
计算所有匹配特征点对的匹配度的第一平均值,并将所述第一平均值确定为当前图像配准条件中的另一个条件;
检测所述当前图像配准条件是否满足预设条件,包括:检测所述第一平均值是否小于预设第二阈值,其中,当所述第一平均值小于所述预设第二阈值时,确定出所述当前图像配准条件不满足预设条件。
4.根据权利要求3所述的图像处理方法,其特征在于,所述方法还包括:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的第二平均值,并将所述第二平均值确定为当前图像配准条件中的又一个条件;
检测所述当前图像配准条件是否满足预设条件,包括:检测所述第二平均值是否小于预设第三阈值,其中,当所述第二平均值小于所述预设第三阈值时,确定出所述当前图像配准条件不满足预设条件。
5.根据权利要求3所述的图像处理方法,其特征在于,所述方法还包括:
当所述第一平均值大于或等于所述预设第二阈值时,从所有匹配特征点对中每次选取预设数量的特征点对计算得到对应的备选单应矩阵,经多次执行所述选取预设数量的特征点对计算得到对应的备选单应矩阵的流程,得到多个备选单应矩阵,其中每一备选单应矩阵均对应一匹配分数,其中所述匹配分数越高表示越多的特征点对满足对应的备选单应矩阵的约束关系;
计算所有备选单应矩阵的匹配分数的方差,并将所述方差确定为当前图像配准条件中的又一个条件;
检测所述当前图像配准条件是否满足预设条件,包括:检测所述方差是否小于预设第四阈值,其中,当所述方差小于所述预设第四阈值时,确定出所述当前图像配准条件不满足预设条件。
6.根据权利要求1所述的图像处理方法,其特征在于,所述获取多帧图像,包括:
获取多帧图像,其中,所述多帧图像是在环境光亮度小于预设亮度阈值的场景下拍摄得到的图像。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取多帧图像,并从所述多帧图像中选取参考帧图像;
确定模块,用于根据所述多帧图像确定当前图像配准条件;
检测模块,用于检测所述当前图像配准条件是否满足预设条件,其中,当所述当前图像配准条件不满足所述预设条件时表示图像配准的准确度不满足要求;
输出模块,用于若所述当前图像配准条件不满足预设条件,则将所述参考帧图像作为输出图像进行输出。
8.根据权利要求7所述的图像处理装置,其特征在于,所述确定模块,用于:提取所述参考帧图像的特征点;统计所述参考帧图像的特征点数量,并将所述参考帧图像的特征点数量确定为当前图像配准条件中的一个条件;
所述检测模块,用于:检测所述参考帧图像的特征点数量是否小于预设第一阈值,其中,当所述参考帧图像的特征点数量小于所述预设第一阈值时,确定出所述当前图像配准条件不满足预设条件。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906593.0A CN110728705B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906593.0A CN110728705B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110728705A true CN110728705A (zh) | 2020-01-24 |
CN110728705B CN110728705B (zh) | 2022-07-15 |
Family
ID=69219347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910906593.0A Active CN110728705B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110728705B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN112598716A (zh) * | 2020-12-01 | 2021-04-02 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及系统 |
CN113409365A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
WO2022267257A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法、装置、设备、介质及程序 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968787A (zh) * | 2012-10-24 | 2013-03-13 | 中国人民解放军国防科学技术大学 | 基于点特征的图像适配性判断方法 |
CN104182963A (zh) * | 2013-09-24 | 2014-12-03 | 上海联影医疗科技有限公司 | 一种图像处理方法及图像处理装置 |
CN104933715A (zh) * | 2015-06-16 | 2015-09-23 | 山东大学(威海) | 一种应用于视网膜眼底图像的配准方法 |
CN105144687A (zh) * | 2013-04-30 | 2015-12-09 | 索尼公司 | 图像处理装置、图像处理方法及程序 |
WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
CN107274443A (zh) * | 2017-06-05 | 2017-10-20 | 河北大学 | 前列腺弥散加权图像序列配准方法 |
-
2019
- 2019-09-24 CN CN201910906593.0A patent/CN110728705B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102968787A (zh) * | 2012-10-24 | 2013-03-13 | 中国人民解放军国防科学技术大学 | 基于点特征的图像适配性判断方法 |
CN105144687A (zh) * | 2013-04-30 | 2015-12-09 | 索尼公司 | 图像处理装置、图像处理方法及程序 |
CN104182963A (zh) * | 2013-09-24 | 2014-12-03 | 上海联影医疗科技有限公司 | 一种图像处理方法及图像处理装置 |
CN104933715A (zh) * | 2015-06-16 | 2015-09-23 | 山东大学(威海) | 一种应用于视网膜眼底图像的配准方法 |
WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
CN107274443A (zh) * | 2017-06-05 | 2017-10-20 | 河北大学 | 前列腺弥散加权图像序列配准方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932593A (zh) * | 2020-07-21 | 2020-11-13 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN111932593B (zh) * | 2020-07-21 | 2024-04-09 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN112598716A (zh) * | 2020-12-01 | 2021-04-02 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及系统 |
CN112598716B (zh) * | 2020-12-01 | 2024-04-05 | 浙江大华技术股份有限公司 | 一种多模态图像的配准方法、装置及系统 |
CN113409365A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
WO2022267257A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法、装置、设备、介质及程序 |
CN113409365B (zh) * | 2021-06-25 | 2023-08-25 | 浙江商汤科技开发有限公司 | 图像处理方法及相关终端、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110728705B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP3480783B1 (en) | Image-processing method, apparatus and device | |
CN110728705B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110519485B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN104349066B (zh) | 一种生成高动态范围图像的方法、装置 | |
CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US10805508B2 (en) | Image processing method, and device | |
CN110766621B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111327824B (zh) | 拍摄参数的选择方法、装置、存储介质及电子设备 | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN110458826B (zh) | 环境亮度检测方法和装置 | |
CN110445986B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108401110B (zh) | 图像的获取方法、装置、存储介质及电子设备 | |
CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110708463B (zh) | 对焦方法、装置、存储介质及电子设备 | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110740266A (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
CN111031256B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |