CN100338631C - 数字成像设备现场全景成像的方法 - Google Patents
数字成像设备现场全景成像的方法 Download PDFInfo
- Publication number
- CN100338631C CN100338631C CNB031465080A CN03146508A CN100338631C CN 100338631 C CN100338631 C CN 100338631C CN B031465080 A CNB031465080 A CN B031465080A CN 03146508 A CN03146508 A CN 03146508A CN 100338631 C CN100338631 C CN 100338631C
- Authority
- CN
- China
- Prior art keywords
- image
- digital imaging
- lap position
- obtains
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003384 imaging method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 19
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 6
- 230000009194 climbing Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种数字成像设备现场全景成像的方法,首先,将数字成像设备当前所获取的动态图像和上一图像利用采用多分辨的方法或爬山法进行匹配;根据上述的匹配结果利用加权平均的方法进行拼接处理,构成全景图像。本发明的主要优点在于弥补了现有数字成像设备不能实时提供一种便捷实用的全景成像功能的缺陷,简化了用户拼接图像的操作,适应了现场成像要求;本发明避免了采用任何额外附加的机械或光学设备,保持了通常的手工拍照习惯;同时,通过采用人机配合方式,主动取景、连续拍摄及智能拼接,形成了一种新颖实用的实时图像处理方法;同时也为用户在数字成像设备上显示拼接的图像提供了方便的手段。
Description
技术领域
本发明涉及一种数字成像方法,特别是指一种利用可移动数字成像设备实时对连续背景图像进行拼接而生成全景图像的方法,以及对基于上述方法进行全景图像显示的方法,属于数字图像处理技术。
背景技术
数字相机、集成有微型摄像装置的手机具有方便小巧,易于携带并可以随时拍照的特点,但物理尺寸的限制使该类拍照设备的成像质量差、视野小,不能满足人们对拍照的期望。
成像质量差、视野受限是一般数字相机和集成有微型摄像装置的手机都面临的问题。针对这类问题,人们从机械、光学及数字技术等多方面做了许多改进。
例如,中国专利ZL 92215421.X设计了一种360°环摄全景照相机,包括照相机机身、镜头、电源控制器及相机底盘。机身中间开有一缝隙式曝光孔的成像面,机身下的底盘内装有微型电机和减速器、减速器出轴与输片胶辊连接和收片轴呈差动啮合,另一出轴上的小齿轮与底盘内齿轮啮合,电源控制器有三挡控制电机变速的调压器。该装置精度高,适合拍摄室内全景;但对于野外宽阔画风景和大型团体照等,却需要添加额外的机械装置和驱动部件,因此,不适于便携使用。
中国专利申请00802545.2(公开号CN 1352754)公开了一种两反射器系统,一个是双曲面反射镜,另一个是凹椭圆或球面反射镜,通过光学原理消除光学象差,用于捕获超广角全景图象。但是,该系统精密而庞大的光学设备同样不适于装设在小巧灵活的便携设备上。
近年来数字技术的应用极大地促进了成像技术的发展,数码成像技术的最大好处是处理准确灵活。一张照片被数字化为成上百万像素的数字集合,进而对该照片的处理,可充分地利用高速大容量的计算机进行像素级的编辑;因此,对多幅照片的拼接组合也就简化为对相应像素集合的重组和排列。具有部分重合的两张照片在计算机中可以先进行内容匹配,定位出重叠位置,然后按内容连续地拼接为一张更大的照片。这样,可以在不更改成像器材的情况下,达到扩展成像视野、提高成像质量的目的。
上述的方法虽然简单经济,但目前都是离线后处理方式:即用户使用数字相机或集成有微型摄像装置的手机连续拍摄多张照片,然后一起输入到计算机后进行排序、匹配和拼接。这样就不可避免地造成了整个处理周期长、操作多;另外,如果在后处理时发现个别照片不合乎要求,这将导致整个拼接处理的失效,用户需要重新拍照并重复上述的操作。因此,如果将该方法直接用于数字相机或集成有微型摄像装置的手机,即使通过计算机的离线处理可以得到高质量的画质,但同时也丧失了这些可移动拍摄的即时、便捷等特点。
中国专利ZL 01230425.5设计了一种用于旋转拍摄的数码照相机,它是在已有的数码相机电路中增加了微电机和旋转装置。微电机在控制电路的控制下,驱动旋转装置使暗箱在底座上作旋转运动。图像信息处理电路每旋转一个角度接收一列数字信号,最后合成一幅完整图像。该设备具有一定的自动化和连续性,但其利用额外的机械装置精确地旋转相机,图像合成是一固定的拼接过程,在实际使用中既不灵活,体积又庞大,不适用于用手机或数字相机这种便携自如拍照的场合;若用手工旋转相机,该方法要求操作者必须机械化地精确旋转,显然,这是不切实际的。
发明内容
本发明的主要目的在于提供一种数字成像设备现场全景成像的方法,弥补拍照手机成像质量不足的缺憾,提供一种便捷实用的手机全景成像方法,简化用户操作,适应现场成像要求。
本发明的另一目的在于提供一种数字成像设备现场全景成像的方法,避免采用任何额外附加的机械或光学设备,保持通常的手工拍照习惯;同时采用人机配合方式,主动取景、连续拍摄及智能拼接,形成一种新颖实用的实时处理方法。
本发明的再一目的在于提供一种便携数字成像设备有效显示现场全景图像的显示方法,在小屏幕上滚动显示大幅面全景照片,兼顾全局内容的完整和局部细节的清晰;内容滚动显示,具有动态效果;图像平稳清晰,优于视频效果。
本发明的目的是这样实现的:
一种数字成像设备现场全景成像的方法,至少包括:
步骤1:将数字成像设备当前所获取的动态图像和上一图像进行匹配;
步骤2:根据步骤1的匹配结果,将上一图像和当前所获取的动态图像进行拼接处理,构成全景图像。
上述的匹配过程可以采用最为基本的遍历(穷举)的方法,也可以通过进一步地优化,得到快速场景匹配方法,加速搜索准确的重叠位置。所述的快速场景匹配方法至少包括如下述的两种流程:
1、采用多分辨的方法:
步骤11B:设定一不小于1的移动步长和一初始重叠位置;
步骤12B:计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围距离为移动步长的8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
步骤13B:在计算获得的各相似性值之中选取最小的相似性值;并将该最小相似性值对应的重叠位置作为新的初始重叠位置;
步骤14B:缩小移动步长;执行步骤12B,直至移动步长不大于1。
2、采用爬山法进行搜索:
步骤11C:根据设定的比值,设定初始重叠位置,并设定移动步长为1;
步骤12C:计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
步骤13C:在计算获得的各相似性值之中选取最小的相似性值;
步骤14C:如果初始重叠位置的相似性值不等于该最小相似性值,则将该最小相似性值对应的重叠位置作为新的初始重叠位置,执行步骤12C;否则,匹配结束。
拼接图像时,具体的处理流程是:
步骤21:将包括重叠区域的上一图像的数据存储在数字成像设备的拼接缓冲区中;
步骤22:分别从上一图像的数据和当前所获取的动态图像的数据中取出其重叠区域的数据;
步骤23:对步骤22中取出的两个重叠区域的数据进行加权平均处理后,将获得的加权平均数据存储在数字成像设备的拼接缓冲区中上一图像的数据的重叠区域中;
步骤24:将当前所获取的动态图像数据中不包含重叠区域的数据存储到拼接缓冲区的重叠区域之后。
上述的加权平均的目的是为了使被拼接的图像在拼接处能够具有较好的过渡效果,因此,可以采用如下的方式来进行加权处理:
如果Pk CD在上一图像内且不在当前所获取的动态图像内,Pk CD=Pk AD;
如果Pk CD在当前所获取的动态图像内且不在上一图像内,Pk CD=Pk BD;
如果Pk CD在上一图像和当前所获取的动态图像的重叠区内,
Pk CD=(Pk AD+Pk BD)/2,或者Pk CD=(1-w/L)Pk AD+w/L×Pk BD;
其中,AD为上一图像在重叠区内的图像块,BD为当前所获取的动态图像在重叠区内的图像块,CD为拼接图像在重叠区内的图像块;并且,AD、BD、CD的矢量形式IAD、IBD和ICD分别表达为:
IAD=[P1 AD,P2 AD,...,PN AD]′
IBD=[P1 BD,P2 BD,...,PN BD]′
ICD=[P1 CD,P2 CD,...,PN CD]′
Pk AD为AD中的第k个像素,Pk BD为BD中的第k个像素,Pk CD为CD中的第k个像素;
w为Pk CD在重叠区内沿拼接方向的水平或垂直距离位置;
L为沿拼接方向的重叠区长度。
需要说明的是:上述的加权方法为线性的,也可以采用非线性的加权方法,这些方法只是具体的算法,可以直接引用,在此不再赘述。
实际的操作过程中,数字成像设备实际上是不断地对拍摄状态进行检测,当用户拍摄当前照片后,才会进行拼接的操作;否则,按照本发明的方法,继续进行实时的匹配操作,计算当前的重叠区与预设的推荐重叠位置的偏离值,以取景提示的信号反馈给用户,等待用户的调整和拍摄操作。当图像拼接的数量达到预定的值或用户按键终止拼接时,终止全景拍摄状态。
当采用上述的方法得到了一个全景图像以后,由于所述的数字成像设备本身的显示装置不可能一次完全显示全部的图像,所以,需要对所述的图像滚动显示,具体的显示方法是:根据用户输入的全景图像显示命令,连续地将要显示的全景图像数据传送到数字成像设备的显示缓冲区中;由所述的数字成像设备的显示处理模块读取并输出到显示界面,形成全景画面的滚动显示效果。
根据上述的技术方案可知:本发明的主要优点在于弥补了现有数字成像设备不能实时提供一种便捷实用的全景成像功能的缺陷,简化了用户拼接图像的操作,适应了现场成像要求;本发明避免了采用任何额外附加的机械或光学设备,保持了通常的手工拍照习惯;同时,通过采用人机配合方式,主动取景、连续拍摄及智能拼接,形成了一种新颖实用的实时图像处理方法。同时也为用户在数字成像设备上显示拼接的图像提供了方便的手段。
附图说明
图1为本发明以具体实施例的流程图;
图2为本发明匹配流程中多分辨搜索的实施例流程图;
图3为本发明匹配流程中爬山法搜索的实施例流程图。
具体实施方式
以下结合具体的实施例对本发明作进一步的详细说明:
本发明首先,将数字成像设备当前所获取的动态图像和上一图像进行匹配;然后,根据的匹配结果,将上一图像和当前所获取的动态图像进行拼接处理,构成全景图像。
其中,前一个步骤的目的是对当前所获取的动态图像和上一图像的场景进行匹配处理,从中找到相似性最大区域;在具体的数字全景生成处理中,对于上述的两幅连续拍摄的照片,需要经过如下的步骤来处理:
步骤1:针对数字成像设备当前所获取的动态图像和上一图像,设定一可能重叠位置,计算该重叠位置下两幅图像的内容相似性测度值;
步骤2:搜索所有候选重叠位置,选择最小的内容相似性测度值,它对应的重叠位置即为两幅图像最准确的内容重叠位置。
参见图1,以下是实现上述方法的具体实例:
首先,针对当前所获取的动态图像和上一图像,设定一初始重叠位置;
其次,计算当前所获取的动态图像和上一图像在该重叠位置下的相似性值;
然后,移动所述的重叠位置,重复上一步骤的计算,直到计算出所有重叠位置下的相似性值;
最后,选择最小相似性值所对应的重叠位置为最终的准确重叠位置。
在上述的步骤中,
当前所获取的动态图像和上一图像在重叠位置下的相似性具体根据如下的公式(1)或公式(2)计算:
其中,AD为上一图像在重叠区内的图像块,BD为当前所获取的动态图像在重叠区内的图像块;并且,AD、BD的矢量形式IAD和IBD分别表达为:
IAD=[P1 AD,P2 AD,...,PN AD]′IBD=[P1 BD,P2 BD,...,PN BD]′
Pk AD为AD中的第k个像素,Pk BD为BD中的第k个像素;
SD为公式(1)重叠区内像素差异绝对值的平均值或公式(2)重叠区内像素的均方差;
N为重叠区内的像素总个数。
应当说明的是:上述步骤中的最小相似性值即为上述公式中的SD,SD的值越小,说明该值所对应的区域的相似性、重合度越大,所以上述最后一步中选择最小相似性值所对应的重叠位置为最终的准确重叠位置。
上述的方法是最为基本的遍历(穷举)的方法,事实上,采用这一方法找出最佳重叠位置,计算量大,费时长,不便于便携设备的实时计算。为此,可以通过进一步地优化,得到如下实施例所描述的快速场景匹配方法,加速搜索准确的重叠位置。
参见图2:
1、多分辨搜索:首先,设定一不小于1的移动步长,例如16,和一初始重叠位置;
其次,计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围距离为移动步长的8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
然后,在计算获得的各相似性值之中选取最小的相似性值;并将该最小相似性值对应的重叠位置作为新的初始重叠位置;
最后,缩小移动步长,例如,取原来移动步长值的一半或1/3;重复执行计算,直至移动步长不大于1。
此时得到的即为最终的准确重叠位置。
采用上述的方法,对于320×240的数字图像,用遍历法需要进行76800个可能重叠位置的相似度测量,用上述多分辨搜索方法(如步长为16的粗分辨遍历及其后步长减半的渐细搜索策略)仅需332次测量,计算量是原先的1/231。
参见图3:
2、爬山法搜索:
事实上,如果约束用户拍摄时留有基本固定尺寸的重叠,上述场景匹配算法没有必要进行全幅面的匹配搜索,而是在设定区内进行局部启发式搜索。具体的方法是:
首先,根据设定的重叠比值,例如1/5图像尺寸,设定初始重叠位置,并设定移动步长为1;
其次,计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
然后,在计算获得的各相似性值之中选取最小的相似性值;
最后,如果初始重叠位置的相似性值不等于该最小相似性值,则将该最小的相似性值对应的位置作为新的初始重叠位置,执行重复计算;否则,匹配结束。
这时得到的重叠位置为最佳匹配位置。
上述爬山法,根据图像内容的复杂度及用户的拍摄误差,一般能在16至240次内找到局部最优解,可以大大地减少计算量。
根据上述的匹配结果,在用户确定拼接的时候,例如:数字相机的用户按下拍照快门实施拍照后,对上述的两个图像进行拼接处理,构成全景图像。
改变两幅图像像素的重新组合和排列关系,就可以达到图像拼接的目的,但是在重叠区内像素的选择对拼接的质量有所影响。
本发明利用重叠区内对应像素的加权平均来提高拼接质量。假设上一图像A和当前所获取的动态图像B在位置D处重叠,AD和BD分别为图像A和B在重叠区内的图像块,对于新拼接的全景图像C,CD为拼接图像在重叠区内的图像块;并且,AD、BD、CD的矢量形式IAD、IBD和ICD分别表达为:
IAD=[P1 AD,P2 AD,...,PN AD]′
IBD=[P1 BD,P2 BD,...,PN BD]′
ICD=[P1 CD,P2 CD,...,PN CD]′
其中,Pk CD=w1×Pk AD+w1×Pk BD,且w1和w2为加权系数,其和为1;
Pk AD为AD中的第k个像素,Pk BD为BD中的第k个像素,Pk CD为CD中的第k个像素。
具体的拼接步骤是:
步骤21:将包括重叠区域的上一图像A的数据存储在数字成像设备的拼接缓冲区C中;
步骤22:分别从上一图像A的数据和当前所获取的动态图像B的数据中取出其重叠区域的数据AD、BD;
步骤23:对步骤22中取出的两个重叠区域AD、BD的数据采用平均法或线性加权平均法处理后,将获得的加权平均数据存储在数字成像设备的拼接缓冲区C中上一图像A的数据的重叠区域AD中;
步骤24:将当前所获取的动态图像B数据中不包含重叠区域的数据存储到拼接缓冲区C的重叠区域CD之后。
当采用平均加权方法时,按照如下的规则获得重叠区内的数据Pk CD:
如果Pk CD在上一图像内且不在当前所获取的动态图像内,Pk CD=Pk AD;
如果Pk CD在当前所获取的动态图像内且不在上一图像内,Pk CD=Pk BD;
如果Pk CD在上一图像和当前所获取的动态图像的重叠区内,则Pk CD=(Pk AD+Pk BD)/2。
采用平均法,同时使用了重叠区内两原始图像的信息,因此避免了由于图像内容不完全一致而造成的边界明显突变,使得拼接后的图像的重叠区域能自然和非重叠区域平滑过渡。
当采用线性加权平均法时,按照如下的规则获得重叠区内的数据Pk CD:
如果Pk CD在上一图像内且不在当前所获取的动态图像内,Pk CD=Pk AD;
如果Pk CD在当前所获取的动态图像内且不在上一图像内,Pk CD=Pk BD;
如果Pk CD在上一图像和当前所获取的动态图像的重叠区内,则Pk CD=(1-w/L)Pk AD+w/L×Pk BD。
采用线性加权平均法,可以使拼接重叠区内的内容逐渐平滑地从图像A过渡到图像B,能更加有效地改善最终的拼接质量。
在上述的拼接过程中,除了采用上述线性加权的方法外,还可以采用非线性加权的方法来改善或提高拼接图像在重叠区域中的画面质量,具体的加权算法在此不一一枚举。
具体在数字成像设备,例如:数字相机、具有摄像功能的手机等,进行现场全景成像的时候,在上述的匹配过程完成后,所述的数字成像设备还要对拍摄状态进行检测,当检测到用户拍摄当前照片后,即用户按下快门后,则进行拼接操作;否则所述的数字成像设备在等待用户的拍摄操作同时,还将继续进行上述的实时匹配,计算当前的重叠区与系统预设的推荐重叠位置的偏离值,以取景提示的信号反馈给用户,等待用户的调整和拍摄操作。当图像拼接的数量达到系统预定值或用户按键终止拼接时,终止全景拍摄状态。
上述实时匹配的结果现场反馈给用户,可有效地指导用户取景,保证拼接质量,例如,系统设定为自左向右拼接,为保证拼接效率和匹配质量,系统推荐1/5图像尺寸为最佳重叠位置。当用户拍完前一张照片后,稍微向右旋转相机一个角度,系统实时地捕获当前的新场景与上一张照片匹配,如果通过计算得到的重叠位置为1/2,系统则提示用户继续向右旋转;如果计算得到的重叠位置为1/8,系统则提示用户向左旋转。同理,对于自左向右水平拼接的模式,用户若上下偏离过多,系统计算出上下偏差,并以上下越界信号给用户发出提示。
由于上述的数字成像设备一般为便携式的产品,该类产品用于显示的屏幕尺寸有限,因此其显示界面无法完整显示拼接后的全景图像,为此需要通过如下的处理使全景图像能够在所述的数字成像设备上显示:首先,接收用户输入的全景图像显示命令(该命令可以通过按动设置在数字成像设备上相应的按键实现),然后,将要显示的全景图像数据传送到数字成像设备的显示缓冲区中;具体的命令分析和处理步骤包括:
分析用户输入的显示命令;如果所述的显示命令不是图像移动命令,不做显示全景图像移动显示的操作;否则,根据移动命令中的移动方向参数,并以当前显示内容为基准,进一步分析被显示的图像是否已经到达相应的边界;如果是,则由所述的数字成像设备的显示处理模块读取并输出到显示界面;如果不是,则以当前显示内容为基准,根据移动方向参数,从全景图像数据中不断地取出新的显示内容,并将该显示内容输出到显示缓冲区中;由所述的数字成像设备的显示处理模块读取并输出到显示界面,最终形成全景图像的滚动显示。为进一步增加控制的灵活性,系统实时监视用户按方向键的持续时间,持续时间越长,沿该方向滚动的速度越快。
综上所述,本发明的功能就是利用模式识别和数字处理技术有效便捷地提高数字拍照设备的成像视野和拍摄效果,可广泛用于拍照手机、数码相机及其他便携的数码摄影设备。本发明针对数字拍照设备要求实时便捷的特点,拍摄一张,实时拼接一张,省略了现有技术中排序、传输等过程,拍摄完毕,全景图像当场就能生成;本发明使用智能识别技术,利用微处理器准确计算出相邻两张照片的重叠位置,进而实现了内容连续的无缝拼接;传统的图像拼接方法均为后处理方式,针对已经拍好的一组照片进行拼接,若存在无效照片,整个拼接就会失败,故拼接质量无法保证。本发明在用户的拍摄过程中实时地进行图像匹配,根据前一张照片指引用户合理取景,通常指示用户在取景时保存有整幅图像1/5的重叠区域,这样可以确保在保留足够的图像拼接信息的同时,减少了设备计算的工作量,使得匹配能快速进行,保证了匹配的实时性和有效性,最终的图像拼接质量也得到了很好的保证。
最后应说明的是:以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案;因此,尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明,但是,本领域的普通技术人员应当理解,仍然可以对本发明进行修改或者等同替换;而一切不脱离本发明的精神和范围的技术方案及其改进,其均应涵盖在本发明的权利要求范围当中。
Claims (11)
1、一种数字成像设备现场全景成像的方法,其特征在于:该方法至少包括如下的步骤:
步骤1:将数字成像设备当前所获取的动态图像和上一图像进行匹配;
步骤2:根据步骤1的匹配结果,将上一图像和当前所获取的动态图像进行拼接处理,构成全景图像。
2、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:所述步骤1具体包括:
步骤11A:针对当前所获取的动态图像和上一图像,设定一初始重叠位置;
步骤12A:计算当前所获取的动态图像和上一图像在该重叠位置下的相似性值;
步骤13A:移动所述的重叠位置,执行步骤12A,直到计算出所有重叠位置下的相似性值;
步骤14A:选择最小相似性值所对应的重叠位置为最终的准确重叠位置。
3、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:所述步骤1具体包括:
步骤11B:设定一不小于1的移动步长和一初始重叠位置;
步骤12B:计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围距离为移动步长的8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
步骤13B:在计算获得的各相似性值之中选取最小的相似性值;并将该最小相似性值对应的重叠位置作为新的初始重叠位置;
步骤14B:缩小移动步长;执行步骤12B,直至移动步长不大于1结束匹配。
4、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:所述步骤1具体包括:
步骤11C:根据设定的比值,设定初始重叠位置,并设定移动步长为1;
步骤12C:计算当前所获取的动态图像和上一图像在该重叠位置的相似性值;将该重叠位置周围8个邻域为候选重叠位置,并计算各候选重叠位置的相似性值;
步骤13C:在计算获得的各相似性值之中选取最小的相似性值;
步骤14C:如果初始重叠位置的相似性值不等于该最小相似性值,则将该最小相似性值对应的重叠位置作为新的初始重叠位置,执行步骤12C;否则,匹配结束。
5、根据权利要求2或3或4所述的数字成像设备现场全景成像的方法,其特征在于:当前所获取的动态图像和上一图像在重叠位置下的相似性具体根据如下的公式(1)或公式(2)计算:
其中,AD为上一图像在重叠区内的图像块,BD为当前所获取的动态图像在重叠区内的图像块;并且,AD、BD的矢量形式IAD和IBD分别表达为:
IAD=[P1 AD,P2 AD,...,PN AD]′ IBD=[P1 BD,P2 BD,...,PN BD]′
Pk AD为AD中的第k个像素,Pk BD为BD中的第k个像素;
SD为公式(1)重叠区内像素差异绝对值的平均值或公式(2)重叠区内像素的均方差;
N为重叠区内的像素总个数。
6、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:所述的步骤2具体包括:
步骤21:将包括重叠区域的上一图像的数据存储在数字成像设备的拼接缓冲区中;
步骤22:分别从上一图像的数据和当前所获取的动态图像的数据中取出其重叠区域的数据;
步骤23:对步骤22中取出的两个重叠区域的数据进行加权平均处理后,将获得的加权平均数据存储在数字成像设备的拼接缓冲区中上一图像的数据的重叠区域中;
步骤24:将当前所获取的动态图像数据中不包含重叠区域的数据存储到拼接缓冲区的重叠区域之后。
7、根据权利要求6所述的数字成像设备现场全景成像的方法,其特征在于:所述的加权平均处理遵守如下的规则:
如果Pk CD在上一图像内且不在当前所获取的动态图像内,Pk CD=Pk AD;
如果Pk CD在当前所获取的动态图像内且不在上一图像内,Pk CD=Pk BD;
如果Pk CD在上一图像和当前所获取的动态图像的重叠区内,
Pk CD=(Pk AD+Pk BD)/2,或者Pk CD=(1-w/L)Pk AD+w/L×Pk BD;
其中,AD为上一图像在重叠区内的图像块,BD为当前所获取的动态图像在重叠区内的图像块,CD为拼接图像在重叠区内的图像块;并且,AD、BD、CD的矢量形式IAD、IBD和ICD分别表达为:
IAD=[P1 AD,P2 AD,...,PN AD]′
IBD=[P1 BD,P2 BD,...,PN BD]′
ICD=[P1 CD,P2 CD,...,PN CD]′
Pk AD为AD中的第k个像素,Pk BD为BD中的第k个像素,Pk CD为CD中的第k个像素;
w为Pk CD在重叠区内沿拼接方向的水平或垂直距离位置;
L为沿拼接方向的重叠区长度。
8、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:在步骤2之前还进一步包括:
步骤1A:对拍摄状态进行检测的步骤,当用户拍摄当前照片后,则执行步骤2;否则继续等待用户的拍摄操作。
9、根据权利要求8所述的数字成像设备现场全景成像的方法,其特征在于:在步骤1A之后,步骤2之前还进一步包括:
步骤1B:分析步骤1的匹配结果,如果当前的重叠区偏离预设的推荐重叠位置,所述的数字成像设备计算出当前的重叠区与推荐重叠区的偏差,并以取景提示的信号反馈给用户。
10、根据权利要求1所述的数字成像设备现场全景成像的方法,其特征在于:该方法进一步包括:
步骤3:根据用户输入的全景图像显示命令,将要显示的全景图像数据传送到数字成像设备的显示缓冲区中;
步骤4:由所述的数字成像设备的显示处理模块读取并输出到显示界面。
11、根据权利要求10所述的数字成像设备现场全景成像的方法,其特征在于:所述的步骤3具体包括:
步骤31:分析用户输入的显示命令;
步骤32:如果所述的显示命令不是图像移动命令,则不做全景图像移动显示的操作;
步骤33:否则,根据移动命令中的移动方向参数,并以当前显示内容为基准,进一步分析被显示的图像是否已经到达相应的边界;是则执行步骤4;
步骤34:以当前显示内容为基准,根据移动方向参数,从全景图像数据中取出新的显示内容,并将该显示内容输出到显示缓冲区中;执行步骤4。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031465080A CN100338631C (zh) | 2003-07-03 | 2003-07-03 | 数字成像设备现场全景成像的方法 |
PCT/CN2004/000754 WO2005003857A1 (en) | 2003-07-03 | 2004-07-05 | A method of digital imaging device’s scene panoramic imagery and display method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031465080A CN100338631C (zh) | 2003-07-03 | 2003-07-03 | 数字成像设备现场全景成像的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1567376A CN1567376A (zh) | 2005-01-19 |
CN100338631C true CN100338631C (zh) | 2007-09-19 |
Family
ID=33557739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB031465080A Expired - Fee Related CN100338631C (zh) | 2003-07-03 | 2003-07-03 | 数字成像设备现场全景成像的方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN100338631C (zh) |
WO (1) | WO2005003857A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101254120B (zh) * | 2008-03-17 | 2010-09-08 | 北京好望角图像技术有限公司 | 实时超声宽视野成像方法 |
CN102596035A (zh) * | 2009-10-09 | 2012-07-18 | 株式会社日立医疗器械 | 医用图像处理装置、x线拍摄装置、医用图像处理程序、及医用图像处理方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4356689B2 (ja) * | 2005-12-08 | 2009-11-04 | ソニー株式会社 | カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム |
KR100790887B1 (ko) * | 2006-09-22 | 2008-01-02 | 삼성전자주식회사 | 영상 처리장치 및 방법 |
KR100866230B1 (ko) * | 2007-04-12 | 2008-10-30 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
CN101388961B (zh) * | 2007-09-14 | 2013-05-08 | 台湾新力国际股份有限公司 | 多镜头相机系统的先进的动态接图方法 |
CN101600095B (zh) * | 2009-07-02 | 2012-12-19 | 谢佳亮 | 一种视频监控方法及视频监控系统 |
CN102074001B (zh) * | 2010-11-25 | 2012-12-05 | 上海合合信息科技发展有限公司 | 一种文本图像的拼接方法及系统 |
DE112011105747T5 (de) | 2011-10-19 | 2014-09-25 | Hewlett-Packard Development Company, L.P. | Material mit Signaldurchlass- und Signalsperrlitzen |
CN102881006A (zh) * | 2012-08-03 | 2013-01-16 | 吉林禹硕动漫游戏科技股份有限公司 | 多投影显示系统中的图像拼接与融合方法 |
CN104732485B (zh) * | 2015-04-21 | 2017-10-27 | 深圳市深图医学影像设备有限公司 | 一种数字化x线图像的拼接方法及系统 |
CN106547505B (zh) * | 2015-09-22 | 2021-02-05 | 同方威视技术股份有限公司 | 用于实时滑动显示扫描图像的方法及系统 |
CN107305682B (zh) * | 2016-04-22 | 2020-12-15 | 富士通株式会社 | 用于对图像进行拼接的方法和装置 |
CN106339981A (zh) * | 2016-08-25 | 2017-01-18 | 安徽协创物联网技术有限公司 | 一种全景拼接方法 |
CN107424140A (zh) * | 2017-03-02 | 2017-12-01 | 平顶山天安煤业股份有限公司 | 一种基于全景遥视成像和钻孔轨迹测量控制系统 |
CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
CN112097744B (zh) * | 2020-09-16 | 2022-08-30 | 上海遥程信息科技有限公司 | 一种竖立面的图像扫描方法、装置、设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164563A (ja) * | 1996-11-28 | 1998-06-19 | Canon Inc | 情報処理装置及び方法及び記憶媒体及び通信システム |
US6466262B1 (en) * | 1997-06-11 | 2002-10-15 | Hitachi, Ltd. | Digital wide camera |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
US5982951A (en) * | 1996-05-28 | 1999-11-09 | Canon Kabushiki Kaisha | Apparatus and method for combining a plurality of images |
CN1074223C (zh) * | 1996-08-26 | 2001-10-31 | 孙海翔 | 一种分幅图象拼接方法 |
TW461800B (en) * | 1999-12-03 | 2001-11-01 | Shimano Kk | Spinning reel spool |
US6978051B2 (en) * | 2000-03-06 | 2005-12-20 | Sony Corporation | System and method for capturing adjacent images by utilizing a panorama mode |
-
2003
- 2003-07-03 CN CNB031465080A patent/CN100338631C/zh not_active Expired - Fee Related
-
2004
- 2004-07-05 WO PCT/CN2004/000754 patent/WO2005003857A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164563A (ja) * | 1996-11-28 | 1998-06-19 | Canon Inc | 情報処理装置及び方法及び記憶媒体及び通信システム |
US6466262B1 (en) * | 1997-06-11 | 2002-10-15 | Hitachi, Ltd. | Digital wide camera |
Non-Patent Citations (3)
Title |
---|
全景图像生成算法的研究与实现 张辉等,计算机工程,第28卷第6期 2003 * |
分块扫描图像的计算机拼接技术 谷伟等,青岛大学学报,第14卷第2期 1999 * |
边缘重叠图像拼接中的特征块选取 王玉珍,西北师范大学学报,第38卷第1期 2002 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101254120B (zh) * | 2008-03-17 | 2010-09-08 | 北京好望角图像技术有限公司 | 实时超声宽视野成像方法 |
CN102596035A (zh) * | 2009-10-09 | 2012-07-18 | 株式会社日立医疗器械 | 医用图像处理装置、x线拍摄装置、医用图像处理程序、及医用图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1567376A (zh) | 2005-01-19 |
WO2005003857A1 (en) | 2005-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100338631C (zh) | 数字成像设备现场全景成像的方法 | |
US9001255B2 (en) | Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs | |
US9679394B2 (en) | Composition determination device, composition determination method, and program | |
US20210250521A1 (en) | Terminal having camera and method of processing images at different focal lengths by single image capture request | |
CN105894451B (zh) | 全景图像拼接方法和装置 | |
CN1278279C (zh) | 全向视觉系统和图像处理方法 | |
EP2849148B1 (en) | Three-dimensional printing system and method for three-dimensional printing | |
CN101082766A (zh) | 一种快速采集全景图像的设备和方法 | |
CN101046623A (zh) | 拍摄全景照片的设备和方法 | |
US20130162628A1 (en) | System, method and apparatus for rapid film pre-visualization | |
CN107529011A (zh) | 一种电动变焦镜头控制系统及方法 | |
CN1849623A (zh) | 图像组合系统、图像组合方法和程序 | |
CN101494737A (zh) | 一种一体化摄像机装置及自适应自动聚焦方法 | |
CN104902190A (zh) | 控制方法、摄像装置及电子设备 | |
CN1698379A (zh) | 使用全景图像的监视装置与监视方法 | |
CN1845002A (zh) | 投影机用失真修正处理 | |
CN101448142A (zh) | 影像追踪装置及其影像追踪方法 | |
CN103852243A (zh) | 检测广角镜头的光学中心的方法以及光学中心检测装置 | |
US20170111574A1 (en) | Imaging apparatus and imaging method | |
JP2016506648A (ja) | パノラマ画像のための環状ビュー | |
TW201941103A (zh) | 拍攝方法、裝置和智慧型裝置 | |
CN1933554A (zh) | 一种用于手持数码摄像设备的防抖方法及装置 | |
JP5874626B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
US9648242B2 (en) | Display control apparatus, display control method, program, and image pickup apparatus for assisting a user | |
CN105959534B (zh) | 图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070919 Termination date: 20180703 |