CN1849623A - 图像组合系统、图像组合方法和程序 - Google Patents

Abstract

数据处理单元计算与每一个局部图像相对应的图像转换参数，以当前的局部图像为基础，根据计算的图像转换参数，几何地转换拍摄的局部图像，并且组合它们，以产生镶嵌图像。此外，显示设备显示每一个当前的局部图像以及至少一部分所产生的镶嵌图像。

Description

图像组合系统、图像组合方法和程序

技术领域

本发明涉及一种图像组合系统、一种图像组合方法和一种图像组合程序，用于将对象划分为多个局部图像、拍摄划分的局部图像、以及组合这些局部图像以产生具有更宽视角和更高清晰度的图像。

背景技术

通常，图像组合方法被公知为：将对象划分为拍摄的多个局部图像，以及利用各个局部图像之间的位置关系的估计，将局部图像互相组合，以产生具有更宽视角和更高清晰度的所谓镶嵌图像。

例如，非专利文献1(Naoki Chiba，Hiroshi Kayano，MitihikoMino，Shouji Yasuda，“Image Mosaicking Based on Image Features”(根据图像属性的图像镶嵌)，Transaction of The Institute ofElectronics，Information and Communication Engineers D-II，Vol.J82-D-II，No.10，pp.1581-1589)公开了一种通过根据图像分析所产生的局部图像中的运动矢量来估计各个局部图像之间的位置关系而产生镶嵌图像的方法。具体地，从在最接近时刻所拍摄的两个局部图像中找到亮度值分布类似的位置(相应点)，并且计算用于进行几何转换(移动、旋转、放大/缩小)的图像转换参数，以便所有局部图像互相交迭。然后，以一个局部图像为基础，使用计算的图像转换参数来几何地转换另一个局部图像，以产生镶嵌图像。

下面假设对象是平面的模型因为它的简单性而经常被用于图像转换参数。

[方程1]

$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)=\left(\begin{array}{c}\mathrm{abc}\\ \mathrm{def}\\ \mathrm{gh}1\end{array}\right)\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$

其中，(u1，v1，1)、(u2，v2，1)是各个相应点的齐次坐标(homogeneouscoordinate)，a、b、c、d、e、f、g、h是图像转换参数，并且t是任意常数。

此外，为了进一步简化模型，可以将限制条件应用于图像转换参数，例如g＝h＝0、a＝e＝cosθ、b＝d＝sinθ等。

在上述非专利文献1中说明的方法中，必须移动照相机，使得在两个局部图像之间存在交迭。否则，在局部图像之间将不存在相应点，导致计算图像转换参数失败。此外，如果当拍摄局部图像时没有拍摄对象的一部分，则镶嵌图像缺少该局部图像，因此用户必须详尽地拍摄对象。

专利文献1(日本专利No.2744265(5至7页，以及图3))说明了图像组合系统的示例，用于显示屏幕以指导具有照相机的用户进行拍摄，从而可以满足上述条件。在图1中示出了在专利文献1中说明的传统图像组合系统的配置。

在图1中，101表示照相机主体；102表示快门钮；103表示显示设备，104和105表示用于指示照相机是否在左手方向或右手方向上摇动镜头的开关；以及106表示用于将对象聚焦于底片或成像设备的镜头。

图2示出了由图1所示的图像组合系统的显示设备103所示出的典型显示。

例如，当通过开关105输入右手方向、因而照相机在右手方向上摇动镜头时，在显示图像203的左端区域显示已经拍摄的局部图像201的右侧区域。此外，当前由照相机捕获的局部图像204的左侧区域205作为运动图像被组合到显示图像203的剩下的右侧屏幕中，并且显示产生的图像。

用户参考显示设备103的显示图像203，与成像面平行地移动(摇动镜头)照相机主体101，使先前拍摄的局部图像201的右侧区域202与当前由照相机捕获的局部图像204的左侧区域205在之间的边界处不会断开，并且按下快门钮102以拍摄局部图像。按照这种方式，通过使照相机向尚未拍摄的对象位置移动、同时在先前拍摄的局部图像和当前由照相机捕获的局部图像之间包含交迭区域、并依次拍摄局部图像，来产生镶嵌图像。

然而，在上述专利文献1中所述的传统图像组合系统中，例如，如果图像组合系统被制造用于拍摄在垂直和水平方向都宽广的对象，根据专利文献1的技术，照相机主体必须在垂直方向和水平方向中移动。因为必须预先由开关指定照相机移动的方向，从而出现这种操作非常复杂的问题。因此，在专利文献1中所述的图像组合系统是一种不适用于拍摄在垂直和水平方向都宽广的对象的配置。

此外，在专利文献1所述的图像组合系统中，必须与成像面平行地移动照相机主体，并且必须调整移动量，使先前拍摄的局部图像与当前由照相机捕获的局部图像在之间的边界处不会断开。因此，需要用户执行精细操作，导致用户体验到相当困难的拍摄的问题。

发明内容

因此，本发明的目的是提供一种图像组合系统和方法，能够通过简单的操作产生镶嵌图像，而不需要用户进行复杂和精细的操作，例如开关的操作、照相机的平行移动、局部图像之间的对准等。

为了实现上述目的，在本发明中，数据处理单元计算与每一个局部图像相对应的图像转换参数，基于计算的图像转换参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，并且组合它们，以产生镶嵌图像。此外，显示设备显示每一个当前的局部图像以及至少一部分产生的镶嵌图像。

在这种配置中，不需要用户预先利用开关来指定照相机移动的方向、或者与成像面平行地移动照相机、或者调整照相机的镜头摇动以避免在当前的局部图像和拍摄的局部图像之间的边界处图像断开，这是传统图像组合系统中所需的。因此，即使对于在垂直和水平方向都宽广的对象，通过简单的操作，可以产生镶嵌图像，而不需要用户进行复杂的操作或者对准。

此外，在本发明中，优化每一个图像转换参数，以便在所有的局部图像中保持几何转换和组合的一致性。因此，在分离时间拍摄的局部图像之间消除了组合中的移位，从而实现了具有较少失真的镶嵌图像。此外，通过对每一个局部图像应用超分辨率处理，可以以更高分辨率产生镶嵌图像。

本发明采用图像作为显示图像，所述图像具有：位于显示设备的整个屏幕上的当前局部图像，以及以缩减比例显示在一部分屏幕上的从包括当前局部图像的拍摄局部图像中产生的镶嵌图像；或者所述图像具有：位于显示设备的屏幕中心的当前局部图像，以及包含在以当前局部图像为中心的周围预定范围内的拍摄局部图像，组合它们用于显示；或者所述图像具有：位于显示设备的整个屏幕上的当前局部图像，以及显示并加亮的与拍摄局部图像相交迭的部分。

结果，因为在显示设备上不仅显示了当前局部图像而且至少显示了一部分镶嵌图像，用户可以容易地确认没有拍摄的对象的区域，并且可以容易地确定接下来照相机应该移动的方向。因此，即使拍摄在垂直和水平方向上都宽广的对象，用户也不会遗忘拍摄对象的一部分。

附图说明

图1是示出了传统图像组合系统的配置的侧面视图。

图2是示出了图1所示的图像组合系统所显示的典型显示的示意图。

图3是示出了本发明图像组合系统的第一实施例的配置的方框图。

图4是示出了图3所示的图像组合系统的处理过程的流程图。

图5是示出了本发明图像组合系统所显示的图像的第一示例的示意图。

图6是示出了本发明图像组合系统所显示的图像的第二示例的示意图。

图7是示出了本发明图像组合系统所显示的图像的第三示例的示意图。

图8是示出了本发明的图像组合系统的第二实施例的配置的方框图。

图9是示出了图8所示的图像组合系统的处理过程的流程图。

图10是示出了本发明的图像组合系统的第三实施例的配置的方框图。

图11是示出了本发明的图像组合系统的第四实施例的配置的方框图。

图12是示出了本发明的图像组合系统的实施方式的配置的方框图。

具体实施方式

接下来，参考附图来说明本发明。

(第一实施例)

如图3所示，第一实施例的图像组合系统包括：成像设备310，例如照相机、摄像机等；数据处理单元300，用于组合局部图像以产生镶嵌图像；以及显示设备320，例如液晶面板、Braun管等，用于显示数据处理单元300的处理结果。由包括计算功能和存储器的LSI(大规模集成电路)、逻辑电路等来实现数据处理单元300。

第一实施例的数据处理单元300包括：转换参数估计单元301、存储单元302、图像组合数据检索单元303、图像组合单元304以及控制单元305。

转换参数估计单元301估计用于组合成像设备310所拍摄的局部图像中先前拍摄的(在先)局部图像与当前正在拍摄的局部图像所需的几何转换，并且计算其图像转换参数。分别将所有拍摄的局部图像和转换参数估计单元301所计算的图像转换参数存储在存储单元302中。

图像组合数据检索单元303根据显示设备320的分辨率或用户所指定的显示方法(屏幕布局)，选择产生显示图像所需的局部图像，并且从存储单元302中检索选定的局部图像和与其相对应的图像转换参数。

图像组合单元304使用图像组合数据检索单元303所检索的局部图像和图像参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，并且将其组合以产生镶嵌图像。此外，图像组合单元304产生图像数据，用于根据用户所指定的显示方法(屏幕布局)在显示设备320上显示图像，该图像包含当前的局部图像和至少一部分组合的镶嵌图像。

控制单元305分别控制转换参数估计单元301、存储单元302、图像组合数据检索单元303以及图像组合单元304的处理。

接下来，将参考图3，使用图4的流程图，来说明第一实施例的图像组合系统的处理过程。

假设在下面用户移动成像设备310，每一次按下快门钮时或者以预先设置的恒定时间间隔来拍摄对象，并且依次将拍摄的局部图像从成像设备310提供给数据处理单元300。

如图4所示，当由成像设备310所拍摄的对象的一个局部图像被数据处理单元300捕获时(步骤S401)，控制单元305首先访问存储单元302，以搜索是否存在包含与刚刚拍摄的对象相同对象的局部图像(步骤S402)。如果存在拍摄的局部图像，控制单元305使用转换参数估计单元301，估计将当前局部图像与刚刚拍摄的局部图像进行组合所需的几何转换，并且计算几何转换所需的图像转换参数(步骤S403)。然后，控制单元305将当前的局部图像与计算的图像转换参数彼此相关联地存储在存储单元302中(步骤S404)。例如，作为一种计算图像转换参数的方法，可以使用在上述非专利文献1中公开的方法。

可选地，可以将照相机的外部参数用作图像转换参数。在这种情况下，首先，假设照相机实质上与对象相对、并且对象是距离照相机一定距离的平面，在起始帧中，在图像上检测特征点，并且针对每一个特征点确定三维坐标。

在随后的帧中，例如使用在Tomokazu Sato，Masayuki Kanbara，Naokazu Yokoya，&Haruo Takemura，“Three-Dimensional Modelingof Outdoor Environment from Moving Image UtilizingMulti-Baseline Stereo Method”(使用多基线立体方法从运动图像中建立室外环境的三维模型)，Technical Report，PRMU2001-233，2002年2月中公开的方法，来计算照相机的外部参数。这种方法通过在当前捕获的局部图像和之前捕获的局部图像之间跟踪预定特征点，来估计照相机的外部参数。

如果在步骤S402在搜索处理中不存在拍摄的局部图像，流程前进到步骤S408的处理，返回到步骤S401的处理，在步骤S401捕获下一个拍摄图像。

随后，控制单元305使用图像组合数据检索单元303，选择用于组合成镶嵌图像所需的多个局部图像，从存储单元302中分别检索选定的局部图像和与其相对应的转换参数(步骤405)，并且将他它们传送到图像组合单元304。

图像组合单元304使用图像组合数据检索单元303所检索的局部图像和图像转换参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，并且组合它们以产生镶嵌图像(步骤406)。图像组合单元304还将用于显示图像的图像数据发送到显示设备320，所述图像包括当前的局部图像和至少一部分产生的镶嵌图像(步骤S407)。当产生用于显示图像的图像数据时，分别针对位于相同坐标的每一个象素，计算平均值或中值，并且可以将这些值用作显示设备320的象素值。

考虑显示在显示设备320上的图像例如是这样一种布局：当前的局部图像901位于显示屏幕900的整体之上，并且作为所拍摄的局部图像的组合的镶嵌图像902覆盖显示屏幕900的一部分，例如以缩减比例处于右下区域，如图5所示。

在这种情况下，为了向用户指示出当前的局部图像901位于何处，可以在镶嵌图像中对当前的局部图像903的外接矩形加亮。例如通过设置特定象素值(黑色等)，可以识别在镶嵌图像902中不具有局部图像的未拍摄区域904。此外，当当前的局部图像903位于镶嵌图像902之外时，可以滚动并显示整个镶嵌图像，以使局部图像903适合镶嵌图像902，或者可以以更缩减的比例显示镶嵌图像902。

此外，考虑显示在显示设备320上的图像的第二示例是这样一种布局：当前局部图像一直位于屏幕中心，并且所拍摄的局部图像处于中心附近预定范围内，它们以组合形式显示，如图6所示。

在这种情况下，数据处理单元300首先将在时间n输入的第一局部图像1001放置在此时的屏幕1000的中心(图6(a))。

接下来，数据处理单元300将在时间n+1输入的第二局部图像1011放置在此时的屏幕1010的中心，以第二局部图像1011为基础，几何地转换在时间n输入的第一局部图像1001，并且以组合形式布置转换后的局部图像1012(图6(b))。

类似地，数据处理单元300将在时间n+2输入的第三局部图像1021放置在此时的屏幕1020的中心，以第三局部图像1021为基础，几何地转换在n+1输入的第二局部图像1011，并且组合地布置转换后的局部图像1022。此外，数据处理单元300以第三局部图像1021为基础，几何地转换在时间n输入的第一局部图像1001(或者局部图像1012)，并且组合地布置转换后的局部图像1023(图6(c))。

在屏幕上，每一次可以加亮局部图像1001、1011、1021的外接矩形，以向用户指示出当前的局部图像。此外，通过将其设置为特定象素值(黑色等)，可以识别出现在每一个屏幕上的不具有局部图像的未拍摄区域1002。

此外，考虑显示在显示设备320上的图像的第三示例是这样一种布局：当前的局部图像位于整个屏幕之上，并且将与所拍摄的局部图像相交迭的区域加亮，如图7所示。

在这种情况下，数据处理单元300首先将在时间n输入的第一局部图像1101放置在此时的整个屏幕1100之上(图7(a))。

接下来，数据处理单元300将在时间n+1输入的第二局部图像1111放置在此时的屏幕1110之上。此外，数据处理单元300根据图像转换参数检测在时间n输入的第一局部图像1101与第二局部图像1111的交迭区域1112，并且产生具有加亮的交迭区域1112的图像(图7(b))。加亮交迭区域1112的方法包括例如改变交迭区域1112的亮度的方法、在交迭区域1112中混合特定颜色的方法等。

同样地，数据处理单元300将在时间n+2输入的第三局部图像1121放置在此时的整个屏幕1120之上。此外，数据处理单元300根据图像转换参数检测在时间n+1输入的第二局部图像1111和第三局部图像1121的交迭区域1122，并且产生具有加亮的交迭区域1122的图像。此外，数据处理单元300根据图像转换参数，计算在时间n输入的第一局部图像1101与第三局部图像1121相交迭的区域，并且产生具有加亮的交迭区域的图像(图7(c))。在此，例如，通过执行例如根据其中局部图像的数目而用更深的颜色来混合的处理，可以加亮多个局部图像相交迭的区域，例如交迭区域1123。

在图7所示的第三典型显示图像中，可以在屏幕的一部分中以缩减比例显示不仅具有当前的局部图像而且具有处于中心周围预定区域内并且组合到其中的局部图像的镶嵌图像，如图5所示的显示图像。

可以由用户使用开关等预先设置应该在显示设备320上显示图5-7所示的多个典型显示图像的哪一个，或者在拍摄中可以切换。

当从图像组合单元304将图像数据发送到显示设备320时，控制单元305确定对于组合到镶嵌图像所需的所有局部图像的处理是否已经结束(步骤S408)，并且如果处理还未结束，返回到步骤S401的处理，以捕获下一个局部图像，并且重复从步骤S401到步骤S408的上述处理。相反地，如果对于所有所需的局部图像的处理已经结束，终止镶嵌图像组合处理。

接下来，给出本发明的图像组合系统的第一实施例的效果的说明。

在第一实施例的图像组合系统中，用户不需要在局部图像之间进行对准，而是数据处理单元300根据转换参数估计单元301所计算的图像转换参数，几何地转换用于组合的局部图像，因此使得可以通过简单的操作来产生镶嵌图像，而不需要用户来进行复杂的切换操作、照相机的平行移动、局部图像之间的对准等。

此外，通过显示图5-7所示的图像，组合地显示当前的局部图像以及拍摄的局部图像，从而用户可以容易地确认对象的未拍摄区域，并且可以容易地确定照相机应该移动的方向。按照这种方式，即使拍摄在垂直和水平方向上都宽广的对象，用户也不会遗忘拍摄对象的一部分。

此外，因为根据显示设备320的分辨率或用户指定的显示图像，从存储单元302中检索所需的局部图像和图像转换参数，以产生显示图像的图像数据，可以将用于显示图像的处理限制为最小必需量。

(第二实施例)

接下来，使用附图，说明本发明的图像组合系统的第二实施例。

如图8所示，与第一实施例相同，第二实施例的图像组合系统包括：成像设备510，例如照相机、摄像机等；数据处理单元500，用于组合局部图像以产生镶嵌图像；以及显示设备520，例如液晶面板、Braun管等，用于显示数据处理单元500的处理结果。例如由包括计算功能和存储器的LSI、逻辑电路等来实现数据处理单元500。

第二实施例的数据处理单元500包括：镶嵌图像产生单元501以及整体优化单元502。

镶嵌图像产生单元501包括与第一实施例的数据处理单元300类似的功能，并且以当前局部图像为基础，几何地转换并组合拍摄的局部图像，以产生镶嵌图像。整体优化单元502单独优化各个图像转换参数，以便在所有局部图像中保持几何转换和组合的结果的一致性。

作为一种优化图像转换参数的方法，使用下面的方法作为示例。

首先，对于每一个局部图像中的特征点，在所有其他的局部图像中搜索相应点，以收集特征点对。在此，第i对特征点由{x_i，x_i’}表示。

随后，查找局部图像之间的图像转换参数，以使下面所示的评价方程最小化，并且将所述参数定义为最终的图像参数。

[方程2]

$\underset{i}{\mathrm{\Σ}}{d}^2({\hat{x}}_i,x_i)+d^2({{\hat{x}}^{\′}}_i,{x^{\′}}_i)$

其中，

[方程3]

$d({\hat{x}}_i,x_i),d({{\hat{x}}^{\′}}_i,{x^{\′}}_i)$

示出了

[方程4]

在点

和点x之间或者在点

和点x′之间的

欧几里德距离，

此外，

[方程5]

$\hat{x}$

表示点x的位置，按照图像转换参数来转换其坐标。

当图像转换参数被用作照相机的外部参数时，可以找到图像转换参数，他们使下面所示的评价方程最小化，并且可以将选择它们作为最终的图像转换参数。

[方程6]

$\underset{f}{\mathrm{\Σ}}\underset{p}{\mathrm{\Σ}}{w}_p|x_{\mathrm{fp}}-{\hat{x}}_{\mathrm{fp}}|$

其中，f是输入的局部图像的号码，p是跟踪的特征点的号码，x_fp是第f帧中特征点p的坐标，并且

[方程7]

${\hat{x}}_{\mathrm{fp}}$

是特征点p投影在第f帧的图像上的坐标。此外，Wp是根据特征点跟踪误差的特征点的可信度。

作为参考，公知的Levenberg-Marquardt算法(参见“NumericalRecipes in C[日语版本]Numerical Calculation Recipes in Clanguage”，pp.503-507，Gijutsu-Hyoron Co.，Ltd，ISBN4-87408-506-1等)可以被用于图像转换参数的优化。在这种情况下，由镶嵌图像产生单元501所产生的值可以被用作与每一个局部图像相对应的图像转换参数的初始值。

接下来，参考图8，使用图9的流程图，来说明第二实施例的图像组合系统的处理过程。

假设在下面用户移动成像设备510，并且每一次按下快门钮时或者以预先设置的恒定时间间隔来拍摄对象，并且将拍摄的局部图像从成像设备510提供给数据处理单元500。此外，假设由镶嵌图像产生单元501所拥有的控制单元(未示出)来控制镶嵌图像产生单元501和整体优化单元502的如下处理。

如图9所示，当成像设备510所拍摄的对象的一个局部图像被数据处理单元500捕获时(步骤S601)，镶嵌图像产生单元501按照与第一实施例类似的方式产生镶嵌图像，并且将其传递给显示设备520(步骤602)。

当图像数据被传递给显示设备520时，镶嵌图像产生单元501确定针对组合到镶嵌图像所需的所有局部图像的处理是否已经结束(步骤S603)，并且如果处理尚未结束，返回到步骤S601的处理，以重复从步骤S601到步骤S603的处理。

如果针对所需的局部图像处理已经结束，使用整体优化单元502来优化每一个图像转换参数，以去除不是在相邻时间拍摄的局部图像之间组合中的移位(步骤S604)。

最后，使用在步骤S604中处理所优化的图像转换参数，通过几何地转换和组合各个局部图像，再次产生镶嵌图像，并且将镶嵌图像数据发送到显示设备502(步骤S605)。

在上述说明中，在镶嵌图像产生单元501已经终止了所有局部图像的几何转换和组合之后，针对图像转化参数执行整体优化处理，然而，可以在每一次针对一个局部图像完成几何转换和组合处理时执行图像转换参数的整体优化处理，或者可以在每一次针对每预定数目的局部图像完成几何转换和组合处理时执行。可选地，可以在满足预定条件时执行图像转换参数的整体优化处理，例如就在成像设备510在摇动镜头方向上有较大改变之前执行等。

接下来，给出本发明的图像组合系统的第二实施例的效果的说明。

在第一实施例的图像组合系统中，针对在相邻时间拍摄的局部图像分别计算图像转换参数，并且根据这些用于组合的值，依次几何地转换局部图像，因此可能积累了图像转换参数的误差，导致镶嵌图像中的失真。

在第二实施例的图像转换系统中，因为去除了在分离时间拍摄的局部图像之间组合中的移位，产生的镶嵌图像可以比第一实施例具有更少的失真。

(第三实施例)

接下来，使用附图，说明本发明的图像组合系统的第三实施例。

如图10所示，与第一实施例相同，第三实施例的图像组合系统包括：成像设备710，例如照相机、摄像机等；数据处理单元700，用于组合局部图像以产生镶嵌图像；以及显示设备720，例如液晶面板、Braun管等，用于显示数据处理单元700的处理结果。例如由包括计算功能和存储器的LSI、逻辑电路等来实现数据处理单元700。

第三实施例的数据处理单元700包括：镶嵌图像产生单元701以及超分辨率图像产生单元702。

包括与第一实施例的数据处理单元300或者第二实施例的数据处理单元500类似的功能的镶嵌图像产生单元701以当前的局部图像为基础，几何地转换和组合拍摄的局部图像以产生镶嵌图像。此外，镶嵌图像产生单元701分别优化各个图像转换参数，以便在所有局部图像中保持几何转换和组合的结果的一致性。

超分辨率图像产生单元702通过将超分辨率处理应用于拍摄的局部图像，产生比第一实施例或第二实施例的图像组合系统更高分辨率的镶嵌图像。

作为超分辨率处理，可以采用下面的方法，例如在Irani Pelog，“Improving Resolution by Image Registration”，CVGIP：GraphicalModel and Image Processing，Vol.53，pp.231-239，1991中公开的方法等。

现在假设存在m个局部图像{g_k}＝g₁、g₂、…、g_m，并且假设f表示希望产生的高分辨率镶嵌图像。此外，假设由镶嵌图像产生单元701所产生的镶嵌图像和图像转换参数被用作镶嵌图像f的初始图像以及局部图像{g_k}之间的各个图像转换参数。

超分辨率图像产生单元702首先针对镶嵌图像设置初始图像f⁽⁰⁾，并且根据针对几何转换和包括模糊数据的低分辨率镶嵌图像产生的处理的模拟结果，估计与每一个局部图像{g_k}相对应的低分辨率图像(g_k ⁽⁰⁾}。

接下来，超分辨率图像产生单元702计算估计图像和输入图像之间的差分图像(g_k-g_k ⁽⁰⁾}，并将差分图像的象素值加到初始图像f⁽⁰⁾中相应的位置，以产生更新的高分辨率镶嵌图像f⁽¹⁾。

重复该处理，直到由下面的方程所示的误差函数e变为足够小。

[方程8]

$e^{\left(n\right)}=\sqrt{\underset{k}{\mathrm{\Σ}}\underset{(x,y)}{\mathrm{\Σ}}{(\mathrm{gk}(x,y)-{g_k}^{\left(n\right)}(x,y))}^2}$

其中，n是重复计算的次数。

可以放大由镶嵌图像产生单元701所产生的镶嵌图像，例如在垂直和水平方向中分别为两倍，以产生用作镶嵌图像的初始图像的图像，或者可以放大等于或大于两倍的因子，用作初始图像。

接下来，给出本发明的第三实施例的图像组合系统的效果的说明。

第三实施例的图像组合系统通过包含超分辨率图像产生单元702，可以提供比第一实施例和第二实施例的图像组合系统更高分辨率的镶嵌图像。

第三实施例的图像组合系统可以在拍摄对象的同时只执行施加相对较轻处理负担(低计算成本)的镶嵌图像组合处理，并且在已经拍摄所有局部图像之后执行施加相对较重处理负担(高计算成本)的超分辨率图像产生处理和图像转换参数的整体优化处理。在这种情况下，避免镶嵌图像更新响应在拍摄对象时劣化。

(第四实施例)

接下来，使用附图，说明本发明的图像组合系统的第四实施例。

如图11所示，与第一实施例相同，第四实施例的图像组合系统包括：成像设备810，例如照相机、摄像机等；数据处理单元800，用于组合局部图像以产生镶嵌图像；显示设备820，例如液晶面板、Braun管等，用于显示数据处理单元800的处理结果；以及记录介质830，记录用于使数据处理单元800产生镶嵌图像的图像组合程序。

图像组合程序是使数据处理单元800实现第一实施例的图像组合系统中所包括的转换参数估计单元301、图像组合数据检索单元303、图像组合单元304和控制单元305每一个的处理的程序。可选地，图像组合程序是使数据处理单元800实现第二实施例的图像组合系统中所包括的镶嵌图像产生单元501和整体优化单元502每一个的处理的程序。可选地，图像组合程序是使数据处理单元800实现第三实施例的图像组合系统中所包括的镶嵌图像产生单元701和超分辨率图像产生单元702的处理的程序。

由计算机实现第四实施例的数据处理单元800，计算机具有：例如CPU(未示出)；用于暂时持有CPU处理所需数据的主存储设备；作为与成像设备810、显示设备820、记录介质830等的接口单元的I/O单元；以及通信设备，使得能够通过网络与服务器设备等进行数据发送/接收。

记录介质830可以是磁盘、半导体存储器、磁带、CD(压缩盘)-ROM、DVD(数字多媒体盘)或者其他记录介质。

数据处理单元800在主存储设备中载入记录在记录介质830上的图像组合程序，并且根据图像组合程序，由CPU执行与在上述第一至第三实施例中所述的数据处理单元类似的处理。图像组合程序不必一定存储在记录介质830中，而是可以存储在例如网络上的服务器设备等上，并且响应于来自数据处理单元800的请求，通过网络从服务器设备下载到主存储单元。

相同地，第四实施例的图像组合系统可以产生与在上述第一至第三实施例中所述的图像组合系统相类似的效果。

实施方式

接下来，使用附图，说明本发明的图像组合系统的实施方式。

该实施方式是第三实施例的图像组合系统被应用于移动电话系统的示例。

如图12所示，应用本发明图像组合系统的移动电话系统包括移动电话1230以及通过网络与移动电话1230相连的服务器设备1240。

移动电话1230包括：CCD照相机1210，是能够拍运动图像的成像设备；处理器1200，是数据处理单元；以及液晶面板1220，是显示设备。

与第一实施例的数据处理单元相同，处理器1200包括：转换参数估计单元1201、存储单元1202、图像组合数据检索单元1203、图像组合单元1204以及控制单元1205。

服务器设备1240相应地包括第二实施例所示的超分辨率整体优化单元、第三实施例所述的超分辨率图像产生单元以及使得能够通过网络与移动电话1230进行数据通信的通信设备(未示出)。

包含在移动电话1230中的处理器1200包括存储器以及用于(例如根据图像转换程序)执行与第一实施例中数据处理单元相类似的处理的CPU。服务器设备1240相应地包括存储器和用于根据程序执行上述整体优化单元1241和超分辨率图像产生单元1242每一个的处理的CPU。

在本实施方式的移动电话系统中，当利用CCD照相机1210捕获对象的同时用户移动移动电话1230时，以预先设置的恒定时间间隔将CCD照相机1210所拍摄的对象的局部图像提供给处理器1200。

当捕获对象的一个局部图像时，处理器1200搜索存储单元1202，以查看是否存在包含与刚刚拍摄的对象相同对象的局部图像。如果没有找到局部图像，捕获下一个拍摄的局部图像。可选地，如果存在拍摄的局部图像，处理器1200根据在上述非专利文献1中公开的方法，估计将当前局部图像与刚刚拍摄的局部图像组合所需的几何转换，并且计算其图像转换参数。然后，将当前的局部图像和计算的图像转换参数彼此相关联地存储在存储单元1202中。

接下来，处理器1200选择组合为镶嵌图像所需的多个局部图像，并且检索选定的局部图像和与其相对应的图像转换参数。在该实施方式中，假设在液晶面板1220上显示图6所示的第二典型显示图像。在这种情况下，处理器1200从存储单元1202中检索位于以当前局部图像为中心的周围预定范围内的局部图像和与其相对应的图像转换参数。

处理器1200使用检索的局部图像和图像转换参数，产生镶嵌图像，并且在液晶板1220上显示包含镶嵌图像的第二典型显示图像。然后，确定针对组合到镶嵌图像所需的所有局部图像的处理是否结束，并且如果处理尚未结束，处理器1200检索下一个图像并重复上述处理。相反地，如果针对所有所需的局部图像的处理已经结束，处理器1200通过网络将所有的局部图像和与其相对应的图像转换参数以及处理镶嵌图像的请求(是否需要整体优化和超分辨率处理)发送到服务器设备1240。

当从移动电话1230接收到局部图像和图像转换参数时，响应于来自用户的处理请求，服务器设备1240通过整体优化单元1241、按照与第二实施例类似的方式来优化所有的图像转换参数，以便在组合成镶嵌图像之后保持一致性，并且将优化的图像转换参数发送到移动电话1230。在这种情况下，移动电话1230使用从服务器设备接收的图像转换参数，再次组合镶嵌图像，并且将其显示在显示设备1220上。

此外，当从移动电话1230接收到局部图像和图像转换参数时，响应于来自用户的处理请求，服务器设备1240通过超分辨率图像产生单元1242、按照与第三实施例类似的方式来针对每一个局部图像执行超分辨率处理，以产生高分辨率镶嵌图像，并且将镶嵌图像发送到移动电话1230。在这种情况下，移动电话1230将从服务器设备接收的高分辨率镶嵌图像显示在显示设备1220上。

根据本实施方式的移动电话系统，使用在移动电话1230中备有的低分辨率照相机，可以产生具有广视角和高分辨率的镶嵌图像。

Claims (30)

1.一种图像组合系统，包括：

成像设备，用于将对象划分为多个局部图像，并且拍摄局部图像；

转换参数估计单元，用于估计局部图像之间组合所需的几何转换，并且计算用于几何转换的图像转换参数；

存储单元，用于存储局部图像和与局部图像相对应的计算的图像转换参数；

图像组合数据检索单元，用于选择产生镶嵌图像所需的局部图像，并且从所述存储单元中分别检索选定的局部图像和与其相对应的图像转换参数；

图像组合单元，用于使用由所述图像组合数据检索单元所检索的局部图像和图像转换参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，组合它们，以产生镶嵌图像，并且产生用于显示当前的局部图像和至少一部分镶嵌图像的图像数据；以及

显示设备，用于根据所述图像组合单元所产生的图像数据，显示图像。

2.根据权利要求1所述的图像组合系统，还包括整体优化单元，用于优化每一个图像转换参数，以便在所有局部图像中保持几何转换和组合的一致性。

3.根据权利要求1所述的图像组合系统，还包括超分辨率图像产生单元，用于以高于镶嵌图像的分辨率产生图像。

4.根据权利要求1所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且在屏幕的一部分中以缩减比例显示根据当前的局部图像和拍摄的局部图像而产生的镶嵌图像。

5.根据权利要求4所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于加亮出现在镶嵌图像中的当前局部图像的外接矩形。

6.根据权利要求4所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于利用特定象素值来显示其中不存在局部图像的镶嵌图像中的区域。

7.根据权利要求4所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于在当前的局部图像位于镶嵌图像之外时，滚动和显示镶嵌图像，或者以缩减比例显示镶嵌图像，从而当前的局部图像处于镶嵌图像中。

8.根据权利要求1所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于将当前的局部图像放置在所述显示设备的屏幕中心，并且显示包含在以当前局部图像为中心的周围预定范围内的拍摄的局部图像的组合。

9.根据权利要求1所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且显示和加亮与拍摄的局部图像相交迭的部分。

10.根据权利要求9所述的图像组合系统，其中，所述图像组合单元产生图像数据，用于以根据交迭的局部图像的数目而变化的颜色来显示与拍摄的局部图像相交迭的部分。

11.一种用于组合从对象中分离并且由成像设备拍摄的多个局部图像以产生用于在显示设备上显示的镶嵌图像的图像组合方法，所述方法包括：

估计局部图像之间组合所需的几何转换，并且计算用于几何转换的图像转换参数；

分别将局部图像和与局部图像相对应的计算的图像转换参数存储在存储单元中；

选择产生镶嵌图像所需的局部图像，并且从所述存储单元中检索选定的局部图像和与其相对应的图像转换参数；

使用所检索的局部图像和图像转换参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，并且组合它们，以产生镶嵌图像；以及

产生用于在所述显示设备上显示当前的局部图像和至少一部分镶嵌图像的图像数据。

12.根据权利要求11所述的图像组合方法，还包括执行整体优化处理，用于优化每一个图像转换参数，以便在所有局部图像中保持几何转换和组合的一致性。

13.根据权利要求11所述的图像组合方法，还包括执行超分辨率图像产生处理，用于以高于镶嵌图像的分辨率产生图像。

14.根据权利要求11所述的图像组合方法，包括：

产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且在屏幕的一部分中以缩减比例显示根据当前的局部图像和拍摄的局部图像而产生的镶嵌图像。

15.根据权利要求14所述的图像组合方法，包括：

产生图像数据，用于加亮出现在镶嵌图像中的当前局部图像的外接矩形。

16.根据权利要求14所述的图像组合方法，包括：

产生图像数据，用于利用特定象素值来显示其中不存在局部图像的镶嵌图像中的区域。

17.根据权利要求14所述的图像组合方法，包括：

产生图像数据，用于在当前的局部图像位于镶嵌图像之外时，滚动和显示镶嵌图像，或者以缩减比例显示镶嵌图像，从而当前的局部图像处于镶嵌图像中。

18.根据权利要求11所述的图像组合方法，包括：

产生图像数据，用于将当前的局部图像放置在所述显示设备的屏幕中心，并且显示包含在以当前局部图像为中心的周围预定范围内的拍摄的局部图像的组合。

19.根据权利要求11所述的图像组合方法，包括：

产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且显示和加亮与拍摄的局部图像相交迭的部分。

20.根据权利要求19所述的图像组合方法，包括：

产生图像数据，用于以根据交迭的局部图像的数目而变化的颜色来显示与拍摄的局部图像相交迭的部分。

21.一种程序，用于使计算机执行组合从对象中分离并且由成像设备拍摄的多个局部图像以产生用于在显示设备上显示的镶嵌图像的处理，所述程序使计算机执行：

估计处理，用于估计局部图像的组合所需的几何转换，并且计算用于几何转换的图像转换参数；

存储处理，用于分别将局部图像和与局部图像相对应的计算的图像转换参数存储在存储单元中；

检索处理，用于选择产生镶嵌图像所需的局部图像，并且从所述存储单元中检索选定的局部图像和与其相对应的图像转换参数；

转换处理，用于使用所检索的局部图像和图像转换参数，以当前的局部图像为基础，几何地转换拍摄的局部图像，并且组合它们，以产生镶嵌图像；以及

产生处理，用于产生用于在所述显示设备上显示当前的局部图像和至少一部分镶嵌图像的图像数据。

22.根据权利要求21所述的程序，还包括使计算机执行整体优化处理，用于优化每一个图像转换参数，以便在所有局部图像中保持几何转换和组合的一致性。

23.根据权利要求21所述的程序，还包括使计算机执行超分辨率图像产生处理，用于以高于镶嵌图像的分辨率产生图像。

24.根据权利要求21所述的程序，使计算机执行处理，以产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且在屏幕的一部分中以缩减比例显示根据当前的局部图像和拍摄的局部图像而产生的镶嵌图像。

25.根据权利要求24所述的程序，使计算机执行处理，以产生图像数据，用于加亮出现在镶嵌图像中的当前局部图像的外接矩形。

26.根据权利要求24所述的程序，使计算机执行处理，以产生图像数据，用于利用特定象素值来显示其中不存在局部图像的镶嵌图像中的区域。

27.根据权利要求24所述的程序，使计算机执行处理，以产生图像数据，用于在当前的局部图像位于镶嵌图像之外时，滚动和显示镶嵌图像，或者以缩减比例显示镶嵌图像，从而当前的局部图像处于镶嵌图像中。

28.根据权利要求21所述的程序，使计算机执行处理，以产生图像数据，用于将当前的局部图像放置在所述显示设备的屏幕中心，并且显示包含在以当前局部图像为中心的周围预定范围内的拍摄的局部图像的组合。

29.根据权利要求21所述的程序，使计算机执行处理，以产生图像数据，用于将当前的局部图像放置在所述显示设备的整个屏幕之上，并且显示和加亮与拍摄的局部图像相交迭的部分。

30.根据权利要求29所述的程序，使计算机执行处理，以产生图像数据，用于以根据交迭的局部图像的数目而变化的颜色来显示与拍摄的局部图像相交迭的部分。

Images