CN108370415A

CN108370415A - 图像处理装置及图像处理方法

Info

Publication number: CN108370415A
Application number: CN201680073401.7A
Authority: CN
Inventors: 岸根庆延
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2015-12-17
Filing date: 2016-11-14
Publication date: 2018-08-03
Anticipated expiration: 2036-11-14
Also published as: WO2017104328A1; US20180309926A1; JP6417055B2; US10567647B2; CN108370415B; JPWO2017104328A1; JP2019009822A

Abstract

本发明的目的在于提供一种有效地获得良好的复原图像的图像处理装置及图像处理方法。本发明的一方式所涉及的图像处理装置具备：图像获取部，获取经由摄影透镜拍摄的被摄体的摄影图像；坐标转换部，对摄影图像进行坐标转换，而在指定的空间频率下使以摄像面的中心为原点的圆周的切线方向即弧矢的分辨率和与切线方向垂直的放射方向即切向的分辨率接近；及分辨率增强处理部，对进行了坐标转换的图像进行旋转对称的分辨率增强处理。根据该方式，能够在分辨率增强处理中使用旋转对称的滤波器而能够实现滤波器尺寸的抑制及处理的高速化，并且通过在坐标转换中使用滤波器而处理也会复杂化。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种对使用光学系统而获取的图像进行处理的图像处理装置及图像处理方法，尤其涉及一种进行与光学系统的特性相应的图像处理的图像处理装置及图像处理方法。

背景技术

经由光学系统拍摄的摄影图像有时因光学系统的特性而导致分辨率下降，为了抑制这种分辨率的下降而对摄影图像进行增强分辨率的图像处理(分辨率增强处理)。作为分辨率增强处理，已知有利用表示对点光源的光学系统的响应的点扩散函数(PSF：PointSpread Function)而恢复分辨率的处理(恢复处理)及增强被摄体的轮廓的轮廓增强处理。

光学系统中所包含的摄影透镜有时在弧矢方向(Sagittal方向)及与弧矢方向正交的切向方向(Tangential方向)或子午方向(Meridional方向)上分辨率不同，在该情况下，因摄影透镜的分辨率的差异而在摄影图像中根据方向分辨率也不同。摄影透镜以缩小由方向引起的分辨率差的方式设计，但因近年的高像素化及低F值(F value)化而具有由方向引起的分辨率差增大的趋势，因此有时通过图像处理来补偿由方向引起的分辨率差。例如，专利文献1中记载有如下内容，即，校正弧矢方向与子午方向的MTF(调制传递函数(Modulation Transfer Function))的不一致，然后进行恢复处理，由此即便减弱恢复处理也能够获得美观的模糊(圆形或接近圆形的形状的模糊)的图像。

另一方面，已知经由光学系统拍摄的摄影图像中有时也包含由光学系统的畸变像差(Distortion)而引起的畸变成分，在这种情况下对畸变成分进行校正。例如，专利文献2中记载有如下内容，即，通过点像复原处理(恢复处理)后进行畸变成分的校正，避免转换根据畸变校正的条件而用于恢复处理的恢复滤波器，由此抑制恢复滤波器的核尺寸的增大。

现有技术文献

专利文献

专利文献1：日本特开2011-151627号公报

专利文献2：日本特开2010-087672号公报

发明内容

发明所要解决的问题

然而，以往技术并不是摄影透镜的分辨率根据方向而不同的情况及存在畸变像差的情况下有效获得良好的复原图像的技术。例如，在专利文献1中所记载的技术中，进行通过滤波器校正弧矢方向/子午方向的MTF的不一致(MTF像差)，然后通过滤波器进行恢复处理这2个阶段的滤波器处理，因此处理复杂而难以高速化。并且，在专利文献2中所记载的技术中，在点像复原处理后进行畸变成分的校正，因此需要在图像具有畸变成分的状态(根据方向而分辨率上存在差异的状态)下进行点像复原，因此在点像复原中需要使用旋转非对称的滤波器。因此复原处理依然复杂而难以高速化，并不是那么有效的技术。

本发明是鉴于这种情况而完成的，其目的在于提供一种获得良好的复原图像的图像处理装置及图像处理方法。

用于解决问题的手段

为了实现上述目的，本发明的第1方式所涉及的图像处理装置具备：图像获取部，获取经由摄影透镜拍摄的被摄体的摄影图像；坐标转换部，对摄影图像进行坐标转换，而在指定的空间频率下使以摄像面的中心为原点的圆周的切线方向即弧矢的分辨率和与切线方向垂直的放射方向即切向的分辨率接近；及分辨率增强处理部，对进行了坐标转换的图像进行旋转对称的分辨率增强处理。在第1方式中，通过坐标转换使摄影图像的弧矢(切线方向)的分辨率与切向(放射方向)的分辨率接近之后进行分辨率增强处理，因此在分辨率增强处理中能够使用旋转对称的滤波器而能够实现滤波器尺寸的抑制及处理的高速化，并且通过坐标转换进行使分辨率接近的处理，因此通过在坐标转换中使用滤波器而处理不会复杂化。并且，在第1方式中，也无需转换如上述专利文献2中作为以往技术的问题点而提及的根据畸变校正的条件而在恢复处理中使用的滤波器。

另外，在第1方式中，使指定的空间频率下的分辨率接近，因此即使在切线方向与放射方向的分辨率之差根据空间频率而发生变化的情况下，也能够指定所希望的空间频率而使该空间频率下的分辨率接近，从而能够有效地获得良好的复原图像。另外，在第1方式中，指定的空间频率可以是特定的空间频率，也可以具有宽度(范围)。

如此，在第1方式所涉及的图像处理装置中，能够有效地获得良好的复原图像。另外，在第1方式中，作为分辨率增强处理能够进行点像复原处理(恢复处理)及轮廓增强处理。另外，在第1方式及以下各方式中，“旋转对称的分辨率增强处理”表示分辨率增强处理中所使用的滤波器为旋转对称。

第2方式所涉及的图像处理装置在第1方式中，具备获取摄影图像的弧矢的分辨率信息及切向的分辨率信息的信息获取部，坐标转换部根据获取的弧矢的分辨率信息及切向的分辨率信息进行坐标转换。第2方式为规定获取用于使分辨率接近的信息的方式。另外，在第2方式中，基于信息获取部的分辨率信息的获取可以通过获取记录于摄影透镜的信息、从Web下载、分析摄影图像而获取及根据用户输入而获取等方法来进行。

第3方式所涉及的图像处理装置在第1或第2方式中，具有包含摄影透镜的光学系统，图像获取部经由光学系统获取摄影图像。第3方式为规定包含用于获取摄影图像的光学系统的图像处理装置的方式。

第4方式所涉及的图像处理装置在第3方式中的摄影透镜中，以光轴为中心的圆周的切线方向即弧矢的分辨率高于与切线方向垂直的放射方向即切向的分辨率。第4方式对摄影透镜的弧矢(切线方向)的分辨率高于切向(放射方向)的分辨率而引起在拍摄了被摄体的图像中切线方向的分辨率也高于放射方向的分辨率的情况进行了规定，即使在这种情况下，也能够有效地获得良好的复原图像。

第5方式所涉及的图像处理装置在第4方式中，坐标转换部进行压缩摄影图像的周边部的坐标转换及使摄影图像的中心部膨胀的坐标转换中的至少一种坐标转换。如第4方式，第5方式为具体地规定图像中切线方向的分辨率高于放射方向的分辨率下的坐标转换的方式。另外，在第5方式中，基于坐标转换的膨胀及收缩可以以与像高相应的程度来进行。

第6方式所涉及的图像处理装置在第3至第5方式中的任一个中，摄影透镜的畸变像差为正。在第6方式中，摄影透镜的畸变像差为正，因此导致摄影图像也具有枕形的畸变成分(越靠像的周边伸长越大)。

第7方式所涉及的图像处理装置在第3方式中的摄影透镜中，以光轴为中心的圆周的放射方向即切向的分辨率高于与放射方向垂直的切线方向即弧矢的分辨率。第7方式对摄影透镜的切向(放射方向)的分辨率高于弧矢(切线方向)的分辨率而引起在拍摄了被摄体的图像中放射方向的分辨率也高于切线方向的分辨率的情况进行了规定，从而即使在这种情况下，也有效地获得良好的复原图像。

第8方式所涉及的图像处理装置在第7方式中，坐标转换部进行使摄影图像的周边部膨胀的坐标转换及压缩摄影图像的中心部的坐标转换中的至少一种坐标转换。如第7方式，第8方式为具体地规定图像中放射方向的分辨率高于切线方向的分辨率下的坐标转换的方式。另外，在第8方式中，基于坐标转换的膨胀及收缩可以以与像高相应的程度来进行。

第9方式所涉及的图像处理装置在第3、7及8方式中的任一个中，摄影透镜的畸变像差为负。根据第9方式，摄影透镜的畸变像差为负，因此导致摄影图像也具有桶形的畸变成分(越靠像的周边收缩越大)。

第10方式所涉及的图像处理装置在第3至第9方式中的任一个中，坐标转换部通过坐标转换校正摄影透镜的畸变像差。根据第10方式，通过使弧矢的分辨率与切向的分辨率接近的坐标转换，也能够校正摄影图像中的畸变成分。

第11方式所涉及的图像处理装置在第1至第10方式中的任一个中，具备对进行了分辨率增强处理的图像进行坐标转换的逆变换的逆变换部。根据第11方式，能够获得与原图像(坐标转换前的摄影图像)相同的构图的复原图像。另外，在第11方式中，可以通过使分辨率接近的坐标转换，并根据摄影透镜的畸变像差是否得到校正而决定是否进行逆变换。

第12方式在第1至第11方式中的任一个中，坐标转换部在进行了坐标转换的图像中，当将指定的空间频率下的弧矢的分辨率及切向的分辨率中高的一方的分辨率设为1时，进行如使弧矢的分辨率及切向的分辨率中低的一方的分辨率成为0.5以上、优选成为0.75以上的坐标转换。第12方式为规定用于进行旋转对称的分辨率增强处理的弧矢的分辨率与切向的分辨率之间的关系的方式。

为了实现上述目的，本发明的第13方式所涉及的图像处理方法为具备图像获取部、坐标转换部及分辨率增强处理部的图像处理装置的图像处理方法，所述图像处理方法具有：图像获取工序，通过图像获取部获取经由摄影透镜拍摄的被摄体的摄影图像；坐标转换工序，通过坐标转换部对摄影图像进行坐标转换，而在指定的空间频率下使以摄像面的中心为原点的圆周的切线方向即弧矢的分辨率和与切线方向垂直的放射方向即切向的分辨率接近；及分辨率增强处理工序，通过分辨率增强处理部对进行了坐标转换的图像进行旋转对称的分辨率增强处理。根据第13方式，与第1方式相同地能够有效地获得良好的复原图像。

第14方式所涉及的图像处理方法在第13方式中，具备获取摄影图像的弧矢的分辨率信息及切向的分辨率信息的信息获取工序，在坐标转换工序中，根据获取的弧矢的分辨率信息及切向的分辨率信息进行坐标转换。在第14方式中，与第2方式相同地，可以通过获取摄影图像的弧矢及切向的分辨率信息而进行适当的坐标转换。

第15方式所涉及的图像处理方法在第13或第14方式中，还具有逆变换工序，对进行了分辨率增强处理的图像进行坐标转换的逆变换。根据第15方式，与第11方式相同地，能够获得与原图像(坐标转换前的摄影图像)相同的构图的复原图像。另外，在第15方式中，可以与第11方式状态相同地根据是否能够校正摄影透镜的畸变像差而决定是否进行逆变换。

发明效果

如以上进行的说明，根据本发明的图像处理装置及图像处理方法，能够有效地获得良好的复原图像。

附图说明

图1是表示第1实施方式所涉及的数码相机的框图。

图2是表示相机主体控制器的功能结构例的框图。

图3是表示图像处理部的功能结构例的框图。

图4是示意性地表示被摄体像、摄影图像及坐标转换图像的图。

图5是表示摄影图像的分辨率的例子的图。

图6是表示图像处理部的动作的流程图。

图7是表示摄影图像的分辨率的例子的另一图。

图8是表示图像模拟结果的表格。

图9是表示摄影图像中图8所示的图像模拟中使用的区域的图。

图10是表示从摄影图像至点像复原处理的概略的图。

图11是表示点像复原处理的一例的框图。

图12是表示恢复滤波器的例子的图。

图13是示意地表示被摄体像及摄影图像的另一图。

图14是表示摄影图像的分辨率的另一图。

图15是示意地表示摄影图像的又一图。

图16是表示基于坐标转换的分辨率的变化的图。

图17是表示本发明的第2实施方式中的摄影图像的分辨率的例子的图。

图18是表示基于坐标转换的分辨率的变化的另一图。

图19是表示计算机的结构的框图。

图20是表示本发明的第3实施方式所涉及的智能手机的外观的图。

图21是表示智能手机的结构的框图。

具体实施方式

以下，参考附图对本发明所涉及的图像处理装置及图像处理方法的实施方式进行说明。

＜第1实施方式＞

在第1实施方式中，对在能够与计算机连接的数码相机(图像处理装置)中适用本发明的情况进行说明。图1是表示与计算机连接的数码相机10的框图。

＜数码相机的结构＞

数码相机10具备透镜单元12及具备摄像元件26的相机主体14，透镜单元12与相机主体14经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入输出部30电连接。另外，数码相机10能够使用于各种领域，例如，不仅使用于普通摄影，还使用于安全领域(监视相机)及医疗领域(内窥镜)。

透镜单元12具备摄影透镜16及光圈17等光学系统和控制该光学系统的光学系统操作部18。光学系统操作部18包含存储有后述的分辨率信息及畸变像差信息的存储器19、与透镜单元输入输出部22连接的透镜单元控制器20及操作光学系统的致动器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送过来的控制信号，而经由致动器控制光学系统，例如进行基于镜头移动的聚焦控制、变焦控制及光圈17的光圈量控制等。

相机主体14的摄像元件26具有聚光用微透镜；R(红)、G(绿)、B(蓝)等的滤色器；及图像传感器(光电二极管、CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))、CCD(电荷耦合器件(Charge-Coupled Device))等)。该摄像元件26将通过透镜单元12的光学系统(摄影透镜16、光圈17等)成像的被摄体的光学像转换为电信号，并将图像信号(原图像数据)传送至相机主体控制器28。

如后述的详细内容，本例的摄像元件26通过使用了光学系统的被摄体的拍摄而输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。

如图2所示，相机主体控制器28具有设备控制部34及图像处理部35，且集中控制相机主体14。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出接口32连接的外部设备类型(计算机60等)发送图像处理前后的图像数据(RAW(原始格式(Raw image format))数据、JPEG(联合图像专家小组(JointPhotographic Experts Group))数据等)。并且，设备控制部34适当控制液晶显示器31(参考图1)及未图示的EVF(电子取景器(Electronic View Finder))等数码相机10所具备的各种设备类型。

另一方面，图像处理部35能够对来自摄像元件26的图像信号进行与需要相应的任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、灰度校正处理等)、RGB图像处理(色调校正处理、曝光校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。通过这种图像处理获得的图像能够显示于液晶显示器31。

另外，图1所示的数码相机10具备摄影等所需的其他设备类型(快门等)，用户经由设置于相机主体14的用户接口29(各种按钮、开关等)能够适当决定及变更用于摄影等的各种设定，例如能够适当决定及变更与后述的坐标转换及分辨率增强处理相关的输入及设定(透镜单元12的分辨率信息及畸变像差信息的获取、空间频率的指定、是否进行逆变换等)。用户接口29与相机主体控制器28(设备控制部34及图像处理部35)连接，由用户决定及变更的各种设定反映于相机主体控制器28中的各种处理。经由用户接口29的各种设定能够一边确认显示于液晶显示器31的图像及信息一边进行。

在相机主体控制器28中被图像处理的图像数据经由输入输出接口32传送至计算机60等。关于从数码相机10(相机主体控制器28)传送至计算机60等的图像数据的格式并无特别限定，能够设为RAW、JPEG及TIFF(标签图像文件格式(Tag Image File Format))等任意格式。因此，如所谓的Exif(可交换图像文件格式(Exchangeable Image File Format))，相机主体控制器28可以将标题信息(摄影日期、机种、像素数、光圈值等摄影信息等)、主图像数据及缩略图图像数据等多个相关数据建立相互对应关联而作为1个图像文件来构成，并将该图像文件发送至计算机60。

计算机60经由相机主体14的输入输出接口32及计算机输入输出部62与数码相机10连接，且接收从相机主体14传送过来的图像数据等数据类型。计算机控制器64集中控制计算机60，对来自数码相机10的图像数据进行图像处理，并控制与经由因特网70等网络线路与计算机输入输出部62连接的服务器80等之间的通信。计算机60具有显示器66，根据需要计算机控制器64中的处理内容等显示于显示器66。用户通过一边确认显示器66的显示一边操作键盘等输入机构(省略图示)，能够对计算机控制器64输入数据及命令。由此，用户能够控制计算机60及与计算机60连接的设备类型(数码相机10、服务器80)。

服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类型之间的收发连接部，且经由因特网70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制命令信号，与计算机控制器64联动，并且根据需要在与计算机控制器64之间进行数据类型的收发，将数据类型下载到计算机60，进行运算处理并将该运算结果发送至计算机60。

各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理中所需的电路类型，例如具备运算处理电路(CPU(中央处理器(CentralProcessing Unit))等)及存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以将计算机60及服务器80构成为一体，并且也可以省略计算机60和/或服务器80。并且，也可以设为使数码相机10具有与服务器80的通信功能，且在数码相机10与服务器80之间直接进行数据类型的收发。

＜图像处理部的功能＞

图3是表示第1实施方式所涉及的图像处理部35(信息获取部)的功能结构例的功能框图。图像处理部35具备相机主体控制器28，且除了上述去马赛克处理等功能以外，还具备图像获取部40、坐标转换部41、分辨率增强处理部42、逆变换部43及信息获取部44。

图像获取部40获取通过使用了光学系统的被摄体的拍摄而从摄像元件26获取的摄影图像。在此，摄影图像是指基于通过被摄体的拍摄而从摄像元件26输出的图像数据的图像，只要能够进行由坐标转换部41进行的坐标转换，则图像形式并无特别限定。例如，图像获取部40作为摄影图像获取传感器校正处理、去马赛克处理、像素插值处理、色彩校正处理、RGB图像处理及RGB/YCrCb转换处理结束的图像数据。以下说明中，对被YCrCb转换的图像的Y(亮度值)进行处理的情况进行说明。

坐标转换部41对图像获取部40获取的摄影图像进行使弧矢(切线方向)的分辨率与切向(放射方向)的分辨率接近的坐标转换。分辨率增强处理部42对坐标转换后的图像进行旋转对称的分辨率增强处理。逆变换部43对分辨率增强处理后的图像进行基于坐标转换部41的坐标转换的逆变换。信息获取部44获取存储于透镜单元12的存储器19中的摄影透镜16的弧矢及切向的分辨率信息及畸变像差信息。关于图像处理部35的使用了这些功能的图像处理的详细内容将进行后述。

＜分辨率及畸变像差的信息的获取＞

若要进行后述的坐标转换，则需要所拍摄的图像的弧矢及切向的分辨率信息，但所拍摄的图像分辨率依赖于摄影透镜16的分辨率。于是，图像处理部35的信息获取部44(信息获取部)从透镜单元12的存储器19获取摄影透镜16的弧矢的分辨率信息及切向的分辨率信息，且由所获取的信息求出所拍摄的图像的分辨率(图6的步骤S11：信息获取工序)。另外，摄影透镜16的分辨率信息除了从存储器19获取以外，也可以从因特网70获取，还可以对信息获取部44拍摄的图像(例如，图4(b)的摄影图像51)进行分析而获取。并且，也可以用户确认显示于液晶显示器31的图像及信息且经由用户接口29输入信息，并且信息获取部44获取该信息。另外，摄影透镜16的畸变像差信息与上述分辨率信息的获取相同地信息获取部44也能够经由存储器19、因特网70、图像分析及用户输入等获取。

＜实施例1＞

＜被摄体及摄影图像＞

图4(a)是示意地表示被摄体50的图，图4(b)是示意地表示用数码相机10拍摄被摄体50且通过图像获取部40获取的摄影图像51的图。图像获取部40将所获取的摄影图像51发送至坐标转换部41。另外，在图4(b)的摄影图像51中，以Ta来表示摄影透镜16的切向方向(以光轴为中心的圆周的放射方向)，以Sa来表示摄影透镜16的弧矢方向(以光轴为中心的圆周的切线方向；与放射方向垂直)。另外，图4、图13及图15的文字“FUJIFILM Value fromInnovation”为注册商标。

＜弧矢及切向的分辨率＞

并且，摄影图像51依赖于摄影透镜16的分辨率，弧矢及切向中分辨率不同。在此，分辨率是指表示图像模糊程度的指标，能够使用各种指标，例如调制传递函数(MTF：Modulation Transfer Function)及空间频率响应(SFR：Spatial Frequency Response)。另外，在以后说明的图中，作为表示摄影图像51的分辨率的指标使用摄影透镜16的MTF。

图5是表示摄影图像51中的弧矢方向(以摄像面的中心为原点的圆周的切线方向)的分辨率S及切向方向(与切线方向垂直的放射方向)的分辨率T的例子的图。在图5中，示出了弧矢的分辨率不依赖于空间频率而高于切向的分辨率下的例子。在该例子中，作为使分辨率接近的空间频率整个空间频率指定为坐标转换部41(图像处理部35)。

＜摄影图像的畸变成分＞

经由摄影透镜16拍摄被摄体50，因此在摄影图像51中，因摄影透镜16的特性(畸变像差)而产生变形(畸变成分)。在图4(b)中，示出了摄影透镜16的畸变像差为正，由此而导致摄影图像51具有“枕形”(越靠像的周边伸长越大)畸变成分的例子。

＜图像处理的概要＞

图6是表示图像处理部35中的图像处理(图像处理方法)的概要的图。首先，图像处理部35的图像获取部40获取通过使用了光学系统的被摄体50的拍摄而从摄像元件26获取的摄影图像51(步骤S10：图像获取工序)。并且，信息获取部44对摄影图像51从透镜单元12的存储器19获取摄影图像51的弧矢的分辨率S的信息及切向的分辨率T的信息(步骤S11：信息获取工序)。而且，坐标转换部41根据在步骤S11中获取的分辨率信息对摄影图像51进行坐标转换，生成如图4(c)所示那样的坐标转换图像52(步骤S12：坐标转换工序)。

在进行坐标转换之后，分辨率增强处理部42对坐标转换图像52进行分辨率增强处理(步骤S13：分辨率增强处理工序)。接着，逆变换部43根据需要对分辨率增强处理后的图像进行步骤S12中的坐标转换的逆变换即坐标转换，生成逆变换图像(步骤S14：逆变换工序)。

以下，对步骤S12～S14中的处理进行详细说明。

＜坐标转换处理＞

对步骤S12中的坐标转换进行说明。如图5所示，当摄影图像51的弧矢方向的分辨率S高于切向方向的分辨率T时，以与像高相应的压缩量来压缩摄影图像51的周边部。该处理能够根据步骤S11中获取的分辨率信息来进行。于是，如图7(a)所示，表观上切向的分辨率T提高(图7(a)中，以点线来表示坐标转换前的切向的分辨率T)，而接近弧矢的分辨率S。在该方式中，摄影图像51被压缩，因此坐标转换后所适用的恢复滤波器F(参考图10～12)的核尺寸也被缩小，从而能够进行高速处理。

在步骤S12的坐标转换中，当在任意空间频率下将坐标转换后的弧矢的分辨率及切向的分辨率中高的一方的分辨率设为1.0时，坐标转换部41以使低的一方的分辨率成为0.5以上、优选成为0.75以上(将分辨率以MTF来表示时)的方式设定坐标转换的方向及量。例如，若将空间频率f1下的坐标转换后的弧矢、切向的分辨率分别设为RS、RT(＜RS)，则将RS设为1时，使RT成为0.5以上、优选成为0.75以上。设为这种值是因为，若分辨率的比率在该范围内，则如后述能够对坐标转换图像52进行旋转对称的分辨率增强处理。

另外，当摄影图像51的分辨率为图5所示的状态时，在步骤S12的坐标转换中，可以以与像高相应的膨胀量来使摄影图像51的中心部膨胀。该处理能够根据步骤S11中获取的分辨率信息来进行。在该情况下，如图7(b)所示，在坐标转换图像52中，表观上弧矢的分辨率S下降(图7(b)中，以点线来表示坐标转换前的弧矢的分辨率S)，而接近切向的分辨率T。在该情况下，若将空间频率f2下的坐标转换后的弧矢、切向的分辨率分别设为RS、RT(＜RS)，则将RS设为1时，坐标转换部41以使RT成为0.5以上、优选成为0.75以上的方式设定坐标转换的方向及量。即使在进行了这种坐标转换的情况下，弧矢的分辨率S与切向的分辨率T也会接近，因此变得能够对坐标转换图像52进行旋转对称的分辨率增强处理。

并且，在图5的例子中，在步骤S12中，也可以进行以与像高相应的压缩量来压缩摄影图像51的周边部的坐标转换及以与像高相应的膨胀量来使摄影图像51的中心部膨胀的坐标转换这两者。在该情况下，如图7(c)所示，在坐标转换图像52中，表观上切向的分辨率T提高并且表观上弧矢的分辨率S下降，而弧矢的分辨率S与切向的分辨率T接近(图7(c)中，以点线来表示坐标转换前的弧矢的分辨率S，以点划线来表示坐标转换前的切向的分辨率T)。在该情况下，与图7(a)、图7(b)的情况相同地，若将空间频率f3下的坐标转换后的弧矢、切向的分辨率分别设为RS、RT(＜RS)，则将RS设为1时，坐标转换部41以使RT成为0.5以上、优选成为0.75以上的方式设定坐标转换的方向及量。

另外，优选通过步骤S12的坐标转换使弧矢的分辨率S与切向的分辨率T完全一致，但即使在通过坐标转换无法使分辨率完全一致的情况下，只要分辨率接近，则根据该接近程度获得本发明的效果。

＜基于图像模拟的分辨率的数值＞

关于步骤S12中的坐标转换后的弧矢、切向的分辨率的数值，示出通过图像模拟验证的结果。在该模拟中，在摄像元件上将“Fujifilm”这一文字(原图像)的粗细大致设为2个像素，在因摄影透镜的像散(所谓的偏离误差)而摄影图像的分辨率(MTF)下降的状态下，生成了上述坐标转换后的“(1/2)×奈奎斯特频率”下的分辨率的关系满足条件1～5(参考图8的表格)时的图像。其结果，如图8的表格所示，在坐标转换后的分辨率的关系满足上述数值范围的条件1～3时为坐标转换后的图像中无法感知模糊方向的状态(模糊为圆形或接近圆形)，可知能够对坐标转换后的图像进行旋转对称的分辨率增强处理。

另外，在摄影透镜16及摄影图像51中对轴(方向)的定义不同，但在图8的表格所示的图像模拟中，摄影图像51中切出“摄影图像51的H(水平)方向与摄影透镜16的Sa(弧矢)方向且摄影图像51的V(垂直)方向与摄影透镜16的Ta(切向)方向一致的区域”(图9的区域51a附近)来进行了图像模拟。

＜基于坐标转换的畸变成分的校正＞

如图5所示，摄影图像51除了弧矢的分辨率S与切向的分辨率T中存在差异以外，如图4(b)所示，因摄影透镜16的畸变像差而还具有畸变成分。因此，优选在步骤S11中获取摄影透镜16的畸变像差信息，并在步骤S12中考虑畸变像差信息而还进行上述坐标转换(周边部的压缩及中心部的膨胀中的至少一种)。由此，如图4(c)所示，坐标转换后的坐标转换图像52成为畸变像差(畸变成分)得到校正的状态，通过使弧矢的分辨率S与切向的分辨率T接近的坐标转换，也能够校正摄影透镜16的畸变像差。

＜点像复原处理(恢复处理)＞

图10是表示从图像摄影至点像复原处理(恢复处理)的概略的图。当将点像作为被摄体而进行拍摄时，通过光学系统(摄影透镜16、光圈17等)在摄像元件26(图像传感器)上成像被摄体像，由此从摄像元件26输出原图像数据Do(与摄影图像51对应)。该原图像数据Do因来源于光学系统的特性的点扩散效应而成为原来的被摄体像模糊的状态的图像数据。对该原图像数据进行坐标转换处理P30(图6的步骤S12)，尽管坐标转换后的坐标转换图像52通过坐标转换处理而非对称的模糊成分得到了校正，但点对称的模糊成分依然残留。因此，为了从坐标转换图像52复原原来的被摄体像(点像)，通过对坐标转换图像52进行使用了恢复滤波器F的点像复原处理P10(分辨率增强处理；图6的步骤S13)，能够获得表示更接近原来的被摄体像(点像)的像(恢复图像)的恢复图像数据Dr。另外，如后述的详细内容，根据需要对该恢复图像数据Dr进行逆变换处理(图6的步骤S14)。

能够通过恢复滤波器算法P20从与获取原图像数据Do时的摄影条件相应的光学系统的点像信息(点扩散函数)获得点像复原处理P10中所使用的恢复滤波器F。光学系统的点像信息(点扩散函数)不仅根据摄影透镜16的种类，还根据光圈量、焦距、变焦量、像高、记录像素数及像素间距等各种摄影条件而能够发生变动，因此在计算恢复滤波器F时获取这些摄影条件。

＜点像复原处理的一例＞

图11是表示点像复原处理的一例的框图。如上述，点像复原处理P10(分辨率增强处理)为通过使用了恢复滤波器F的滤波处理而由坐标转换图像52制作出恢复图像数据Dr的处理，例如由N×M(N及M为2以上的整数)抽头构成的实空间上的恢复滤波器F适用于处理对象的图像(图像数据)。由此，通过对分配于各抽头的滤波器系数及所对应的像素数据(坐标转换图像52的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算出点像复原处理后的像素数据(恢复图像数据Dr)。通过将使用了该恢复滤波器F的加权平均处理一边依次改换对象像素，一边适用于构成图像(图像数据)的所有像素数据，能够进行点像复原处理。

通过对频率空间上的恢复滤波器进行傅里叶逆变换能够导出由N×M抽头构成的实空间上的恢复滤波器。因此，通过特定成为基础的频率空间上的恢复滤波器，并指定实空间上的恢复滤波器的结构抽头数，能够适当计算出实空间上的恢复滤波器。

将恢复滤波器F的例子示于图12(a)中。恢复滤波器F以相对于内核中心成为旋转对称的方式设计，且能够减少存储于存储器中的数据。例如，当图12(a)中示出的7×7的内核时，通过存储如图12(b)所示那样的4×4的恢复滤波器G，能够利用其对称性而设为7×7的恢复滤波器F。

分辨率增强处理部42对坐标转换图像52使用恢复滤波器F进行点像复原处理。对通过坐标转换而弧矢的分辨率S与切向的分辨率T接近的坐标转换图像52使用旋转对称的恢复滤波器F进行点像复原处理(恢复处理)，因此与通过旋转非对称的恢复滤波器对摄影图像51(未进行坐标转换，如图5，弧矢的分辨率S与切向的分辨率T中差异大)进行点像复原处理的情况相比，能够减轻运算负荷，从而能够有效地获得良好的复原图像。

另外，当弧矢的分辨率S与切向的分辨率T的大小关系根据摄影透镜16的像高或摄影图像51中的位置而发生变化时，优选在弧矢的分辨率S大(高)的区域压缩图像，在切向的分辨率T大(高)的区域进行使图像膨胀的坐标转换。

＜其他分辨率增强处理＞

通过分辨率增强处理部42进行的分辨率增强处理只要是增强坐标转换图像52的分辨率的(抑制模糊的)处理，则并无特别限定。除了上述点像复原处理(恢复处理)以外，分辨率增强处理部42还可以使用轮廓增强滤波器对坐标转换图像52的亮度值进行轮廓增强处理。另外，分辨率增强处理部42能够对去马赛克处理前的RGB图像进行分辨率增强处理。在该情况下，对进行了上述坐标转换的RGB图像进行分辨率增强处理。

对分辨率增强处理部42作为分辨率增强处理进行轮廓增强处理的情况进行说明。在分辨率增强处理部42进行的轮廓增强中，也与上述恢复处理相同地对分配于轮廓增强滤波器的各抽头的滤波器系数及像素数据进行加权平均运算(反卷积运算)，由此能够计算出轮廓增强处理后的像素数据。而且，通过将使用了该轮廓增强滤波器的加权平均处理一边依次改换对象像素，一边适用于构成图像数据的所有像素数据，能够进行轮廓增强处理。轮廓增强滤波器通过公知的方法来制作。另外，在本发明中，作为分辨率增强处理的轮廓增强处理为还包含被称为边缘增强处理或清晰度增强处理的处理的概念。

＜逆变换处理＞

逆变换部43对恢复图像(分辨率增强图像)进行步骤S12的坐标转换的逆变换，并生成逆变换图像(图6的步骤S14)。逆变换图像具有与摄影图像51相同的构图，且为进行了分辨率增强处理的图像。另外，在通过步骤S12中的坐标转换而能够充分校正镜头的畸变像差的情况及摄影图像51中几乎没有畸变成分的情况下，可以不进行步骤S14的逆变换，通过坐标转换附加畸变成分的情况下进行逆变换即可。例如，当通过坐标转换如摄影图像51(参考图4)及摄影图像53(参考图15)那样的图像成为如坐标转换图像52那样的图像时，即在图像中的畸变成分通过坐标转换得到校正(去除)时，无需进行逆变换，如图13(a)所示，在通过坐标转换畸变成分附加于几乎没有畸变成分的摄影图像55而成为如图13(b)、图13(c)的坐标转换图像56、57那样的图像时进行逆变换即可。

＜实施例2＞

接着，对弧矢的分辨率S与切向的分辨率T之间的关系与实施例1不同的情况进行说明。在实施例1中，如图5所示，对弧矢的分辨率S高于切向的分辨率T的情况进行了说明，但在实施例2中，与其相反地，对摄影图像中切向的分辨率T高于弧矢的分辨率S的情况进行说明。图14是表示这种情况下的分辨率的图。在该情况下，如图15所示，将摄影图像53视为具有桶形畸变像差(畸变像差为负)的图像。另外，关于实施例2，数码相机10的结构及处理步骤可以与实施例1相同。

当摄影图像53的特性为图14及图15所示的特性时，进行如图16(a)所示的提高弧矢的分辨率S的(压缩摄影图像的中心部的)坐标转换、如图16(b)所示的降低切向的分辨率T的(使摄影图像的周边部膨胀的)坐标转换或如图16(c)所示，进行这些坐标转换两者即可。此时，如图16(a)～图16(c)所示，若将空间频率f4～f6下的坐标转换后的弧矢、切向的分辨率分别设为RS、RT(＞RS)，则将RT设为1时，使RS成为0.5以上、优选成为0.75以上。

通过这种坐标转换，弧矢的分辨率S与切向的分辨率T也会接近，因此与实施例1相同地能够对坐标转换后的图像进行旋转对称的分辨率增强处理，能够有效地获得良好的复原图像，进而通过坐标转换而摄影透镜16的畸变像差得以校正。另外，与实施例1相同地，在实施例2中也能够根据需要进行逆变换。

如对实施例1、实施例2进行的说明，在第1实施方式中，通过对摄影图像51进行坐标转换而坐标转换图像52的弧矢的分辨率S与切向的分辨率T接近，且对该坐标转换图像52进行旋转对称的分辨率增强处理，因此能够抑制分辨率增强处理的运算处理的负荷，从而能够有效地获得良好的复原图像。

＜第2实施方式＞

接着，对本发明的第2实施方式进行说明。在摄影透镜中，有时弧矢的分辨率S与切向的分辨率T之间的大小关系根据空间频率而发生变化，在该情况下，有时仅通过坐标转换在空间频率的整个范围内无法使分辨率接近。于是，在第2实施方式中，指定特定的空间频率或具有宽度的空间频率的区域，且在该空间频率下使分辨率接近。另外，在第2实施方式中，图像处理装置(数码相机10)的结构及处理步骤也可以与第1实施方式相同。

图17是表示弧矢的分辨率S与切向的分辨率T之间的大小关系根据空间频率而发生变化的状况的例子。在该例中，在空间频率低的区域中弧矢的分辨率S与切向的分辨率T大致一致，但随着空间频率变高而分辨率差逐渐变大。另外，在该例中，视为摄影透镜16的畸变像差为正(与图4(a)、图4(b)相同地，拍摄被摄体50而得到了摄影图像51)。

在图17所示的状况下，对在特定的空间频率下使分辨率接近的例子进行说明。图18(a)是对摄影图像51进行根据像高压缩图像的周边部的坐标转换而提高切向的(表观上的)分辨率T，且在空间频率fC上使弧矢的分辨率S与切向的分辨率T一致的例子。通过这种坐标转换而弧矢的分辨率S与切向的分辨率T接近，因此与第1实施方式相同地，能够对坐标转换后的图像进行旋转对称的分辨率增强处理，能够有效地获得良好的复原图像，进而通过坐标转换而摄影透镜16的畸变像差得以校正。

接着，对在具有宽度的空间频率的区域使分辨率接近的例子进行说明。图18(b)是对摄影图像51进行根据像高压缩图像的周边部的坐标转换而提高切向的(表观上的)分辨率T，且在从空间频率fL至fH的范围内使弧矢的分辨率S与切向的分辨率T接近的(在空间频率fC下使分辨率一致的)例子。

如图18(a)、图18(b)所示，当在特定的空间频率或具有宽度的空间频率的区域中使分辨率接近时，可以指定固定的值作为空间频率fC、fL、fH的值，也可以根据图像的种类及使用目的而指定不同的值。例如，能够以如下方式进行坐标转换，即，通常在画质上重要的频率即传感器(摄像元件26)的奈奎斯特频率×(1/4～1/2)的范围的空间频率(空间频率fL＝(1/4)×奈奎斯特频率、空间频率fH＝(1/2)×奈奎斯特频率)下弧矢的分辨率S与切向的分辨率T最接近，且在奈奎斯特频率×1/3的空间频率(空间频率fC)下使分辨率一致。另外，传感器的奈奎斯特频率(根/mm)＝(1/2)/传感器间距(mm)。

上述空间频率fC、fL、fH的值可以不依赖于用户而由图像处理部35(坐标转换部41)指定，也可以指定用户经由用户接口29输入的值。

另外，关于图17及图18(a)、图18(b)的例子，对进行根据像高压缩图像的周边部的坐标转换而提高切向的分辨率T的情况进行了说明，但与第1实施方式相同地，也可以进行根据像高使图像的中心部膨胀的坐标转换而降低弧矢的(表观上的)分辨率S。而且，也可以进行根据像高压缩图像的周边部的坐标转换及根据像高使图像的中心部膨胀的坐标转换这两者(降低弧矢的分辨率S，且提高切向的分辨率T)。并且，在坐标转换中，在除fC以外的空间频率，也与第1实施方式相同地，当将弧矢的分辨率S及切向的分辨率T中高的一方的分辨率设为1时，优选进行如使低的一方的分辨率成为0.5以上、优选成为0.75以上的坐标转换。

另外，在图17及图18(a)、图18(b)的例子中，对在空间频率的大致整个区域弧矢的分辨率S高于切向的分辨率T且畸变像差为正的情况进行了说明，但当分辨率的大小关系与其相反时(如图14及图15切向的分辨率T高于弧矢的分辨率S且畸变像差为负时)，进行图像的周边部的膨胀及中心部的压缩中的至少一种即可。

另外，在第2实施方式中，也与第1实施方式相同地，根据需要进行逆变换即可。

＜变形例＞

上述第1、第2实施方式中的各结构及功能能够通过任意的硬件、软件或两者的组合来适当实现。例如，也能够对使计算机执行上述处理步骤(处理步骤)的程序、记录有这种程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这种程序的计算机适用本发明。

将对计算机适用了本发明时的框图示于图19中。在图19的例子中，计算机90具备图像获取部92、信息获取部94、坐标转换部96、分辨率增强处理部98及逆变换部99，这些各部具有分别与数码相机10中的图像获取部40、信息获取部44、坐标转换部41、分辨率增强处理部42及逆变换部43相同的结构及功能。通过这种计算机90也能够进行与数码相机10相同的坐标转换、分辨率增强处理及逆变换，从而能够抑制分辨率增强处理的运算处理的负荷而有效地获得良好的复原图像。

另外，作为记录上述程序的记录介质，能够使用CD(光盘(compact disk))及DVD(数字通用光盘(digital versatile disk))等磁光记录介质及各种半导体存储器等非暂时性记录介质。

＜第3实施方式＞

接着，对将本发明的图像处理装置适用于智能手机的情况进行说明。

＜智能手机的结构＞

图20是表示第3实施方式所涉及的智能手机201的外观的图。图20所示的智能手机201具有平板状的壳体202，且在壳体202的一侧表面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，该壳体202具备扬声器231、话筒232、操作部240及相机部241(光学系统)。另外，壳体202的结构并不限定于此，例如，能够采用显示部与输入部独立的结构，并且还能够采用折叠结构及具有滑动机构的结构。

图21是表示图20所示的智能手机201的结构的框图。如图21所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(全球定位系统(GlobalPositioningSystem))接收部270、动作传感器部280、电源部290及主控制部200(图像获取部、坐标转换部、分辨率增强处理部、信息获取部、逆变换部)。并且，作为智能手机201的主要功能，具备经由基站装置及移动通信网进行移动无线通信的无线通信功能。

无线通信部210为根据主控制部200的命令对容纳于移动通信网的基站装置进行无线通信的部分。使用该无线通信进行语音数据、图像数据等各种文件数据及电子邮件数据等的收发以及Web数据及流数据等的接收。

显示输入部220为通过主控制部200的控制显示图像(静态图像及动态图像)及文字信息等而向用户传递可视的信息，且为检测用户对所显示的信息的操作的所谓的触摸面板，具备显示面板221及操作面板222。

显示面板221是将LCD(液晶显示器(LiquidCrystalDisplay))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的部分。操作面板222为以能够视觉辨认的方式载置显示面板221的显示面上所显示的图像，并检测通过用户的手指或触控笔操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据接收的检测信号，检测显示面板221上的操作位置(坐标)。

如图20、图21所示，智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，且操作面板222以完全覆盖显示面板221的方式配置。当采用该配置时，操作面板222对除显示面板221以外的区域也可以具备检测用户操作的功能。换言之，操作面板222可以具备对与显示面板221重合的重叠部分的检测区域(以下，称为显示区域)、及对与除此以外的显示面板221不重合的外缘部分的检测区域(以下，称为非显示区域)。

另外，可以使显示区域的大小与显示面板221的大小完全一致，但两者无需一定要一致。并且，操作面板222可以具备外缘部分及除此以外的内侧部分这2个感应区域。而且，外缘部分的宽度为根据壳体202的大小等而适当设计的宽度。并且，作为操作面板222中所采用的位置检测方式可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用任一种方式。

通话部230具备扬声器231及话筒232，并且为将通过话筒232输入的用户的语音转换为能够通过主控制部200处理的语音数据而输出至主控制部200，或对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出的部分。并且，如图20所示，例如，能够在与设置有显示输入部220的面相同的面上搭载扬声器231，并且在壳体202的侧面搭载话筒232。

操作部240为使用了按键开关等的硬件键，且为接收来自用户的命令的部分。例如，如图20所示，操作部240搭载于智能手机201的壳体202的侧面，且为用手指等按下时成为开启，将手指放开时通过弹簧等的复元力成为关闭状态的按钮式开关。

存储部250为存储主控制部200的控制程序及控制数据；使应用软件、对通信对象的名称及电话号码等建立对应关联的地址数据；所收发的电子邮件的数据；通过Web浏览器下载的Web数据及下载的内容数据，且临时存储流数据等的部分。并且，存储部250由智能手机内置的内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各自的内部存储部251及外部存储部252使用闪存类型(flashmemorytype)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia cardmicro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(随机存取存储器(Random Access Memory))及ROM(只读存储器(Read Only Memory))等存储介质来实现。

外部输入输出部260为发挥与连结于智能手机201的所有外部设备的接口的作用的部分，且为用于通过通信等(例如，USB(通用串行总线(Universal Serial Bus))、IEEE(电气和电子工程师协会(Institute of Electrical and Electronics Engineers)1394等)或网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(RadioFrequency Identification))、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接于其他外部设备的部分。

作为连接于智能手机201的外部设备，例如有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、通过卡插槽连接的存储卡(Memory card)或SIM(用户识别模块(Subscriber Identity Module))/UIM(用户标识模块(User Identity Module))卡、经由音频/视频I/O(输入/输出(Input/Output))端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人电脑、有/无线连接的PDA及耳机等。外部输入输出部能够使从这些外部设备传输而接收的数据传达到智能手机201内部的各构成要件，或使智能手机201内部的数据传输到外部设备。

GPS接收部270按照主控制部200的命令接收从GPS卫星ST1～STn发送的GPS信号，并基于接收的多个GPS信号执行定位运算处理，检测由该智能手机201的维度、经度、高度构成的位置。当能够从无线通信部210或外部输入输出部260(例如，无线LAN)获取位置信息时，GPS接收部270能够使用其位置信息检测位置。

动作传感器部280例如具备3轴加速度传感器等，并按照主控制部200的命令检测智能手机201的物理动向。通过检测智能手机201的物理动向，检测智能手机201的移动方向及加速度。该检测结果输出至主控制部200。

电源部290为按照主控制部200的命令向智能手机201的各部供给储存于电池(未图示)中的电力的部分。

主控制部200具备微处理器，并按照存储部250存储的控制程序及控制数据进行动作，且为集中控制智能手机201的各部的部分。并且，主控制部200为了通过无线通信部210进行语音通信及数据通信而具备控制通信系统各部的移动通信控制功能及应用程序处理功能。

应用程序处理功能通过按照存储部250存储的应用软件使主控制部200动作来实现。作为应用程序处理功能，例如有控制外部输入输出部260而与对向设备进行数据通信的红外线通信功能、进行收发电子邮件的电子邮件功能及浏览Web页面的Web浏览功能等。

并且，主控制部200具备根据接收数据及下载的流数据等图像数据(静态图像或动态图像数据)将影像显示于显示输入部220等的图像处理功能。图像处理功能是指由主控制部200解码图像数据并对该解码结果实施图像处理而将图像显示在显示输入部220的功能。

而且，主控制部200执行对显示面板221的显示控制、及通过操作部240、操作面板222的用户操作的操作检测控制。

通过显示控制的执行，主控制部200显示用于启动应用软件的图标或显示滚动条等软件键、或显示用于创建电子邮件的窗口。另外，滚动条是指用于接收对于显示面板221的显示区域中不能完整显示的大图像等使图像显示部分移动的命令的软件键。

并且，通过操作检测控制的执行，主控制部200检测通过操作部240的用户操作，或通过操作面板222对图标进行操作，或接收对窗口的输入栏的字符串的输入，或接收通过滚动条的显示图像的滚动请求。

而且，通过操作检测控制的执行，主控制部200具备触摸面板控制功能，所述触摸面板控制功能判定相对于操作面板222的操作位置是与显示面板221重合的重叠部分(显示区域)还是除此以外的与显示面板221不重合的边缘部分(非显示区域)，并控制操作面板222的感应区域及软件键的显示位置。

并且，主控制部200检测对操作面板222的手势操作，并根据检测到的手势操作也能够执行预先设定的功能。手势操作不是以往单纯的触摸操作，而是指通过手指等画出轨迹，或同时指定多个位置，或组合它们而从多个位置中的至少对其中一个描绘轨迹的操作。

相机部241(光学系统)为使用摄影透镜及CMOS(互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))及CCD(电荷耦合器件(Charge-CoupledDevice))等摄像元件进行电子拍摄的数码相机。并且，相机部241通过主控制部200的控制能够将通过拍摄得到的图像数据转换为例如JPEG等压缩的图像数据而记录于存储部250，或通过外部输入输出部260或无线通信部210进行输出。在图19、图20所示的智能手机201中，相机部241搭载于与显示输入部220相同的面上，但相机部241的搭载位置并不限定于此，也可以搭载于显示输入部220的背面，或可以搭载多个相机部241。另外，当搭载有多个相机部241时，能够切换到可供拍摄的相机部241而进行单独拍摄，或同时使用多个相机部241进行拍摄。

并且，相机部241能够利用于智能手机201的各种功能。例如，能够在显示面板221上显示通过相机部241获取的图像，或作为操作面板222的操作输入的一种而能够利用相机部241的图像。并且，当GPS接收部270检测位置时，能够参考来自相机部241的图像来检测位置。而且，参考来自相机部241的图像，并且不使用3轴加速度传感器或并用3轴加速度传感器，能够判断智能手机201的相机部241的光轴方向或判断当前的使用环境。当然，也能够将来自相机部241的图像利用于应用软件内。

此外，能够在静态图像或动态图像的图像数据中附加通过GPS接收部270获取的位置信息、通过话筒232获取的语音信息(可以通过主控制部等进行语音文本转换而成为文本信息)及通过动作传感器部280获取的姿势信息等而存储于存储部250，或也能够通过外部输入输出部260或无线通信部210进行输出。

另外，在第3实施方式中，对第1、第2实施方式进行说明的图像处理部35中的各功能及处理步骤(参考图3、图6)例如通过主控制部200来实现。

以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式及变形例，在不脱离本发明的技术思想的范围内，能够进行各种变形。

符号说明

10-数码相机，12-透镜单元，14-相机主体，16-摄影透镜，17-光圈，18-光学系统操作部，19-存储器，20-透镜单元控制器，22-透镜单元输入输出部，26-摄像元件，28-相机主体控制器，29-用户接口，30-相机主体输入输出部，31-液晶显示器，32-输入输出接口，34-设备控制部，35-图像处理部，40-图像获取部，41-坐标转换部，42-分辨率增强处理部，43-逆变换部，44-信息获取部，50-被摄体，51-摄影图像，51a-区域，52-坐标转换图像，53、55-摄影图像，56、57-坐标转换图像，60、90-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，70-因特网，80-服务器，82-服务器输入输出部，84-服务器控制器，92-图像获取部，94-信息获取部，96-坐标转换部，98-分辨率增强处理部，99-逆变换部，200-主控制部，201-智能手机，202-壳体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-话筒，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-接收部，270-GPS接收部，280-动作传感器部，290-电源部，Do-原图像数据，Dr-恢复图像数据，F、G-恢复滤波器，P10-点像复原处理，P20-恢复滤波器算法，P30-坐标转换处理，S，T-分辨率，S10、S11、S12、S13、S14-步骤，ST1、STn-GPS卫星，f1、f2、f3、f4、f5、f6、f_L、f_H-空间频率。

Claims

1.一种图像处理装置，其具备：

图像获取部，获取经由摄影透镜拍摄的被摄体的摄影图像；

坐标转换部，对所述摄影图像进行坐标转换，而在指定的空间频率下使以摄像面的中心为原点的圆周的切线方向即弧矢的分辨率和与所述切线方向垂直的放射方向即切向的分辨率接近；及

分辨率增强处理部，对进行了所述坐标转换的图像进行旋转对称的分辨率增强处理。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置具备获取所述摄影图像的所述弧矢的分辨率信息及所述切向的分辨率信息的信息获取部，

所述坐标转换部根据所述获取的所述弧矢的分辨率信息及所述切向的分辨率信息进行所述坐标转换。

3.根据权利要求1或2所述的图像处理装置，其中，

所述图像处理装置具有包含所述摄影透镜的光学系统，所述图像获取部经由所述光学系统获取所述摄影图像。

4.根据权利要求3所述的图像处理装置，其中，

所述摄影透镜中，以光轴为中心的圆周的切线方向即弧矢的分辨率高于与所述切线方向垂直的放射方向即切向的分辨率。

5.根据权利要求4所述的图像处理装置，其中，

所述坐标转换部进行压缩所述摄影图像的周边部的坐标转换及使所述摄影图像的中心部膨胀的坐标转换中的至少一种坐标转换。

6.根据权利要求3至5中任一项所述的图像处理装置，其中，

所述摄影透镜的畸变像差为正。

7.根据权利要求3所述的图像处理装置，其中，

所述摄影透镜中，以光轴为中心的圆周的放射方向即切向的分辨率高于与所述放射方向垂直的切线方向即弧矢的分辨率。

8.根据权利要求7所述的图像处理装置，其中，

所述坐标转换部进行使所述摄影图像的周边部膨胀的坐标转换及压缩所述摄影图像的中心部的坐标转换中的至少一种坐标转换。

9.根据权利要求3、7及8中任一项所述的图像处理装置，其中，

所述摄影透镜的畸变像差为负。

10.根据权利要求3至9中任一项所述的图像处理装置，其中，

所述坐标转换部通过所述坐标转换校正所述摄影透镜的畸变像差。

11.根据权利要求1至10中任一项所述的图像处理装置，其具备：

逆变换部，对进行了所述分辨率增强处理的图像进行所述坐标转换的逆变换。

12.根据权利要求1至11中任一项所述的图像处理装置，其中，

所述坐标转换部在进行了所述坐标转换的图像中，当将所述指定的空间频率下的所述弧矢的分辨率及所述切向的分辨率中高的一方的分辨率设为1时，进行如使所述弧矢的分辨率及所述切向的分辨率中低的一方的分辨率成为0.5以上、优选成为0.75以上的坐标转换。

13.一种图像处理方法，其为具备图像获取部、坐标转换部及分辨率增强处理部的图像处理装置的图像处理方法，所述图像处理方法具有：

图像获取工序，通过所述图像获取部获取经由摄影透镜拍摄的被摄体的摄影图像；

坐标转换工序，通过所述坐标转换部对所述摄影图像进行坐标转换，而在指定的空间频率下使以摄像面的中心为原点的圆周的切线方向即弧矢的分辨率和与所述切线方向垂直的放射方向即切向的分辨率接近；及

分辨率增强处理工序，通过所述分辨率增强处理部对进行了所述坐标转换的图像进行旋转对称的分辨率增强处理。

14.根据权利要求13所述的图像处理方法，其中，

所述图像处理方法具备获取所述摄影图像的所述弧矢的分辨率信息及所述切向的分辨率信息的信息获取工序，

在所述坐标转换工序中，根据所述获取的所述弧矢的分辨率信息及所述切向的分辨率信息进行所述坐标转换。

15.根据权利要求13或14所述的图像处理方法，其还具有：

逆变换工序，对进行了所述分辨率增强处理的图像进行所述坐标转换的逆变换。