JP2014230051A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2014230051A
JP2014230051A JP2013107622A JP2013107622A JP2014230051A JP 2014230051 A JP2014230051 A JP 2014230051A JP 2013107622 A JP2013107622 A JP 2013107622A JP 2013107622 A JP2013107622 A JP 2013107622A JP 2014230051 A JP2014230051 A JP 2014230051A
Authority
JP
Japan
Prior art keywords
image
imaging
subject
information processing
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013107622A
Other languages
English (en)
Inventor
石田　実
Minoru Ishida
実 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013107622A priority Critical patent/JP2014230051A/ja
Priority to CN201410205786.0A priority patent/CN104184928B/zh
Priority to US14/278,448 priority patent/US9386218B2/en
Publication of JP2014230051A publication Critical patent/JP2014230051A/ja
Priority to US15/163,373 priority patent/US9807303B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】情報処理装置の電子基板上において、筐体の長辺方向に長い合成画像を生成する複数の撮像部以外の電子部品を配置し易くする。
【解決手段】情報処理装置は、第１光学系と、第２光学系と、筐体とを具備する。第１光学系は、第１撮像素子に光を入射させる。また、第２光学系は、第２撮像素子に光を入射させる。また、筐体は、特定方向に長い一の面を備え、その一の面において第１光学系および第２光学系が特定方向と略直交する直交方向に並べて配置される。また、第１光学系の光軸および第２光学系の光軸が特定方向においてある角をなすように、第１光学系および第２光学系が配置される。
【選択図】図１

Description

本技術は、情報処理装置に関する。詳しくは、合成画像を扱う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物等の被写体を撮像する撮像部を備え、この撮像部により生成された画像を画像ファイルとして記録するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。
また、複数の撮像部により生成された各画像を合成することにより、筐体の長辺方向に長い合成画像を生成することが可能な携帯端末が提案されている（例えば、特許文献１（例えば、図７１）参照。）。さらに、複数の撮像部を有する携帯端末において、これら複数の撮像部を１つのフォルダに固定して、このフォルダを携帯端末が有する電子基板上へ固定する技術が提案されている（例えば、特許文献２参照。）。
特開２０１１−４４８３７号公報 特開２０１２−２２０９４２号公報
上述の従来技術（例えば、特許文献２）では、装置の筐体が有する外縁３辺のうち、装置の表示部の短辺と平行となる辺の中央付近から、表示部の長辺と平行となる方向に、装置の中央付近に向かって複数の撮像部が配置される。
ここで、近年の民生用電子機器は、電子基板の表裏両面に多数の電子部品が実装されることがほとんどである。このような電子基板上に、筐体の外縁から装置の中央付近に向かって複数の撮像部が配置された場合には、複数の撮像部以外の電子部品を、装置の電子基板上へ配置する自由度が低下してしまうおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、情報処理装置の電子基板上において、筐体の長辺方向に長い合成画像を生成する複数の撮像部以外の電子部品を配置し易くすることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、第１撮像素子に光を入射させる第１光学系と、第２撮像素子に光を入射させる第２光学系と、特定方向に長い一の面を備え、上記一の面において上記第１光学系および上記第２光学系が上記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、上記第１光学系の光軸および上記第２光学系の光軸が上記特定方向においてある角をなすように、上記第１光学系および上記第２光学系が配置される情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１光学系の光軸および第２光学系の光軸が特定方向においてある角をなすように配置される第１光学系および第２光学系を用いて撮像動作を行うという作用をもたらす。
また、この第１の側面において、上記筐体は、上記特定方向に長い矩形状の表示部を備え、上記表示部の長辺を含み上記表示部の表示面に垂直な面である第１面に対する射影であって上記表示面に対する垂線の上記第１面に対する射影を対称軸として、上記第１面に対する上記第１光学系の光軸の第１射影と、上記第１面に対する上記第２光学系の光軸の第２射影とを線対称とするようにしてもよい。これにより、表示面に対する垂線の第１面に対する射影を対称軸として、第１射影および第２射影を線対称とするように配置される第１光学系および第２光学系を用いて撮像動作を行うという作用をもたらす。
また、この第１の側面において、第３撮像素子に光を入射させる第３光学系をさらに具備し、上記第３光学系は、上記第１光学系および上記第２光学系とともに上記一の面に上記直交方向に並べて、かつ、上記第３光学系の光軸が上記表示面に直交するように、配置されるようにしてもよい。これにより、第１光学系および第２光学系とともに一の面に直交方向に並べて、かつ、第３光学系の光軸が表示面に直交するように配置される第３光学系を用いて撮像動作を行うという作用をもたらす。
また、本技術の第２の側面は、第１光学系を通過した光を受光する第１撮像素子と、第２光学系を通過した光を受光する第２撮像素子と、特定方向に長い一の面を備え、上記一の面において上記第１光学系および上記第２光学系が上記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、上記第１撮像素子が撮像対象とする範囲と上記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲が、上記第１撮像素子および上記第２撮像素子のそれぞれが撮像対象とする範囲よりも上記特定方向に広くなるように、上記第１撮像素子および上記第２撮像素子が配置される情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、その撮像対象範囲が、第１撮像素子および第２撮像素子のそれぞれが撮像対象とする範囲よりも特定方向に広くなるように配置される第１撮像素子および第２撮像素子を用いて撮像動作を行うという作用をもたらす。
また、本技術の第３の側面は、第１光学系を通過した光を受光する第１撮像素子と、第２光学系を通過した光を受光する第２撮像素子と、特定方向に長い一の面を備え、上記一の面において上記第１光学系および上記第２光学系が上記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、上記第１撮像素子が撮像対象とする範囲と上記第２撮像素子が撮像対象とする範囲とが、上記特定方向に並ぶように、上記第１撮像素子および上記第２撮像素子が配置される情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１撮像素子が撮像対象とする範囲と第２撮像素子が撮像対象とする範囲とが、特定方向に並ぶように配置される第１撮像素子および第２撮像素子を用いて撮像動作を行うという作用をもたらす。
また、本技術の第４の側面は、第１光学系を通過した光を受光する第１撮像素子と、第２光学系を通過した光を受光する第２撮像素子と、特定方向に長い一の面を備え、上記一の面において上記第１光学系および上記第２光学系が上記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、上記第１撮像素子の長辺方向と上記第２撮像素子の長辺方向とが上記特定方向に略一致し、かつ、上記第１撮像素子が撮像対象とする範囲と上記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲の縦横比が、上記第１撮像素子および上記第２撮像素子のそれぞれが撮像対象とする範囲の縦横比よりも大きくなるように、上記第１撮像素子および上記第２撮像素子が配置される情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１撮像素子の長辺方向と第２撮像素子の長辺方向とが特定方向に略一致し、かつ、その撮像対象範囲の縦横比が、第１撮像素子および第２撮像素子のそれぞれが撮像対象とする範囲の縦横比よりも大きくなるように配置される第１撮像素子および第２撮像素子を用いて撮像動作を行うという作用をもたらす。
また、この第１乃至第４の側面において、上記各撮像素子は、上記各撮像素子のうちの１つの撮像素子が撮像対象とする範囲の上記特定方向における端部と当該撮像素子に隣接して配置される他の撮像素子が撮像対象とする範囲の上記特定方向における端部とが重複するように配置されるようにしてもよい。これにより、１つの撮像素子が撮像対象とする範囲の特定方向における端部とその撮像素子に隣接して配置される他の撮像素子が撮像対象とする範囲の特定方向における端部とが重複するように配置される各撮像素子を用いて撮像動作を行うという作用をもたらす。
また、この第１乃至第４の側面において、上記各撮像素子が上記直交方向に並べて配置されることによって生じる、上記各撮像素子から得られる複数の画像間における上記直交方向のずれを、上記画像間における重複領域に含まれる被写体に係る被写体距離に基づいて補正する補正部をさらに具備するようにしてもよい。これにより、各撮像素子から得られる複数の画像間における直交方向のずれを、画像間における重複領域に含まれる被写体に係る被写体距離に基づいて補正するという作用をもたらす。
また、この第１乃至第４の側面において、上記各撮像素子から得られる複数の画像のうち、各画像のうちの少なくとも一部の範囲を上記特定方向に連結して生成される合成画像に用いられる当該範囲を、上記複数の画像間における重複領域に含まれる被写体に係る被写体距離に基づいて調整する調整部をさらに具備するようにしてもよい。これにより、各撮像素子から得られる複数の画像のうち、各画像のうちの少なくとも一部の範囲を特定方向に連結して生成される合成画像に用いられるその範囲を、複数の画像間における重複領域に含まれる被写体に係る被写体距離に基づいて調整するという作用をもたらす。
また、この第１乃至第４の側面において、上記情報処理装置から、上記各撮像素子から得られる複数の画像間における重複領域に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、上記重複領域に含まれる被写体の配置の変更を促す通知もしくは上記合成画像において画像がずれる旨の通知を行う制御部をさらに具備するようにしてもよい。これにより、重複領域に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、重複領域に含まれる被写体の配置の変更を促す通知もしくは合成画像において画像がずれる旨の通知を行うという作用をもたらす。
また、この第１乃至第４の側面において、上記各撮像素子から得られる複数の画像について各画像のうちの少なくとも一部の範囲を上記特定方向に連結した合成画像を生成する画像合成部をさらに具備するようにしてもよい。これにより、各撮像素子から得られる複数の画像について各画像のうちの少なくとも一部の範囲を特定方向に連結した合成画像を生成するという作用をもたらす。
また、この第１乃至第４の側面において、上記画像合成部は、上記各撮像素子から得られる複数の画像間における上記直交方向のずれを、上記合成画像に含まれる被写体に係る被写体距離に基づいて補正するようにしてもよい。これにより、各撮像素子から得られる複数の画像間における直交方向のずれを、合成画像に含まれる被写体に係る被写体距離に基づいて補正するという作用をもたらす。
また、この第１乃至第４の側面において、上記画像合成部は、上記各撮像素子から得られる複数の画像のうち、上記合成画像に用いられる画像の範囲を、上記合成画像に含まれる被写体に係る被写体距離に基づいて調整するようにしてもよい。これにより、各撮像素子から得られる複数の画像のうち、合成画像に用いられる画像の範囲を、合成画像に含まれる被写体に係る被写体距離に基づいて調整するという作用をもたらす。
また、この第１乃至第４の側面において、上記情報処理装置から、上記合成画像に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、上記合成画像に含まれる被写体の配置の変更を促す通知もしくは上記合成画像において画像がずれる旨の通知を行う制御部をさらに具備するようにしてもよい。これにより、合成画像に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、合成画像に含まれる被写体の配置の変更を促す通知もしくは合成画像において画像がずれる旨の通知を行うという作用をもたらす。
また、この第１乃至第４の側面において、上記特定の被写体を、上記情報処理装置に最も近い被写体、合焦動作により合焦対象となった被写体、顔検出部により検出された被写体、および、動体検出部により検出された被写体のうちの少なくとも１つとするようにしてもよい。これにより、情報処理装置に最も近い被写体、合焦動作により合焦対象となった被写体、顔検出部により検出された被写体、および、動体検出部により検出された被写体のうちの少なくとも１つを特定の被写体として通知を行うという作用をもたらす。
また、この第１乃至第４の側面において、上記制御部は、音声出力部からの音声出力および上記表示部への情報表示のうちの少なくとも１つにより上記通知を行うようにしてもよい。これにより、音声出力部からの音声出力および表示部への情報表示のうちの少なくとも１つにより通知を行うという作用をもたらす。
また、本技術の第５の側面は、特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは上記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、上記被写体距離に基づいて、上記合成画像に用いる各画像の範囲に関する判定を行う判定手順とを具備する情報処理方法および当該方法をコンピュータに実行させるプログラムである。これにより、合成画像における重複領域もしくは合成画像に含まれる被写体に係る被写体距離を算出し、この被写体距離に基づいて、合成画像に用いる各画像の範囲に関する判定を行うという作用をもたらす。
また、本技術の第６の側面は、特定方向に並べて配置される複数の撮像部により生成される各画像において端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは上記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、上記被写体距離に基づいて、上記合成画像に含まれる被写体の配置に関する判定を行う判定手順とを具備する情報処理方法および当該方法をコンピュータに実行させるプログラムである。これにより、合成画像における重複領域もしくは合成画像に含まれる被写体に係る被写体距離を算出し、この被写体距離に基づいて、合成画像に含まれる被写体の配置に関する判定を行うという作用をもたらす。
本技術によれば、情報処理装置の電子基板上において、筐体の長辺方向に長い合成画像を生成する複数の撮像部以外の電子部品を配置し易くすることができるという優れた効果を奏し得る。
本技術の第１の実施の形態における情報処理装置１００の外観構成例を示す図である。 本技術の第１の実施の形態における情報処理装置１００に備えられる撮像部の配置例を示す図である 本技術の第１の実施の形態における情報処理装置１００に備えられる撮像部の配置例を示す図である 本技術の第１の実施の形態における情報処理装置１００に備えられる撮像部の配置例を示す図である 本技術の第１の実施の形態における情報処理装置１００に備えられる撮像部の配置例を示す図である 本技術の第１の実施の形態における情報処理装置１００の内部構成例を示す図である。 本技術の第１の実施の形態における撮像部１３０の内部構成例を示す図である。 本技術の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。 本技術の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。 本技術の第１の実施の形態における撮像素子の内部構成例を示す図である。 本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作およびその撮像動作時における撮像範囲の一例を模式的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作およびその撮像動作時における撮像範囲の一例を模式的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。 本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。 本技術の第１の実施の形態における情報処理装置１００によるユーザへの通知例を示す図である。 本技術の第１の実施の形態における情報処理装置１００によるユーザへの通知例を示す図である。 本技術の第１の実施の形態における情報処理装置１００によるユーザへの通知例を示す図である。 本技術の第１の実施の形態における情報処理装置１００によるパノラマ画像記録制御処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における情報処理装置６００の外観構成例を示す図である。 本技術の実施の形態の変形例における情報処理装置６３０、６５０の外観構成例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（パノラマ画像記録制御：２つの撮像系を備える情報処理装置を用いてパノラマ画像を生成する例）
２．第２の実施の形態（パノラマ画像記録制御：３つの撮像系を備える情報処理装置を用いてパノラマ画像を生成する例）
３．変形例
＜１．第１の実施の形態＞
［情報処理装置の外観構成例］
図１は、本技術の第１の実施の形態における情報処理装置１００の外観構成例を示す図である。図１のａには、情報処理装置１００の上面図を示し、図１のｂには、情報処理装置１００の正面（表示部１４０が設けられている面）図を示す。また、図１のｃには、情報処理装置１００の背面（表示部１４０が設けられている面の裏側の面）図を示し、図１のｄには、情報処理装置１００の側面図を示す。
情報処理装置１００は、例えば、複数の撮像部を備える情報処理装置（例えば、複眼カメラ付きスマートフォンや複眼カメラ付き携帯電話）により実現される。なお、図１では、説明の容易のため、情報処理装置１００を簡略化して示し、情報処理装置１００の外側面に備えられている電源スイッチ等の図示を省略する。また、情報処理装置１００の筐体内に備えられている回路等の詳細についても図示を省略する。
ここで、本技術の実施の形態では、画像の縦方向サイズに対する横方向サイズの比を、「横縦比」と定義して説明する。また、デジタルハイビジョン画像の横縦比（１６：９）よりも横縦比が大きい画像を「パノラマ画像」と定義して説明する。
また、本技術の実施の形態では、「画像」と記載した場合には、画像そのものと、その画像を表示するための画像データとの両方の意味を含むものとする。
情報処理装置１００は、決定キー１１１と、撮像部１３０と、表示部１４０とを備える。
ここで、本技術の実施の形態では、複数の撮像系（撮像部１３０）を、情報処理装置１００の筐体の短辺と平行になるように配置する。また、複数の撮像系（撮像部１３０）が有する各撮像素子の長辺を、情報処理装置１００の筐体の長辺と平行になるように配置する。また、複数の撮像系（撮像部１３０）を、情報処理装置１００が有する表示部１４０の短辺および情報処理装置１００の筐体短辺の外縁に可能な限り近付けて配置するようにする。ここで、情報処理装置１００の筐体の短辺とは、筐体が有する辺のうち、最も長い辺以外の辺を意味する。さらに、複数の撮像系（撮像部１３０）と筐体短辺の外縁との間に、画像撮影と表示以外の機能の担う電子基板（または、画像の撮像機能以外の機能を主に司る電子基板）を配置しないようにすることが好ましい。または、複数の撮像系（撮像部１３０）と筐体短辺の外縁との間に配置する電子基板の面積を、情報処理装置１００内に配置する電子基板であり、かつ、画像撮影と表示以外の機能を担う電子基板の面積の１／２以下とすることが好ましい。
ここで、近年の民生用電子機器は、電子基板の表裏両面に多数の電子部品が実装されることがほとんどである。そこで、電子基板上に複数の撮像系および他の電子部品を配置する場合を想定する。例えば、装置の筐体の外縁から装置の中央付近に向かって複数の撮像系を並べて配置（例えば、複数の撮像系を装置の筐体長辺に平行に配置）する装置（例えば、カメラ付き携帯電話）を想定する。言い換えると、この装置は、筐体が略直方体である装置において、装置の筐体が有する外縁３辺のうち、装置の表示部の短辺と平行となる辺の中央付近から、表示部の長辺と平行となる方向に、装置の中央付近に向かって複数の撮像系を並べて配置する装置である。例えば、このような装置の電子基板上に、筐体の外縁から装置の中央付近に向かって複数の撮像系が配置された場合には、複数の撮像系以外の電子部品を、装置の電子基板上へ配置する自由度が低下してしまうおそれがある。例えば、筐体の外縁から装置の中央付近に向かって複数の撮像系を配置すると、他の電子部品を配置する領域が、複数の撮像系によって左右２つの小さな領域へと分断されてしまう。これにより、電子基板上に実装される電子部品のうち、外形面積が大きな電子部品（例えば、半導体装置）を配置する自由度が低下してしまうおそれがある。また、電子部品が左右２つの小さな領域に分かれて配置するため、これらの電子部品間の配線が複雑になる。これにより電子部品の配置がいっそう制約を受けてしまうおそれがある。これに対して、本技術の実施の形態では、複数の撮像系（撮像部１３０）を情報処理装置１００の筐体短辺に平行かつ外縁に近付けて配置する。これにより、情報処理装置１００の電子基板において、複数の撮像系が電子基板の外縁から中央付近に向って張り出して配置されることを、可能な限り回避することができる。また、複数の撮像系以外の電子部品を情報処理装置１００の電子基板上へ配置する自由度を向上させることができる。
決定キー１１１は、ユーザによる各種機能を設定する際等に押下される操作部材である。例えば、静止画撮像モードが設定されている場合に押下されると、シャッターボタンとして機能する。
なお、テンキーや十字キーについては、ユーザ操作や自動で表示部１４０に適宜表示される。そして、その表示されたテンキーや十字キーをユーザが操作することができる。
撮像部１３０は、被写体を撮像して画像データを生成するものである。なお、本技術の実施の形態では、複数の撮像部（複数の撮像系）を撮像部１３０と称して説明する。また、撮像部１３０による画像データの生成には、撮像部１３０による撮影の意味を含むものとする。なお、図１のｂに示す撮像部１３０における丸は、撮像部１３０が備える複数の撮像系の各レンズを模式的に表すものである。すなわち、本技術の第１の実施の形態では、表示部１４０の長辺方向を特定方向とし、この特定方向と略直交する直交方向に、２個のレンズ群が並べて配置されている撮像部１３０を例にして説明する。なお、図１に示す撮像部１３０を構成する各部については、説明の容易のため、簡略化して示す。
また、図１のａに示すように、２個のレンズ群（光学系１３１、１３２）における光軸が、１点で交わるものとする。例えば、撮像部１３０を構成する２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）の光軸を、光軸１９３および１９４とする。この場合に、光軸１９３と、表示部１４０の表示面に直交（または、略直交）する垂線１９５とのなす角度をθ１とし、光軸１９４と垂線１９５とのなす角度をθ１とする。すなわち、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）の光軸１９３および１９４が、垂線１９５を挟んで線対称の位置となるように、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）が配置される。
また、２個のレンズ群（光学系１３１、１３２）の撮像範囲をθとする。また、２個のレンズ群（光学系１３１、１３２）は、表示部１４０の長辺方向（特定方向）の撮像範囲のうちの少なくとも一部が他の撮像範囲と重複するように配置される。
このように、撮像部１３０を構成する２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）は、表示部１４０の長辺方向（特定方向）において、各光軸がある角（２×θ１）をなすように配置される。ここで、特定方向において各光軸がある角をなすとは、各光軸のなす角度が特定方向において所定角（２×θ１）となるように配置されることを意味する。言い換えれば、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）の光軸１９３および１９４のなす角度が、特定方向において所定角（２×θ１）となるように、２つの撮像系が配置されることを意味する。また、撮像部１３０を構成する２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）は、長方形である撮像素子１３３、１３４の長辺が情報処理装置１００の筐体の長手方向と平行になるように配置される。これにより２つの撮像系のそれぞれが、情報処理装置１００の筐体の長手方向を長辺とする画像を生成する。
また、表示部１４０が設けられている面（正面）から撮影対象となる被写体の方向を見て、図１のａに示す垂線１９５よりも左側にある被写体は、その多くが左側画像として光学系１３１と撮像素子１３３からなる左側撮像系によって撮影される。また、図１のａに示す垂線１９５よりも右側にある被写体は、その多くが右側画像として光学系１３２と撮像素子１３４からなる右側撮像系によって撮影される。また、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）により生成される２つの画像（左側画像、右側画像）間に重複領域が生成されるように、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）が配置される。なお、２つの画像（左側画像、右側画像）間における重複領域は、例えば、図１５のａに示す重複領域Ｈ２である。さらに、図１では、図１のｄに示す上下方向へ２つの撮像系を２段に配置する際に、左側撮像系（光学系１３１と撮像素子１３３）を上下方向の下段に配置し、右側撮像系（光学系１３２と撮像素子１３４）を上下方向の上段に配置する例を示す。
ここで、図１のａに示すθ１の大きさは、θの５０％未満が好ましい。また、図１５に示す重複領域Ｈ２の水平方向（撮像素子の長辺方向）の範囲は、１個の撮像素子が撮像対象とする範囲（図１５に示すＨ１＋Ｈ２）の５０％未満が好ましい。これらにより、複数個の撮像素子が撮像対象とする範囲を合せた撮像対象範囲は、１個の撮像素子が撮像対象とする範囲よりも、５０％以上広くすることができる。また、複数個の撮像素子が撮像対象とする範囲を合せた撮像対象範囲の縦横比は、１個の撮像素子が撮像対象とする範囲の縦横比よりも、５０％以上大きいパノラマ画像を得ることができる。
このように、情報処理装置１００は、撮像素子１３３に光を入射させる光学系１３１と、撮像素子１３２に光を入射させる光学系１３４とを備える。また、情報処理装置１００は、光学系１３１を通過した光を受光する撮像素子１３３と、光学系１３４を通過した光を受光する撮像素子１３４とを備える。また、情報処理装置１００は、特定方向に長い一の面を備え、この一の面において光学系１３３および光学系１３４が特定方向と略直交する直交方向に並べて配置される筐体を有する。また、この筐体は、特定方向に長い矩形状の表示部１４０を備える。
また、光学系１３１の光軸１９３および光学系１３２の光軸１９４が特定方向においてある角（θ１×２）をなすように、光学系１３１および光学系１３２が配置される。ここで、表示部１４０の長辺を含み表示部１４０の表示面に垂直な面（第１面）に対する射影であって表示面１４０に対する垂線の第１面に対する射影を対称軸とする。この場合に、第１面に対する光学系１３１の光軸１９３の第１射影と、第１面に対する光学系１３２の光軸１９４の第２射影とが線対称となる。
［撮像部の配置例］
図２乃至５は、本技術の第１の実施の形態における情報処理装置１００に備えられる撮像部の配置例を示す図である。
図２のａには、１つの光学系（レンズ群）８０１と、１つの撮像素子８０２とからなる１つの撮像系をその光軸上から見た場合における平面図を示す。なお、光学系８０１および撮像素子８０２は、図１に示す光学系１３１および撮像素子１３３、光学系１３２および撮像素子１３４に対応する。
また、図２のａに示すレンズの直径Ｍは、光学系８０１を構成するレンズ群のうちで最も外側に配置されているレンズの直径を示す値である。また、撮像素子の長辺の長さＨは、撮像素子８０２の長辺の長さを示す値である。また、撮像素子の短辺の長さＶは、撮像素子８０２の短辺の長さを示す値である。
図２のｂには、１つの撮像系（光学系８０１、撮像素子８０２）を、光軸８０３と直交する方向（撮像素子８０２の長辺方向に直交する方向）から見た場合における図を示す。なお、図２のｂでは、説明の容易のため、光学系８０１として３つのレンズのみを代表して示す。
図２のｃには、図２のｂに示す光学系８０１をさらに簡略化して、光学系８０１を１枚のレンズにより光模式的に示す。また、図２のｄ、ｅ、図３乃至図５においても、光学系を簡略化して１枚のレンズにより光模式的に示す。
図２のｄには、ある基準面ＤＬに対して光軸８０３が角度θ２となるように、図２のｃに示す撮像系（光学系８０１、撮像素子８０２）を配置した場合における図を示す。なお、角度θ２と、図１に示す角度θ１とは、θ２＝π／２−θ１の関係にあるものとする。
図２のｄにおいて、レンズの直径Ｍの基準面ＤＬへの射影の長さＭ１は、Ｍ・ｃｏｓ（π／２−θ２）により求めることができる。また、撮像素子の長辺の長さＨの基準面ＤＬへの射影の長さＨ１は、Ｈ・ｃｏｓ（π／２−θ２）により求めることができる。
図２のｅには、図２のｄにおいて基準面ＤＬ上に投影された光学系８０１および撮像素子８０２を、基準面ＤＬと正対した位置から見た場合における図を示す。
図２のｅに示すように、投影面上では、光学系（レンズ群）８０１は楕円となる。また、図２のｅに示すように、投影面上では、撮像素子８０２は、短辺の長さに対する長辺の長さの比が小さくなり、かつ、撮像素子８０２は、光学系（レンズ群）８０１の中心よりも、光軸８０３の射影の方向へずれた位置に見える。このように、投影面上では、光学系（レンズ群）は楕円となるが、図１では、説明の容易のため、光学系（レンズ群）１３１、１３２を、楕円ではなく円で示す。
図３乃至図５には、情報処理装置における２つの撮像系の光軸を交差させる位置を、３種類に変化させた場合における撮像系の配置例を示す。
具体的には、図３には、図２のｄと同様に、基準面ＤＬ１に対する各光軸８１５、８１６の角度が、角度θ２（基準面ＤＬ１への垂線に対して角度θ１）となるように配置されている場合における配置例を示す。すなわち、図３には、２つの光軸８１５、８１６が、光学系（レンズ群）８１１、８１２と撮像素子８１３、８１４との間で交差するように２つの撮像系が配置される場合における配置例を示す。
また、図４には、基準面ＤＬ２に対する各光軸８２５、８２６の角度が、角度θ２（基準面ＤＬ２への垂線に対して角度θ１）となるように配置されている場合における配置例を示す。すなわち、図４には、２つの光軸８２５、８２６が、光学系（レンズ群）８２１、８２２の位置で交差するように２つの撮像系が配置される場合における配置例を示す。
また、図５には、基準面ＤＬ３に対する各光軸８３５、８３６の角度が、角度θ２（基準面ＤＬ３への垂線に対して角度θ１）となるように配置されている場合における配置例を示す。すなわち、図５には、２つの光軸８３５、８３６が、光学系（レンズ群）８３１、８３２から撮像素子８３３、８３４へ向かう線の延長上で交差するように２つの撮像系が配置される場合における配置例を示す。
また、図３のｂには、図２のｅと同様に、図３のａに示す光学系（レンズ群）８１１、８１２と、撮像素子８１３、８１４とを、基準面ＤＬ１上に投影した場合における図を示す。同様に、図４のｂには、図４のａに示す光学系（レンズ群）８２１、８２２と、撮像素子８２３、８２４とを、基準面ＤＬ２上に投影した場合における図を示す。同様に、図５のｂには、図５のａに示す光学系（レンズ群）８３１、８３２と、撮像素子８３３、８３４とを、基準面ＤＬ３上に投影した場合における図を示す。
このように、図３乃至図５には、図１のａにおける撮像部１３０を、２つの撮像系の光軸が交差する位置を３種類に変化させた場合における配置例を示す。
このように、２つの光学系（レンズ群）の水平方向（例えば、図１のｂに示す表示部１４０および情報処理装置１００の筐体の長辺方向）の位置関係は、２つの撮像系の２本の光軸が交差する位置によって変化する。例えば、図４に示すように、２つの光軸８２５、８２６が光学系（レンズ群）８２１、８２２の位置で交差する場合には、光学系（レンズ群）８２１、８２２の水平方向（筐体の長辺方向）の位置は一致する。また、図３、図５に示すように、２本の光軸が交差する位置が光学系（レンズ群）から撮像素子の方向へ移動するにつれて、光学系（レンズ群）８２１、８２２の水平方向の位置は離れる。なお、光学系（レンズ群）の水平方向の位置が一致する情報処理装置の例を図２９のａに示す。
表示部１４０は、各種画像を表示する表示装置であり、例えば、タッチパネルにより構成される。表示部１４０には、例えば、撮像動作により生成された画像が表示される。表示部１４０として、例えば、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。
ここで、情報処理装置１００の長手方向を垂直方向（重力方向と平行な方向）と同一とする状態を、情報処理装置１００の縦長状態と称する。また、図１のａ乃至ｄに示すように、情報処理装置１００の長手方向を水平方向（重力方向と垂直な方向）と同一とする状態を、情報処理装置１００の横長状態と称する。なお、情報処理装置１００の長手方向を水平方向と同一とする状態は、例えば、表示部１４０の表示面に直交する軸を回転軸として、縦長状態の情報処理装置１００を９０度回転させた状態である。
このように、複眼の情報処理装置１００を用いることにより、例えば、静止画のパノラマ画像を撮影する場合に、シャッターボタンを押下した直後に複数の撮像系で同時に撮影した画像を連結してパノラマ画像を形成することができる。なお、撮像位置（撮影者の位置）を回転中心として水平方向に撮像装置を回転移動させる操作（いわゆる、パンニング操作）によりパノラマ画像を生成することが可能な単眼の撮像装置が存在する。この単眼の撮像装置によりパノラマ画像を生成する場合には、上述したようにパンニング操作が必要となるため、シャッターボタンを押下した直後にパノラマ画像を生成することはできない。これに対して、情報処理装置１００は、その単眼の撮像装置よりもパノラマ画像を短時間で撮影することができる。
このように、情報処理装置１００は、２つの撮像系（光学系１３１、１３２、撮像素子１３３、１３４）を用いて筐体および表示部１４０の長辺方向に広がったパノラマ画像を撮影して記録することができる複眼撮像装置である。
［情報処理装置の内部構成例］
図６は、本技術の第１の実施の形態における情報処理装置１００の内部構成例を示す図である。
情報処理装置１００は、アプリケーションプロセッサ１１と、デジタルベースバンド処理部１２と、アナログベースバンド処理部１３と、ＲＦ（Radio Frequency）処理部１４とを備える。また、情報処理装置１００は、電池１５と、マイクロフォン１６と、スピーカ１７と、アンテナ１８と、決定キー１１１と、撮像部１３０と、表示部１４０とを備える。また、情報処理装置１００は、姿勢検出部１５０と、プログラムメモリ１６０と、画像メモリ１７０と、記録媒体１８０と、ＤＳＰ（Digital Signal Processor）２００とを備える。なお、ＲＦ処理部１４には、アンテナ１８が備えられ、アナログベースバンド処理部１３には、マイクロフォン１６およびスピーカ１７が備えられている。
アプリケーションプロセッサ１１は、内蔵するメモリに記憶される各種プログラムに基づいて情報処理装置１００の各部を制御するものである。アプリケーションプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備えて構成される。
例えば、受話動作が行われる場合には、アンテナ１８により受信された電波が、ＲＦ処理部１４およびアナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により復調される。そして、デジタルベースバンド処理部１２による復調結果が、アナログベースバンド処理部１３を経由してスピーカ１７から出力される。
また、送話動作が行われる場合には、マイクロフォン１６から入力された音声が、アナログベースバンド処理部１３を経由して、デジタルベースバンド処理部１２により変調される。そして、復調された音声データが、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。
また、ユーザにより撮像動作の開始指示操作が行われると、情報処理装置１００において撮像動作が行われる。例えば、ユーザにより撮像動作の開始指示操作が行われると、アプリケーションプロセッサ１１が撮像動作に関する各部（撮像部１３０、ＤＳＰ２００等）に撮像動作の開始を指示し、これらの各部を起動させる。そして、起動された各部により撮像動作が行われ、生成された画像が表示部１４０に表示される。ここで、ユーザにより画像の記録指示操作が行われると、生成された画像が記録媒体１８０に記録される。また、ユーザにより画像を無線伝送する指示操作が行われると、生成された画像が無線伝送される。例えば、生成された画像データがデジタルベースバンド処理部１２により変調され、アナログベースバンド処理部１３およびＲＦ処理部１４を経由してアンテナ１８から送信される。なお、電池１５は、情報処理装置１００に電源を供給する電池である。
なお、決定キー１１１、撮像部１３０、表示部１４０、姿勢検出部１５０、プログラムメモリ１６０、画像メモリ１７０、記録媒体１８０およびＤＳＰ２００については、図７乃至図１０等を参照して詳細に説明する。
［撮像部の内部構成例］
図７は、本技術の第１の実施の形態における撮像部１３０の内部構成例を示す図である。また、図７では、撮像部１３０と接続されるＤＳＰ２００の一部を示す。なお、ＤＳＰ２００の全体構成については、図８を参照して詳細に説明する。
撮像部１３０は、２個の撮像系（第１の撮像系１９１、第２の撮像系１９２）と、電源制御部２０７と、電源供給部２０８とを備える。
第１の撮像系１９１は、光学系１３１と、撮像素子１３３と、ＤＳＰとのＩ／Ｆ（インターフェース）１３８とを備える。また、第２の撮像系１９２は、光学系１３２と、撮像素子１３４と、ＤＳＰとのＩ／Ｆ１３９とを備える。なお、第１の撮像系１９１および第２の撮像系１９２の構成は略同一であるため、ここでは、主に第１の撮像系１９１の構成について説明し、第２の撮像系１９２の説明を省略する。
光学系１３１は、被写体からの光を集光する複数のレンズ（ズームレンズおよびフォーカスレンズを含む）により構成される。また、これらの各レンズを通過した光の量（すなわち、露出）が絞り（図示せず）により調整される。そして、集光された被写体からの光が撮像素子１３３に入射される。
撮像素子１３３は、光学系１３１を介して入射された被写体像を結像して画像信号を生成する撮像素子である。すなわち、撮像素子１３３は、光学系１３１を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。このように撮像素子１３３により生成されたアナログの画像信号がＤＳＰとのＩ／Ｆ１３８を介してＤＳＰ２００に供給される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の固体撮像素子を用いることができる。
ＤＳＰとのＩ／Ｆ１３８は、撮像素子１３３と、ＤＳＰ２００とを接続するためのインターフェースである。
電源制御部２０７は、ＤＳＰ２００の撮像制御部２０１（図８に示す）からの電源制御の指示に基づいて、電源供給部２０８を制御するものである。すなわち、電源制御部２０７は、撮像制御部２０１からの電源制御の指示を受け付けると、電源供給部２０８が制御信号の入力仕様として要求する信号の振幅と信号の立ち上がり速度および立ち下がり速度に準拠した信号を作成する。そして、この作成された信号を電源供給部２０８に出力し、電源供給部２０８を制御する。なお、撮像制御部２０１の出力信号が、電源供給部２０８の制御信号の入力仕様に準拠している場合には、撮像制御部２０１の出力信号を電源供給部２０８に直接入力するようにしてもよい。
電源供給部２０８は、電源制御部２０７の制御に基づいて、第１の撮像系１９１および第２の撮像系１９２へ電源を供給するものである。なお、電源供給部２０８は、例えば、市販の電源ＩＣ（Integrated Circuit）により実現される。
また、第１の撮像系１９１および第２の撮像系１９２のそれぞれは、１つのデータ線と７種類の信号線とを介してＤＳＰ２００と接続されている。ここで、第１の撮像系１９１およびＤＳＰ２００を接続する１つのデータ線をＬ１とし、７種類の信号線を信号線Ｌ２乃至Ｌ８として説明する。なお、第２の撮像系１９２のデータ線および信号線は、第１の撮像系１９１のデータ線および信号線と略同一である。このため、ここでは、主に第１の撮像系１９１のデータ線および信号線について説明し、第２の撮像系１９２の説明を省略する。
データ線Ｌ１は、撮像素子１３３からＤＳＰ２００へ画像データを伝送するデータ線である。このデータ線Ｌ１は、例えば、画像データの伝送レートを大きくするために複数本のデータ線により構成することが好ましい。また、画像データの伝送レートを大きくするため、および、伝送路上でのノイズ耐性を大きくするために、データ線Ｌ１として、高速かつ差動伝送方式のデータ線を用いることが好ましい。例えば、データ線Ｌ１として、ＬＶＤＳ（low voltage differential signaling）等を用いることが好ましい。
信号線Ｌ２は、撮像素子１３３とＤＳＰ２００との間の双方向の通信線であり、例えば、４線構造シリアル通信線を用いることができる。信号線Ｌ２は、例えば、撮像素子１３３を使用するために必要となる各種の設定値をＤＳＰ２００側から設定する際に使用される。例えば、撮像素子１３３からＤＳＰ２００へ出力される画像データを間引いて出力するための設定値が、信号線Ｌ２を介してＤＳＰ２００からレジスタ（図示せず）に書き込まれる。
信号線Ｌ３は、ＤＳＰ２００から撮像素子１３３へクロックを供給するクロック信号線である。撮像素子１３３は、信号線Ｌ３を介して供給されるクロックを使用して、１クロック周期当り１画素の撮像動作を行う。また、撮像素子１３３内に逓倍器を搭載し、ＤＳＰ２００から供給されたクロックを撮像素子１３３内で逓倍して、逓倍後のクロック１周期当り１画素の撮像動作を行うようにしてもよい。
信号線Ｌ４は、ＤＳＰ２００から撮像素子１３３へリセット信号を供給するリセット信号線である。
信号線Ｌ５は、ＤＳＰ２００から撮像素子１３３の撮像動作のオン／オフを制御する信号線である。すなわち、信号線Ｌ５は、ＤＳＰ２００から各撮像素子へ動作の停止と起動とを通知する信号線である。
信号線Ｌ６は、垂直同期信号線である。すなわち、信号線Ｌ６は、ＤＳＰ２００から撮像素子１３３へ１フレーム毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ７は、水平同期信号線である。すなわち、信号線Ｌ７は、ＤＳＰ２００から撮像素子１３３へ１フレーム中の１ライン毎の撮像タイミングを示唆する同期信号を通知するための信号線である。
信号線Ｌ８は、シャッター信号線である。例えば、情報処理装置１００において、ユーザにより撮像画像記録を行うための操作部材（例えば、決定キー１１１）が押下された場合には、この押下に応じたシャッター信号が信号線Ｌ８を介してＤＳＰ２００から撮像素子１３３に通知される。
また、ユーザ操作に基づいて、パノラマ画像撮像モードまたは通常画像撮像モードの何れかが設定されるものとする。例えば、パノラマ画像撮像モードが設定された場合には、第１の撮像系１９１および第２の撮像系１９２のそれぞれにより生成された画像データを連結することによりパノラマ画像が生成される。一方、通常画像撮像モードが設定された場合には、第１の撮像系１９１および第２の撮像系１９２により生成された画像データのうちの一部（真中部分）を連結することにより通常画像（例えば、横縦比（４：３）の画像）が生成される。
また、姿勢検出部１５０による検出結果（例えば、横長状態、縦長状態）に基づいて、パノラマ画像撮像モードまたは通常画像撮像モードの何れかを設定するようにしてもよい。例えば、姿勢検出部１５０により横長状態であることが検出された場合には、パノラマ画像撮像モードが設定され、第１の撮像系１９１および第２の撮像系１９２のそれぞれにより生成された画像データの連結によりパノラマ画像が生成される。一方、姿勢検出部１５０により縦長状態であることが検出された場合には、通常画像撮像モードが設定され、第１の撮像系１９１および第２の撮像系１９２により生成された画像データのうちの一部（真中部分）の連結により通常画像が生成される。
［ＤＳＰの構成例］
図８は、本技術の第１の実施の形態におけるＤＳＰ２００の内部構成例を示すブロック図である。
ＤＳＰ２００は、撮像制御部２０１と、ＣＰＵ２０２と、ＤＭＡ（Direct Memory Access）コントローラ２０３と、データバス２０４と、プログラムメモリとのＩ／Ｆ２０５と、画像メモリとのＩ／Ｆ２０６とを備える。また、ＤＳＰ２００は、撮像素子とのＩ／Ｆ２１０と、画像バッファ２１１乃至２１６と、画像信号処理部２２０と、解像度変換部２３１、２４１、２５１と、画像回転処理部２３２、２４２とを備える。また、ＤＳＰ２００は、表示部とのＩ／Ｆ２３３と、外部表示装置とのＩ／Ｆ２４３と、符号化復号化部２５２と、記録媒体とのＩ／Ｆ２５３と、発振回路２６４乃至２６６と、クロック生成回路２７０とを備える。また、ＤＳＰ２００は、ＡＦ（Auto Focus：自動焦点）制御部２８１と、顔検出部２８２とを備える。また、ＤＳＰ２００は、ＡＥ（Automatic Exposure：自動露出）制御部２８３と、ＡＷＢ（Auto White Balance：自動ホワイトバランス調整）制御部２８４とを備える。データバス２０４には、ＣＰＵ２０２、ＤＭＡコントローラ２０３、画像メモリとのＩ／Ｆ２０６、画像バッファ２１１乃至２１６、画像信号処理部２２０等が接続されている。また、撮像制御部２０１には、決定キー１１１および姿勢検出部１５０からの各信号が入力される。
姿勢検出部１５０は、情報処理装置１００の加速度、動き、傾き等を検出することにより情報処理装置１００の姿勢の変化を検出するものであり、検出結果（検出された姿勢の変化に関する姿勢情報）を撮像制御部２０１に出力する。例えば、姿勢検出部１５０は、情報処理装置１００の姿勢の変化として、３軸（例えば、Ｘ軸、Ｙ軸、Ｚ軸）の回転角を検出し、この検出結果を撮像制御部２０１に出力する。姿勢検出部１５０として、情報処理装置１００における３軸の回転角を検出することができるセンサを用いることができる。ただし、少なくとも、１軸以上の回転角を検出することができるセンサを用いるようにしてもよい。例えば、姿勢検出部１５０として、転倒センサ、重力センサ、ジャイロセンサ、加速度の方向を検出することができる加速度センサ、回転運動を検出することができる角速度センサを用いることができる。
撮像制御部２０１は、撮像処理に関する各部を制御するものである。例えば、撮像制御部２０１は、決定キー１１１からの入力信号に基づいて各部の撮像制御を行う。また、撮像制御部２０１は、姿勢検出部１５０からの検出結果に基づいて、情報処理装置１００の姿勢を判断し、この判断結果に基づいて各部の撮像制御を行う。
また、撮像制御部２０１は、ユーザにより撮像モードが設定された場合には、この設定された撮像モードをＤＳＰ２００内の各部および撮像素子１３３および１３４に通知し、各部が備えるレジスタに保持させる。このように、各部が備えるレジスタに、ユーザにより設定された撮像モードの設定内容を保持させることにより、複数の撮影条件をユーザが容易に切り替えて使用することができる。
撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の各部および撮像素子１３３および１３４に通知する。また、撮像制御部２０１は、例えば、内蔵するレジスタに保持されている撮像モードの設定内容に基づいて、垂直同期信号、水平同期信号およびクロック信号を、ＤＳＰ２００内の表示に関する各部および表示部１４０に通知する。また、撮像制御部２０１は、例えば、電源制御部２０７に対して、電源のオン／オフを制御する信号を出力する。
ＣＰＵ２０２は、プログラムメモリ１６０に記憶されている各種プログラムに基づいて、ＤＳＰ２００全体を制御するものである。この制御内容については、図１１、図２７を参照して詳細に説明する。
ＤＭＡコントローラ２０３は、ＣＰＵ２０２の制御に基づいて、各メモリ間におけるデータの転送を制御するものである。
プログラムメモリとのＩ／Ｆ２０５は、プログラムメモリ１６０と、ＤＳＰ２００とを接続するためのインターフェースである。
画像メモリとのＩ／Ｆ２０６は、画像メモリ１７０と、ＤＳＰ２００とを接続するためのインターフェースである。
撮像素子とのＩ／Ｆ２１０は、撮像素子１３３および１３４と、ＤＳＰ２００とを接続するためのインターフェースである。すなわち、撮像素子１３３および１３４により生成された画像データが撮像素子とのＩ／Ｆ２１０に入力される。例えば、撮像素子１３３および１３４から画像データを伝送するデータ線Ｌ１が、微小振幅のＬＶＤＳ方式である場合には、ＤＳＰとのＩ／Ｆ１３８および１３９において、撮像素子１３３および１３４からの画像データがＧＮＤ電位または電源電位に変換される。また、撮像素子とのＩ／Ｆ２１０の後段には、撮像素子１３３および１３４に対応する３系統の画像バッファ２１１乃至２１６を備える。
画像バッファ２１１乃至２１６は、撮像素子１３３および１３４から出力された画像データを保持する画像バッファであり、保持されている画像データがデータバス２０４を介して画像メモリ１７０に書き込まれる。例えば、各撮像素子について３個の画像バッファを備え、これらの各画像バッファは、データバス２０４に接続されている。例えば、撮像素子１３３については、３個の画像バッファ２１１乃至２１３が備えられる。また、撮像素子１３４については、３個の画像バッファ２１４乃至２１６が備えられる。
ここで、本技術の実施の形態では、画像データを画像メモリ１７０に書込むため、画像バッファ２１１乃至２１６から画像データを読み出している間でも、撮像素子１３３および１３４からの新たに入力された画像データを順次保持させる。このため、画像バッファ２１１乃至２１６として、撮像素子１３３および１３４のそれぞれについて２個以上の画像バッファを備えていることが好ましい。
画像バッファ２１１乃至２１６の１個の容量は、データバス２０４のビット（ｂｉｔ）幅よりも大きいことが好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは１２８ビット以上の容量であることが好ましい。また、画像バッファ２１１乃至２１６の１個の容量は、データバス２０４のビット幅の２倍以上であることがより好ましい。例えば、データバス２０４が１２８ビット幅である場合には、各画像バッファは２５６ビット以上の容量であることがより好ましい。
一方、画像バッファ２１１乃至２１６の１個の容量は、１つの撮像素子により生成される１枚の画像の画像データ量以下とすることができる。例えば、画像バッファ２１１乃至２１６の１個の容量は、撮像素子１３３の１ライン分の画素により生成される画像データのデータ量以下であることが好ましい。
本技術の実施の形態では、撮像素子１３３および１３４と、ＤＳＰ２００とを接続するデータ線のビット幅は、例えば、１２ビットとする。また、例えば、ＤＳＰ２００のデータバス２０４のビット幅は、１２８ビット幅とし、画像バッファ２１１乃至２１６の１個の容量は、それぞれ１２８ビットとする。
画像信号処理部２２０は、撮像制御部２０１の制御に基づいて、画像バッファ２１１乃至２１６、データバス２０４を介して入力された画像データについて、各種の画像信号処理を行うものである。なお、画像信号処理部２２０の内部構成については、図９を参照して詳細に説明する。
解像度変換部２３１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像を表示部１４０に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２３２に出力する。
解像度変換部２４１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像を外部表示装置２４５に表示させるための解像度変換を行うものであり、解像度変換が施された画像データを画像回転処理部２４２に出力する。
画像回転処理部２３２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを表示部とのＩ／Ｆ２３３に出力する。
画像回転処理部２４２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換が施された画像データについて回転処理を行うものであり、回転処理が施された画像データを外部表示装置とのＩ／Ｆ２４３に出力する。
表示部とのＩ／Ｆ２３３は、表示部１４０と、ＤＳＰ２００とを接続するためのインターフェースである。
外部表示装置とのＩ／Ｆ２４３は、外部表示装置２４５と、ＤＳＰ２００とを接続するためのインターフェースである。外部表示装置２４５は、例えば、テレビジョンである。
解像度変換部２５１は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、各画像について記録用に解像度を変換するものであり、解像度変換が施された画像データを符号化復号化部２５２に出力する。例えば、解像度変換部２５１は、ユーザが希望する記録画像サイズに解像度を変換する解像度変換処理や、サムネイル画像を生成するための解像度変換処理を行う。
符号化復号化部２５２は、撮像制御部２０１またはＣＰＵ２０２の制御に基づいて、解像度変換部２５１から出力された画像データを圧縮するための符号化を行うものであり、符号化された画像データを記録媒体とのＩ／Ｆ２５３に出力する。また、符号化復号化部２５２は、記録媒体１８０に記録された画像データを表示部１４０に表示する場合には、記録媒体１８０に記録された画像データを記録媒体とのＩ／Ｆ２５３を経由して入力して復号化する。この復号化された画像データが、画像メモリ１７０に保持される。
記録媒体とのＩ／Ｆ２５３は、記録媒体１８０と、ＤＳＰ２００とを接続するためのインターフェースである。
記録媒体１８０は、記録媒体とのＩ／Ｆ２５３を介して供給された画像データを記録する記録媒体である。記録媒体１８０は、情報処理装置１００に内蔵するようにしてもよく、着脱可能に情報処理装置１００に装着されるようにしてもよい。記録媒体１８０として、例えば、テープ（例えば、磁気テープ）、光ディスク（例えば、記録可能なＤＶＤ（Digital Versatile Disc））を用いることができる。また、記録媒体１８０として、例えば、磁気ディスク（例えば、ハードディスク）、半導体メモリ（例えば、メモリカード）、光磁気ディスク（例えば、ＭＤ（MiniDisc））を用いるようにしてもよい。
発振子２６１乃至２６３は、ＤＳＰ２００内に供給されるクロック信号を発生させるための振動源であり、例えば、水晶発振子が用いられる。
発振回路２６４乃至２６６は、ＤＳＰ２００内に供給されるクロック信号を生成するものであり、生成されたクロック信号をクロック生成回路２７０に出力する。
クロック生成回路２７０は、発振回路２６４乃至２６６により生成されたクロック信号に基づいて、複数種類のクロックを発生させて各部に供給するものである。例えば、ＤＳＰ２００内部にクロックが供給されるとともに、ＤＳＰ２００内部を経由して外部にクロックが供給される。
ＡＦ制御部２８１は、画像バッファ２１１乃至２１６、データバス２０４を介して入力された画像データについて、その画像（撮像画像）における所定領域に含まれる被写体に合焦するようにフォーカス制御を行うものである。なお、所定領域は、例えば、撮像画像の真中部分の領域、ユーザにより指定された領域、顔検出部２８２により検出された顔の位置を含む領域とすることができる。また、複数の所定領域を設定して各所定領域についてフォーカス制御を行うようにしてもよい。そして、撮像画像においてフォーカスが合っている位置（合焦位置）に関する情報（例えば、評価値（ＡＦ評価値））をＣＰＵ２０２および撮像制御部２０１に出力する。また、合焦位置に関する情報がＡＦ制御部２８１に保持される。
顔検出部２８２は、画像バッファ２１１乃至２１６、データバス２０４を介して入力された画像データについて、その画像（撮像画像）に含まれる人物の顔を検出するものであり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。また、顔検出部２８２は、記録媒体１８０から読み出された画像データについて、その画像に含まれる人物の顔を検出するようにしてもよい。なお、画像に含まれる顔の検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートとコンテンツ画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。これらの顔検出方法により、人物の顔の画像における位置および大きさを求めることができる。また、顔の検出結果が顔検出部２８２に保持される。
ＡＥ制御部２８３は、画像バッファ２１１乃至２１６、データバス２０４を介して入力された画像データについて、シャッター速度や絞り値を自動的に調整するための自動露出制御部であり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。
ＡＷＢ制御部２８４は、画像バッファ２１１乃至２１６、データバス２０４を介して入力された画像データについて、オートホワイトバランス調整等を行うものであり、その検出結果をＣＰＵ２０２および撮像制御部２０１に出力する。
［画像信号処理部の内部構成例］
図９は、本技術の第１の実施の形態における画像信号処理部２２０の内部構成例を示すブロック図である。
画像信号処理部２２０は、画素加算処理部２２１と、デモザイク処理部２２２と、ＹＣ変換処理部２２３と、画像合成処理部２２４と、シャープネス処理部２２５と、色調整処理部２２６と、ＲＧＢ変換処理部２２７とを備える。
画素加算処理部２２１は、撮像素子１３３および１３４により生成された画像データについて、画素加算処理および画素間引き処理を行うものである。
デモザイク処理部２２２は、撮像素子１３３および１３４により生成された画像データ（モザイク画像）の各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うようにデモザイク処理（補間処理）を行うものである。そして、デモザイク処理部２２２は、デモザイク処理が施されたＲＧＢ画像をＹＣ変換処理部２２３に供給する。すなわち、デモザイク処理部２２２は、１画素につき１色分の画素データのみを有するベイヤーデータを補間して１画素についてＲＧＢの３個の画素データを算出する。
ＹＣ変換処理部２２３は、デモザイク処理部２２２により生成されたＲＧＢ画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を生成するものである。そして、生成された輝度信号（Ｙ画像）および色差信号（Ｃ画像）が画像合成処理部２２４に供給される。
画像合成処理部２２４は、ＹＣ変換処理部２２３により生成された画像データについて、画像合成を行うものであり、合成された画像データをシャープネス処理部２２５に出力する。
シャープネス処理部２２５は、画像合成処理部２２４により生成された画像データについて、信号変化の大きい部分を取り出して強調するシャープネス処理（被写体の輪郭を強調する処理）を行うものである。そして、シャープネス処理部２２５は、シャープネス処理が施された画像データを色調整処理部２２６に供給する。
色調整処理部２２６は、シャープネス処理部２２５によりシャープネス処理が施された画像データについて、色相および彩度の調整を行うものである。
ＲＧＢ変換処理部２２７は、色調整処理部２２６により色相および彩度の調整が施された画像データについて、ＹＣｂＣｒデータからＲＧＢデータへ変換するものである。
ここで、画像信号処理部２２０の信号の画像データの流れについて説明する。例えば、画像信号処理部２２０における各信号処理部が画像メモリ１７０からデータバス２０４を経由して画像データを直接読み込み、信号処理後の画像データをデータバス２０４経由で画像メモリ１７０に書き込む場合を想定する。この場合には、画像信号処理部２２０が、画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができる点で有利である。しかし、データバス２０４を経由して伝送する必要があるデータ量が大きくなるため、データバス２０４の動作周波数を大きくする必要がある。このため、データバス２０４の設計が難しくなるとともに消費電力が大きくなるおそれがある。
また、例えば、画像信号処理部２２０における各信号処理部が画像データを前段の信号処理部からデータバス２０４を経由せずに受け取り、信号処理後の画像データを後段の信号処理部へデータバス２０４を経由せずに受け渡す場合を想定する。この場合には、データバス２０４を使用しないため、ＬＳＩ（Large Scale Integration）の設計が容易であり、消費電力を小さくすることができる点で有利である。しかし、各信号処理部が画像データ中の所望の位置の画像データを所望のタイミングで読み込むことができないおそれがある。
そこで、本技術の実施の形態では、画像サイズが略一定であるデモザイク処理部２２２から色調整処理部２２６までの間は、データバス２０４の動作周波数と、消費電力の低減のため、画像データを各信号処理部間で直接受け渡す。また、解像度変換のように、大量の画像データを使用する信号処理部の前段では、画像メモリ１７０へ画像データを書き込み、解像度変換を行う際は、画像メモリ１７０から所望の画像データを読み出す例を示す。
また、撮像素子１３３および１３４により生成された画像データを合成する画像合成処理は、画像合成処理部２２４により行われる。この場合に、画像合成処理部２２４は、台形歪み補正処理を行う（例えば、特開２０１３−２１７３０号参照。）。
また、画像合成処理として、例えば、輻輳角に基づいて２つの撮像画像を合成する画像合成処理を行うことができる（例えば、特開２０１３−２１７３０号参照。）。また、他の画像合成方法を用いて画像合成処理を行うようにしてもよい。例えば、２つの撮像系により生成された２つの画像のうち、重複する部分については、２つの画像をパターンマッチングさせ、このパターンマッチングにより２つの画像を合成する画像合成方法を用いることができる（例えば、特開２００８−１１７２３５号参照。）。また、２つの撮像系により生成された２つの画像における濃度レベルの変化を求め、この濃度レベルの変化に基づいて重複する部分を求めて２つの画像を合成する画像合成方法を用いることができる。
ここで、図９では、画像信号処理部２２０において、画像合成処理部２２４がＹＣ変換処理部２２３の後段、かつ、シャープネス処理部２２５の前段に配置されている例を示す。ただし、画像信号処理部２２０の他の段階で画像合成処理を行うようにしてもよい。例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、デモザイク処理部２２２の後段、かつ、ＹＣ変換処理部２２３の前段で行うようにしてもよい。また、例えば、台形歪み補正処理および画像合成処理については、色調整処理部２２６の後段で行うようにしてもよい。
また、このような画像合成処理を行う場合には、例えば、台形歪み補正後の画像について、各画像の重複領域を予め計測しておく。そして、この計測された値を用いて、画像の重複領域の削除処理を情報処理装置１００に内蔵されているＣＰＵ等の演算装置を用いてソフトウエア的に求めることができる。
［撮像素子の構成例および画素読出例］
図１０は、本技術の第１の実施の形態における撮像素子の内部構成例を示す図である。ここで、撮像素子１３３および１３４の内部構成は略同一であるため、図１０では、撮像素子１３３のみを示し、他の撮像素子の図示および説明を省略する。また、図１０では、撮像素子１３３として、ＣＭＯＳ型撮像素子を例にして説明する。
撮像素子１３３は、画素４０乃至４７と、垂直走査回路３４０と、水平走査回路３４５とを備える。また、撮像素子１３３は、ＡＤＣ（Ａ／Ｄ（Analog/Digital）コンバータ）３５０乃至３５３と、加算器３５４乃至３５７、３６６と、カラムラッチ３５８乃至３６１とを備える。また、撮像素子１３３は、スイッチ３６２乃至３６５と、出力ラッチ３６７と、出力回路３６８と、レジスタ３７０、３８０と、逓倍器／分周器３９１、３９２とを備える。なお、一般的に、撮像素子の縦方向の並びをカラムと称し、横方向の並びをロウと称する。このため、以下では、カラムおよびロウの名称を適宜用いて説明する。また、この例では、撮像素子１３３において、一部の画素（画素４０乃至４７）と、これに関連する各部とを代表して示し、他の構成についての図示および説明を省略する。
撮像素子１３３において、ロウ方向に垂直制御線３４１乃至３４４が配線されており、同一ライン上にある画素が１つおきに同一の垂直制御線に接続される。また、カラム方向にデータ読出線３４６乃至３４９が配線されており、同一ライン上にある画素が１つの読み出し線を共有する。
垂直走査回路３４０は、ロウ方向に配線されている垂直制御線３４１乃至３４４により、画素４０乃至４７と、データ読出線３４６乃至３４９との間のスイッチをオン／オフするものである。すなわち、ロウ方向の各画素において、１本の垂直制御線により、ロウ方向の同一ライン上にある画素のうち、１つおきの画素が共通にオン／オフされる。また、画素４０乃至４７の画像データが、各画素とこれに対応するデータ読出線との間のスイッチを経由して、データ読出線３４６乃至３４９に出力される。
水平走査回路３４５は、カラムラッチ３５８乃至３６１と、出力データ線３６９との間のスイッチ３６２乃至３６５をオン／オフするものである。垂直走査回路３４０によるスイッチのオン／オフと、水平走査回路３４５によるスイッチ３６２乃至３６５のオン／オフとの選択により、各画素を順次選択しながら時分割で全画素の信号を読み出すことができる。ここで、出力データ線３６９は、各カラムの出力結果を撮像素子１３３から出力するための出力データ線である。
ここで、撮像素子１３３には、画素４０乃至４７が２次元正方格子状に配置されている。なお、画素４０乃至４７の構成は同一であるため、ここでは、画素４０を例にして説明する。画素４０は、受光部であるフォトダイオード５１と、アンプ５２と、スイッチ５３とにより構成されている。フォトダイオード５１は、画素に照射された光をその光量に応じた電荷に変換するものである。アンプ５２は、フォトダイオード５１により変換された電荷の信号を増幅する増幅器である。スイッチ５３は、垂直制御線３４２のオンオフに応じて、画素４０の電荷転送を制御するスイッチである。
また、各カラムには、ＡＤＣ３５０乃至３５３と、加算器３５４乃至３５７と、カラムラッチ３５８乃至３６１とが備えられている。以下では、データ読出線３４６に接続されているＡＤＣ３５０と、加算器３５４と、カラムラッチ３５８とを例にして説明する。
ＡＤＣ３５０は、アナログ値である各画素からの画像データをデジタルデータ（デジタル値）に変換するＡＤコンバータである。
加算器３５４は、ＡＤＣ３５０によりデジタルデータが変換される毎に、その変換後の新たなデジタルデータを、カラムラッチ３５８に保存されているデジタルデータに加算するものである。
カラムラッチ３５８は、ＡＤＣ３５０により変換されたデジタルデータを順次保存するカラムラッチである。ここで、カラムラッチとは、ＡＤ変換後のデジタルデータを保存するデータ保存回路を示す名称である。このデータ保存回路として、線形回路により構成されたラッチ以外に、同期回路により構成されたフリップフロップ等のデジタルデータを保存することができる各回路を用いることができる。
例えば、画素４０から出力された画像データは、ＡＤＣ３５０、加算器３５４、カラムラッチ３５８を経由した後に、データ読出線３４６に接続されているスイッチ３６２を経由して、出力データ線３９０に出力される。ここで、本技術の実施の形態では、各カラムのデータ読出線と同様に、出力データ線３９０にも加算器３６６と出力ラッチ３６７とを備え、画像データの加算と保存とを行う。また、出力ラッチ３６７に保存されている画像データが、出力回路３６８を経由して出力データ線３６９に出力される。なお、出力データ線３６９からの画像データは、上述したデータ線Ｌ１に出力される。
逓倍器／分周器３９１、３９２は、ＤＳＰ２００からの制御に基づいて、入力されたクロックの周波数の逓倍、または、入力されたクロックの周波数の分周を行うものである。そして、逓倍器／分周器３９１、３９２は、生成されたクロックを、垂直走査回路３４０、水平走査回路３４５および出力回路３６８に供給する。
信号線３９３は、ＤＳＰ２００から垂直同期信号を供給する垂直同期信号線である。信号線３９４は、ＤＳＰ２００から水平同期信号を供給する水平同期信号線である。
また、信号線３９５は、ＤＳＰ２００からクロック信号を供給するクロック信号線である。信号線３９６は、ＤＳＰ２００から撮像動作のオン／オフを制御するための信号線、および、画素間引きを制御するための信号線である。信号線３９７は、撮像素子１３３とＤＳＰ２００との間の双方向の通信線である。信号線３９８は電源供給線である。
なお、レジスタ３７０、３８０は、撮像動作に関する各設定値が保持されているレジスタである。
［情報処理装置の機能構成例］
図１１は、本技術の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
情報処理装置１００は、表示部１４０と、撮像部５１０と、画像合成部５２０と、判定部５３０と、記録制御部５４０と、記憶部５５０と、操作受付部５６０と、制御部５７０と、表示制御部５８０と、音声出力制御部５９１と、音声出力部５９２とを備える。
撮像部５１０は、被写体を撮像して画像データ（パノラマ画像を生成するための左側画像および右側画像の画像データ）を生成するものであり、生成された画像データを画像合成部５２０および制御部５７０に供給する。例えば、左側画像の画像データは、撮像素子１３３を用いて生成され、右側画像の画像データは、撮像素子１３４を用いて生成される。なお、撮像部５１０は、例えば、図６に示す撮像部１３０およびＤＳＰ２００に対応する。
画像合成部５２０は、撮像部５１０により生成された画像データ（左側画像および右側画像の画像データ）を、各画像における長手方向の端部を重複させて連結することにより合成画像（パノラマ画像）を生成するものである。そして、画像合成部５２０は、生成された合成画像（画像データ）を、判定部５３０、記録制御部５４０および表示制御部５８０に供給する。ここで、各画像における長手方向の端部は、例えば、図１５のａに示す重複領域Ｈ２に相当する部分である。
また、上述したように、画像合成部５２０は、合成画像（パノラマ画像）を生成する際に、台形歪み補正処理を行う。また、上述したように、画像合成部５２０は、輻輳角に基づく画像合成処理、パターンマッチングによる画像合成処理等を用いて合成画像（パノラマ画像）を生成する。
また、画像合成部５２０は、合成画像（パノラマ画像）における重複領域に含まれる被写体のうちの情報処理装置１００に最も近い被写体に係る被写体距離に基づいて、各画像のズレ（特定方向と略直交する直交方向における各画像のズレ）を補正する。ここで、合成画像（パノラマ画像）における重複領域は、例えば、図１５のａに示す重複領域Ｈ２に相当する部分である。また、ズレの補正方法については、図１２、図１３を参照して詳細に説明する。なお、画像合成部５２０は、例えば、図６に示すＤＳＰ２００（例えば、画像信号処理部２２０）に対応する。
判定部５３０は、画像合成部５２０により生成される合成画像（パノラマ画像）に含まれる被写体に係る被写体距離に基づいて、合成画像（パノラマ画像）に含まれる被写体の配置に関する判定を行うものである。ここで、合成画像（パノラマ画像）に含まれる被写体の配置に関する判定は、例えば、合成画像（パノラマ画像）に含まれる被写体の配置を変更すべきか否かに関する判定である。なお、この判定方法については、図１４乃至図２３、図２７を参照して詳細に説明する。そして、判定部５３０は、その判定結果を制御部５７０に出力する。
具体的には、判定部５３０は、合成画像（パノラマ画像）に含まれる被写体に係る被写体距離と、合成画像（パノラマ画像）における重複領域に含まれる被写体に係る被写体距離とに基づいて、合成画像に含まれる被写体の配置に関する判定を行う。例えば、判定部５３０は、合成画像（パノラマ画像）に含まれる被写体のうちの情報処理装置１００に最も近い被写体に係る被写体距離（第１距離）を算出する。あるいは、判定部５３０は、合成画像（パノラマ画像）に重複領域（例えば、図１５のａに示す重複領域Ｈ２）に含まれる被写体のうちの情報処理装置１００に最も近い被写体に係る被写体距離（第２距離）を算出する。なお、被写体距離の算出方法については、図１２、図１３を参照して詳細に説明する。そして、判定部５３０は、第２距離に基づいて判定を行う。具体的には、判定部５３０は、第２距離が閾値を基準として小さい場合に、合成画像（パノラマ画像）に含まれる被写体の配置を変更すべきであると判定する。すなわち、判定部５３０は、合成画像における重複領域に含まれる被写体のうちの情報処理装置１００に最も近い被写体に係る被写体距離が閾値を基準として小さい場合に、その合成画像に含まれる被写体の配置を変更すべきと判定することができる。あるいは、判定部５３０は、第１距離に基づいてその判定を行うようにしてもよい。なお、判定部５３０は、例えば、図６に示すＤＳＰ２００（例えば、ＣＰＵ２０２、ＡＦ制御部２８１）に対応する。
記録制御部５４０は、制御部５７０の制御に基づいて、撮像部５１０により生成されて画像合成部５２０により生成された合成画像（画像データ）を記憶部５５０に画像ファイルとして記録させるものである。なお、記録制御部５４０は、例えば、図６に示すＤＳＰ２００に対応する。
記憶部５５０は、撮像部５１０により生成されて画像合成部５２０により生成された合成画像（画像データ）を画像ファイル（画像コンテンツ）として記憶するものである。なお、記憶部５５０は、例えば、図６に示す記録媒体１８０に対応する。
操作受付部５６０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容を制御部５７０に出力する。なお、操作受付部５６０は、例えば、図１および図６に示す各操作部材（決定キー１１１等）に対応する。
制御部５７０は、操作受付部５６０により受け付けられたユーザ操作に応じて、撮像部５１０により生成されて画像合成部５２０により生成された合成画像（画像データ）を記憶部５５０に記録させるための制御を行うものである。
また、制御部５７０は、画像合成部５２０により生成された合成画像（画像データ）に含まれる被写体の配置を変更すべきであると判定部５３０により判定された場合には、その旨を通知するための制御を行う。例えば、制御部５７０は、合成画像に含まれる被写体の配置を変更すべき旨を表示部１４０に表示させることにより通知を行うことができる。この場合には、例えば、制御部５７０は、配置を変更すべき被写体を特定するための表示情報（警告情報）を表示させることにより通知を行う。ここで、表示情報（警告情報）は、例えば、図２４乃至図２６に示す表示情報５８１乃至５８４、メッセージ情報５８５である。
また、制御部５７０は、合成画像に含まれる被写体の配置を変更すべき旨を示す警告情報を音声出力部５９２から音声出力（例えば、図２６のｂに示すメッセージ５８６）させることにより通知を行う。
表示制御部５８０は、画像合成部５２０により生成された合成画像（画像データ）を、ライブビュー画像として表示部１４０に表示させるものである。ここで、ライブビュー画像は、静止画記録モードが設定されている状態で静止画の記録指示操作が行われる前に、表示部１４０に表示される画像（画像合成部５２０により生成された合成画像（画像データ））である。この表示例を図２４乃至図２６に示す。また、ライブビュー画像を表示するライブビュー表示では、画像の記録動作前（すなわち、シャッターボタンの押下前）に被写体をユーザが確認するため、その時点で撮像素子に入力されている画像が継続して表示される。
また、表示制御部５８０は、制御部５７０の制御に基づいて、表示情報（例えば、図２４乃至図２６に示す表示情報５８１乃至５８４、メッセージ情報５８５）を表示部１４０に表示させる。なお、表示制御部５８０は、例えば、図６に示すＤＳＰ２００に対応する。
表示部１４０は、表示制御部５８０の制御に基づいて各画像を表示するものである。なお、表示部１４０は、例えば、図６に示す表示部１４０に対応する。
音声出力制御部５９１は、制御部５７０の制御に基づいて、各種の音声を音声出力部５９２から出力させるものである。例えば、音声出力制御部５９１は、制御部５７０の制御に基づいて、警告情報を音声出力部５９２から出力させる。ここで、警告情報は、合成画像に含まれる被写体の配置を変更すべき旨を示す情報であり、例えば、図２６のｂに示すメッセージ５８６である。
音声出力部５９２は、音声出力制御部５９１の制御に基づいて各種の音声を出力するものである。なお、音声出力部５９２は、例えば、図１に示すスピーカ１７に対応する。
［画像間に生じるずれの補正例］
ここで、複数の撮像系により生成された複数の画像を長辺方向に繋ぎ合わせてパノラマ画像を生成する場合には、パノラマ画像の長辺方向と直交する直交方向において、複数の撮像系が同じ位置に配置されていることが好ましい。例えば、情報処理装置１００を横長状態で使用している場合には、筐体および表示部１４０の短辺方向（使用者が立っている地面に対して垂直方向）において、複数の撮像系が同じ位置に配置されていることが好ましい。
しかしながら、図１に示すように、本技術の実施の形態では、複数の撮像系が、短辺方向の異なる位置に配置されている。このため、複数の撮像系により生成された複数の画像を長辺方向に繋ぎ合わせてパノラマ画像を生成する場合には、撮像対象となる被写体によっては、パノラマ画像を構成する左側画像および右側画像において、画像間が垂直方向にずれることが想定される。
そこで、本技術の実施の形態では、パノラマ画像を構成する左側画像および右側画像における画像の垂直方向のずれを考慮してパノラマ画像を適切に生成する例を示す。
［撮像動作および撮像範囲例］
図１２および図１３は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作およびその撮像動作時における撮像範囲の一例を模式的に示す図である。なお、図１２および図１３では、撮影者７０が情報処理装置１００を横長状態にして撮像動作を行っている状態をその側面から見た例を示す。
また、第１の撮像系１９１（図１２に示す光学系１３１を含む）はパノラマ画像の左側を撮像対象とし、第２の撮像系１９２（図１２に示す光学系１３２を含む）はパノラマ画像の右側を撮像対象とする配置になっているものとする。すなわち、図１２では、第１の撮像系１９１は下側の撮像系となり、第２の撮像系１９２は上側の撮像系となる。
また、図１２では、下側の撮像系（第１の撮像系１９１）の光軸を４０１で表し、上側の撮像系（第２の撮像系１９２）の光軸を４０２で表す。なお、説明の容易のため、撮像系における光軸の位置は、撮像系が有するレンズの中心と一致し、撮像系が有する撮像素子の撮像領域の中心と一致するものとして説明する。また、被写体が存在する位置において、２本の光軸４０１、４０２と直交する面を単に「被写体面」と称し、被写体面上で、撮像系によって画像が撮影される領域を単に「撮像範囲」と称する場合がある。
また、説明の容易のため、これ以降、特に注釈が無い限り、情報処理装置１００を横長状態で使用している場合の筐体および表示部１４０の短辺方向（使用者が立っている地面に対して垂直方向、重力と平行となる方向）を単に「垂直方向」と称する場合がある。同様に、上述の筐体および表示部１４０の長辺方向（使用者が立っている地面に対して水平方向、重力と垂直となる方向）を単に「水平方向」と称する場合がある。さらに、図１ａに示す垂線１９５を含む面であって、垂直方向（重力方向と平行な方向）に平行な面を、単に「垂直面」と呼ぶ場合がある。さらに、図１２に示す光軸４０１および４０２に平行な線分であって、かつ、これらの２本の光軸４０１および４０２から同じ距離にある線分を、単に「光軸中線」と呼ぶことがある。さらに、上述の垂直面に直交して、かつ、上述の光軸中線を含む面を、単に「水平面」と呼ぶ場合がある。
また、図１２では、情報処理装置１００において、第１の撮像系１９１の光軸４０１と第２の撮像系１９２の光軸４０２との間の垂直方向の距離をＤとする。また、図１２では、下側の撮像系（第１の撮像系１９１）の垂直方向の撮像範囲の外縁を点線４０３、４０４で示し、上側の撮像系（第２の撮像系１９２）の垂直方向の撮像範囲の外縁を点線４０５、４０６で示す。また、図１２では、説明の容易のため、情報処理装置１００から距離Ｌ０、Ｌ１だけ離れた位置に、撮像範囲を測定するための２つの目盛り（仮想的な目盛り）７１、７２を配置する。なお、距離Ｌ１は、距離Ｌ０の２倍の距離であるものとする。また、２つの目盛り７１、７２の間隔は等しく、撮影者７０を基準として、２つの目盛り７１、７２が設置されている高さも等しいものとする。また、下側の撮像系（第１の撮像系１９１）の光軸４０１上に相当する２つの目盛り７１、７２の位置を「０」として示す。そして、第１の撮像系１９１の光軸４０１と第２の撮像系１９２の光軸４０２との間の垂直方向の距離Ｄに相当する目盛り７１、７２の値を「１０」として示す。この場合に、上側の撮像系（第２の撮像系１９２）の光軸４０２上に相当する２つの目盛り７１、７２の位置は「１０」となる。
ここで、図１２に示すように、距離Ｌ０に位置する被写体については、目盛り７１の−３０から３０までの範囲を下側の撮像系（第１の撮像系１９１）が撮影することが可能である。また、距離Ｌ１に位置する被写体については、目盛り７２の−６０から６０までの範囲を下側の撮像系（第１の撮像系１９１）が撮影することが可能である。
同様に、距離Ｌ０に位置する被写体については、目盛り７１の−２０から４０までの範囲を上側の撮像系（第２の撮像系１９２）が撮影することが可能である。また、距離Ｌ１に位置する被写体については、目盛り７２の−５０から７０までの範囲を上側の撮像系（第２の撮像系１９２）が撮影することが可能である。このように、距離Ｌ１に位置する被写体の撮像範囲（垂直方向の撮像範囲）は、距離Ｌ０に位置する被写体の撮像範囲（垂直方向の撮像範囲）の２倍となる。
ここで、下側の撮像系（第１の撮像系１９１）により生成された画像と、上側の撮像系（第２の撮像系１９２）により生成された画像とを繋ぎ合わせることによりパノラマ画像を生成する場合を想定する。例えば、第１の撮像系１９１により生成された画像をパノラマ画像の左側とし、第２の撮像系１９２により生成された画像をパノラマ画像の右側として、これらの画像をそのまま繋ぎ合わせることによりパノラマ画像を生成することができる。この場合には、パノラマ画像の左側の画像と右側の画像とが垂直方向にズレてしまう。このため、パノラマ画像の左側の画像と右側の画像とに生じるズレを適切に補正することが重要である。
ここで、パノラマ画像の左側の画像と右側の画像とに生じるズレの量（ズレ量）を定量的に求める例を示す。
例えば、下側の撮像系（第１の撮像系１９１）の垂直方向の撮像範囲に対応する角度をθとする。また、距離Ｌ０の位置にある被写体面において、下側の撮像系（第１の撮像系１９１）の光軸４０１から撮像範囲の上限となる外縁４０３までに対応する目盛り７１上の長さをＲ０とする。この場合に、次の式１が成り立つ。
Ｒ０＝Ｌ０・ｔａｎ｛（１／２）・θ｝ …式１
また、距離Ｌ０の位置における撮像範囲のズレ量をＸ０とする場合に、距離Ｌ０の位置における撮像範囲のズレ量の割合Ｚ０は、次の式２により求めることができる。
Ｚ０＝Ｘ０／Ｒ０ …式２
ここで、情報処理装置１００において、第１の撮像系１９１の光軸４０１と第２の撮像系１９２の光軸４０２との間の垂直方向の距離Ｄと、距離Ｌ０の位置における撮像範囲のズレ量Ｘ０とは同一である。このため、Ｘ０＝Ｄとすると、ズレ量の割合Ｚ０は、次の式３により表すことができる。
Ｚ０＝（Ｄ／Ｌ０）・［１／ｔａｎ｛（１／２）・θ｝］ …式３
この式３を参照すると、Ｄおよびθを固定値とする場合に、距離Ｌ０（Ｌ０は可変値とする）の位置における撮像範囲のズレ量の割合Ｚ０は、距離Ｌ０に依存する。すなわち、ズレ量の割合Ｚ０は、距離Ｌ０が小さくなるに応じて大きくなり、距離Ｌ０が大きくなるに応じて小さくなる。また、距離Ｌ０が大きくなるに応じて、ズレ量の割合Ｚ０が取り得る最小値に漸近し、距離Ｌ０＝無限大のときに、Ｚ０は最小値（＝０）となる。
ここで、パノラマ画像の左側の領域と右側の領域とが垂直方向にずれているパノラマ画像を鑑賞する場合等には、鑑賞しているユーザに違和感を与えるおそれがあり、好ましくないと想定される。
そこで、距離Ｌ０の位置に存在する被写体を基準として、左右の画像の垂直方向のズレを補正する。例えば、下側の撮像系（第１の撮像系１９１）により生成される左側画像の垂直方向の領域と、上側の撮像系（第２の撮像系１９２）により生成される右側画像の垂直方向の領域とが、距離Ｌ０の位置に存在する被写体を基準として等しくなるようにする。
具体的には、下側の撮像系（第１の撮像系１９１）により生成される左側画像については、パノラマ画像の合成に使用する画像領域の上限を、距離Ｌ０の位置において下側の撮像系（第１の撮像系１９１）により生成される画像の上限までとする。また、パノラマ画像の合成に使用する画像領域の下限を、距離Ｌ０の位置において上側の撮像系（第２の撮像系１９２）により生成される画像の下限までとする。
なお、説明の容易のため、以下では、上述の限定した画像領域をパノラマ画像の合成に使用すること、および、上述の限定した画像領域をパノラマ画像の一部として表示もしくは記録することを含めて、単に「パノラマ画像の合成に使用する」と称して説明する。
図１３では、下側の撮像系（第１の撮像系１９１）により生成される左側画像の上限および下限に対応する撮像範囲の外縁を太線４０３、４１１で示す。なお、太線４０３は、図１２に示す下側の撮像系（第１の撮像系１９１）の垂直方向の撮像範囲の外縁を示す点線４０３と同一である。
また、上側の撮像系（第２の撮像系１９２）により生成される右側画像については、パノラマ画像の合成に使用する画像領域の上限を、距離Ｌ０の位置において下側の撮像系（第１の撮像系１９１）により生成される画像の上限までとする。また、パノラマ画像の合成に使用する画像領域の下限を、距離Ｌ０の位置において上側の撮像系（第２の撮像系１９２）により生成される画像の下限までとする。
図１３では、上側の撮像系（第２の撮像系１９２）により生成される右側画像の上限および下限に対応する撮像範囲の外縁を太線４１２、４０６で示す。なお、太線４０６は、上側の撮像系（第２の撮像系１９２）の垂直方向の撮像範囲の外縁を示す点線４０６と同一である。
このように、距離Ｌ０の位置において、下側の撮像系（第１の撮像系１９１）により生成される左側画像については、パノラマ画像の合成に使用する画像領域の下限を、上側の撮像系（第２の撮像系１９２）により生成される画像の下限までとする必要がある。
そこで、撮像動作における合焦動作時（いわゆる、オートフォーカス動作時）に、重複領域（例えば、図１５のａに示す重複領域Ｈ２）に含まれる被写体のうち、情報処理装置１００から、これに最も近い被写体までの距離（被写体距離）を求める。そして、その被写体距離を基準にして、パノラマ画像を構成する左側画像および右側画像の範囲を変更する。
ここで、カメラ（情報処理装置１００）から被写体までの距離とその分布についての情報を得る方法を説明する。この情報を得る方法として、例えば、デジタルスチルカメラのオートフォーカス処理において、カメラから被写体までの距離の分布を分析する方法を用いることができる。オートフォーカス処理では、一例として、カメラの焦点をカメラに近い側から遠い側へ連続して変化させ、その間に、各焦点距離において画像を撮影する。これらの撮影された複数枚の画像において、その中に含まれる像の空間周波数を分析する。ここで、カメラの焦点距離がカメラから被写体までの距離に一致した状態で撮影された画像は、画像内の被写体の輪郭がはっきりしている。言い換えれば、画像内に空間周波数が高い像が多数存在する。一方、カメラの焦点距離がカメラから被写体までの距離に一致していない状態で撮影された画像は、焦点距離と被写体までの距離との差異が大きくなるほど、画像内の被写体の輪郭が不明瞭になってくる。言い換えれば、画像内に空間周波数が高い像が少ない。このようにカメラの焦点距離を変化させながら複数枚の画像を撮影し、画像内で空間周波数が高い成分の量を評価すれば、カメラから被写体までの距離とその分布についての情報を得ることができる。
より具体的には、例えば、焦点距離を変化させながら撮影した複数枚の画像を、高周波帯域の成分を抽出するハイパスフィルタ（ＨＰＦ：High Pass Filter）に通す。そして、フィルタを通した後の各画像について、評価値（ＡＦ評価値（例えば、画素データの数））を求めることにより、カメラから被写体までの距離とその分布についての情報を得ることができる。
また、１回のＡＦ処理を実行する毎に、レンズから被写体までの距離（被写体距離）を捕えることが可能である。すなわち、被写体距離をａとし、レンズから撮像素子に結像される像までの距離をｂとし、レンズの焦点距離をｆとする場合には、次の式４が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ …式４
この式４により、被写体距離ａ＝１／（（１／ｆ）−（１／ｂ））を求めることができる。また、１つの画像に複数の測距エリアを配置しておき、１回のＡＦ処理を実行する毎に、各測距エリアの被写体距離を求めることも可能である。
これらの方法によって得られた距離（例えば、情報処理装置１００から最も手前にある被写体までの距離Ｌ０）の値を用いて、式３のＤとθを固定値とし、被写体距離Ｌ０の位置における撮像範囲のズレ量の割合Ｚ０を、式３を用いて算出する。そして、下側の撮像系（第１の撮像系１９１）により生成される左側画像のうち、ズレ量の割合Ｚ０に対応する領域の画像（垂直方向の下限側の画像（図１３の太線４１１よりも下側の領域の画像））をパノラマ画像の合成に用いないようする。すなわち、上述のズレ量の割合Ｚ０に対応する部分を除いた領域（図１３の太線４０３と４１１との間の領域）の画像を用いてパノラマ画像の合成を行う。
同様に、距離Ｌ０の位置において、上側の撮像系（第２の撮像系１９２）により生成される右側画像についても調整する必要がある。すなわち、その右側画像については、パノラマ画像の合成に使用する画像領域の上限を、下側の撮像系（第１の撮像系１９１）により生成される画像の上限（図１３の太線４１２）までとする必要がある。
そこで、重複領域に含まれる被写体のうちの情報処理装置１００に最も近い被写体の距離（被写体距離）Ｌ０の値を用いて、式３のＤとθを固定値とし、被写体距離Ｌ０の位置における撮像範囲のズレ量の割合Ｚ０を、式３を用いて算出する。そして、上側の撮像系（第２の撮像系１９２）により生成される右側画像のうち、ズレ量の割合Ｚ０に対応する領域の画像（垂直方向の上限側の画像（図１３の太線４１２よりも上側の領域の画像））をパノラマ画像の合成に用いないようする。すなわち、上述のズレ量の割合Ｚ０に対応する部分を除いた領域（図１３の太線４１２と４０６との間の領域）の画像を用いてパノラマ画像の合成を行う。
このように、距離Ｌ０に位置する被写体に対応する画像が垂直方向において一致するように、パノラマ画像の合成対象となる左側画像および右側画像のうちの一部の画像のみを用いる。具体的には、下側の撮像系（第１の撮像系１９１）により生成される左側画像については、距離Ｌ０の位置に配置された目盛り７１の−２０から３０の範囲の画像領域を用いる。また、上側の撮像系（第２の撮像系１９２）により生成される右側画像については、距離Ｌ０の位置に配置された目盛りの−２０から３０の範囲の画像領域を用いる。このように、左側画像および右側画像の何れについても、距離Ｌ０の位置に配置された目盛りの−２０から３０の範囲の画像領域を用いて画像合成を行うことにより、パノラマ画像を生成することができる。
このように、式３を用いて、距離Ｌ０の値に基づいて距離Ｌ０における画像のズレ量の割合Ｚ０を求める。そして、ズレ量の割合Ｚ０の値に基づいて、左側画像および右側画像の双方の画像のうち、目盛り７１の−２０から３０の撮像範囲に対応する画像を合成する。これにより、距離Ｌ０に位置する被写体に対応する画像が垂直方向にズレていないパノラマ画像を生成することができる。これにより、観賞用として好ましいパノラマ画像を生成することができる。
このように、上述の処理を行うことにより、距離Ｌ０に位置する被写体について左右の画像で像が上下方向にズレていないパノラマ画像を得ることができる。しかしながら、その背景となる被写体の配置によっては、左右の画像で背景となる被写体の像が上下方向にズレるおそれがある。そこで、以下では、このズレについて説明する。
ここで、下側の撮像系（第１の撮像系１９１）により生成される左側画像から、距離Ｌ０の位置に配置された目盛り７１（図１３に示す）の−２０から３０の撮像範囲に対応する画像が抜き出された場合を想定する。この場合に、抜き出された画像には、距離Ｌ１の位置に配置された目盛り７２の−４０から６０の撮像範囲に対応する画像が含まれることになる。
また、上側の撮像系（第２の撮像系１９２）により生成される右側画像から、距離Ｌ０の位置に配置された目盛り７１（図１３に示す）の−２０から３０の撮像範囲に対応する画像が抜き出された場合を想定する。この場合に、抜き出された画像には、距離Ｌ１の位置に配置された目盛り７２の−５０から５０の範囲が含まれることになる。このため、左側画像および右側画像を繋ぎ合わせてパノラマ画像を生成すると、左側画像および右側画像において、距離Ｌ０の位置に存在する被写体については上下方向にズレていない画像となる。しかしながら、距離Ｌ０の位置に存在する被写体の背景（つまり、距離Ｌ１（Ｌ１＞Ｌ０）の位置に存在する被写体）については上下方向にズレた画像となるおそれがある。
そこで、以下では、パノラマ画像を構成する左側画像および右側画像について、距離Ｌ１に位置する被写体の画像が上下にズレてしまう原因と、そのズレ量の大きさとを定量的に考察する。
ここで、図１３において、太線４０３の傾きをＫ１とし、目盛り７１および太線４０３の接点と光軸４０１との距離をＲ０とし、目盛り７２および太線４０３の接点と光軸４０１との距離をＲ１とする。この場合には、次の式５乃至式９が成立する。
Ｒ０＝Ｌ０・ｔａｎ（（１／２）・θ） …式５
Ｋ１＝Ｒ０／Ｌ０ …式６
Ｒ１＝Ｋ１・Ｌ１＝Ｒ０・（Ｌ１／Ｌ０） …式７
Ｋ２＝（Ｒ０−Ｄ）／Ｌ０ …式８
Ｒ２＝Ｋ２・Ｌ１＝（Ｒ０−Ｄ）・（Ｌ１／Ｌ０） …式９
また、距離Ｌ１に位置する被写体の画像のズレ量Ｘ１は、次の式１０により求めることができる。
Ｘ１＝Ｒ１−Ｒ２−Ｄ＝Ｒ０・（Ｌ１／Ｌ０）−（Ｒ０−Ｄ）・（Ｌ１／Ｌ０）−Ｄ＝（（Ｌ１／Ｌ０）−１）・Ｄ …式１０
また、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１は、次の式１１により求めることができる。
Ｚ１＝Ｘ／Ｒ１
＝［｛（Ｌ１／Ｌ０）−１｝・Ｄ］／｛Ｒ０・（Ｌ１／Ｌ０）｝
＝｛（Ｌ１−Ｌ０）・Ｄ｝／（Ｒ０・Ｌ１）
＝｛１−（Ｌ０／Ｌ１）｝・（Ｄ／Ｒ０）
＝｛（１／Ｌ０）−（１／Ｌ１）｝・Ｄ・［１／ｔａｎ｛（１／２）・θ｝］ …式１１
この式１１を参照すると、Ｄおよびθを固定値とする場合に、距離Ｌ１（Ｌ０、Ｌ１は可変値とする）に位置する被写体の画像のズレ量の割合Ｚ１は、距離Ｌ０、Ｌ１に依存することがわかる。ズレ量の割合Ｚ１は、距離Ｌ０が一定の場合、距離Ｌ１が小さいほど小さくなる。例えば、Ｌ１が最小の値となる場合（つまり、Ｌ１がＬ０に等しい場合）を想定する。この場合には、距離Ｌ０における画像のズレ量の割合Ｚ０に対応した量だけ画像のズレ量を調整し、距離Ｌ０における画像のズレ量を０にする処理を行うと、距離Ｌ１における画像のズレ量の割合Ｚ１は０となる。反対に、ズレ量の割合Ｚ１は、距離Ｌ１が大きくなるに応じて大きくなる。そして、距離Ｌ１＝無限大のときに、次の式１２に示すように、距離Ｌ１における画像のズレ量の割合Ｚ１は最大値となる。
Ｚ１＝（Ｄ／Ｌ０）・［１／ｔａｎ｛（１／２）・θ｝］ …式１２
このように、距離Ｌ１における画像のズレ量の割合Ｚ１の最大値（式１２）は、上述の距離Ｌ０における画像のズレの調整を行った際に用いたズレ量の割合Ｚ０の値（式３）に等しくなる。
つまり、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１は、Ｌ１がＬ０に等しい時に最も小さく０であり、Ｌ１が大きくなるに従ってＺ１の値も大きくなり、Ｌ１が無限大となった時にＺ１の値が最大となる。また、Ｚ１の値が最大となる場合におけるＺ１の値は、距離Ｌ０における画像のズレ量を調整した割合Ｚ０に等しい。
ここで、比較的単純な数値を用いて最大値を算出すると、例えば、θ＝６０（度）の場合には、Ｚ１の最大値は「（Ｄ／Ｌ０）・（１／√３）」となる。
ここで、情報処理装置１００の仕様上、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１の許容範囲をＡ％以下と設定する場合を想定する。この場合には、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１がＡ％以下の画像を得るためには、式１２から求められる次の式１３を満たす条件で、撮影者７０が写真撮影を行う必要がある。
Ｌ０≧｛Ｄ／（Ａ／１００）｝・［１／ｔａｎ｛（１／２）・θ｝］ …式１３
すなわち、左側画像および右側画像の重複領域に含まれる被写体のうち、情報処理装置１００からの距離が最も近い被写体の被写体距離Ｌ０が式１３を満たす場合には、画像のズレ量の割合Ｚ１が許容範囲以下の画像を得ることができる。より具体的には、その距離Ｌ０が式１３を満たす場合には、式３に基づいて距離Ｌ０に位置する被写体についての左右の画像のズレ量を０にする処理を行う。この処理を行った画像において、その背景となる被写体（距離Ｌ１（Ｌ１＞Ｌ０）に位置する被写体）の画像のズレ量の割合Ｚ１が許容範囲以下の画像を得ることができる。
しかしながら、その重複領域に含まれる被写体のうち、情報処理装置１００からの距離が最も近い被写体の被写体距離Ｌ０が式１３を満たさない場合には、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１が許容範囲を超えた画像となる。このため、その重複領域に含まれる被写体の被写体距離Ｌ０が式１３を満たさない場合には、ユーザにその旨を通知し、パノラマ画像に含まれる被写体の配置を変更するように促すことが重要である。この通知例については、図２４乃至図２６に示す。また、図１４乃至図２３には、左側画像および右側画像の撮像範囲と、被写体との関係例を示す。
［撮像動作例］
図１４は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作を簡略的に示す図である。図１４には、情報処理装置１００を用いて行われる撮像動作状態をその側面から見た場合を示す。
具体的には、人物６２、家６３、山々６４を被写体として情報処理装置１００を用いて撮影者６１により撮像動作が行われている状態を示す。この場合に、人物６２は、情報処理装置１００からの距離（被写体距離）が比較的近く、山々６４は、被写体距離が比較的遠く、家６３は、人物６２および山々６４の間に存在するものとする。
［撮像範囲における重複領域および他の領域の関係例］
図１５は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。図１５では、図１４に示す状態で撮像動作が行われている場合における例を示す。
図１５のａには、情報処理装置１００側から見た場合における撮像範囲を示す。ここで、点線の矩形４５１で囲まれている撮像範囲は、撮像素子１３３により生成される撮像画像に対応する撮像範囲を示す。また、点線の矩形４５２で囲まれている撮像範囲は、撮像素子１３４により生成される撮像画像に対応する撮像範囲を示す。
また、領域Ｈ１は、他の撮像素子により生成される撮像画像の領域と重複しない領域（水平方向における領域）を示す。また、重複領域Ｈ２は、他の撮像素子により生成される撮像画像の領域と重複する領域（水平方向における領域）を示す。
図１５のｂには、情報処理装置１００の上側から見た場合における撮像範囲（つまり、上述の水平面における範囲（撮像範囲に対応する範囲））を示す。ここで、矩形４６１は、図１５のａに示す人物６２の位置を示し、矩形４６２は、図１５のａに示す家６３の位置を示し、矩形４６３は、図１５のａに示す山々６４の位置を示すものとする。なお、図１５のｂでは、説明の容易のため、人物６２、家６３、山々６４の間隔を、図１４に示す間隔よりも狭くして配置する。
このように、撮像素子１３３が撮像対象とする範囲と、撮像素子１３４が撮像対象とする範囲とを合わせた撮像対象範囲が、撮像素子１３３、１３４のそれぞれが撮像対象とする範囲よりも特定方向に広くなるように、撮像素子１３３、１３４が配置される。ここで、特定方向は、光学系１３３および光学系１３４が配置されている面の長手方向である。また、撮像素子１３３が撮像対象とする範囲と、撮像素子１３４が撮像対象とする範囲とが、特定方向に並ぶように、撮像素子１３３、１３４が配置される。また、撮像素子１３３の長辺方向と、撮像素子１３４の長辺方向とが特定方向に略一致するように、撮像素子１３３、１３４が配置される。この場合に、撮像素子１３３が撮像対象とする範囲と、撮像素子１３４が撮像対象とする範囲とを合わせた撮像対象範囲の縦横比が、撮像素子１３３、１３４のそれぞれが撮像対象とする範囲の縦横比よりも大きくなるように、撮像素子１３３、１３４が配置される。また、撮像素子１３３が撮像対象とする範囲の特定方向における端部と、撮像素子１３３に隣接して配置される撮像素子１３４が撮像対象とする範囲の特定方向における端部とが重複するように、撮像素子１３３、１３４が配置される。
［撮像範囲における評価値例］
図１６は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。ここで、図１６のａおよびｂに示すグラフにおいて、縦軸は、被写体までの距離とその分布を調べた際に得られた評価値（例えば、空間周波数が高い値を示す画素データの数）を示す軸である。また、横軸は、情報処理装置１００から被写体（合焦している被写体）までの距離（被写体距離）を示す軸である。
図１６のａでは、図１５に示す撮像範囲における重複領域Ｈ２における評価値を示す。また、図１６のｂでは、図１５に示す撮像範囲における重複領域Ｈ２以外の領域Ｈ１における評価値を示す。
また、図１６のａに示す白抜き丸７０１と、図１６のｂに示す白抜き丸７１１とは、同一の距離での評価値を示すものとする。また、図１６のａに示す白抜き丸７０２と、図１６のｂに示す白抜き丸７１２とは、同一の距離での評価値を示すものとする。同様に、図１６のａに示す白抜き丸７０３乃至７０６と、図１６のｂに示す白抜き丸７１３乃至７１６とは、それぞれ同一の距離での評価値を示すものとする。
ここで、図１６のａに示す白抜き丸７０６と、図１６のｂに示す白抜き丸７１６とは、山々６４の位置を示す。すなわち、山々６４に合焦した画像における画素データの数を示す。また、図１６のｂに示す白抜き丸７１２は、人物６２の位置を示す。すなわち、人物６２に合焦した画像における画素データの数を示す。また、図１６のｂに示す白抜き丸７１４は、家６３の位置を示す。すなわち、家６３に合焦した画像における画素データの数を示す。
また、上述した式１３において、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚ１がＡ％以下という関係を満たす距離Ｌ０の最小値を、閾値ｔｈ１とする。
ここで、例えば、情報処理装置１００における、第１の撮像系１９１の光軸４０１と第２の撮像系１９２の光軸４０２との間の垂直方向の距離Ｄを１０ｍｍとする。また、下側の撮像系（第１の撮像系１９１）および上側の撮像系（第２の撮像系１９２）の垂直方向の撮像範囲に対応する角度θを６０度とする。また、距離Ｌ１に位置する被写体の画像のズレ量の割合Ｚの許容範囲Ａを仮に０．５％以下と設定する。このズレ量は、例えば、通常Ｌサイズと呼ばれている写真（縦８９ｍｍ、横１２７ｍｍ）においては、約０．４５ｍｍのズレに相当する。Ｄ＝１０（ｍｍ）、θ＝６０（度）、Ｚ＝０．００５（０．５％）とすると、式１３から求めたＬ０についての閾値ｔｈ１＝３．４（ｍ）となる。すなわち、重複領域Ｈ２において最も手前の被写体までの距離Ｌ０が３．４（ｍ）以上である場合には、背景のズレ量が予め定めた許容範囲以下となった画像を、得ることができる。より具体的には、その距離Ｌ０が３．４（ｍ）以上である場合には、式３に基づいて距離Ｌ０に位置する被写体についての左右の画像のズレ量を０にする処理を行った画像において、その背景のズレ量が予め定めた許容範囲以下となった画像を、得ることができる。
ここで、図１５に示すように、重複領域Ｈ２に含まれる被写体は、山々６４のみである。このため、重複領域Ｈ２に含まれる被写体のうちの最前の被写体も山々６４となる。この場合には、重複領域Ｈ２にある最も手前の被写体までの距離Ｌ０を無限大とみなすことができる。
このように、距離Ｌ０を無限大とみなすことができる場合には、式３に基づいて調整すべき左右の画像のズレ量の割合Ｚ０＝０となる。つまり、式３に基づいた左右の調整を行うことなく、距離Ｌ０の被写体の画像のズレ量が０となった画像を得ることができる。
また、この場合、距離Ｌ０の値は、式１３に基づいて求めた距離Ｌ０についての閾値３．４ｍよりも大きい。このため、背景のズレ量も予め定めた許容範囲以下となった画像を得ることができる。すなわち、最も手前の被写体と背景とが一致しているため、背景のズレ量は、最も手前の被写体のズレ量に等しく、０である。また、計算上も、背景のズレ量の最大値はＺ０であるため、Ｌ０＝∞のとき、Ｚ０＝０となり、背景のズレ量は０となる。
また、図１５に示すように、重複領域Ｈ２以外の領域Ｈ１に含まれる被写体は、人物６２、家６３、山々６４である。このため、重複領域Ｈ２以外の領域Ｈ１に含まれる被写体のうちの最前の被写体は、人物６２となる。この人物６２は、図１６のｂに示すように、閾値ｔｈ１よりも近い位置に存在する。しかしながら、人物６２は、重複領域Ｈ２以外の領域Ｈ１に含まれるため、人物６２の被写体距離を基にしてパノラマ画像を構成する左側画像および右側画像の補正を行う必要はない。
このように、情報処理装置１００から最も近い位置に存在する被写体の距離が、閾値ｔｈ１未満の場合でも、その被写体が重複領域Ｈ２に含まれていない場合には、その被写体距離は、パノラマ画像を構成する左側画像および右側画像の補正に用いる必要はない。このため、このような場合には、パノラマ画像に含まれる被写体の距離が閾値ｔｈ１以上となるように被写体の配置の変更を行わずに、重複領域Ｈ２に含まれる被写体までの距離Ｌ０と式３に基づいた左右の画像の調整を行う。このように、被写体の配置の変更を行わなくても、距離Ｌ０に位置する被写体の画像のズレがなく、かつ、その背景となる被写体の画像のズレ量が予め定めた許容範囲以下となったパノラマ画像を得ることができる。
以上では、被写体距離が閾値ｔｈ１未満となる被写体が重複領域Ｈ２に含まれない場合の例を示した。次に、被写体距離が閾値ｔｈ１以上となる被写体が重複領域Ｈ２に含まれる場合の例と、被写体距離が閾値ｔｈ１未満となる被写体が重複領域Ｈ２に含まれる場合の例とを示す。
最初に、情報処理装置１００からの距離が近い被写体（近距離被写体）と、遠い被写体（遠距離被写体）とが混在している場合について説明する。より具体的には、近距離被写体が撮像範囲の重複領域内にあり、かつ、そこまでの被写体距離Ｌ０が、式１３に基づいて求まる距離Ｌ０の閾値ｔｈ１以上である場合について説明する。
［撮像範囲における重複領域および他の領域の関係例］
図１７は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。なお、図１７のａおよびｂに示す関係は、図１５のａおよびｂと同様である。このため、図１５と共通する部分には、同一の符号を付して、これらの説明の一部を省略する。
図１７のｂに示す矩形４６４は、図１７のａに示す人物６５の位置を示す。
［撮像範囲における評価値例］
図１８は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。なお、図１８のａおよびｂに示すグラフは、図１６のａおよびｂに示すグラフと同様である。また、図１８のａおよびｂの関係は、図１６のａおよびｂと同様である。すなわち、図１８のａに示す白抜き丸７２１乃至７２６と、図１８のｂに示す白抜き丸７３１乃至７３６とは、それぞれ同一の距離での評価値を示すものとする。
ここで、図１８のａに示す白抜き丸７２４は、図１７のａに示す人物６５の位置を示す。すなわち、人物６５に合焦した画像における画素データの数を示す。また、図１８のｂに示す白抜き丸７３４の付近は、図１７のａに示す家６３の位置を示す。すなわち、家６３に合焦した画像における画素データの数を示す。また、図１８のｂに示す白抜き丸７３６は、図１７のａに示す山々６４の位置を示す。すなわち、山々６４に合焦した画像における画素データの数を示す。
ここで、図１７に示すように、重複領域Ｈ２に含まれる被写体は、人物６５のみである。このため、重複領域Ｈ２に含まれる被写体のうちの最前の被写体も人物６５となる。この場合には、図１８のａに示すように、人物６５の被写体距離は、閾値ｔｈ１以上であるため、上述した式１３を満たすことになる。
この場合、重複領域Ｈ２に含まれる被写体のうちの最前の被写体（人物６５）までの被写体距離Ｌ０と式３から求まるズレ量の割合Ｚ０に基づいて左右の画像を調整する。この処理により、被写体距離Ｌ０に位置する人物６５の像は、左側画像と右側画像との間で上下方向にズレていないパノラマ画像を得ることができる。
また、図１７および図１８に示す被写体配置の場合、人物６５までの距離Ｌ０の値は、式１３に基づいて求めた距離Ｌ０についての閾値ｔｈ１よりも大きい。このため、人物６５の背景となる被写体（山々６４）のズレ量も予め定めた許容範囲以下となったパノラマ画像を得ることができる。ここで、Ｄ＝１０（ｍｍ）、θ＝６０（度）、重複領域Ｈ２において最も手前の被写体（人物６５）までの距離Ｌ０＝３．４ｍ、人物６５の背景となる被写体（山々６４）までの距離Ｌ１＝無限大とする例を示す。この場合における被写体配置において、背景となる被写体（山々６４）のズレ量が最も大きく、ズレ量の割合は０．５％（Ｌサイズの写真上で約０．４５ｍｍ）となる。ここで、仮に、人物６５の背景が、山々６４よりも手前にある被写体（例えば、Ｌ１＝７．２ｍに位置する被写体）によって覆われている場合を想定する。この場合には、背景となっている被写体のズレ量の割合は、０．２５％（Ｌサイズの写真上で約０．２３ｍｍ）となる。
次に、近距離被写体および遠距離被写体が混在している場合において、近距離被写体が撮像範囲の重複領域内にあり、かつ、そこまでの被写体距離Ｌ０が、式１３に基づいて求まる距離Ｌ０の閾値ｔｈ１未満である場合について説明する。
［撮像範囲における重複領域および他の領域の関係例］
図１９は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。なお、図１９のａおよびｂに示す関係は、図１５のａおよびｂと同様である。このため、図１５と共通する部分には、同一の符号を付して、これらの説明の一部を省略する。
図１９のｂに示す矩形４６５は、図１９のａに示す人物６６の位置を示す。
［撮像範囲における評価値例］
図２０は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。なお、図２０のａおよびｂに示すグラフは、図１６のａおよびｂに示すグラフと同様である。また、図２０のａおよびｂの関係は、図１６のａおよびｂと同様である。すなわち、図２０のａに示す白抜き丸７４１乃至７４６と、図２０のｂに示す白抜き丸７５１乃至７５６とは、それぞれ同一の距離での評価値を示すものとする。
ここで、図２０のａに示す白抜き丸７４２は、人物６６の位置を示す。すなわち、人物６６に合焦した画像における画素データの数を示す。また、図２０のｂに示す白抜き丸７５４は、家６３の位置を示す。すなわち、家６３に合焦した画像における画素データの数を示す。また、図２０のａに示す白抜き丸７４６と、図２０のｂに示す白抜き丸７５６とは、山々６４の位置を示す。すなわち、山々６４に合焦した画像における画素データの数を示す。
ここで、図１９に示すように、重複領域Ｈ２に含まれる被写体は、人物６６および山々６４である。このため、重複領域Ｈ２に含まれる被写体のうちの最前の被写体は人物６６となる。この場合には、図２０のａに示すように、人物６６の被写体距離は、閾値ｔｈ１未満であるため、上述した式１３を満たさないことになる。
このように、情報処理装置１００から最も近い位置に存在する被写体の被写体距離が、閾値ｔｈ１未満であり、かつ、その被写体が重複領域Ｈ２に含まれる場合には、その旨の警告をユーザに通知する。この通知により、パノラマ画像に含まれる被写体の配置の変更、または、情報処理装置１００を構える方向の変更をユーザに促す。例えば、情報処理装置１００から最も近い位置に存在する被写体の被写体距離が閾値ｔｈ１以上となるように、被写体位置の移動を促す警告を発する。または、情報処理装置１００から最も近い位置に存在する被写体が重複領域Ｈ２の外側となるように、被写体の移動もしくはユーザが情報処理装置１００を構える方向の変更を促す警告を発する。このような警告を発し、パノラマ画像に含まれる被写体の配置もしくはユーザが情報処理装置１００を構える方向を適切に変更することにより、適切なパノラマ画像を得ることができる。
次に、被写体が撮像範囲の重複領域の一部に存在し、その被写体の背後に模様のある背景が見えるが、重複領域以外の領域にその被写体よりも近い距離に位置する被写体が存在する場合について説明する。
［撮像動作例］
図２１は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作を簡略的に示す図である。
図２１には、情報処理装置１００を用いて行われる撮像動作状態をその側面から見た場合を示す。なお、図２１に示す撮影者６１、家６３、山々６４は、図１３と同様である。すなわち、図２１では、図１３に示す人物６２の代わりに、人物６７、人物６８を配置した例を示す。この場合に、人物６７は、情報処理装置１００からの距離（被写体距離）が比較的近く、山々６４は、被写体距離が比較的遠く、家６３、人物６８は、人物６７および山々６４の間に存在するものとする。
［撮像範囲における重複領域および他の領域の関係例］
図２２は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における重複領域および他の領域の関係例を簡略的に示す図である。なお、図２２のａおよびｂに示す関係は、図１５のａおよびｂと同様である。このため、図１５と共通する部分には、同一の符号を付して、これらの説明の一部を省略する。また、図２２では、図２１に示す状態で撮影する場合における例を示す。
図２２のｂに示す矩形４６６は、図２２ａに示す人物６７の位置を示し、図２２のｂに示す矩形４６７は、図２２ａに示す人物６８の位置を示す。
このように、被写体（人物６８）が撮像範囲の重複領域Ｈ２の一部に存在し、その被写体の背後に模様のある背景（山々６４）が見えるが、重複領域Ｈ２以外の領域Ｈ１にその被写体よりも近い距離に位置する被写体（人物６７）が存在する場合の例を示す。
［撮像範囲における評価値例］
図２３は、本技術の第１の実施の形態における情報処理装置１００を用いて行われる撮像動作の撮像対象となる撮像範囲における評価値の一例を示す図である。なお、図２３のａおよびｂに示すグラフは、図１６のａおよびｂに示すグラフと同様である。また、図２３のａおよびｂの関係は、図１６のａおよびｂと同様である。すなわち、図２３のａに示す白抜き丸７６１乃至７６６と、図２３のｂに示す白抜き丸７７１乃至７７６とは、それぞれ同一の距離での評価値を示すものとする。
ここで、図２３のｂに示す白抜き丸７７１は、人物６７の位置を示す。すなわち、人物６７に合焦した画像における画素データの数を示す。また、図２３のａに示す白抜き丸７６４は、人物６８の位置を示す。すなわち、人物６８に合焦した画像における画素データの数を示す。また、また、図２３のｂに示す白抜き丸７７４は、家６３の位置を示す。すなわち、家６３に合焦した画像における画素データの数を示す。また、図２３のａに示す白抜き丸７６６と、図２０のｂに示す白抜き丸７７６とは、山々６４の位置を示す。すなわち、山々６４に合焦した画像における画素データの数を示す。
ここで、図２２に示すように、重複領域Ｈ２に含まれる被写体は、人物６８および山々６４である。また、人物６８よりも前側（情報処理装置１００側）に人物６７が存在する。このため、撮像範囲に含まれる被写体のうちの最前の被写体は人物６７となる。この場合には、図２３のｂに示すように、人物６７の被写体距離（白抜きの丸７７１）は、閾値ｔｈ１未満であるが、人物６７は、重複領域Ｈ２以外の領域に含まれる被写体である。また、重複領域Ｈ２に含まれる被写体（人物６８）の被写体距離（白抜きの丸７６４）は、閾値ｔｈ１以上である。
このように、情報処理装置１００から最も近い位置に存在する被写体の距離が、閾値ｔｈ１未満の場合でも、その被写体が重複領域Ｈ２に含まれていない場合には、その被写体距離は、パノラマ画像を構成する左側画像および右側画像の補正に用いる必要はない。このため、このような場合には、パノラマ画像に含まれる被写体の距離が閾値ｔｈ１以上となるように被写体の配置の変更を行わずに、重複領域Ｈ２に含まれる被写体までの距離Ｌ０と式３に基づいた左右の画像の調整を行う。このように、被写体の配置の変更を行わなくても、距離Ｌ０に位置する被写体の画像のズレがなく、かつ、その背景となる被写体の画像のズレ量が予め定めた許容範囲以下となったパノラマ画像を得ることができる。
［通知例］
図２４乃至図２６は、本技術の第１の実施の形態における情報処理装置１００によるユーザへの通知例を示す図である。
上述したように、情報処理装置１００からの距離（被写体距離）が閾値ｔｈ１未満となる被写体が重複領域Ｈ２に存在する場合には、パノラマ画像の垂直方向のズレが大きくなるおそれがある。そこで、このような状態で撮影が行われている場合には、その旨をユーザに通知することにより、記録されるパノラマ画像の垂直方向のズレが大きくなることを防止することができる。例えば、最も手前の被写体が重複領域Ｈ２の外側に出るか、または、最も手前の被写体の被写体距離が閾値ｔｈ１以上の距離となるように、ユーザに警告することができる。また、例えば、最も手前の被写体が重複領域Ｈ２の外側となるように情報処理装置１００を構える方向を変更するように、ユーザに警告することができる。これらの通知例を図２４乃至図２６に示す。
図２４には、重複領域をユーザに通知することにより警告を行う例を示す。
図２４のａには、表示部１４０に表示されているライブビュー画像上に、重複領域を表す表示情報５８１を表示することにより警告を行う表示例を示す。図２４のａに示すように、重複領域の色を変更することにより表示情報５８１を表示することができる。また、重複領域への網掛け表示、重複領域の明滅、または、重複領域の輝度の変更により表示情報５８１を表示するようにしてもよい。
図２４のｂには、表示部１４０に表示されているライブビュー画像上に、重複領域を表す表示情報５８２を表示することにより警告を行う表示例を示す。図２４のｂに示すように、重複領域を表す枠線を表示情報５８２として表示することができる。なお、枠線の明滅、または、枠線の色や輝度の変更により表示情報５８２を表示するようにしてもよい。
図２５には、重複領域に含まれる被写体をユーザに通知することにより警告を行う例を示す。
図２５のａには、表示部１４０に表示されているライブビュー画像上に、重複領域に含まれる被写体のうちの最も手前にある被写体の輪郭を抽出し、その輪郭を示す線を表示情報５８３として表示することにより警告を行う表示例を示す。なお、輪郭を示す線の明滅、または、輪郭を示す線の色や輝度の変更により表示情報５８３を表示するようにしてもよい。
図２５のｂには、表示部１４０に表示されているライブビュー画像上に、重複領域に含まれる被写体のうちの最も手前にある被写体の輪郭を抽出し、その輪郭内の色を変更させた表示情報５８４を表示することにより警告を行う表示例を示す。なお、輪郭内の画像の明滅、または、輪郭内の画像や輝度の変更により表示情報５８４を表示するようにしてもよい。
図２６には、メッセージの表示や音声出力により警告を行う例を示す。
図２６のａには、表示部１４０に表示されているライブビュー画像上に、メッセージ情報５８５を表示することにより警告を行う表示例を示す。なお、メッセージ情報５８５の明滅、または、メッセージ情報５８５の色や輝度の変更をさせるようにしてもよい。
図２６のｂには、メッセージ５８６を音声出力させることにより警告を行う例を示す。なお、メッセージの表示や音声出力により警告を行う以外に、警告音を発することにより警告を行うようにしてもよく、情報処理装置１００を振動させることにより警告を行うようにしてもよい。
また、表示部１４０に表示されているライブビュー画像上に、図２６のａおよびｂに示すメッセージを表すマークを表示するようにしてもよい。また、特定のランプを点灯させることにより警告を行うようにしてもよい。
［情報処理装置の動作例］
図２７は、本技術の第１の実施の形態における情報処理装置１００によるパノラマ画像記録制御処理の処理手順の一例を示すフローチャートである。なお、図２７では、静止画の撮影を行う場合における処理手順例を示す。
最初に、いわゆる、ライブビュー表示が行われる（ステップＳ９０１）。すなわち、撮像部５１０が捉えている撮像範囲が動画で表示部１４０にリアルタイム表示される（ステップＳ９０１）。続いて、制御部５７０は、情報処理装置１００の使用者から合焦動作の指示があったか否かを判断する（ステップＳ９０２）。例えば、シャッターボタンが半分押下されたか否かが判断される（ステップＳ９０２）。
ステップＳ９０２においてシャッターボタンの半分押下が検出された場合には、制御部５７０は、撮像部５１０に対してオートフォーカス制御を行う（ステップＳ９０３、Ｓ９０４）。このオートフォーカス制御の処理として、第１処理（ステップＳ９０３）および第２処理（ステップＳ９０４）が行われる。
この第１処理では、撮像部５１０の焦点を撮像部５１０に近い側から遠い側へ連続して変化させ、その間に、各焦点距離において画像を撮影する。また、撮影された各画像において、その中に含まれる像の空間周波数を分析する。これにより、撮像部５１０から被写体までの距離とその分布についての情報を得ることができ、これに基づいて合焦対象とする被写体を決める。また、上述した被写体までの距離とその分布についての情報のうち、撮像部５１０を構成する左右の撮像部の撮像範囲が重複する重複領域において撮像部５１０から最も手前の被写体までの距離Ｌ０の値を得る（ステップＳ９０３）。なお、ステップＳ９０３は、特許請求の範囲に記載の算出手順の一例である。
続いて、オートフォーカス制御の第２処理では、制御部５７０は、ステップＳ９０３において合焦対象と決められた被写体に対して合焦するように撮像部５１０を制御する（ステップＳ９０４）。また、撮像部５１０は、合焦対象と決められた被写体に焦点が合うように焦点距離を調整する（ステップＳ９０４）。
続いて、判定部５３０は、ステップ９０３で得られた最も手前の被写体までの距離Ｌ０が閾値ｔｈ１（図１６等に示す）以上であるか否かを判断する（ステップＳ９０５）。なお、ステップＳ９０５は、特許請求の範囲に記載の判定手順の一例である。
その距離Ｌ０が閾値ｔｈ１以上である場合には（ステップＳ９０５）、制御部５７０は、カウント中であるか否かを判断する（ステップＳ９０６）。そして、カウント中である場合には（ステップＳ９０６）、カウントを終了させて（ステップＳ９０７）、ステップＳ９１３に進む。一方、カウント中でない場合には（ステップＳ９０７）、ステップＳ９１３に進む。
また、その距離Ｌ０が閾値ｔｈ１未満である場合には（ステップＳ９０５）、制御部５７０は、カウント中であるか否かを判断する（ステップＳ９０８）。そして、カウント中でない場合には（ステップＳ９０８）、制御部５７０は、カウントを開始させて（ステップＳ９０９）、警告情報を出力させる（ステップＳ９１０）。一方、カウント中である場合には（ステップＳ９０８）、ステップＳ９１０に進む。
ここで、警告情報は、例えば、図２４乃至図２６に示す表示情報５８１乃至５８４、メッセージ情報５８５、メッセージ５８６に対応する。また、出力対象となる警告情報は、例えば、ユーザ操作により設定することができる。すなわち、ユーザの好みに応じた警告情報の出力を行うことができる。
また、警告情報は、何らかのユーザ操作が行われるまでの間、または、カウント値が閾値に達するまでの間、継続して出力するようにしてもよく、定期的または不定期に出力するようにしてもよい。
また、警告情報を出力した後に（ステップＳ９１０）、制御部５７０は、カウント値が閾値に達したか否かを判断する（ステップＳ９１１）。そして、カウント値が閾値に達していない場合には（ステップＳ９１１）、ステップＳ９０１に戻る。一方、カウント値が閾値に達した場合には（ステップＳ９１１）、制御部５７０は、カウントを終了させる（ステップＳ９１２）。
そして、制御部５７０は、記録指示操作が行われたか否かを判断し（ステップＳ９１３）、記録指示操作が行われていない場合には、ステップＳ９０１に戻る。一方、記録指示操作が行われた場合には（ステップＳ９１３）、画像合成部５２０は、左側画像および右側画像の画像データを距離Ｌ０に基づいて補正して合成する（ステップＳ９１４）。すなわち、画像合成部５２０は、式３を用いて、距離Ｌ０に基づいて、左側画像および右側画像の垂直方向の一部の領域を用いて、これらの画像を連結させることにより、左側画像および右側画像を合成する（ステップＳ９１４）。続いて、記録制御部５４０は、合成された画像データを記憶部５５０に記録させる（ステップＳ９１５）。
このように、画像合成部５２０は、撮像素子１３３、１３４から得られる複数の画像について各画像のうちの少なくとも一部の範囲を特定方向に連結した合成画像を生成する。また、画像合成部５２０は、撮像素子１３３、１３４から得られる複数の画像間における直交方向のずれを、画像間における重複領域に含まれる被写体に係る被写体距離に基づいて補正する。言い換えると、画像合成部５２０は、撮像素子１３３、１３４から得られる複数の画像間における直交方向のずれを、合成画像に含まれる被写体に係る被写体距離に基づいて補正する。なお、そのずれは、撮像素子１３３、１３４が直交方向に並べて配置されることによって生じる。また、直交方向は、光学系１３３および光学系１３４が配置されている面の長手方向（特定方向）と略直交する方向である。
また、画像合成部５２０は、合成画像に用いられるその範囲を、複数の画像間における重複領域に含まれる被写体に係る被写体距離に基づいて調整する。言い換えると、画像合成部５２０は、合成画像に用いられる画像の範囲を、合成画像に含まれる被写体に係る被写体距離に基づいて調整する。
また、制御部５７０は、撮像素子１３３、１３４から得られる複数の画像間における重複領域に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、所定の通知を行う。例えば、制御部５７０は、重複領域に含まれる被写体の配置の変更を促す通知もしくは合成画像において画像がずれる旨の通知を行う。また、制御部５７０は、合成画像に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、所定の通知を行う。例えば、制御部５７０は、合成画像に含まれる被写体の配置の変更を促す通知もしくは合成画像において画像がずれる旨の通知を行う。ここで、特定の被写体は、情報処理装置１００に最も近い被写体、合焦動作により合焦対象となった被写体、顔検出部により検出された被写体、および、動体検出部により検出された被写体のうちの少なくとも１つとすることができる。なお、動体検出部は、画像に含まれる動体を検出するものである。例えば、画像における各画素値の差分値を画素毎に算出し、この算出された各画素の差分値が一定値以上である領域を動体領域として検出する検出方法を用いることができる。なお、画像合成部５２０は、特許請求の範囲に記載の補正部、調整部の一例である。
また、判定部５３０は、特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像におけるその重複領域もしくは合成画像に含まれる被写体に係る被写体距離を算出する。また、判定部５３０は、その被写体距離に基づいて、合成画像に用いる各画像の範囲に関する判定を行う。または、判定部５３０は、その被写体距離に基づいて、合成画像に含まれる被写体の配置に関する判定を行う。
このように、パノラマ画像における重複領域に、被写体距離が閾値ｔｈ１を基準として小さい被写体が存在する場合には、その旨の警告をユーザに通知し、パノラマ画像に含まれる被写体の配置の変更を促す。また、そのような被写体が存在する場合には、一定期間（カウント値が閾値に達するまでの間）、記録指示操作の受け付けを無効とする。これにより、垂直方向に生じるズレが許容範囲を超えてしまうようなパノラマ画像の記録を防止することができる。すなわち、適切なパノラマ画像を生成して記録することができる。
なお、垂直方向に生じるズレが許容範囲を超えるような構図（パノラマ画像における重複領域に被写体距離が閾値ｔｈ１未満となる被写体が存在する構図）のパノラマ画像を記録しておきたいと考えるユーザも存在すると想定される。そこで、その旨の警告を一定時間通知しても、パノラマ画像に含まれる被写体の配置が変更されないような場合には、記録指示操作の受け付けを許可し、その構図のパノラマ画像の記録を行うようにする。これにより、ユーザの好みに応じた適切なパノラマ画像を生成することができる。この場合、情報処理装置１００から最も手前にある被写体までの距離Ｌ０に基づいて、左右の画像において、距離Ｌ０に位置する被写体の上下方向のズレ量を０にする処理が行われたパノラマ画像が記録される。ただし、距離Ｌ０が閾値ｔｈ１未満となっているため、左右の画像において、背景となる被写体が上下方向に許容範囲Ａを上回るズレ量となって記録される場合がある。
このように、情報処理装置１００は、２つの撮像系（撮像素子１３３、１３４、光学系１３１、１３２）が、パノラマ画像の短辺方向に並べて配置される情報処理装置である。すなわち、情報処理装置１００は、２つの撮像系（撮像素子１３３、１３４、光学系１３１、１３２）が配置される「垂直方向」の位置が異なる特殊な配置となる。このため、パノラマ画像の短辺と平行となる面（いわゆる、「垂直面」）において、２つの撮像部の垂直方向の撮影範囲が上下にずれてしまう。
そこで、情報処理装置１００は、オートフォーカス処理の際に、２つの撮像系による撮像範囲が重複する領域において、情報処理装置１００から、最も手前の被写体までの距離Ｌ０を求める。そして、情報処理装置１００は、その距離Ｌ０に基づいて、その被写体が左右の画像の間で上下方向に一致するように画像のズレを補正する。ただし、情報処理装置１００は、その被写体の背景について、左右の画像間での上下方向のズレ量と許容値との大小を比較して、パノラマ画像を適切に合成することがきるか否かを判定する。そして、情報処理装置１００は、その判定結果に基づいて、必要に応じてユーザに警告を発する。例えば、背景のズレ量が大きいと判定された場合に、ユーザに警告を発するようにする。また、情報処理装置１００は、その警告とともに具体的な改善策をユーザに対して通知する。この具体的な改善策として、例えば、撮像範囲が重複する領域（重複領域）における最も手前の被写体と、情報処理装置１００との距離を大きくするように促す通知を行う。また、例えば、その被写体が重複領域の外に出るように促す通知、または、その被写体が重複領域の外となるように、ユーザ（撮影者）が情報処理装置１００を構える方向を変えるように促す通知を行うことができる。これらの通知に応じてその改善策が実行されることにより、ユーザは適切なパノラマ画像を撮影することができる。
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、２つの撮像系を備える情報処理装置を用いてパノラマ画像を生成する例を示した。ここで、３以上の撮像系を備える情報処理装置についても本技術の実施の形態を適用することができる。
そこで、本技術の第２の実施の形態では、３つの撮像系を備える情報処理装置を用いてパノラマ画像を生成する例を示す。なお、本技術の第２の実施の形態における情報処理装置は、図１等に示す情報処理装置１００の一部を変形したものである。このため、情報処理装置１００と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
［情報処理装置の外観構成例］
図２８は、本技術の第２の実施の形態における情報処理装置６００の外観構成例を示す図である。
図２８のａには、情報処理装置６００の上面図を示し、図２８のｂには、情報処理装置６００の正面（表示部１４０が設けられている面）図を示す。また、図２８のｃには、情報処理装置６００の背面（表示部１４０が設けられている面から見て裏側となる面）図を示し、図２８のｄには、情報処理装置６００の側面図を示す。なお、図２８のａ乃至ｄは、図１のａ乃至ｄに対応する。また、図１に示す情報処理装置１００と共通する部分については、同一の符号を付して示す。
情報処理装置６００は、決定キー１１１と、表示部１４０と、撮像部６１０とを備える。なお、情報処理装置６００は、撮像部６１０を構成する撮像系（光学系６１１乃至６１３、撮像素子６１４乃至６１６）を３つとした点以外は、図１に示す情報処理装置１００と略同様である。このため、ここでの詳細な説明を省略する。
図２８のａに示すように、３個のレンズ群のうちの真中のレンズ群（光学系６１２）における光軸（光学系６１２を通過して撮像素子６１５に入射する光軸６２２）が、表示部１４０の表示面に直交（または、略直交）するものとする。また、図２８のａに示すように、撮像部６１０を構成する２つの撮像系（光学系６１１、６１３、撮像素子６１４、６１６）の光軸を、光軸６２１および６２３とする。この場合に、光軸６２１と光軸６２２とのなす角度と、光軸６２３と光軸６２２とのなす角度とが同一となる。すなわち、２つの撮像系（光学系６１１、６１３、撮像素子６１４、６１６）の光軸６２１および６２３が、光軸６２２を挟んで線対称の位置となるように、２つの撮像系（光学系６１１、６１３、撮像素子６１４、６１６）が配置される。なお、３つの光学系（レンズ群）６１１乃至６１３の水平方向（図２８のｂに示す表示部１４０および情報処理装置６００の筐体の長辺方向）の位置関係は、図２乃至図５に示す例と同様である。すなわち、３つの光学系（レンズ群）６１１乃至６１３の水平方向の位置関係は、３つの撮像系の３本の光軸６２１乃至６２３が交差する位置によって変化する。例えば、３つの光軸が光学系（レンズ群）の位置で交差する場合、３つの光学系（レンズ群）の水平方向の位置は一致する。この例を図２９のｂに示す。また、３本の光軸が交差する位置が、光学系（レンズ群）から撮像素子の方向へ移動するにつれて、光学系（レンズ群）の水平方向の位置は離れる。図２８に示す例は、光学系（レンズ群）６１１乃至６１３の水平方向の位置が離れている場合における配置例である。
また、情報処理装置６００は、３つの撮像系（光学系６１１乃至６１３、撮像素子６１４乃至６１６）により生成される画像（左側画像、中画像、右側画像）を合成することによりパノラマ画像を生成する。この場合に、生成される各画像（左側画像、中画像、右側画像）の重複領域に含まれる被写体を基準として、上述した各判定を行う。具体的には、左側画像および中画像における重複領域と、中画像および右側画像における重複領域とに含まれる被写体のうち、情報処理装置１００から最も近い位置に存在する被写体の被写体距離が閾値ｔｈ１以上であるか否かが判断される。そして、その被写体距離が閾値ｔｈ１未満である場合には、その旨の警告をユーザに通知し、パノラマ画像に含まれる被写体の配置の変更を促す。すなわち、重複領域に含まれる被写体の被写体距離が閾値ｔｈ１を基準として大きくなるように、パノラマ画像に含まれる被写体の配置を変更するように促す。
このように、光学系６１２は、光学系６１１および光学系６１３とともに、筐体の一の面に、この一の面の長手方向（特定方向）と略直交する直交方向に並べて、かつ、光学系６１２の光軸が表示面１４０に直交するように、配置される。
ここで、本技術の第２の実施の形態では、３つの撮像系のうちの真中の撮像系（光学系６１２、撮像素子６１５）により生成される画像（中画像）は、パノラマ画像における真中部分の画像となる。このため、情報処理装置６００からの距離が比較的近い被写体が、パノラマ画像の真中部分に含まれている場合でも適切にパノラマ画像を生成することができる。
＜３．変形例＞
本技術の第１および第２の実施の形態では、情報処理装置の筐体の短辺方向に対して複数の撮像系が斜め方向となるように複数の撮像系を配置する例を示した。ここで、情報処理装置の筐体の短辺方向と平行となるように複数の撮像系を配置することも可能である。そこで、以下では、情報処理装置の筐体の短辺方向と平行となるように複数の撮像系を配置する例を示す。
［情報処理装置の外観構成例］
図２９は、本技術の実施の形態の変形例における情報処理装置６３０、６５０の外観構成例を示す図である。
図２９のａには、情報処理装置６３０の正面（表示部１４０が設けられている面）図を示す。また、図２９のｂには、情報処理装置６５０の正面（表示部１４０が設けられている面）図を示す。なお、図２９のａは、図１のｂに対応する。また、図２９のｂは、図２８のｂに対応する。また、図１に示す情報処理装置１００と共通する部分については、同一の符号を付して示す。
情報処理装置６３０は、決定キー１１１および撮像部６４０を備える。なお、情報処理装置６３０は、撮像部６４０を構成する撮像系（光学系６４１、６４２）を、情報処理装置６３０の筐体の短辺方向と平行となるように並べた点以外は、図１に示す情報処理装置１００と略同様である。このため、ここでの詳細な説明を省略する。ただし、撮像部６４０を構成する撮像系（光学系６４１、６４２）により生成される各画像（左側画像、右側画像）について重複領域が存在するように、各撮像系（光学系６４１、６４２）が配置されるものとする。
情報処理装置６５０は、決定キー１１１および撮像部６６０を備える。なお、情報処理装置６５０は、撮像部６６０を構成する撮像系（光学系６６１乃至６６３）を、情報処理装置６５０の筐体の短辺方向と平行となるように並べた点以外は、図２８に示す情報処理装置６００と略同様である。このため、ここでの詳細な説明を省略する。ただし、撮像部６６０を構成する撮像系（光学系６６１乃至６６３）により生成される各画像（左側画像、中画像、右側画像）について各画像間に重複領域が存在するように、各撮像系（光学系６６１乃至６６３）が配置されるものとする。
ここで、一般に、情報処理装置は、光学中心配置線（複数の撮像系の光学中心を結ぶ線）が筐体の長手方向に平行であり、かつ、筐体の短辺（筐体の長手方向における端部側）の中央付近に光学中心配置線が配置されることが想定される。しかしながら、このように撮像系（光学系）を配置すると、写真撮影以外の機能を司る電子基板の設計を難しくしてしまうおそれがある。例えば、情報処理装置の筐体内の電子基板を設計する際に、複数の撮像系を避けて電子基板を配置するため、電子基板の一部に切り欠きを作る必要がある。この場合に、例えば、その切り欠きを、電子基板の中心方向に向けて大きく設けると、電子基板設計の自由度が低下するおそれがある。
また、レンズと撮像素子とからなる撮像系部品は、情報処理装置の部品の中でも高さが高いものが多い。このため、筐体の短辺（筐体の長手方向における端部側）の中央付近に、筐体の長手方向に平行に光学中心配置線がなるように撮像系部品を配置されると、電子基板の配置を邪魔してしまうおそれがある。
そこで、本技術の実施の形態では、複数の撮像部を、表示部の短辺方向（または、その斜め方向）に並べて配置する。これにより、情報処理装置の電子基板の切り欠きを、電子基板の中心方向に向けて大きく設ける必要がなくなるため、電子基板の設計の自由度を向上させることができる。すなわち、情報処理装置のスペース効率を高めることができる。
ただし、このように、複数の撮像系を配置する場合には、パノラマ画像を合成した際、画像が垂直方向にズレが生じるおそれがある。そこで、本技術の実施の形態では、そのズレを適切に補正することができる。例えば、パノラマ画像における重複領域に、被写体距離が閾値ｔｈ１未満となる被写体が存在するか否かを判定する。また、得られるパノラマ画像において背景となっている被写体の上下方向のズレが許容値以下となるか否かを判定する。そして、被写体距離が閾値ｔｈ１未満となる被写体が存在する場合、または、背景となっている被写体の上下方向のズレが許容値より大きくなる場合には、その旨の警告をユーザに通知し、パノラマ画像に含まれる被写体の配置の変更を促す。すなわち、重複領域に含まれる被写体の被写体距離が閾値ｔｈ１を基準として大きくなるように、パノラマ画像に含まれる被写体の配置を変更するように促す。これにより、垂直方向に生じるズレが許容範囲内となるパノラマ画像を生成することができる。
すなわち、複数の撮像部により生成された各画像を合成して合成画像を生成する場合には、合成画像に含まれる被写体の配置を考慮して各画像を適切に合成することが重要であり、本技術の実施の形態では、合成画像を適切に生成することができる。
なお、本技術の実施の形態では、情報処理装置から、最も手前にある被写体までの距離の分析を、複数の撮像部の撮像範囲が重複する重複領域において行い、この距離情報に基づいて、上述した各判定を行う例を示した。ただし、複数の撮像部の撮像範囲全体において、情報処理装置から、最も手前にある被写体までの距離の分析を行い、この分析結果に基づいて上述した各判定を行うようにしてもよい。
ここで、上述したように、情報処理装置から、最も手前にある被写体の背景となっている被写体までの距離が大きいほど、パノラマ画像におけるその背景のズレ量は大きくなる。このため、本技術の実施の形態では、最も手前にある被写体の背景となっている被写体までの距離が無限遠であること前提として、得られるパノラマ画像の背景のズレ量が許容値以下となるか否かの判定を行う。そして、そのズレ量が許容値以下であれば、情報処理装置から、その背景となる被写体までの距離がいかなる値であっても、ズレ量は許容値以下となる。このように判定を行うことにより、適切なパノラマ画像を生成することができる。また、本技術の実施の形態では、その判定を行う際に用いる距離（情報処理装置から被写体までの距離）として、最も手前にある被写体の距離を用いる。このため、本技術の実施の形態では、その判定を行う際に用いる距離（情報処理装置から被写体までの距離）の分析を、最も手前にある被写体についてのみ行う例を示した。ただし、情報処理装置から最も遠い被写体までの距離を無限遠とせず、情報処理装置から最も遠い被写体までの距離を分析するようにしてもよい。この場合には、情報処理装置から最も遠い被写体までの距離と、最も手前の被写体までの距離とを用いて、式１１に基づいて、背景のズレ量が許容値以下となるか否かを判定することができる。この場合、最も遠い被写体までの距離を無限遠として判定する場合よりも、ズレ量の判定が不可となる場合を減少させることができ、撮影における被写体配置の自由度を向上させることができる。
また、本技術の実施の形態では、情報処理装置から被写体までの距離に応じて、パノラマ画像に用いる撮像範囲を変化させる例を示した。ただし、撮像範囲が異なるパノラマ画像を、そのままの画素数で記録すると、記録されたパノラマ画像は、画素数が一定にはならず、情報処理装置から被写体までの距離に応じて画素数が異なる画像が記録されることになる。そこで、情報処理装置から被写体までの距離にかかわらず、画素数が一定となるパノラマ画像を記録するようにしてもよい。例えば、情報処理装置から被写体までの距離に応じて、パノラマ画像に用いる撮像範囲を変化させた後、記録対象となるパノラマ画像の画素数を、情報処理装置から被写体までの距離にかかわらず一定となるようにパノラマ画像の解像度を変換させる。そして、その変換処理を行った後に、解像度変換後のパノラマ画像を記録するようにする。または、パノラマ画像を撮影可能とする被写体までの最短距離を予め決めておき、この被写体距離においてズレ量が許容される撮像範囲で、パノラマ画像を記録するようにしてもよい。この場合に、情報処理装置から被写体までの距離が、その最短距離よりも大きい場合でもその撮像範囲でパノラマ画像を記録するようにする。これらにより、情報処理装置から被写体までの距離にかかわらず、画素数が一定となるパノラマ画像を記録することができる。
また、本技術の実施の形態では、情報処理装置から最も手前の被写体までの距離を分析して、その距離が閾値以下であるか否かを判定し、その距離に基づく左右の画像の上下方向の調整を行う例を示した。ただし、例えば、情報処理装置から最も手前の被写体までの距離ではなく、情報処理装置から特定の被写体までの距離を分析してその距離が閾値以下であるか否かを判定し、その距離に基づく左右の画像の上下方向の調整を行うようにしてもよい。なお、特定の被写体は、例えば、人物の顔、人物の笑顔、特定人物の顔（予め登録されている人物の顔）とすることができる。例えば、特定の被写体（例えば、人物の顔）を検出する検出回路（例えば、人物の顔を検出する顔検出回路）を用いて、撮像範囲における特定の被写体を検出し、この特定の被写体の位置（例えば、人物の顔の位置）を取得する。そして、情報処理装置から、その検出した特定の被写体までの距離が閾値ｔｈ１未満であるか否かを判定し、その距離に基づく左右の画像の上下方向の調整を行うことができる。
また、本技術の実施の形態では、パノラマ画像の静止画を生成して記録する例について説明した。ただし、パノラマ画像の動画を生成して記録する場合についても本技術の実施の形態を適用することができる。例えば、動画を撮影することが可能な情報処理装置（例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））の場合には、一般に、撮影開始直後に画像内の一部の被写体への合焦動作を行う。この合焦動作の後には、合焦距離は一定のまま撮影を続けるとともに、画像を継続して分析する。また、被写体が移動し、被写体へのピントがずれ始めたような場合には、被写体が移動した方向へ合焦し直す。この時に、被写体への距離情報を得て、左右の画像の上下方向の調整と、被写体までの距離が閾値以下であるか否かの判定とを行うことができる。
なお、パノラマ画像を表示装置（内蔵表示装置または外部表示装置）に表示させることが可能な情報処理装置（電子機器、画像処理装置、表示装置、表示制御装置）に本技術の実施の形態を適用することができる。例えば、複眼式の撮像装置、デジタルフォトフレーム、タブレット端末、デジタルサイネージ端末（例えば、回転式）、ナビゲーション装置、パーソナルコンピュータ、携帯型メディアプレイヤー等の機器に適用することができる。なお、複眼式の撮像装置は、例えば、複眼式のデジタルスチルカメラ、複眼式のデジタルビデオカメラ（例えば、カメラ一体型レコーダ）である。
ここで、例えば、複数の撮像部により生成された各画像を合成して合成画像を生成する場合には、合成画像に含まれる被写体の配置を考慮して各画像を適切に合成することが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、合成画像を適切に生成することを目的とする。
また、本技術は、上述の問題点を解消するため、以下のような構成（構成例１乃至１１）をとることができる。
［構成例１］
特定方向に並べて配置される複数の撮像部と、
前記複数の撮像部により生成される各画像における端部を重複させて連結することにより生成される合成画像における当該重複領域に含まれる被写体に係る被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定部と
を具備する情報処理装置。
［構成例２］
前記判定部は、前記重複領域に含まれる被写体のうちの前記情報処理装置に最も近い被写体に係る被写体距離が閾値を基準として小さい場合に、前記合成画像に含まれる被写体の配置を変更すべきとする判定を行う構成例１記載の情報処理装置。
［構成例３］
前記判定部は、前記合成画像に含まれる被写体のうちの前記情報処理装置に最も近い被写体に係る被写体距離に基づいて、前記判定を行う構成例１記載の情報処理装置。
［構成例４］
前記判定部は、前記被写体距離が閾値を基準として小さい場合に、前記合成画像に含まれる被写体の配置を変更すべきとする判定を行う構成例２または３記載の情報処理装置。
［構成例５］
前記合成画像に含まれる被写体の配置を変更すべきと前記判定部により判定された場合にその旨を通知するための制御を行う制御部をさらに具備する構成例２または３記載の情報処理装置。
［構成例６］
前記制御部は、前記合成画像に含まれる被写体の配置を変更すべき旨の表示またはその旨の音声出力により前記通知を行う構成例５記載の情報処理装置。
［構成例７］
前記制御部は、配置を変更すべき被写体を特定するための表示情報を表示させることにより前記通知を行う構成例５記載の情報処理装置。
［構成例８］
前記複数の撮像部は、前記特定方向に略直交する直交方向において各光軸が所定角だけずれるように配置され、前記直交方向を長手方向とする画像を生成し、
前記各画像における前記直交方向の端部を重複させて連結することにより前記合成画像を生成する画像合成部をさらに具備する
構成例１乃至７のいずれかに記載の情報処理装置。
［構成例９］
前記画像合成部は、前記重複領域に含まれる被写体のうちの前記情報処理装置に最も近い被写体に係る被写体距離に基づいて、前記各画像の前記特定方向におけるズレを補正する構成例８記載の情報処理装置。
［構成例１０］
特定方向に並べて配置される複数の撮像部により生成される各画像における端部を重複させて連結することにより生成される合成画像における当該重複領域に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
を具備する情報処理方法。
［構成例１１］
特定方向に並べて配置される複数の撮像部により生成される各画像における端部を重複させて連結することにより生成される合成画像における当該重複領域に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
をコンピュータに実行させるプログラム。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標） Disc）等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）
第１撮像素子に光を入射させる第１光学系と、
第２撮像素子に光を入射させる第２光学系と、
特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
前記第１光学系の光軸および前記第２光学系の光軸が前記特定方向においてある角をなすように、前記第１光学系および前記第２光学系が配置される
情報処理装置。
（２）
前記筐体は、前記特定方向に長い矩形状の表示部を備え、
前記表示部の長辺を含み前記表示部の表示面に垂直な面である第１面に対する射影であって前記表示面に対する垂線の前記第１面に対する射影を対称軸として、前記第１面に対する前記第１光学系の光軸の第１射影と、前記第１面に対する前記第２光学系の光軸の第２射影とが線対称となる
前記（１）に記載の情報処理装置。
（３）
第３撮像素子に光を入射させる第３光学系をさらに具備し、
前記第３光学系は、前記第１光学系および前記第２光学系とともに前記一の面に前記直交方向に並べて、かつ、前記第３光学系の光軸が前記表示面に直交するように、配置される
前記（２）に記載の情報処理装置。
（４）
第１光学系を通過した光を受光する第１撮像素子と、
第２光学系を通過した光を受光する第２撮像素子と、
特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲が、前記第１撮像素子および前記第２撮像素子のそれぞれが撮像対象とする範囲よりも前記特定方向に広くなるように、前記第１撮像素子および前記第２撮像素子が配置される
情報処理装置。
（５）
第１光学系を通過した光を受光する第１撮像素子と、
第２光学系を通過した光を受光する第２撮像素子と、
特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とが、前記特定方向に並ぶように、前記第１撮像素子および前記第２撮像素子が配置される
情報処理装置。
（６）
第１光学系を通過した光を受光する第１撮像素子と、
第２光学系を通過した光を受光する第２撮像素子と、
特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
前記第１撮像素子の長辺方向と前記第２撮像素子の長辺方向とが前記特定方向に略一致し、かつ、前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲の縦横比が、前記第１撮像素子および前記第２撮像素子のそれぞれが撮像対象とする範囲の縦横比よりも大きくなるように、前記第１撮像素子および前記第２撮像素子が配置される
情報処理装置。
（７）
前記各撮像素子は、前記各撮像素子のうちの１つの撮像素子が撮像対象とする範囲の前記特定方向における端部と当該撮像素子に隣接して配置される他の撮像素子が撮像対象とする範囲の前記特定方向における端部とが重複するように配置される前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記各撮像素子が前記直交方向に並べて配置されることによって生じる、前記各撮像素子から得られる複数の画像間における前記直交方向のずれを、前記画像間における重複領域に含まれる被写体に係る被写体距離に基づいて補正する補正部をさらに具備する前記（７）に記載の情報処理装置。
（９）
前記各撮像素子から得られる複数の画像のうち、各画像のうちの少なくとも一部の範囲を前記特定方向に連結して生成される合成画像に用いられる当該範囲を、前記複数の画像間における重複領域に含まれる被写体に係る被写体距離に基づいて調整する調整部をさらに具備する前記（７）または（８）に記載の情報処理装置。
（１０）
前記情報処理装置から、前記各撮像素子から得られる複数の画像間における重複領域に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、前記重複領域に含まれる被写体の配置の変更を促す通知もしくは前記合成画像において画像がずれる旨の通知を行う制御部をさらに具備する前記（７）から（９）のいずれかに記載の情報処理装置。
（１１）
前記各撮像素子から得られる複数の画像について各画像のうちの少なくとも一部の範囲を前記特定方向に連結した合成画像を生成する画像合成部をさらに具備する前記（１）から（７）のいずれかに記載の情報処理装置。
（１２）
前記画像合成部は、前記各撮像素子から得られる複数の画像間における前記直交方向のずれを、前記合成画像に含まれる被写体に係る被写体距離に基づいて補正する前記（１１）に記載の情報処理装置。
（１３）
前記画像合成部は、前記各撮像素子から得られる複数の画像のうち、前記合成画像に用いられる画像の範囲を、前記合成画像に含まれる被写体に係る被写体距離に基づいて調整する前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記情報処理装置から、前記合成画像に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、前記合成画像に含まれる被写体の配置の変更を促す通知もしくは前記合成画像において画像がずれる旨の通知を行う制御部をさらに具備する前記（１１）から（１３）のいずれかに記載の情報処理装置。
（１５）
前記特定の被写体は、前記情報処理装置に最も近い被写体、合焦動作により合焦対象となった被写体、顔検出部により検出された被写体、および、動体検出部により検出された被写体のうちの少なくとも１つである前記（１０）または（１４）に記載の情報処理装置。
（１６）
前記制御部は、音声出力部からの音声出力および前記表示部への情報表示のうちの少なくとも１つにより前記通知を行う前記（１０）または（１４）に記載の情報処理装置。
（１７）
特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に用いる各画像の範囲に関する判定を行う判定手順と
を具備する情報処理方法。
（１８）
特定方向に並べて配置される複数の撮像部により生成される各画像において端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
を具備する情報処理方法。
（１９）
特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に用いる各画像の範囲に関する判定を行う判定手順と
をコンピュータに実行させるプログラム。
（２０）
特定方向に並べて配置される複数の撮像部により生成される各画像において端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
をコンピュータに実行させるプログラム。
１１ アプリケーションプロセッサ
１２ デジタルベースバンド処理部
１３ アナログベースバンド処理部
１４ ＲＦ処理部
１５ 電池
１６ マイクロフォン
１７ スピーカ
１８ アンテナ
４０〜４７ 画素
５１ フォトダイオード
５２ アンプ
５３ スイッチ
１００、６００、６３０、６５０ 情報処理装置
１１１ 決定キー
１３０、５１０、６１０、６４０、６６０ 撮像部
１３１、１３２、６１１〜６１３、６４１、６４２、６６１〜６６３ 光学系
１３３、１３４、６１４〜６１６ 撮像素子
１３８、１３９ ＤＳＰとのＩ／Ｆ
１４０ 表示部
１５０ 姿勢検出部
１６０ プログラムメモリ
１７０ 画像メモリ
１８０ 記録媒体
１９１ 第１の撮像系
１９２ 第２の撮像系
２００ ＤＳＰ
２０１ 撮像制御部
２０２ ＣＰＵ
２０３ ＤＭＡコントローラ
２０４ データバス
２０５ プログラムメモリとのＩ／Ｆ
２０６ 画像メモリとのＩ／Ｆ
２０７ 電源制御部
２０８ 電源供給部
２１０ 撮像素子とのＩ／Ｆ
２１１〜２１６ 画像バッファ
２２０ 画像信号処理部
２２１ 画素加算処理部
２２２ デモザイク処理部
２２３ ＹＣ変換処理部
２２４ 画像合成処理部
２２５ シャープネス処理部
２２６ 色調整処理部
２２７ ＲＧＢ変換処理部
２３１、２４１、２５１ 解像度変換部
２３２、２４２ 画像回転処理部
２３３ 表示部とのＩ／Ｆ
２４３ 外部表示装置とのＩ／Ｆ
２４５ 外部表示装置
２５２ 符号化復号化部
２５３ 記録媒体とのＩ／Ｆ
２６１〜２６３ 発振子
２６４〜２６６ 発振回路
２７０ クロック生成回路
２８１ ＡＦ制御部
２８２ 顔検出部
２８３ ＡＥ制御部
２８４ ＡＷＢ制御部
３４０ 垂直走査回路
３４１〜３４４ 垂直制御線
３４６〜３４９ データ読出線
３４５ 水平走査回路
３５４〜３５７、３６６ 加算器
３５８〜３６１ カラムラッチ
３６２〜３６５ スイッチ
３６７ 出力ラッチ
３６８ 出力回路
３６９ 出力データ線
３７０、３８０ レジスタ
３９０ 出力データ線
３９１、３９２ 逓倍器／分周器
５２０ 画像合成部
５３０ 判定部
５４０ 記録制御部
５５０ 記憶部
５６０ 操作受付部
５７０ 制御部
５８０ 表示制御部
５９１ 音声出力制御部
５９２ 音声出力部

Claims (20)

  1. 第１撮像素子に光を入射させる第１光学系と、
    第２撮像素子に光を入射させる第２光学系と、
    特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
    前記第１光学系の光軸および前記第２光学系の光軸が前記特定方向においてある角をなすように、前記第１光学系および前記第２光学系が配置される
    情報処理装置。
  2. 前記筐体は、前記特定方向に長い矩形状の表示部を備え、
    前記表示部の長辺を含み前記表示部の表示面に垂直な面である第１面に対する射影であって前記表示面に対する垂線の前記第１面に対する射影を対称軸として、前記第１面に対する前記第１光学系の光軸の第１射影と、前記第１面に対する前記第２光学系の光軸の第２射影とが線対称となる
    請求項１記載の情報処理装置。
  3. 第３撮像素子に光を入射させる第３光学系をさらに具備し、
    前記第３光学系は、前記第１光学系および前記第２光学系とともに前記一の面に前記直交方向に並べて、かつ、前記第３光学系の光軸が前記表示面に直交するように、配置される
    請求項２記載の情報処理装置。
  4. 第１光学系を通過した光を受光する第１撮像素子と、
    第２光学系を通過した光を受光する第２撮像素子と、
    特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
    前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲が、前記第１撮像素子および前記第２撮像素子のそれぞれが撮像対象とする範囲よりも前記特定方向に広くなるように、前記第１撮像素子および前記第２撮像素子が配置される
    情報処理装置。
  5. 第１光学系を通過した光を受光する第１撮像素子と、
    第２光学系を通過した光を受光する第２撮像素子と、
    特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
    前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とが、前記特定方向に並ぶように、前記第１撮像素子および前記第２撮像素子が配置される
    情報処理装置。
  6. 第１光学系を通過した光を受光する第１撮像素子と、
    第２光学系を通過した光を受光する第２撮像素子と、
    特定方向に長い一の面を備え、前記一の面において前記第１光学系および前記第２光学系が前記特定方向と略直交する直交方向に並べて配置される筐体とを具備し、
    前記第１撮像素子の長辺方向と前記第２撮像素子の長辺方向とが前記特定方向に略一致し、かつ、前記第１撮像素子が撮像対象とする範囲と前記第２撮像素子が撮像対象とする範囲とを合わせた撮像対象範囲の縦横比が、前記第１撮像素子および前記第２撮像素子のそれぞれが撮像対象とする範囲の縦横比よりも大きくなるように、前記第１撮像素子および前記第２撮像素子が配置される
    情報処理装置。
  7. 前記各撮像素子は、前記各撮像素子のうちの１つの撮像素子が撮像対象とする範囲の前記特定方向における端部と当該撮像素子に隣接して配置される他の撮像素子が撮像対象とする範囲の前記特定方向における端部とが重複するように配置される請求項１乃至６の何れかに記載の情報処理装置。
  8. 前記各撮像素子が前記直交方向に並べて配置されることによって生じる、前記各撮像素子から得られる複数の画像間における前記直交方向のずれを、前記画像間における重複領域に含まれる被写体に係る被写体距離に基づいて補正する補正部をさらに具備する請求項７記載の情報処理装置。
  9. 前記各撮像素子から得られる複数の画像のうち、各画像のうちの少なくとも一部の範囲を前記特定方向に連結して生成される合成画像に用いられる当該範囲を、前記複数の画像間における重複領域に含まれる被写体に係る被写体距離に基づいて調整する調整部をさらに具備する請求項７または８記載の情報処理装置。
  10. 前記情報処理装置から、前記各撮像素子から得られる複数の画像間における重複領域に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、前記重複領域に含まれる被写体の配置の変更を促す通知もしくは前記合成画像において画像がずれる旨の通知を行う制御部をさらに具備する請求項７乃至９の何れかに記載の情報処理装置。
  11. 前記各撮像素子から得られる複数の画像について各画像のうちの少なくとも一部の範囲を前記特定方向に連結した合成画像を生成する画像合成部をさらに具備する請求項１乃至７の何れかに記載の情報処理装置。
  12. 前記画像合成部は、前記各撮像素子から得られる複数の画像間における前記直交方向のずれを、前記合成画像に含まれる被写体に係る被写体距離に基づいて補正する請求項１１記載の情報処理装置。
  13. 前記画像合成部は、前記各撮像素子から得られる複数の画像のうち、前記合成画像に用いられる画像の範囲を、前記合成画像に含まれる被写体に係る被写体距離に基づいて調整する請求項１１または１２記載の情報処理装置。
  14. 前記情報処理装置から、前記合成画像に含まれる特定の被写体までの被写体距離が閾値を基準として小さい場合に、前記合成画像に含まれる被写体の配置の変更を促す通知もしくは前記合成画像において画像がずれる旨の通知を行う制御部をさらに具備する請求項１１乃至１３の何れかに記載の情報処理装置。
  15. 前記特定の被写体は、前記情報処理装置に最も近い被写体、合焦動作により合焦対象となった被写体、顔検出部により検出された被写体、および、動体検出部により検出された被写体のうちの少なくとも１つである請求項１０または１４記載の情報処理装置。
  16. 前記制御部は、音声出力部からの音声出力および前記表示部への情報表示のうちの少なくとも１つにより前記通知を行う請求項１０または１４記載の情報処理装置。
  17. 特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
    前記被写体距離に基づいて、前記合成画像に用いる各画像の範囲に関する判定を行う判定手順と
    を具備する情報処理方法。
  18. 特定方向に並べて配置される複数の撮像部により生成される各画像において端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
    前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
    を具備する情報処理方法。
  19. 特定方向に並べて配置される複数の撮像部により生成される各画像について端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
    前記被写体距離に基づいて、前記合成画像に用いる各画像の範囲に関する判定を行う判定手順と
    をコンピュータに実行させるプログラム。
  20. 特定方向に並べて配置される複数の撮像部により生成される各画像において端部を重複させて連結することにより生成される合成画像における当該重複領域もしくは前記合成画像に含まれる被写体に係る被写体距離を算出する算出手順と、
    前記被写体距離に基づいて、前記合成画像に含まれる被写体の配置に関する判定を行う判定手順と
    をコンピュータに実行させるプログラム。
JP2013107622A 2013-05-22 2013-05-22 情報処理装置、情報処理方法およびプログラム Pending JP2014230051A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013107622A JP2014230051A (ja) 2013-05-22 2013-05-22 情報処理装置、情報処理方法およびプログラム
CN201410205786.0A CN104184928B (zh) 2013-05-22 2014-05-15 信息处理设备、信息处理方法
US14/278,448 US9386218B2 (en) 2013-05-22 2014-05-15 Information processing apparatus, information processing method, and program
US15/163,373 US9807303B2 (en) 2013-05-22 2016-05-24 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013107622A JP2014230051A (ja) 2013-05-22 2013-05-22 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2014230051A true JP2014230051A (ja) 2014-12-08

Family

ID=51935144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013107622A Pending JP2014230051A (ja) 2013-05-22 2013-05-22 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (2) US9386218B2 (ja)
JP (1) JP2014230051A (ja)
CN (1) CN104184928B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018142963A (ja) * 2018-03-27 2018-09-13 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理装置および画像処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725533B1 (ko) * 2013-12-13 2017-04-26 후아웨이 디바이스 컴퍼니 리미티드 파노라마 이미지 획득을 위한 방법 및 단말기
WO2015180647A1 (en) 2014-05-27 2015-12-03 Mediatek Inc. Projection processor for projective display system
CN104730802B (zh) * 2015-03-27 2017-10-17 酷派软件技术（深圳）有限公司 光轴夹角的校准、对焦方法和系统和双摄像头设备
KR102718457B1 (ko) * 2016-07-14 2024-10-17 엘지이노텍 주식회사 영상 처리 장치
KR20180039529A (ko) * 2016-10-10 2018-04-18 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10311308B2 (en) * 2017-03-31 2019-06-04 International Business Machines Corporation Image processing to identify selected individuals in a field of view
TWI617195B (zh) * 2017-06-22 2018-03-01 宏碁股份有限公司 影像擷取裝置及其影像拼接方法
JP6551491B2 (ja) * 2017-11-06 2019-07-31 京セラドキュメントソリューションズ株式会社 監視システム
CN108171803B (zh) * 2017-11-21 2021-09-21 深圳市朗形数字科技有限公司 一种图像制作方法及相关装置
CN110057552B (zh) * 2019-04-23 2020-11-06 芋头科技（杭州）有限公司 虚像距离测量方法、装置、设备以及控制器和介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US7236306B2 (en) * 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
US20100073464A1 (en) * 2008-09-25 2010-03-25 Levine Robert A Method and apparatus for creating and displaying a three dimensional image
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP5423235B2 (ja) 2009-08-20 2014-02-19 ソニー株式会社 撮像装置
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5526921B2 (ja) * 2010-03-29 2014-06-18 ソニー株式会社 撮像装置、電子機器および表示制御方法
US8542288B2 (en) * 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
JP2012220942A (ja) 2011-04-14 2012-11-12 Sharp Corp ３次元カメラモジュール、それを備えた携帯端末及び携帯電話機
JP5917054B2 (ja) * 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
CN202841374U (zh) * 2012-08-21 2013-03-27 深圳市科为时代科技有限公司 双摄像头全景摄像机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018142963A (ja) * 2018-03-27 2018-09-13 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US9807303B2 (en) 2017-10-31
CN104184928B (zh) 2018-12-11
CN104184928A (zh) 2014-12-03
US20140347501A1 (en) 2014-11-27
US20160269633A1 (en) 2016-09-15
US9386218B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP2014230051A (ja) 情報処理装置、情報処理方法およびプログラム
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
JP5423235B2 (ja) 撮像装置
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20140160233A1 (en) Information processing apparatus, information processing method, and program
JP5681329B2 (ja) 撮像装置及び画像表示方法
JP5435104B2 (ja) 情報処理装置、表示装置および情報処理装置の制御方法
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9560243B2 (en) Image processing device, imaging device, program, and image processing method suppressing a reduction in visibility of an image to check focus when distortion is corrected
JP2011199565A (ja) 撮像装置、及びプログラム
JP5747124B2 (ja) 撮像装置
JP2015046044A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP5542248B2 (ja) 撮像素子及び撮像装置
JP2014176056A (ja) 撮像装置
JP5807125B2 (ja) 撮像装置及びその合焦制御方法
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2014082768A (ja) 撮像装置およびその制御方法
JP2016053978A (ja) 画像処理装置
US10015405B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP5637298B2 (ja) 情報処理装置、電子機器および表示制御方法
JP2012165405A (ja) 撮像装置、及びプログラム
JP2010141736A (ja) 撮像装置
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5963890B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置のモード切換えプログラム
JP2013057744A (ja) 撮像装置