JP2005167517A - 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム Download PDF

Info

Publication number
JP2005167517A
JP2005167517A JP2003402275A JP2003402275A JP2005167517A JP 2005167517 A JP2005167517 A JP 2005167517A JP 2003402275 A JP2003402275 A JP 2003402275A JP 2003402275 A JP2003402275 A JP 2003402275A JP 2005167517 A JP2005167517 A JP 2005167517A
Authority
JP
Japan
Prior art keywords
image
information
coordinates
imaging
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003402275A
Other languages
English (en)
Inventor
Shinzo Matsui
紳造 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003402275A priority Critical patent/JP2005167517A/ja
Priority to US11/001,331 priority patent/US20050117033A1/en
Publication of JP2005167517A publication Critical patent/JP2005167517A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

【課題】主に固定カメラで撮影するにあたって、注目対象を撮像画像より検出するのではなく、センサで検出する３次元位置情報より撮像画像中の位置を検出できるようにする。
【解決手段】撮像手段１１と、注目点検出手段１２と、関係情報生成手段１３１とを含んだ画像処理装置であって、撮像手段１１は注目対象物を光学系によって結像した後に撮像素子で撮像し前記注目対象物を含んだ画像情報を得るものであり、注目点検出手段１２はフィールド内における前記注目対象物の注目点が存在する位置を前記撮像手段が存在する位置に関わらない情報により表現される位置情報として検出するものであり、関係情報生成手段１３１は前記注目点検出手段が検出した位置情報と、前記撮像手段が撮像する方向および／または画角を基準とするカメラ座標との対応関係を表す関係情報を求める（キャリブレーションする）ものである。
【選択図】 図１

Description

本発明は、注目対象物に追従して画像を切り出す画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラムに関する。
従来、注目対象者に追従して画像を撮像する場合には、注目対象者を撮像するにあたって注目対象物が移動するに伴って、カメラの方向や撮像サイズを変更する必要がある。しかし、カメラの方向は、手持ちカメラでは、手で方向を変え、大型のカメラでは、キャスターなどのカメラ台を軸に回転するようにしていた。
また、撮像サイズは、レンズの操作をして変えるか、或いは、注目点とカメラの距離を変えるために、カメラ操作者がカメラを持って移動するなどをしていた。
また、従来、撮像信号より注目対象者を画像処理して注目対象者を含む画像を切り出し出力する装置の技術も開示されている。この技術では、注目対象者が装着する特定のマーカを撮像するカメラの信号により画像処理するなどして注目対象者を特定していたが、そのマーカを注目対象者自身が隠すなどした場合、注目対象者を検出できないなどの課題が発生し易い。
ところで、従来、無線で得た情報とカメラで撮影した情報を表示する装置を開示したものがある。例えば特許文献１には、競技用ボール及び各プレーヤの位置情報画像と、カメラで撮影した画像を同一画面上に表示することが記載されている。
また、注目点に追従するカメラとして、注目点に追従してカメラの雲台を制御するカメラを開示したものがある。例えば特許文献２には、テレビ会議システムなどで、発言者などの被写体を自動追尾し、かつ遠隔地から見たい部分を自由に指定できることが記載されている。
一方、静止画や動画のカメラは、高精細化が進み、８００万画素など広い撮像領域を密に解像して撮像することができるようになってきている。
サッカー中継などでの撮影にあたって、撮影中の注目点が移動する場合などの撮影では、カメラ操作者がカメラの方向を変更するパンニングや拡大縮小するズームなどを行っている。
勿論、サッカー中継などでは、１台のカメラでは、所定位置の撮影において一方向からの撮影しかできないなど、様々な場面の撮影が困難である。
複数のカメラで撮影することでその課題を解決できるが、カメラ１台に１人の操作者がついて撮影することが必要である。
一方、特許文献３には、例えばファインダー光学系と撮影光学系とが別々に設けられた撮像装置において、ファインダー光学系による被写体像と表示手段に表示される被写体像の画像信号の対応関係を制御することにより、表示手段に表示するべき画像信号の範囲を正確に選択することができ、ファインダー光学系と撮影光学系間のパララックスを解消できることが記載されている。
また、例えば特許文献４には、マイクロフォンなどのセンサ出力に基づき異物体の位置を検出し、画像切出しをする例が開示されている。特許文献４にはフィールド座標に関する記載があるが、フィールド座標と、撮像素子における画素位置（即ち、後述する撮像画素平面座標）との関係に関して記載がない。また、段落［００３０］には、カメラとマイク（センサ）の空間が共通に設定されている例が示されているが、後述するフィールド座標と撮像素子平面座標との座標変換の概念についての記載はない。
さらに、特許文献５には、例えばスキーヤーは位置情報検出手段を備えた携帯電話機（例えばＧＰＳ受信機）を携帯し、画像追跡装置は画像認識手段を備えており、携帯電話機で画像追跡装置に対して撮影開始コマンドを送信すると、撮影開始コマンドが送信されてから撮影終了コマンドが送信されるまでの追跡画像撮影期間中は、携帯電話機で検出したＧＰＳデータなどの位置情報の送信が行なわれ、これに応答して画像追跡装置では、追跡画像撮影期間中は、受信したＧＰＳデータなどの位置情報に応じて撮影パラメータ（撮影方向、撮影倍率）を検出し追跡カメラ駆動部を駆動制御し、追跡カメラによりスキーヤーを追跡しながら撮影を行なう、としている。しかしながら、スキーヤーの形状データを予め登録しておいたり、スキーヤーを追跡撮影するのに、モーターなどの所謂雲台などによりカメラの方向を制御し、モーター駆動などによってレンズのズーム機構を駆動制御したりするものであって、画像の切出しを行うものではなく、更に、本件出願の発明で後に述べるようにフィールド座標を撮像素子平面座標に座標変換する概念についての記載もない。
また、特許文献６には、赤外線センサなどのセンサ群のうちのどれかで異常を検出すると、当該センサの検出範囲を撮影範囲とする１台のカメラを複数のテレビカメラの中から自動選択し、該カメラの撮影画像から侵入者を識別し、表示部に表示したり警報を発したりし、撮影画像から侵入者の移動方向と移動量を求めて、テレビカメラの方向を制御し、自動追跡し監視を行うことが記載されている。つまり、特許文献６は、センサ出力に基づき複数カメラから１台のカメラを選択し、自動追跡し監視を行うものであるが、座標変換の概念がなく、画像切出しの概念についての記載もない。
また、特許文献７には、複数の撮像手段により撮像された映像中から座標特定手段によって得られた情報によって選択された映像を映像表示手段に出力する映像切替装置について記載されている。ここで座標特定手段は、撮像目標が所持する電波発信機からの信号を用いて撮像目標の座標を出力するもので、該座標系で予め既知であるカメラの固定した座標と前記撮像目標の座標とによって算出される距離により、前記複数の撮像手段からの映像信号を選択するものであって、画像切出しの概念について記載がないことと、フィールド座標を撮像素子平面座標に座標変換する概念についての記載もない。
特開平１０−３１４３５７号公報 特開平０８−０４６９４３号公報 特公平０８−１３０９９号公報 特開２００１−２３８１９７号公報 特開２００２−２９０９６３号公報 特開平０３−０８４６９８号公報 特開２００１−４５４６８号公報
上記の何れの特許文献についても、フィールド座標を前記撮像手段が存在する位置に関わらない情報により表現されるカメラ空間の座標（以下、カメラ座標）や撮像素子平面座標に座標変換する概念についての記載がなく、フィールドの３次元座標における注目対象物の位置を、カメラ座標や撮像素子面上の座標位置に正確に対応させ、撮像画像における注目対象物の拡大画像を含む多様な再生画像等を簡単な操作のみで表示できるものはなかった。
そこで、本発明の第１の目的は、上述した課題を解決し、カメラ操作者の操作、労力なく、自動的に撮像方向とサイズを変更可能で、且つ、人の操作では難しい、高速の該変更を可能にするもので、主に固定カメラで撮影するにあたって、注目点が移動するのに伴って撮像する領域の位置とサイズを自動的、高速に変更表示可能な画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラムを提供することである。
また、本発明の第２の目的は、注目対象物に追従して画像を切り出し、所謂、拡大表示可能な画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラムを提供することである。
さらに、本発明の第３の目的は、動画において注目対象物を自動的に追従し出力できるだけでなく、静止画において注目者の近傍を切り出し画像出力することが可能な画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラムを提供することである。
本発明による画像処理装置は、注目対象物を光学系によって結像した後に撮像素子で撮像し前記注目対象物を含んだ画像情報を得る撮像手段と、フィールド内における前記注目対象物の注目点が存在する位置を前記撮像手段が存在する位置に関わらない情報により表現される位置情報として検出する注目点検出手段と、前記注目点検出手段が検出した位置情報と、前記撮像手段が撮像する方向および／または画角を基準とするカメラ座標との対応関係を表す関係情報を求める関係情報生成手段と、を有するものである。
ここで、フィールドとは、注目対象を含んだ位置測定可能な空間（領域）で、この空間の所定の基準位置に対する注目点の相対的な位置を位置情報として算出可能な１つの座標系を指している。
この発明によれば、注目対象物を撮像手段にて撮像した撮像画像より検出するのではなく、注目対象物のフィールド内での位置を注目対象物に装着したセンサなどの注目点検出手段にて検出を行い、このフィールド内での位置情報と撮像手段が撮像する方向および／または画角を基準とするカメラ座標との関係情報を予め求めておく（換言すれば、キャリブレーションしておく）ことで、３次元のフィールド空間内に存在する注目対象物の撮像画像中の位置を算出することができる。このように、注目対象物の撮像画像中における位置を算出することができれば、注目対象物に追従して画像を切り出すことが可能となる。
本発明において、前記関係情報生成手段が求めた関係情報に基づいて、前記撮像素子で撮像する注目対象物の像が前記撮像素子面上で合焦するように前記光学系を制御するフォーカス制御手段を更に有するものである。
本発明による画像処理装置は、注目対象物を光学系によって結像した後に撮像素子で撮像し注目対象物を含んだ画像情報を得る撮像手段と、フィールド内における前記注目対象物の注目点が存在する位置を前記撮像手段が存在する位置に関わらない情報により表現される位置情報として検出する注目点検出手段と、前記注目点検出手段が検出した位置情報と、前記撮像手段が撮像する撮像素子平面座標との対応関係を表す関係情報を求める関係情報生成手段と、を有するものである。
この発明によれば、注目対象物を撮像手段にて撮像した撮像画像より検出するのではなく、注目対象物のフィールド内での位置を注目対象物に装着したセンサなどの注目点検出手段にて検出を行い、このフィールド内での位置情報と撮像手段が撮像する撮像素子平面座標との関係情報を予め求めておく（換言すれば、キャリブレーションしておく）ことで、３次元のフィールド空間内に存在する注目対象物の撮像画像中の位置を算出することができる。このように、注目対象物の撮像画像中における位置を算出することができれば、注目対象物に追従して画像を切り出すことが可能となる。
本発明において、前記注目点が存在する位置の座標は、前記注目点がフィールド内において存在する絶対的な位置を座標によって表現するフィールド座標であることが好ましい。
本発明において、前記注目点検出手段は、注目対象物のフィールド座標を測定する、注目対象物が有するフィールド座標検出手段と、前記フィールド座標検出手段が測定したフィールド座標情報を送信するフィールド座標情報送信手段と、前記フィールド座標送信手段が送信したフィールド座標情報を受信するフィールド座標情報受信手段とからなることを特徴とする。
本発明において、前記注目点検出手段は、前記注目点の位置を検出する、それぞれにアドレス番号が与えられた複数の注目点センサによって構成され、前記注目点が存在する位置の座標は、前記注目点を検出した前記注目点センサのアドレス番号であり、前記関係情報生成手段は、前記アドレス番号と該注目点センサがフィールド内において存在する絶対的な位置を座標によって表現するフィールド座標との対応関係を示した変換表を用いて、位置情報とカメラ座標との対応関係を求めることを特徴とする。
本発明において、前記注目点検出手段は、前記注目点の位置を検出する、それぞれにアドレス番号が与えられた複数の注目点センサによって構成され、前記注目点が存在する位置の座標は、前記注目点を検出した前記注目点センサのアドレス番号であり、前記関情報生成手段は、前記アドレス番号と該注目点センサが撮像される撮像素子平面座標との対応関係を示した変換表を用いて、前記位置情報と撮像素子平面座標との対応関係を求めることを特徴とする。
本発明において、前記関係情報生成手段が求めた関係情報に基づいて、前記撮像手段が得た画像情報のうちの一部の領域の画像情報を出力する画像切出し手段を更に有することを特徴とする。
本発明において、前記関係情報生成手段が求めた関係情報に基づいて、前記撮像素子で撮像した画像情報のうちの一部の領域の画像情報を出力する画像切出し手段を更に有することを特徴とする。
本発明において、前記画像切出し手段が出力する画像情報は、前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出した注目点に対する点を中心とした所定面積の領域の画像情報であることを特徴とする。
本発明において、前記注目対象物のフィールド空間内における大きさを記憶する注目対象サイズ情報記憶手段を更に有し、前記画像切出し手段は、前記注目点検出手段が検出した注目点に関する注目対象サイズを前記注目対象サイズ情報記憶手段から読み出し、この読み出した注目対象サイズを前記関係情報生成手段が求めた座標の関係情報に基づいて撮像素子平面座標に変換し前記所定面積の大きさとすることを特徴とする。
本発明において、前記画像切出し手段が出力する画像情報は、前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出された注目点を頂点とする多角形で囲われた領域の画像情報であることを特徴とする。
本発明において、前記画像切出し手段が出力する画像情報は、前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出された複数の注目点を全て含む領域の画像情報であることを特徴とする。
本発明において、前記関係情報生成手段は、画像処理装置の起動時に前記関係情報を生成し、前記画像切出し手段は、前記関係情報生成手段が起動時に求めた前記関係情報に基づいて、前記撮像手段が得た画像情報のうちの一部の領域の画像情報を出力することを特徴とする。
本発明において、前記関係情報生成手段は、前記注目点検出手段が検出したフィールド座標と前記撮像手段が撮像する方向および／または画角を基準とするカメラ座標との関係情報から、前記フィールド座標と前記撮像手段が撮像する撮像素子平面座標との関係情報を求めることを有することを特徴とする請求項４に記載の画像処理装置。
本発明において、前記カメラ座標は、前記光学系の入射瞳中心位置を原点とし、この原点と前記撮像素子面の中心とを通る主光線を１軸とし、この軸および互いに直交する２軸によって表現される３次元座標であり、前記フィールド座標系とは異なる座標系であることを特徴とする。
本発明において、前記関係情報生成手段は、前記フィールド座標を前記カメラ座標に変換する変換式を用いて前記関係情報を求めることを特徴とする。
本発明において、前記関係情報生成手段が用いる変換式は、前記光学系の倍率に応じて切り替えることを特徴とする。
本発明において、前記撮像素子平面座標は、前記撮像手段が撮像する撮像素子平面内の位置を特定する２軸によって表現される座標であることを特徴とする。
本発明において、前記関係情報生成手段は、前記フィールド座標を前記カメラ座標に変換する変換テーブルを用いて前記関係情報を求めることを特徴とする。
本発明において、前記関係情報生成手段が用いる変換テーブルは、前記光学系の倍率に応じて切り替えることを特徴とする。
本発明において、前記撮像素子平面座標は、前記撮像手段が撮像する全体画角（撮像エリア）を複数の小画角に分割し、前記画像切出し手段は、前記関係情報生成手段が求めた座標の関係情報に基づいて前記複数の小画角から読み出すべき画角を選択し、前記撮像手段が得た画像情報のうち、この画角に対応する領域の画像情報を出力することを特徴とする。
本発明において、前記撮像手段が得た画像情報と共に、前記注目点検出手段が検出した注目点のフィールド座標値または撮像素子平面座標を記録する画像情報記録手段を更に有し、前記画像切出し手段は、前記画像情報記録手段が記録した画像情報を読み出す際に注目点のフィールド座標値、又は、前記撮像素子平面座標も合わせて読み出し、この読み出したフィールド座標値または撮像素子平面座標に応じて、読み出した画像情報のうちの一部の領域の画像情報を出力することを特徴とする。
本発明において、前記撮像手段が得た画像情報と、前記注目点検出手段が検出した注目点のフィールド座標と、前記カメラ座標と、前記関係情報生成手段が求めた関係情報とを記録する画像情報記録手段を更に有し、前記画像切出し手段は、前記画像情報記録手段が記録した画像情報を読み出す際に注目点のフィールド座標、カメラ座標、関係情報も合わせて読み出し、この読み出した注目点のフィールド座標、カメラ座標、関係情報に応じて、読み出した画像情報のうちの一部の領域の画像情報を出力することを特徴とする。
本発明において、前記フィールド座標検出手段はＧＰＳ（全地球測位システム）を用いて注目点の緯度、経度、海抜を測定可能な手段であり、前記フィールド座標は、前記測定された緯度、経度、海抜の少なくとも２つにより表される座標であることを特徴とする。
本発明において、前記注目点検出手段は複数の無線基地局から発せられた電波の強度差または電波が到達する時間差から複数の基地局に対する注目点のフィールド座標を三点測量で測定する手段であり、前記フィールド座標は、前記測定された複数の基地局に対する注目点の位置を示す座標であることを特徴とする。
本発明において、前記注目点検出手段は前記注目点が発した電波が複数の無線基地局で受信した際の電波の強度差、或いは、時間差から複数の基地局に対する注目点のフィールド座標を三点測量で測定する手段であり、前記フィールド座標は、前記測定された複数の基地局に対する注目点の位置を示す座標であることを特徴とする。
本発明において、前記フィールド座標検出手段は等間隔に配置された複数の感圧センサ群であって、前記注目対象物が上に乗っている前記感圧センサが注目対象物を検出することで前記感圧センサ群上における注目対象物位置を測定し、前記フィールド座標は、前記測定された前記感圧センサ群上における注目対象物の位置を示す座標であることを特徴とする。
本発明において、前記注目対象物は、自らの存在位置を示す情報を発する情報発信手段を有し、前記注目点検出手段は前記情報発信手段が発した情報を基にして前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定することを特徴とする。
本発明において、前記情報発信手段は、自らの存在位置を示す情報として所定周波数の電波を発し、前記注目点検出手段は、前記発せられた電波を受信するアダプティブアレイ・アンテナであり、アダプティブアレイ・アンテナを構成する複数のアンテナで前記情報発信手段が発した電波の位相差を検出し、この検出した位相差によって、前記電波を発した注目点がフィールド内で存在する方向を検出することを特徴とする。
本発明において、前記注目点検出手段は、複数のアダプティブアレイ・アンテナで構成され、前記複数のアダプティブアレイ・アンテナでそれぞれ検出した前記電波を発した注目点がフィールド内で存在する方向を基に３点測量を行い前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定することを特徴とする。
本発明において、前記情報発信手段は、所定周波数の超音波を発し、前記注目点検出手段は、前記情報発信手段が発した超音波を複数点で受信し３点測量を行い、前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定することを特徴とする。
本発明において、前記情報発信手段は、所定点滅周期で赤外光を発し、
前記注目点検出手段は、前記情報発信手段が発した赤外光を複数点で受信し３点測量を行い、前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定することを特徴とする。
本発明において、前記撮像手段に対する位置関係が既知である少なくとも１台の測距用カメラを更に有し、前記注目点検出手段は、前記測距用カメラと前記撮像手段で前記注目点を３点測量することで前記測距用カメラと前記撮像手段に対する注目点のフィールド座標を測定することを特徴とする。
本発明において、前記撮像手段に対する位置関係が既知である、前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも２点のフィールド座標と、前記主光線に平行な線上以外の少なくとも１点のフィールド座標とを検出する位置検出センサを更に有し、前記関係情報生成手段は、前記少なくとも３点の位置検出センサにおけるフィールド座標の値と前記カメラ座標との対応関係から、前記注目点検出手段が検出したフィールド座標と前記撮像手段が撮像する撮像素子平面座標との前記関係情報を求める
ことを特徴とする。
本発明において、前記撮像手段に対する位置関係が既知である、前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも１点のフィールド座標と、前記撮像手段が撮像する撮像領域内に位置し且つ前記主光線上の少なくとも１点および主光線上以外の少なくとも１点のフィールド座標とを検出する位置検出センサを更に有し、前記関係情報生成手段は、前記関係情報として、前記少なくとも３点の位置検出センサにおけるフィールド座標の値と前記カメラ座標との関係情報を用いて、前記注目点検出手段が検出したフィールド座標から、前記撮像手段が撮像する撮像素子平面座標への変換式を求めることを特徴とする。
本発明において、前記画像切出し手段は、前記注目点検出手段がフィールド内における所定の特定領域内に注目点のフィールド座標を検出した際に、前記撮像手段が得た画像情報のうちの一部の領域の画像情報の出力を開始することを有することを特徴とする。
本発明において、前記撮像手段は、撮像する領域、撮像する方向、撮像する倍率、撮像可能な被写界深度のうち少なくとも１つが異なる複数のカメラによって構成され、前記画像切出し手段は、前記注目点検出手段が検出した注目点のフィールド座標に応じて、前記複数のカメラから１つのカメラを選択し、選択したカメラが撮像した画像情報を出力することを特徴とする。
本発明において、前記複数のカメラの撮像領域の重なり領域に前記注目点が存在している場合、前記画像切出し手段は、前記重なり領域に対応したカメラのうち、注目対象物を撮像する画素数が多いカメラを選択することを特徴とする。
本発明において、前記フィールド座標情報送信手段は、前記注目対象物に関する注目点のフィールド情報と共に注目対象物のＩＤ情報を送信することを特徴とする。
本発明において、前記撮像手段の光学的な状態（ズーム、ピント位置）を制御するレンズ制御手段を更に有し、前記画像切出し手段は、前記レンズ制御手段が制御する光学的な状態に応じて出力する画像情報の領域の大きさを補正することを特徴とする。
本発明において、前記撮像手段の光学的な状態（ズーム、ピント位置）を制御するレンズ制御手段を更に有し、前記注目点検出手段が検出した注目点のフィールド座標に対応する撮像素子平面座標が、前記撮像手段で撮像可能な座標範囲の外側にある場合（撮像可能な画角の外側に注目点がある場合）、前記レンズ制御手段は、前記撮像手段の光学的な状態（ズーム、ピント位置）をワイド方向の画角となるように制御することを特徴とする。
本発明による画像処理装置のキャリブレーション方法は、画像処理装置におけるフィールド座標からカメラ座標への変換テーブルを求めるキャリブレーション方法であって、前記フィールド内に所定間隔で注目点を配置する第１の工程と、前記配置した注目点のフィールド座標を求める第２の工程と、前記撮像手段で前記所定間隔で配置された注目点を撮像する第３の工程と、前記第１の工程で配置した注目点ごとに、前記第２の工程で求めたフィールド座標と、前記第３の工程で撮像した画像における撮像素子平面座標とを対応させることで、前記変換テーブルを作成する第４の工程と、を有するものである。
本発明による画像処理装置のキャリブレーション方法は、画像処理装置におけるフィールド座標から撮像素子平面座標への変換式を求めるキャリブレーション方法であって、前記撮像手段が撮像する撮像領域内で且つ前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも１点および前記主光線上以外の少なくとも１点の注目点を前記フィールド内に配置する第１の工程と、前記配置した少なくとも２点の注目点のフィールド座標を求める第２の工程と、前記撮像手段で前記少なくとも２点の注目点を撮像する第３の工程と、前記撮像手段に対する位置関係が既知である前記主光線上の少なくとも１点のフィールド座標値と、前記第２の工程で求めた少なくとも２点のフィールド座標値とから求めた前記フィールド座標とカメラ座標との関係情報と、前記第３の工程で撮像した画像における少なくとも２点の注目点のフィールド座標値と撮像素子平面座標との関係情報とから前記変換式を作成する第４の工程と、を有するものである。
本発明による画像処理装置は、注目対象物を光学系によって結像した後に撮像することによって得られた注目対象物を含んだ画像情報を入力する撮像データ入力手段と、フィールド内における前記注目点が存在する位置のフィールド座標を入力するフィールド座標入力手段と、前記フィールド座標入力手段から入力されたフィールド座標と、前記撮像データ入力手段から入力された画像情報における画像面内の座標（撮像素子平面座標に対応）との関係情報を求める関係情報生成手段と、を有するものである。
本発明による画像処理プログラムは、コンピュータを、注目対象物を光学系によって結像した後に撮像することによって得られた注目対象物を含んだ画像情報を入力する撮像データ入力手段と、フィールド内における前記注目点が存在する位置のフィールド座標を入力するフィールド座標入力手段と、前記フィールド座標入力手段から入力されたフィールド座標と、前記撮像データ入力手段から入力された画像情報における画像面内の座標（撮像素子平面座標に対応）との関係情報を求める関係情報生成手段と、して機能させるためのものである。
本発明によれば、カメラ操作者の操作、労力なく、自動的に撮像方向とサイズを変更可能で、且つ、人の操作では難しい、高速の該変更を可能にするもので、主に固定カメラで撮影するにあたって、注目点が移動するのに伴って撮像する領域の位置とサイズを自動的、高速に変更可能となる。
また、本発明によれば、注目対象に追従して画像を切り出し、所謂、拡大表示可能となる。
さらに、本発明によれば、動画において注目対象を自動的に追従することに限らず、静止画において注目者の近傍を切り出し画像出力することが可能となる。
発明の実施の形態について図面を参照して説明する。
図１は本発明の実施例１の画像処理装置の構成を示すブロック図であり、図２は図１における撮像手段の構成例を示すブロック図、図３は図１における撮像手段の他の構成例を示すブロック図、図４は図１における注目点検出手段を構成するセンサの検出結果を用いて切出しサイズ情報を得る例を説明する図、図５は記録再生機能を有した撮像システムにおける画像処理装置の構成を示すブロック図、図６乃至図８はフィールド空間とカメラの撮像領域との相互関係を示す説明図である。図９は図１の変形例を示すブロック図である。
まず、本実施例１及び以降の実施例で用いられる用語の定義をする。
注目対象：カメラで撮影し出力させたい対象物、人、或いは、その一部を示す。
注目点 ：注目対象に含む、或いは、注目対象の近傍にある点で、後述するセンサ等の検出対象を指す。点に限定するものではなく、検出方法によっては所定の範囲を有する場合もある。
フィールド空間：注目対象が存在する空間であり、注目対象を含んだ位置情報を後述するセンサ等を用いて検出可能な空間（領域）を示す。
フィールド座標：フィールド空間内に存在する注目点等の位置を、この空間内の所定の基準位置に対する相対的な位置情報として特定可能な１つの座標系を指す。図６乃至図８のＸ，Ｙ，Ｚ軸で表現される座標系である。
撮像領域：カメラ毎の撮像領域を示す。また、カメラの視野範囲にあり、更に、カメラの光学系におけるピント調整度合いが、所定レベル以上の領域を示す。原則、カメラはフィールド内を撮像する。
カメラ座標：カメラの全撮像領域の画角を規定する線の交点を原点として撮像方向を軸（ｋ）の１つとした座標系を指す。図６乃至図８のｉ，ｊ，ｋ空間である。また、ここで、画角を規定する線とは、図６に示したような、ＣＣＤなどの撮像素子の端の画素に結像する撮像領域を立体的に形づける線を示す。実施例１における図６乃至図８では、撮像素子平面の横方向に平行な軸ｉと撮像素子平面の縦方向に平行な軸ｊと撮像方向を示す軸ｋとの３つの軸で表現される座標系を指す。
カメラ空間：カメラ座標を用いてカメラに対する位置を特定できる空間。
撮像素子平面座標：ＣＣＤなどの撮像素子が出力する画像データの横方向に関わる軸Ｘｃと縦方向に関わる軸Ｙｃの２つの軸で撮像素子の中心を原点とする座標系（図１２参照）を指す。ただし、原点の位置は、撮像素子の中心に限定しない。左上の画素位置であっても良い。
図１に示す撮像システムにおける画像処理装置は、フィールド空間を撮像し、動画像信号及び撮像領域情報を出力する撮像手段１１と、注目対象における注目点の位置を検出する注目点検出手段１２と、撮像手段１１からの撮像領域情報と注目点検出手段１２からの注目点位置の検出結果に基づいて注目対象の切出し位置を決定する切出し位置決定手段１３と、撮像手段１１からの動画像信号を入力し、切出し位置決定手段１３からの切出し位置情報に基づいて動画像信号から所定の画像サイズを切り出す所定の画像サイズの画像切出し手段１４と、切り出された所定の画像サイズの切出し動画像信号をモニタ等の規格に適合した映像信号、或いは、パソコン等で再生可能なファイルフォーマットにして出力する切出し画像出力手段１５と、を備えて構成されている。
撮像手段１１は、図２或いは図３に示すように構成されている。
図２に示す撮像手段１１は、被写体像を撮像面に集光する撮影レンズ部１１１と、撮像面上の全領域に集光された光電変換し、画素毎の動画像信号として出力する撮像素子であるイメージセンサ１１２と、イメージセンサ１１２にて撮像された動画像信号をデジタル信号に変換して出力するＡ／Ｄ変換回路１１３と、イメージセンサ１１２を同期信号を含むタイミングパルスにて駆動する駆動回路１１４と、を備えて構成されている。
図３に示す撮像手段１１は、被写体像を撮像面に集光する撮影レンズ部１１１と、撮像面上の全領域に集光された光電変換し、画素毎の動画像信号として出力する撮像素子であるイメージセンサ１１２と、イメージセンサ１１２にて撮像された動画像信号をデジタル信号に変換して出力するＡ／Ｄ変換回路１１３と、イメージセンサ１１２を同期信号を含むタイミング駆動パルスにて駆動する駆動回路１１４と、Ａ／Ｄ変換回路１１３からのイメージセンサが出力する動画像信号のｎ画面分ディレイさせた動画像信号を出力するｎ画面分のメモリ（書き込みと読み出しの制御を含む）１１５と、駆動回路１１４からのタイミング駆動パルスに基づいてｎ画面分のメモリ１１５を同期信号を含む第２のタイミング駆動パルスにて駆動する駆動回路１１６と、を備えて構成されている。
ｎ画面分のメモリ１１５は、イメージセンサが出力する動画像信号のｎ画面分ディレイさせた動画像信号を生成するためのもので、 注目点検出手段１２と同期を取るためにｎを調整して動画像信号を出力するものである。
注目点検出手段１２には、ＧＰＳ（全地球測位システム、Global Positioning Systemの略）のように注目対象物に装着するセンサによって、そのセンサの位置情報を検出する手段、或いは、注目対象物にセンサなどを装着しないで位置検出する手段である。注目点検出手段１２の検出結果とは、フィールド座標における注目点の位置情報（時にサイズ情報を含んでも良い）である。ただし、注目点検出手段１２は、撮像手段１１そのものの映像信号を画像処理して注目対象物を検出するものを含まない。即ち、撮像手段１１を含まない検出手段である。
また、注目点検出手段１２が上記センサで注目点を検出するには、該注目点検出手段１２にそのセンサ以外に基地局として表現する受信機、或いは、送信機を構成する必要がある。基地局が送信機である場合には、センサが受信機として、基地局の位置に対応したセンサ位置を検出する。また、基地局が受信機である場合には、センサが送信機として、基地局の位置に対応したセンサ位置を検出する。
切出し位置決定手段１３は、画像切出し手段１４が撮像手段１１からの全撮像領域の全撮像画像に対して一部を切出して出力する際の、該一部である切出し画像の位置を指定する手段であり、関係情報生成手段である関係情報生成部１３１と、注目対象サイズ情報記憶部１３２と、画像切出位置算出部１３３とを備えている。
関係情報生成部１３１は、フィールドの３次元空間の各位置と、カメラ空間との関係情報を生成する生成手段、或いは、フィールドの３次元空間の各位置と、２次元空間の撮像素子平面座標との関係情報を生成する生成手段である。
関係情報は、フィールド座標をカメラ座標又は撮像素子平面座標に変換する際の対応関係をテーブルとしたテーブル情報、或いは、その関係を示す座標変換式、或いは、その式を表すパラメータなどである。
注目対象サイズ情報記憶部１３２は、フィールドにおける実際の対象物のサイズ情報であってもよいし、撮像画像における対象物のサイズ情報であってもよい。
画像切出位置算出部１３３は、注目点検出手段１２からの検出結果と、関係情報生成部１３１からの関係情報と、注目対象サイズ情報記憶部１３２からの注目対象のサイズ情報とに応じて、画像を切り出す位置を決定する手段である。
なお、先に述べた注目点検出手段１２の検出結果をサイズ情報とする例を図４(a)〜(c)を参照して説明する。
図４(a)は注目点の１つのセンサ１２−１を中心とする所定の範囲を切出し位置のサイズ情報とするものである。図４(b)は注目点をフィールド上の４個のセンサ１２−２，１２−３，１２−４，１２−５で４箇所の位置情報を検出し、その４つの位置を頂点とする四角形を切出し位置のサイズ情報とするものである。或いは、その四角形の中心に対して該四角形の倍の大きさの四角形とするなど、複数のセンサと関わる所定の領域を切出し領域と設定するようにしても良い。図４(c)は２点のセンサ１２−６，１２−７を含む所定の範囲の切出し位置をサイズ情報とするものである。
図５は記録再生機能を有した画像処理装置の構成を示している。図１の構成と異なる点は、図１の構成が撮影時に注目対象を含んだ切出し画像を出力する構成であったのに対し、図５の構成では、撮影時でなく後で再生した画像から注目対象を含んだ切出し画像を出力する構成となっていることである。図１と同一機能の部分には同一符号を付してある。
従って、図５の構成では、撮像手段１１及び注目点検出手段１２と、切出し位置決定手段１３及び所定の画像サイズの画像切出し手段１４との間に、撮像手段１１からの出力画像と注目点検出手段１２からの検出結果である注目点位置情報とを、画像&注目点情報記録手段１６に導き、この画像&注目点情報記録手段１６にて記録再生装置であるＤＶＤ１７を制御して、画像及び注目点情報をＤＶＤ１７に対して記録を行い、その後に再生する際には、画像&注目点情報再生手段１８がＤＶＤ１７を制御して、ＤＶＤ１７から画像及び注目点情報を再生し、再生された注目点情報は切出し位置決定手段１３へ、また再生画像は画像切出し手段１４へ供給される構成としてたものである。
図６は、サッカー場をフィールド空間とした場合の、そのフィールド空間とカメラの撮像領域との相互関係を示している。カメラの撮像領域は画角を規定する４本の線によって囲まれた空間領域を指している。画角を規定する４本の線の交点がカメラ座標の原点Ｏである。カメラの撮像領域内には選手Ａ，Ｂ，Ｃが存在している。ｉ，ｊ，ｋ軸は撮像手段１１であるカメラが撮像する方向及び／又はカメラが撮像する画角を基準とするカメラ座標を示している。カメラの撮影領域における注目点の位置は、注目点検出手段１２で検出するフィールドにおける注目点の座標と、前述した関係情報（この具体例については後述の実施例で説明する）とによって算出することができる。
図７は、図６の上空から見た、カメラと選手の位置関係を示している。また、図８は、図７において画角を規定する線で囲われたカメラ撮像領域を側面から見た、カメラと選手の位置関係を示している。カメラは斜め下方向を撮影するようにして、複数の注目対象が重ならないように撮影する。その結果、図８のように、選手Ａと選手Ｃは重ならなく、選手Ａが選手Ｃを隠すことなく撮影できる。
図９は図１の変形例で画像切出しをするものではなく、注目点に撮像手段のピントを調整する撮像装置の例を示している。図９では、図１の切出し位置決定手段１３を座標変換手段１３Ａとして使用する。座標変換手段１３Ａは、関係情報生成部１３１と、注目対象物を撮像する画素の位置を算出する注目物位置検出部１３３Ａとを備えて構成されている。撮像手段１１Ａのピント調整機構部１００を制御可能とし、検出する注目点にピントを合わせるようにピント調整機構部１００を駆動制御する構成例を示した。上述したカメラ座標のｋ軸の値に従って前記駆動制御すると良い。
このような構成によって、人や物などの注目対象物におけるセンサ等の注目点検出手段１２にピント調整することができるカメラを実現できる。
なお、この注目点検出手段１２と座標変換手段１３Ａとによって、注目対象物を撮像する画素の位置を算出することは、ピント調整のみに限定するものではない。この変形例における注目点検出手段１２と座標変換手段１３Ａとは、露光量調整や色調整など様々な自動調整における位置指定手段として応用することができる。
図１０は本発明の実施例２の画像処理装置の構成を示すブロック図を示している。図１１は、カメラ撮像状態検出部１１６の３つの位置検出センサと、撮像素子の各画素と注目点との関係を、カメラ空間で示した説明図で、図中のＣＣＤ中記載の座標は、後述する図１７のモデル化した際の計算上の仮想的なＣＣＤ位置にある想定座標を示し、図１２は撮像素子平面の座標を示す図、図１３はフィールド座標、カメラ座標、撮像素子平面上の画素座標の順に座標変換する画像位置算出フローを示すフローチャート、図１４は４つの位置検出センサを撮像領域内に配置し、カメラ空間の原点と撮像素子間の距離ｋ0と撮像素子の画素ピッチｐｔと画素数とによって式１の変換行列を求める際の位置検出センサの配置例を示す説明図で、図中のＣＣＤ中記載の座標は、後述する図１７のモデル化した際の計算上の仮想的なＣＣＤ位置にある想定座標を示し、図１５は１つのカメラ内の位置検出センサとカメラ外部の２個所の位置検出センサの各フィールド座標よりカメラ座標を導く際の位置関係を示す説明図で、図中のＣＣＤ中記載の座標は、後述する図１７のモデル化した際の計算上の仮想的なＣＣＤ位置にある想定座標を示し、図１６は図１５の配置例によって式１の変換行列を求めるフローを示すフローチャート、図１７は図１１、図１４、図１５の光学系構成をモデル化した図で、レンズ１１１Ａを様々なレンズ設計を想定したレンズ群１１１Ｂにし、計算上の仮想的なＣＣＤ位置に関わる座標を想定座標として説明したものである。
計算上の仮想的なＣＣＤ位置とは、図中の画角を規定する線の延長線上に実際のサイズのＣＣＤを配置したものである。
即ち、光学系１１１Ｂによって光線が折り曲がることを排除しモデル化した図で、実際のＣＣＤの位置とは異なる場合が多い。
また、図１１、図１４、図１５では、カメラ空間の原点Ｏと上記計算上の仮想的なＣＣＤ位置間の距離ｋ0に相当する数値が既知であるとしたが、不明の場合であっても、図１８で説明するように、撮像倍率αを算出し、撮像素子平面への座標変換を行うことができる。図１８は図１７において撮像倍率αを算出するための説明図を示している。図１と同一機能の部分には同一符号を付して説明する。
図１０に示す画像処理装置は、フィールド空間を撮像し、動画像信号及び撮像領域情報を出力するズーム機能及びピント調整機能付き撮像手段１１Ｂと、注目対象における注目点の位置を検出する注目点検出手段１２と、撮像手段１１Ｂからのレンズ状態情報及びカメラ撮影状態（カメラの位置，方向及び回転の情報）と注目点検出手段１２からの注目点位置の検出結果に基づいて注目対象の切出し位置を決定する切出し位置決定手段１３Ｂと、撮像手段１１Ｂからの動画像信号を入力し、切出し位置決定手段１３Ｂからの切出し位置情報に基づいて動画像信号から所定の画像サイズを切り出す画像切出し手段１４と、切り出された所定の画像サイズの切出し動画像信号をモニタ等の規格に適合した映像信号、或いは、パソコン等で再生可能なファイルフォーマットにして出力する切出し画像出力手段１５と、を備えて構成されている。
ズーム機能及びピント調整機能付き撮像手段１１Ｂは、レンズ部１１１と、フォーカスレンズの位置を調整するピント調整機構部１００Ａと、ズームレンズの位置を調整するズーム調整機構部１１２と、ピント状態やズーム状態などのレンズ制御状態を指示したり表示したりするレンズ状態制御パネル１１３と、レンズ制御状態の指示に基づいてピント調整機構部１００Ａやズーム調整機構部１１２を調整すべく制御するレンズ制御部１１４と、撮像素子及びその撮像制御を行なう撮像素子&撮像制御部１１５と、カメラの位置，方向及び回転の情報を検出するためのカメラ撮影状態検出部１１６とを備えて構成されている。
カメラ撮影状態検出部１１６は、図１１で説明するような３つの位置検出センサを備え、該センサは各フィールド座標を検出する。また、図１１に示すような配置関係にすることで、図１で示した関係情報としてのテーブル情報又は座標変換式を導くことができる。これにより、画角を規定する線の交点位置Ｏをフィールドにおける位置として検出可能にする。更に、カメラの撮影方向やその方向を中心とした撮像画像の回転を検出可能にするものである。
それによって、前記画角を規定する線の交点位置Ｏを原点と、前記撮影方向をｋ方向と、前記回転によって算出される画像の横方向であるｉ方向とを求め、結果、画像の縦方向であるｊ方向を算出することができる。
そのために、図１０では、３つの位置検出用のセンサ１〜３を備え、その３つのセンサで３箇所の位置を検出し、その３箇所の位置情報より前記画角を規定する線の交点位置Ｏ、前記撮影方向ｋ、前記ｉ，ｊを算出可能である。
なお、カメラ撮影状態検出部１１６は、カメラ１１Ｂの３箇所の位置情報を検出するとして説明したが、それに限定するものではない。例えば、カメラ１１Ｂの１箇所の位置情報の検出と、別なカメラによるカメラ１１Ｂの姿勢検出による方向検出、回転検出などであってもよい。
注目点検出手段１２ではフィールドにおける位置情報を検出する。切出し位置決定手段１３Ｂは、レンズ制御部１１４からのレンズ状態情報とカメラ撮影状態検出部１１６からのカメラ撮影状態（カメラの位置，方向及び回転の情報）とに基づいて、フィールドの３次元空間の各位置と、カメラ空間との関係情報を生成する、或いは、フィールドの３次元空間の各位置と、２次元空間の撮像素子平面座標との関係情報を生成する関係情報生成部１３１Ａと、フィールドにおける実際の対象物のサイズ情報、或いは、撮像画像における対象物のサイズ情報を記憶している注目対象サイズ情報記憶部１３２と、関係情報生成部１３１Ａからの注目点画素位置情報の算出結果と、注目対象物の画像中のサイズの算出結果とを用いて、画像を切り出す位置を決定する切出し位置算出部１３３Ａとを含む。関係情報生成部１３１Ａは、注目点画素位置情報算出部１３１Ａ-1と、注目対象物の画像中のサイズの算出部１３１Ａ-2とを備えている。
注目点画素位置情報算出部１３１Ａ-1は、前記注目点の位置情報より撮像素子平面座標を算出するもので、３次元のフィールド座標を撮像素子平面座標に変換する座標変換を行うものである。すなわち、注目点画素位置情報算出部１３１Ａ-1は、カメラよりレンズ状態情報として、カメラ撮像状態情報としてのＣＣＤなどの撮像素子の画素間ピッチｐｔや上記３箇所の位置情報と、レンズ状態情報としての前記画角を規定する線の交点位置Ｏから撮像素子面に略平行光を導くコリメートレンズ１１１Ａの中心までの距離ｋ0を入力し、前記撮像素子平面座標を算出するものである。なお、計算上の仮想的なＣＣＤ位置は原点Ｏから距離ｋ0の位置にあるとしている。また、図１１の長さ、Ｌ，Ｍを含めた３つのセンサの配置関係は、予め注目点画素位置情報算出部内部のＲＯＭ等に記憶しておくものとする。
注目対象物の画像中のサイズの算出部１３１Ａ-2は、注目点検出手段１２のフィールドにおける位置情報と、カメラ撮影状態検出部１１６からのカメラのフィールドにおける位置情報と方向情報と、レンズ制御部１１４からのレンズ状態情報とによって、フィールド位置情報と撮像領域との関係を算出し、切出し画像として切出す横画素数と縦画素数を算出するものである。
図１１には、画角を規定する線の交点位置Ｏを原点とし、カメラ方向をｋ軸、ＣＣＤの撮像領域の横方向をｉ方向とするカメラ座標を算出するための３つのセンサの配置関係を示す。また、カメラ座標における注目点とその注目点を撮像するＣＣＤの画素との関係をカメラ座標にて示した。
カメラ座標系とフィールドの座標系とは、カメラ撮影状態検出部１１６の位置検出センサ１、センサ２、センサ３によって、そのフィールドにおける座標を検出することと、Ｌ，Ｍ、ｋ0の３つの既知情報と各センサを結ぶ線が直交するなどの配置関係情報によって、図中の原点やＣＣＤの中心それぞれのフィールド座標を算出することができ、これにより、フィールド座標をカメラ座標の３次元空間に変換する式１の形式で示す座標変換式を導くことができる。
式１
Figure 2005167517
図１１には、カメラ空間の座標軸のほかに、撮像素子平面の座標軸が示されている。図１２に、撮像素子平面の座標系を示す。図１１のカメラ座標系における注目点（＝ｋ2点においてｋ軸に直交する平面上に存在している）は、図１２に示すような（Ｘc，Ｙc）で表される撮像素子平面座標平面上の位置に変換することができる。図１１、図１２において撮像素子は、縦３画素、横３画素として説明したが、勿論、それに限定するものではない。
図１３は、注目点の位置情報よりフィールド座標，カメラ座標、撮像素子（ＣＣＤ）の画素平面座標の順に変換して、画素位置を算出する画素位置算出フローを示すフローチャートである。
図１３に示すように、注目点のフィールド座標（Ｘ，Ｙ，Ｚ）を、式１で示す形式の式によってカメラ座標（ｉ，ｊ，ｋ）に変換する（ステップＳ1）。次に、カメラ座標（ｉ，ｊ，ｋ）より撮像倍率を算出する（ステップＳ2）。すなわち、撮像倍率α＝ｋ／ｋ0で求めることができる。ここで、ｋは、原点から、注目点を含むｋ軸に垂直な平面のｋ軸上の距離で、具体的にはｋ1，ｋ2などがそれである。そして、撮像素子（ＣＣＤ）の平面座標（Ｘc×ｐｔ，Ｙc×ｐｔ，−ｋ0）とすると、画素を特定するＸc，Ｙcは以下の式で算出する（ステップＳ3）。すなわち、Ｘc＝ｉ／α／ｐｔ、Ｙc＝ｊ／α／ｐｔ である。
図１４は、図１１の変形例を示している。キャリブレーションにおいて、位置検出センサ１，２，３，４をフィールド空間においてカメラの方向とは関係なく平行四辺形となるように配置し、それぞれのフィールド座標を検出する。例えばサッカーグランドでの平行四辺形として、ゴールエリアの長方形の４隅に前記４つの位置検出センサ１，２，３，４を配置すればよい。それによって、センサ１，２，３，４で得られるフィールド座標(Ｘ1，Ｙ1，Ｚ1), (Ｘ2，Ｙ2，Ｚ2), (Ｘ3，Ｙ3，Ｚ3), (Ｘ4，Ｙ4，Ｚ4)と各センサのＣＣＤに撮像される像位置と、ｋ0，ｐｔ，ＣＣＤの縦、横の画素数とによって、式１の変換行列を算出することができる。
なお、図１４では、センサ１，２，３，４を長方形となるように配置したが、一般的には平行四辺形を形成するように配置すれば良い。
図１５は、図１１の他の変形例を示している。構成は図１０と同じである。本例では、カメラ撮影状態検出部を変形した例を示す。
図１０のカメラ撮影状態検出部１１６は、図１１で示した３つの位置検出センサをカメラ内部に備えそれによって、カメラの撮影軸、画像の回転、原点のフィールド座標を算出するようにし、最終的には、前述の式１を導き出すようにしている。本変形例では、それに限定するものではなく、式１を導く別な方法を図１５で説明する。
ＣＣＤの真後ろにフィールド座標位置を検出可能な位置検出センサ１を備えたカメラであって、撮像領域内の中心に位置検出センサ２を該センサ２を装着した人を移動させることによって配置して該センサ２の位置検出を行う。
位置検出センサ１から位置検出センサ２の方向がカメラの方向であることが分かる。また、そのセンサ１とセンサ２との間に原点Ｏがあることが分かり、予め設計によって既知であるセンサ１から距離ｋ６離れた位置を画角を規定する線の交点位置である原点Ｏとしてそのフィールド位置座標を算出できる。
次に、カメラの画像の回転方向を知るために、位置検出センサ３を撮像領域内の中心の横方向にある所定の画素位置に配置されるように該センサ３を装着した人を移動させることによってセンサ３を配置する。これにより位置検出センサ３のフィールド座標のｉ方向の距離ｉ’とその撮像された撮像素子平面での距離Ｘｃ’×Ｐｔとの比が倍率αを算出することができる。
なお、図１５はｋ3＝ｋ4の場合であるが、図１５で示すｋ3とｋ4とが一致しなくても、センサ２の点を通りｋ軸に垂直でｉ軸に平行な線は、導き出せるので、センサ３のカメラからの距離を特に限定するものではない。
更に、位置検出センサ３は、ｋ軸とｉ軸を含む面内に配置した場合としているが、それに限定するものでもない。回転を規定するために、センサ３はｋ軸とｉ軸を含む面内になくてもよく、撮像領域内にあればよい。
これによって、原点、撮像方向、画像の回転の３つをフィールド座標系において算出可能となり、式１を導くことができる。
このように、図１１に示したようにカメラ内の３つの位置検出センサでなく、図１５のようにカメラ内１つのセンサ１とカメラ外で撮像領域内の所定の位置に配置した２つのセンサ２，３によっても、式１を導くことができる。
まず、撮像手段の撮像を開始し、その画像中の中心位置である撮像領域内の第１の位置に位置検出センサ２を人を移動させながら
図１６は、図１５で示すセンサ配置、構成を使って３次元のフィールドの座標を撮像領域の３次元の座標に変換する座標変換式を導くまでの工程を示している。
まず、第１の工程では、撮像手段であるカメラの撮像を開始し、その画像中の中心位置である撮像領域内の第１の位置にセンサ２を移動させながら調整し配置する（ステップＳ11）。その調整方法としては、画像認識でセンサ２を検出するか、或いは、人が撮像画像を表示手段で観察し行う方法がある
第２の工程では、前記センサ２の位置よりフィールド内の位置情報を取得する（ステップＳ12）。
第３の工程では、センサ３を撮像領域内の第２の位置にセンサ３を移動させながら調整し配置する（ステップＳ13）。
第４の工程では、センサ３の位置よりフィールド内の位置情報を取得する（ステップＳ14）。
第５の工程では、カメラ内に配置したセンサ１の位置よりフィールド内の位置情報を取得する（ステップＳ15）。
第６の工程では、 センサ１，センサ２，センサ３のフィールド座標での位置情報によって、レンズの瞳位置を原点Ｏとし、カメラの撮像方向をｋ軸、画素の横方向をｉ軸とした撮像空間座標（カメラ座標）に変換する式１を導き出す（ステップＳ16）。
その後、式１を用いて、図１３のフローにより注目点の位置情報に対する画素位置を算出する。
図１１，図１４，図１５では、光学系の構成は、簡単な１枚のレンズを使用したモデルとして説明したが、実際には複数枚のレンズを組み合わせて構成している場合が多く、図１３で説明した関係が成り立たない場合がある。
上述したのは、画素数Ｎ×画素間ピッチｐｔで規定されるＣＣＤサイズと、原点とＣＣＤとの距離ｋ0とによって一意に決定される画角θによってフィールドにおける大きさと撮像平面における大きさとの関係を知ることができ、図１３のステップＳ2の撮像倍率αを算出でき、座標変換することができる。ステップＳ2では、ｋ0が既知であることより撮像倍率を算出した。
ここで、ｋ0に相当する数値が不明であっても、撮像倍率αを算出し座標変換する例を示す。図１７は、光学系モデルの変形例を示している。
図１７は、ＣＣＤ１１２とレンズ群１１１Ｂとの距離によって決まる画角θを算出するなど画角θが既知であることによって図１３のステップＳ2の撮像倍率を算出可能である。図１８に、図１７の光学系モデルにおけるパラメータを示している。
即ち、撮像倍率αは、図１８で示すパラメータを用いて計算することで、ＣＣＤ１１２とレンズ群１１１Ｂとの距離が既知でなくても、撮像倍率αを下記に示す式２にて算出することができる。
式２
Figure 2005167517
図１９は本発明の実施例３の画像処理装置の構成を示すブロック図、図２０は図１９における撮像手段の出力画像全体と小画像の関係を示す図、図２１は図２０における切出し位置算出方法を説明する図、図２２はキャリブレーション方法を説明するもので、上空から見たカメラと選手の位置関係を示す図、図２３はキャリブレーション方法を説明するフローチャート、図２４は注目点検出手段の変形例を示す説明図である。図１と同一部分には同一符号を付して説明する。
図１９において、画像処理装置は、フィールド空間を撮像し、動画像信号及び撮像領域情報を出力する撮像手段１１と、注目点検出手段１２Ａと、切出し位置決定手段１３Ｃと、画像切出し手段１４と、切出し画像出力手段１５とを備えて構成されている。
注目点検出手段１２Ａは、注目点検出手段Ａの送信部１２Ａ-1と、注目点検出手段Ａの受信部１２Ａ-2とを備えている。注目点検出手段Ａの送信部１２Ａ-1は、例えば、ＧＰＳ受信機とそれによって得られたＡ位置情報を送信するＡ位置情報送信機とで構成される。注目点検出手段Ａの受信部１２Ａ-2は例えばＡ位置情報受信機で構成される。
注目点検出手段１２Ａの送信部１２Ａ-1におけるＧＰＳ受信機では、その受信機のフィールド位置情報として、緯度・経度の詳細情報を算出することができる。そのフィールド位置情報をＡ位置情報送信機で送信し、画像切出制御機能に接続されたＡ位置情報受信機で受信し、切出し位置決定手段１３Ｃで決定した切出し位置に従って、撮像手段１１からの動画像信号から画像切出し手段１４において画像の切出しを行い、切出し画像出力手段１５でモニタ等の規格に適合した映像信号、或いは、パソコン等で再生可能なファイルフォーマットとして出力する。
上記フィールド位置情報は、緯度・経度の２次元データとして説明したが、高さ情報は注目点検出手段１２Ａ内にメモリ（不図示）を備えそこに予め記憶しておいた数値を、送信部１２Ａ-1より出力する。
例えば、腰にセンサを装着していることを想定して、高さ情報は選手が立っているグランド面から９０ｃｍとすることで腰の高さ相当の位置を示すことができる。ただし、高さ情報は、このような所定の値に設定するものに限定するものではない。精度良く注目点を検出する必要があるならば、高さ情報はＧＰＳ等で検出することもできる。なお、高さ情報は、注目点検出手段１２Ａ内に記憶することに限定するものではない。受信部１２Ａ-2や切出し位置決定手段１３Ｃ内で記憶しても良い。
切出し位置決定手段１３Ｃは、注目点検出手段１２Ａの検出結果に対応した撮像素子平面座標情報を記憶する位置用フラッシュメモリ１３１Ｂ-1と、検出した注目点のフィールド座標位置におけるカメラ座標のｋ軸と直交する平面内でのｉ軸方向の１ｍおよびｊ軸方向の１ｍが撮像素子平面に結像された際に何画素に対応するかを示す画素数を記憶するサイズ用フラッシュメモリ１３１Ｂ-2（ここで、画素の替わりに所定数の複数画素で構成された小画像を用いて、画素数の替わりに対応する小画像数を記憶しても良い）とを有する関係情報生成部１３１Ｂと、注目点位置情報の検出結果に対応した前記撮像素子平面座標情報と被写体Ａ位置近傍の１ｍの距離に対応する画素数または小画像の数（小数点以下の端数含む）と、注目対象サイズ情報記憶部１３２からのフィールドにおけるサイズ情報とに基づいて切出し位置を算出する切出し位置算出部１３３Ｂと、注目対象サイズ情報記憶部１３２とを備えて構成されている。なお、被写体がカメラから離れるほど撮像される被写体のサイズは小さくなる。即ち、カメラから被写体までの距離に応じて、被写体が撮像される撮像サイズを補正する必要がある。そこで、注目点検出手段１２Ａの検出結果を用いて注目被写体位置に応じた「１ｍに対応する画素数または小画像数」をサイズ用フラッシュメモリ１３１Ｂ-2から読み出し、更に注目対象サイズ情報記憶部１３２から注目被写体の実際のサイズ（寸法）を読み出す。そして、これら２つの値から、注目被写体が撮像素子平面に結像された際に何画素（または小画像いくつ分）に相当するかを求めることができる。
なお、注目対象サイズ情報記憶部１３２が記憶するサイズ情報を、フィールドにおける実際の対象物のサイズ情報としたのは、注目対象物の撮像サイズがカメラからの距離に応じて変化することを鑑み、前記距離に応じて計算によって撮像サイズを算出しやすくするためである。しかし、このような構成に限定するものではなく、カメラからの距離別に撮像画像における対象物のサイズ情報をテーブルデータとして注目対象サイズ情報記憶部１３２に記憶するようにしても良い。この場合には、検出した注目点のフィールド座標位置情報を注目対象サイズ情報記憶部１３２に入力する必要があるが、サイズ用フラッシュメモリ１３１Ｂ-2は不要となる。
上記の構成で、切出し位置について、図２０、図２１を参照して説明する。以下では説明を簡単にする為に、サイズ用フラッシュメモリ１３１Ｂ-2は、カメラから被写体までの距離毎の「１ｍに対応する小画像数」の情報を記憶とするものとして説明する。
撮像手段１１の撮像領域全体を縦横それぞれ１０等分した各画像（ブロック）を小画像とする。画像切出し手段１４は、その小画像単位で切出し領域を指定し切出し処理を行う。
その切出し処理は、例えば、図２０中のＣサッカー選手がヘソ近辺に装着する注目点検出手段１２Ａの送信部１２Ａ-1からのフィールド位置情報を入力して位置用フラッシュメモリ１３１Ｂ-1から読み出す撮像素子平面座標情報に対応した小画像を中心にして切出す。
そして、画像を切り出す際の切出しサイズは、注目対象サイズ情報記憶部１３２からの情報とサイズ用フラッシュメモリ１３１Ｂ-2からの情報とによって決める。
具体例としては、注目対象サイズ情報記憶部１３２から、実際の身長や体格などを考慮して選手全体が入るような実際のサイズとである、上下方向２．５ｍ、左右方向２ｍという情報を読み出す。また、サイズ用フラッシュメモリ１３１Ｂ-2からは、図２０の被写体Ａ近傍の距離１ｍに対する情報として、縦方向に２つの小画像、横方向に１．５の小画像という情報を読み出す。
その結果、上下方向の切出し小画像数は、２．５（ｍ）×２（小画像／ｍ）＝５（小画像）となる。横方向の切出し小画像数は、２（ｍ）×１．５（小画像／ｍ）＝３（小画像）となる。
その結果、図２０の斜線で示した縦５、横３の１５個の小画像で指定される切出し画像領域を切り出すものである。この小画像単位での処理は、処理を高速、或いは、安価な処理システムを実現するために行うものである。
注目点とカメラとの距離に応じた注目対象の撮像サイズを記憶しているため、最適な切出し画像領域を算出することができる。
これにより、切出し位置算出部１３３Ｂでは、位置用フラッシュメモリ１３１Ｂ-1からの上記撮像素子平面座標情報を中心に切出し画像領域を算出する。
なお、ここでは、撮像手段１１の切出し画像の単位を小画像として説明したがそれに限定するものではない。例えば、小画像に代えて１画素としても良い。
次に、キャリブレーション方法、即ち撮像領域における位置情報と撮像手段の画像中の位置との対応関係をメモリに記憶する方法について説明する。
位置用フラッシュメモリ１３１Ｂ-1やサイズ用フラッシュメモリ１３１Ｂ-2には、撮像手段１１における撮像領域に関する情報や撮像手段１１の画像の各画素と注目点検出手段１２Ａで検出されるフィールド位置情報との対応関係（位置情報対応関係）、更に、Ａフィールド位置情報値の変化量に対する撮像手段１１の撮像領域中の画像数を記憶しておくものであることは上述した。ここでは、その各フラッシュメモリ１３１Ｂ-1，１３１Ｂ-2の対応関係データを書き込む際の方法について説明する。
１）撮像手段１１は、固定しておき、所望の撮像領域を得るようにレンズ倍率やピント調整を行う。
２）注目点検出手段１１であるＧＰＳ＋送信機＋画像認識用マーカからなる注目点センサを、図２２に示す撮像領域内の複数の等間隔の測定点（点(1,1)〜(6,6)の３６点）に順に設置し、該センサからのフィールド位置情報を入手し、更に、該各測定点毎の撮像素子平面座標を取得し、位置用フラッシュメモリ１３１Ｂ-1に前記センサからのフィールド位置情報に対応したメモリアドレスに該撮像素子平面座標を保存する。このようにフィールド位置情報に対応したメモリアドレスに該撮像素子平面座標を保存することで、メモリアドレスとフィールド座標とを一対一に対応させることができるので、位置用フラッシュメモリ１３１Ｂ-1にフィールド座標値を入力すれば、対応する撮像素子平面座標を位置用フラッシュメモリ１３１Ｂ-1から読み出すことができる。上記例では、対応する小画像の配列情報を位置用フラッシュメモリ１３１Ｂ-1に保存する。
３）次に、サイズ用フラッシュメモリ１３１Ｂ-2には、所定の測定点と、この測定点の周囲の測定点との所定距離（例えば１ｍ）が、撮像素子平面に結像された際にいくつの小画像に対応するかを上記各測定点毎に求め、この求めた該小画像数を各測定点のフィールド位置情報に対応したメモリアドレスにそれぞれ保存する。この時、フィールド空間内の前記所定の測定点と周囲の測定点間の線分が、カメラ座標のｉ軸またはｊ軸と平行でない場合は、ｉ軸またはｊ軸からの前記線分の傾きを考慮して、フィールド空間内の前記所定の測定点と周囲の測定点間の距離を、カメラ座標のｉ軸またはｊ軸方向の距離に換算した値をサイズ用フラッシュメモリ１３１Ｂ-2に保存した方が望ましい。なお、小画像数の替わりに上述のように画素数を用いても良い。
上記例では、所定距離に対する小画像の数をサイズ用フラッシュメモリ１３１Ｂ-2に記憶する。注目選手を切出し画像に収めようとする場合、注目選手の大きさや幅を予め知り、装置内の注目対象サイズ情報記憶部１３２に予め保存しておく。撮像素子平面に結像される注目選手の大きさや幅に相当する画素数は、注目選手と撮像手段との距離に応じて異なり、即ち、フィールド位置情報に応じて異なる。よって、サイズ用フラッシュメモリ１３１Ｂ-2に記憶された「各フィールド位置情報における所定の距離に対応した小画像数または画素数情報」を用いて上述（図１９〜図２１）で述べたような画像切出しサイズの補正を行う。
図２２は、測定点の位置とフィールドにおける座標を｛Ｘ，Ｙ｝として、図中のフィールド原点に対してＸ方向に１ｍ、Ｙ方向に１ｍ離れたＭ｛１，1｝に対し、図２２中の点で示したＸ方向に１ｍ毎に計６点、Ｙ方向に１ｍ毎に計６点の測定点の合計３６個の測定点と、に関し、その各｛Ｘ，Ｙ｝毎に撮像素子平面座標を特定する。
また、この３６個所の測定点は、高さ方向であるｊ方向が０の地面上で測定するものとし、更に、同じ３６個の測定点として、地面上の測定点の高さ２ｍの点の合計７２個所を測定点として高さ方向を加えた３次元の測定点を撮像領域内で、密に測定する。
その特定方法は、以下の1)，2)に示すセンサ を計測点に配置することで、撮像手段１１における撮像素子平面座標とフィールド座標を計測することで行われる。
1) そのセンサは、ＧＰＳなどを備えフィールドにおける座標を測定可能。
2) また、センサは、撮像手段１１におけるそのセンサ位置を画像中より検出し特定するために、輝点や黒点として画像処理やユーザー指定しやすいマーカを備える。即ち、マーカは、暗い場所で計測する際には、ペンライトのようなランプとし、画像中より輝度の高い撮像素子平面座標を検出するようにすると良い。
以上の図２２のようにすれば、フィールド空間座標から撮像素子平面座標へ直接的に変換できる。
図２３に、キャリブレーションの基本的なフローを示す。
まず、第１の工程として、フィールド内に所定間隔で注目点（センサ）を配置する（ステップＳ21）。第２の工程では、前記の配置した注目点のフィールド内の位置検出を行い、注目点のフィールド座標を求める（ステップＳ22）。
次に、第３の工程では、撮像手段で前記所定間隔で配置された注目点を撮像し、注目点（センサ）が撮像される画素位置を検出する（ステップＳ23）。
そして、第４の工程として、第１の工程で配置した注目点ごとに、前記第２の工程で求めたフィールド座標と、前記第３の工程で求めた画素位置とを対応させることで、座標変換する際に用いる変換テーブルを作成する（ステップＳ24）。
更に、第５の工程としては、測定点間の画素数が多い場合に、必要に応じて、測定点間を補間するために、その補間点毎に、フィールド座標と撮像画素位置のそれぞれを推定し変換テーブルに追加するようにする（ステップＳ25）。
なお、第５の工程は、測定点を密に行っている場合には、不要である。更に、注目点の位置を検出する際に、リアルタイムに補間処理を施すようにしても良く、第５の工程は、必ず必要な工程ではない。
関係情報としての変換式やテーブルデータを生成する関係情報生成手段は、上述する方法に限定するものではない。
表１に、図１１，図１５及び図１４で述べたそれぞれの関係情報生成手段の方法例を示す。表１以外にも、様々な関係情報生成手段の方法が可能である。
Figure 2005167517
上述した図２２では、キャリブレーションにおいて、フィールドに複数の位置にセンサを配置しそのセンサの位置情報よりフィールド座標を撮像素子平面座標に変換する変換テーブルを生成した。その後、注目対象がセンサを装着し移動する際に、そのセンサの移動に応じて変化する位置に応じたフィールド座標を前記テーブルによって変換することで、注目対象の注目点を即時に撮像素子平面座標の位置に変換することが可能である。
一方、図２４には、フィールドに複数の受信アンテナをマトリックス状に配列し埋め込んだフロアマットを敷き、そのフロアマット上を移動する注目対象を検出し撮像手段１１がフロアマットの上を撮像する際に、その撮像画像より注目対象を検出して注目対象を画像切出しするようにする。
その際の、図２４に示すタグとして、ＲＦＩＤ(電波方式認識：Radio Frequency-ＩＤentificationの略)のＩＣタグＡを使用し、フロアマットのタグ（Ａ）位置情報受信機２１では、各アンテナからのアドレスとしての受信信号１〜１２を入力して、信号の強度の高い受信信号を検出し、その受信信号番号情報を位置情報としてＡ検出結果として出力する。Ａ検出結果は、受信信号Ｎｏ．情報とそのアンテナとの相対位置情報を含む。
ＩＣタグＡは、送信アンテナと、ＩＤ情報をメモリに記憶していて前記送信アンテナからＩＤ情報を送信する電子回路とを備えている。タグＡは、固有のＩＤ情報を送信する。
また、Ａ位置情報受信機２１は、ＩＤ情報を受信しそれがタグＡが出力するＩＤ情報であった場合に、検出結果信号を出力する。
上記Ａ位置情報受信機２１は、信号の強度の高い受信信号を検出するとしたが、それに限定しない。
信号強度の高い３つの信号と該各３つの信号の時間差によって出力する検出結果信号は、一番強度の高い受信信号番号情報と、更に、その受信信号番号との相対位置情報を前記３つの信号の時間差情報により三角測量を使用して算出し出力するようにしても良い。または、前記３つの信号の時間差情報の替わりに、前記３つの信号の強度差情報を用いて三角測量を行い算出し出力するようにしても良い。
このように、図１９で説明したようにフィールド座標情報を撮像素子平面座標に変換するのに対して、受信信号番号情報などのように位置を特定可能な固有情報であっても良い。
図２４の変形例における関係情報生成部１３１Ｂ（図１９参照）では、前記受信信号番号情報に対応した撮像素子平面座標を生成するようにし、サイズ用フラッシュメモリ１３１Ｂ-2や位置用フラッシュメモリ１３１Ｂ-1に予め関係情報を記憶しておく。
即ち、位置用フラッシュメモリ１３１Ｂ-1は、受信信号番号情報を入力して撮像素子平面座標を出力するものである。また、サイズ用フラッシュメモリ１３１Ｂ-2は、受信信号番号情報を入力して撮像素子平面座標における所定の長さに対応した画素数情報を出力するものである。これにより切出し位置算出部１３３Ｂ（図１９参照）で注目対象を含むように画像の切出し位置を算出し出力するものである。
図２５は本発明の実施例４の画像処理装置の構成を示すブロック図である。
本実施例４は、実施例１の撮像システムでレンズ倍率やピント位置調整を変更する場合に適用される。図１、図１０、或いは図１９と同一部分には同一符号付して説明する。
図２５に示す画像処理装置は、フィールド空間を撮像し、動画像信号及び撮像領域情報を出力するズーム機能及びピント調整機能付き撮像手段１１Ｃと、注目対象における注目点の位置を検出する注目点検出手段１２と、撮像手段１１Ｃからのレンズ状態情報（ピント距離情報、レンズ倍率情報）と注目点検出手段１２からの注目点位置の検出結果に基づいて注目対象の切出し位置を決定する切出し位置決定手段１３Ｄと、撮像手段１１Ｃからの動画像信号を入力し、切出し位置決定手段１３Ｄからの切出し位置情報に基づいて動画像信号から所定の画像サイズを切り出す画像切出し手段１４と、切り出された所定の画像サイズの切出し動画像信号をモニタ等の規格に適合した映像信号、或いは、パソコン等で再生可能なファイルフォーマットにして出力する切出し画像出力手段１５と、を備えて構成されている。
ズーム機能及びピント調整機能付き撮像手段１１Ｃは、レンズ部１１１と、フォーカスレンズの位置を調整するピント調整機構部１００Ａと、ズームレンズの位置を調整するズーム調整機構部１１２と、ピント状態やズーム状態などのレンズ制御状態を指示したり表示したりするレンズ状態制御パネル１１３と、レンズ制御状態の指示に基づいてピント調整機構部１００Ａやズーム調整機構部１１２を調整すべく制御するレンズ制御部１１４と、撮像素子及びその撮像制御を行なう撮像素子&撮像制御部１１５とを備えて構成されている。
切出し位置決定手段１３Ｄは、フィールド座標における注目点位置情報の検出結果に対応した撮像素子平面座標情報を記憶する位置用フラッシュメモリ１３１Ｂ-1と、予めＡフィールド位置情報毎の被写体Ａ位置近傍の所定の距離に対する小画像の数を記憶するサイズ用フラッシュメモリ１３１Ｂ-2と、撮像手段１１Ｃからのレンズ状態情報に基づいて位置用フラッシュメモリ１３１Ｂ-1からの撮像素子平面座標情報を補正する位置情報補正部１３１Ｂ-3と、撮像手段１１Ｃからのレンズ状態情報に基づいてサイズ用フラッシュメモリ１３１Ｂ-2からの被写体Ａ位置近傍の所定の距離に対する小画像の数を補正するサイズ情報補正部１３１Ｂ-4とを有する関係情報生成部１３１Ｃと、注目点位置情報の検出結果に対応した撮像素子平面座標情報と被写体Ａ位置近傍の所定の距離に対する小画像の数と注目対象サイズ情報記憶部１３２からのサイズ情報とに基づいて切出し位置を算出する切出し位置算出部１３３Ｂと、注目対象サイズ情報記憶部１３２とを備えて構成されている。注目対象サイズ情報記憶部１３２は、フィールドにおける実際の対象物のサイズ情報であってもよいし、撮像画像における対象物のサイズ情報であってもよい。
上記の構成においては、例えばズーム倍率が変化したとしても、撮像画像の中心画素に対応したフィールド位置情報が原則変化しないことより、ズーム倍率の倍率変化量Ｄに従ってフィールドでの位置と画像中の撮像素子平面座標との対応関係を補正する。
図２６は本発明の実施例５の画像処理装置の構成を示すブロック図である。
実施例１乃至４では、一人の選手に位置検出手段（＝注目点検出手段）を装着して、その選手一人を追従するように切出し画像を出力した。
本実施例５では、複数の選手にそれぞれ位置検出手段（＝注目点検出手段）を装着して、その選手それぞれを追従するように複数の切出し画像を出力する例を示したものである。
図２６に示す画像処理装置は、複数（図では３つ）の注目点検出手段（注目点検出手段Ａの送信部121と注目点検出手段Ａの受信部124），（注目点検出手段Ａの送信部122と注目点検出手段Ａの受信部125），（注目点検出手段Ａの送信部123と注目点検出手段Ａの受信部126）があり、各々の注目点検出手段の位置検出結果はそれぞれ、画像Ａ，Ｂ，Ｃの各切出し位置決定手段１３０Ａ，１３０Ｂ，１３０Ｃで別々に切出し位置が決定される。そして、画像Ａ，Ｂ，Ｃにつき別々に決定された切出し位置に基づき、３つの画像切出し手段１４Ａ，１４Ｂ，１４Ｃにてそれぞれ撮像手段１１からの１つの撮像動画像信号から３つの部分が切り出され、それぞれの切出し画像出力手段１５Ａ，１５Ｂ，１５Ｃから別々の切出し動画像信号として出力する構成となっている。
上記の構成において、選手Ａ、選手Ｂ、選手Ｃのそれぞれに注目点検出手段の送信部１２１，１２２，１２３であるＧＰＳ機能を備えた送信機を装着し、それぞれのフィールド位置情報を出力し、注目点検出手段の受信部１２４，１２５，１２６で受信し、その受信出力に従ってそれぞれの切出し位置決定手段１３０Ａ，１３０Ｂ，１３０Ｃで、撮像手段１１での撮像領域における各選手Ａ，Ｂ，Ｃの領域を推定しその選手の全身がそれぞれ納まるように切出し画像をそれぞれ決定し、画像切出し手段１４Ａ，１４Ｂ，１４Ｃによって切出し、切出し画像出力手段１５Ａ，１５Ｂ，１５Ｃで出力するようにしている。
前記それぞれの送信部１２１，１２２，１２３のフィールド位置情報の出力に伴いそれぞれを識別可能なＩＤ情報を付加して送信することで、それぞれの受信部１２４，１２５，１２６で前記ＩＤ情報を識別して間違いなく注目対象の選手Ａ，Ｂ，Ｃを追跡できるようしている。
切出し画像出力手段１５Ａ，１５Ｂ，１５Ｃは、それぞれの画像切出し手段１４Ａ，１４Ｂ，１４Ｃで切出した画像をそれぞれ異なった信号として出力することで、ＤＶＤ（デジタルビデオディスク、Digital Video Diskの略）レコーダなどの記憶装置にそれぞれ同時記録をすることができる。
なお、切出し画像出力手段１５Ａ，１５Ｂ，１５Ｃを３入力で１選択出力の構成として１つの出力を選択的に出力可能とすることにより、切出し画像出力手段１５Ａ，１５Ｂ，１５Ｃは、それぞれの画像切出し手段１４Ａ，１４Ｂ，１４Ｃで切出した画像を選択して１つの切出し画像信号を出力するように構成することもできる。
また、切出し画像出力手段を３入力で１選択出力の構成として１つの出力を選択的に出力可能とすることにより、それぞれの画像切出し手段１４Ａ，１４Ｂ，１４Ｃで切出した画像を合成して１つの画像信号を出力するように構成しても良い。
また、画像切出し手段１４Ａ，１４Ｂ，１４Ｃは、撮像手段１１と別な手段として説明したが、それに限定されるものではない。例えば、撮像手段１１のイメージセンサが、撮像領域の部分領域を複数読み出せる複数走査回路を有しそれぞれの出力線を有するイメージセンサである場合には、撮像手段の内部回路がそのイメージセンサを制御して、複数の切出し画像を出力することができるので、そのように構成しても良い。
図２７は本発明の実施例６の画像処理装置の構成を示すブロック図であり、図２８は図２７における撮像選択手段の詳細な構成を示すブロック図である。
実施例１乃至５では、１つの撮像手段に対して１つ、或いは、複数の切出し画像を出力する例を説明した。
本実施例６では、同時に複数の撮像手段で撮像した動画像より、１つの切出し画像を選択する実施例を説明する。ここでは、複数の撮像手段から１つの撮像手段の１つの切出し画像を出力する例を示し説明する。複数の撮像手段としては、互いに異なった撮像領域を有する複数の撮像手段であってもよいし、或いは、互いに異なった画素数を有する複数の撮像手段であってもよい。
図２７に示す画像処理装置は、フィールド空間を撮像し、動画像信号及び撮像領域情報１，２をそれぞれ出力する複数（図では２つ）の撮像手段１１０Ａ，１１０Ｂと、注目点検出手段１２Ａと、撮像手段１１０Ａ，１１０Ｂ用の２つの切出し位置決定手段１３０Ａ-1，１３０Ａ-2と、注目点検出手段１２Ａからの位置情報と撮像手段１１０Ａ，１１０Ｂからの撮像領域情報１，２に基づいて選択制御信号を生成出力する撮像選択手段３１と、画像切出し手段１４０と、切出し画像出力手段１５とを備えて構成されている。
注目点検出手段１２Ａは、注目点検出手段Ａの送信部１２Ａ-1と、注目点検出手段Ａの受信部１２Ａ-2とを備えている。注目点検出手段Ａの送信部１２Ａ-1は、例えば、ＧＰＳ受信機とそれによって得られたＡ位置情報を送信するＡ位置情報送信機とで構成される。注目点検出手段１２Ａの受信部１２Ａ-2は例えばＡ位置情報受信機で構成される。
注目点検出手段１２Ａの送信部１２Ａ-1におけるＧＰＳ受信機では、その受信機のフィールド位置情報として、緯度・経度の詳細情報を算出することができる。そのフィールド位置情報をＡ位置情報送信機で送信し、画像切出制御機能に接続するＡ位置情報受信機で受信し、フィールド位置情報に基づいて切出し位置決定手段１３０Ａ-1，１３０Ａ-2で決定した２つの切出し位置から撮像選択手段によって選択した一方の切出し位置に従って、撮像手段１１０Ａ，１１０Ｂからの２つの動画像信号より選択した１つの動画像信号に対して画像切出し手段１４にて画像の切出しを行い、切出し画像出力手段１５でモニタ等の規格に適合した映像信号、或いは、パソコン等で再生可能なファイルフォーマットとして出力する。
画像切出し手段１４０は、撮像選択手段３１からの選択制御信号に基づいて撮像手段１１０Ａ，１１０Ｂからの２つの動画像信号の一方を選択するための画像信号選択部１４１と、撮像選択手段３１からの選択制御信号に基づいて切出し位置決定手段１３０Ａ-1，１３０Ａ-2からの撮像手段１１０Ａ，１１０Ｂに対応した２つの画像切出し位置信号の一方を選択するための画像信号選択部１４２と、画像信号選択部１４１で選択された動画像信号から画像信号選択部１４２で選択された切出し位置に基づいて画像切出しを行う切出し部１４３とを備えて構成されている。
撮像選択手段３１は、図２８に示すように、注目点検出手段１２Ａからの注目点（センサ）の位置情報と撮像手段１１０Ａ，１１０Ｂからの撮像領域情報１，２とを入力し、これらの情報に基づいて撮像領域適合性を判断する撮像領域適合性判断部３１１と、注目点検出手段１２Ａからの注目点（センサ）の位置情報と撮像手段１１０Ａ，１１０Ｂからの撮像領域情報１，２と撮像領域適合性判断部３１１からの撮像領域適合性情報とを入力し、これらの情報に基づいて撮像精細度良好度を判断することで、撮像領域が適合性していて且つ撮像精細度が良好な動画像信号を選択する選択制御信号を出力する撮像精細度良好度判断部３１２とを含んで構成されている。
上記の構成においては、撮像領域適合性判断部３１１によって、２つの撮像手段１１０Ａ，１１０Ｂの撮像領域が異なり注目点の位置が２つの撮像手段１１０Ａ，１１０Ｂのいずれか一方の撮像領域に入っている場合には、その撮像領域に入っている方の撮像手段を選択するように制御する。
また、撮像精細度良好度判断部３１２では、いずれの撮像手段１１０Ａ，１１０Ｂも撮像領域内に注目点が存在する場合に、注目点である選手をより高精細に撮像するために、撮像画素数が多い方の撮像手段を選択するようにする。
なお、実施例１乃至３でキャリブレーションについて説明したが、複数台の撮像手段を使用する際、同様な方法でキャリブレーションを行うことでよい。ただし、複数台のカメラを同時的に行うようにすると、更に良い。即ち、測定点に注目点検出手段１２Ａを順に移動させ、それぞれの撮像手段１１０Ａ，１１０Ｂごとに、それぞれの撮像手段１１０Ａ，１１０Ｂの画像中の位置を特定するようにすればよい。
次に、複数の固定した撮像手段（カメラ）の撮像領域の配置設定に関して説明する。
複数の撮像手段は、撮像する領域、撮像する方向、撮像する倍率、撮像可能な被写界深度のうち少なくとも１つが異なる複数のカメラによって構成され、画像切出し手段は、注目点検出手段が検出した注目点のフィールド座標に応じて、前記複数のカメラから１つのカメラを選択し、選択したカメラが撮像した画像情報を出力するようにする。
図２９はサッカーグランドなどの競技場での例で、上空から見たカメラと選手の位置関係を示す。
サッカーグランドなどの撮像したい全領域を、複数のカメラの各撮像領域に分割して撮像できるようにそれぞれのカメラの配置とレンズ倍率、絞り調整を含めたピント調整を行う。それぞれのカメラの撮像領域はオーバーラップさせると、注目対象物が撮像できない場合がなくなるのでより良い。各カメラのピント調整はそれぞれのピント調整機構（フォーカス制御系）の設定によって行われる。各カメラのレンズ倍率の調整はそれぞれの光学ズーム機能（ズーム制御系）の設定によって行われる。
また、カメラの撮像できる範囲であるカメラの方向に対してその奥行き方向は、撮像領域としてピントが合っている領域と、その奥や手前のピントの合っていない領域とがあり、そのピントが合っていない領域を、別なカメラのピントが合う撮像領域とするようにそれぞれのカメラの撮像領域を設定するようにすることで、常にピントの合った好ましい画像を出力するように選択することが可能である。
図３０は劇場などのホールでの例で、上から見たホールでのカメラとステージとの位置関係を示す。
この場合も、複数のカメラでステージ上の異なった領域を撮像する際に、複数のカメラはステージ上の奥行き方向の異なった撮像領域にピントが合うように各カメラに対応した撮像領域が設定される。或いは、複数のカメラはステージ上の奥行き方向の異なった撮像領域ごとに各カメラのレンズ倍率を変えて設定される。
次に、注目点検出の各種の方法について説明する。
注目点検出はＧＰＳに限定するものではない。無線ＬＡＮやＰＨＳなど電波を使用しその送信機と受信機とによって位置を検出する方法がある。また、赤外線などの発光と受光、音の発生とマイクなど、様々な線を有しない無線による方法が可能である。更に、ステージなどの床に感圧センサ付フロアマットを敷き、タッチパネルのごとき方法で、人の移動に伴って検出できるようにするなども可能である。
その他、赤外線カメラなどによる温度の変化を捕らえる方法など、画像処理を含めた様々な方法が可能である。
また、１つの検出方法で検出するのみ限定するものではなく、複数の検出方法を組み合わせて、ラフな検出とそのラフな検出の結果を利用して、詳細な検出を別な手段で行うことも可能である。
例えば、ＧＰＳなどで、１０ｍ程度の誤差で検出し、更に、画像処理で選手の位置を特定するなど、処理の高速性と検出精度を考慮して、様々な方法を組み合わせ検出するようにしても良い。
また、その画像処理によって無線より細かい精度で位置検出する際に、撮像手段である第１のカメラに対して、解像度の低い第２のカメラを撮像手段としての第１のカメラの近くに配置して位置検出用とすることで、画像処理が高速に行え、更に、別なカメラであるが故に、構成が簡単に高速な検出が行える。
また、撮像手段として複数のカメラを用いる場合に、位置検出用のカメラとして、撮像手段として用いる前記の複数のカメラの１つを使うことで、前述のように別なカメラを用意しなくても済む。
図３１はアダプティブアレイ・アンテナを用いて注目点を検出する方法を説明する図である。アダプティブアレイ・アンテナについては、日経サイエンス2003年10月号P62-P70に記載されている。
アダプティブアレイ・アンテナを用いて注目点検出を行う方法について説明を行う。
基地局Ａ，Ｂは、それぞれアダプティブアレイ・アンテナを用いた基地局であり、それぞれ複数本のアンテナを有している。図３１では、基地局Ａ，Ｂそれぞれ2本のアンテナを有する場合を示しているが、アンテナ本数が多い方が検出精度が高まるので望ましい。この複数本のアンテナでユーザ（注目被写体）が持っている携帯電話（注目点）が発した電波を検出する。そして、複数本のアンテナで検出したそれぞれの電波の位相差から、電波を発した携帯電話の方向を求めることができる。図３１で示した領域Ａ１，Ａ２が基地局Ａにおいて求めた方向、領域Ｂ１，Ｂ２が基地局Ｂにおいて求めた方向である。ここで、求めた方向（領域）が２つとなっているのは、アダプティブアレイ・アンテナを構成する複数本のアンテナが線上に配置されているので、複数本のアンテナで受信した位相差から求まる方向は２方向となるためである。カメラが、この２方向に対応できれば、基地局は１つでも構わないが、１方向に特定する必要がある場合には、複数の基地局（図では２つ）を用いることで、各基地局で求めた領域同士が重なった領域に携帯電話（注目点）が存在していると判断することが出来る。図３１では、領域Ａ２と領域Ｂ１が重なった領域Ｘに携帯電話（注目点）が存在していると判断することできる。
このようにして、基地局に対する携帯電話（注目点）の相対的な位置情報を求めることができる。なお通常、各基地局の緯度、経度、高さに関する情報は既知であるので、この情報を用いて携帯電話（注目点）の緯度、経度、高さに関する情報を求めることもできる。
図３２は携帯電話からの電波の強度または時間差を用いて注目点を検出する方法を説明する図である。
複数の基地局（図３２(a)では３つ）は、ユーザ（注目被写体）が持っている携帯電話（注目点）が発した電波を検出する。ここで検出するのは、各基地局で検出した電波の強度差、または各基地局で検出した同一電波の到達時刻の差（電波の到達時間）である。基地局の近くに携帯電話（注目点）が位置する場合、電波の強度は強くなり、電波の到達時刻も早くなる（短時間で携帯電話から基地局に到達する）。よって、各基地局で検出した電波の強度差、または電波の到達時間差を用いることで、携帯電話（注目点）の位置を求めることができる。
図３２(b)は、この注目点の位置の求め方を示した図である。各基地局の位置を中心として各基地局が検出した電波の強度または到達時間が半径となるような円を描く。ここで、電波の強度が強いほど、あるいは到達時間が短いほど円の半径を短くする。そして、この各円が交わった領域Ｘに携帯電話（注目点）が存在していると判断することが出来る。
このようにして、基地局に対する携帯電話（注目点）の相対的な位置情報を求めることができる。なお、各基地局の緯度、経度、高さに関する情報は既知であるので、この情報を用いて携帯電話（注目点）の緯度、経度、高さに関する情報を求めることもできる。
ところで、サッカーの試合などでは、ゴールシーンなどを記録したい。また、そのゴールシーンを拡大したりしたい。更に、様々な角度からの映像を見たい。など様々である。
そこで、ゴール近辺の所定の特定撮像エリアに注目点が入った際には、それを検出して、撮像開始を制御するようにしても良い。この時、エリアから外れた際には、撮像終了を制御する。更に、本願発明では、撮像手段で注目者を検出するものでなく、センサによって注目者を検出するものであるので、注目者の位置に応じた切出し開始・終了の制御は、注目者が撮像領域にない際に、撮像手段に供給する電力をオフにすることが可能で、低消費電力とすることができる。
また、連続撮影において、切出しの開始と終了を制御するのでなく、特定エリアで拡大率を上げるために、その特定エリアでは切出し領域を小さくするように構成しても良い。
本発明の画像処理装置によれば、ＧＰＳなどによるセンサを用いた注目点検出手段によって、撮像手段が撮像した画像データにおける注目被写体の像位置を認識することができる。
本発明によれば、カメラ操作者の操作、労力なく、自動的に撮像方向とサイズを変更可能で、且つ、人の操作では難しい、高速の該変更を可能にするもので、主に固定カメラで撮影するにあたって、注目点が移動するのに伴って撮像する領域の位置とサイズを自動的、高速に変更して表示することが可能となる。
また、本発明によれば、注目対象に追従して画像を切り出し、所謂、拡大して表示することも可能である。
さらに、本発明によれば、動画において注目対象を自動的に追従出力できるだけでなく、静止画において注目者の近傍を切り出し画像出力することも可能である。
注目対象に追従して画像を切出しする撮像システムにおける画像処理装置に広く利用することが可能となる。
本発明の実施例１の画像処理装置の構成を示すブロック図。 図１における撮像手段の構成例を示すブロック図。 図１における撮像手段の他の構成例を示すブロック図。 図１における注目点検出手段を構成するセンサの検出結果を用いて切出しサイズ情報を得る例を説明する図。 記録再生機能を有した撮像システムにおける画像処理装置の構成を示すブロック図。 フィールド空間とカメラの撮像領域との相互関係を示す説明図。 フィールド空間とカメラの撮像領域との相互関係を示す説明図。 フィールド空間とカメラの撮像領域との相互関係を示す説明図。 図１の変形例を示すブロック図。 本発明の実施例２の画像処理装置の構成を示すブロック図。 ３つの位置検出センサと撮像素子（計算上の仮想的なＣＣＤ位置にある）の各画素と注目点との関係を、カメラ空間で示した説明図。 撮像素子平面の座標を示す図。 フィールド座標、カメラ座標、撮像素子平面上の画素座標の順に座標変換する画像位置算出フローを示すフローチャート。 ４つの位置検出センサを撮像領域内に配置し、カメラ空間の原点と撮像素子（計算上の仮想的なＣＣＤ位置にある）間の距離ｋ0と撮像素子の画素ピッチｐｔと画素数とによって式１の変換行列を求める際の位置検出センサの配置例を示す説明図。 １つのカメラ内の位置検出検出センサとカメラ外部の２個所の位置検出センサの各フィールド座標よりカメラ座標を導く際の位置関係を示す説明図。 図１５の配置例によって式１の変換行列を求めるフローを示すフローチャート。 図１１、図１４、図１５のモデル化した図を示し、更に、カメラ空間の原点と撮像素子（計算上の仮想的なＣＣＤ位置にある）間の距離ｋ0に相当する数値が不明の場合であっても、撮像倍率αを算出し、撮像素子平面への座標変換を行う例を示す図。 図１７において撮像倍率αを算出するための説明図。 本発明の実施例３の画像処理装置の構成を示すブロック図。 図１９における撮像手段の出力画像全体と小画像の関係を示す図。 図２０における切出し位置算出方法を説明する図。 キャリブレーション方法を説明するもので、上空から見たカメラと選手の位置関係を示す図。 キャリブレーション方法を説明するフローチャート。 注目点検出手段の変形例を示す説明図。 本発明の実施例４の画像処理装置の構成を示すブロック図。 本発明の実施例５の画像処理装置の構成を示すブロック図。 本発明の実施例６の画像処理装置の構成を示すブロック図。 図２７における撮像選択手段の詳細な構成を示すブロック図。 サッカーグランドなどの競技場での例で、上空から見たカメラと選手の位置関係を示す平面図。 劇場などのホールでの例で、上から見たホールでのカメラとステージとの位置関係を示す平面図。 アダプティブアレイ・アンテナを用いて注目点を検出する方法を説明する図。 携帯電話からの電波の強度または時間差を用いて注目点を検出する方法を説明する図。
符号の説明
１１，１１Ａ，１１Ｂ，１１Ｃ…撮像手段
１２，１２Ａ…注目点検出手段
１３，１３Ｂ，１３Ｃ，１３Ｄ…切出し位置決定手段
１３Ａ…座標変換手段
１４…画像切出し手段
１５…切出し画像出力手段
代理人 弁理士 伊 藤 進

Claims (46)

  1. 注目対象物を光学系によって結像した後に撮像素子で撮像し前記注目対象物を含んだ画像情報を得る撮像手段と、
    フィールド内における前記注目対象物の注目点が存在する位置を前記撮像手段が存在する位置に関わらない情報により表現される位置情報として検出する注目点検出手段と、
    前記注目点検出手段が検出した位置情報と、前記撮像手段が撮像する方向および／または画角を基準とするカメラ座標との対応関係を表す関係情報を求める関係情報生成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記関係情報生成手段が求めた関係情報に基づいて、前記撮像素子で撮像する注目対象物の像が前記撮像素子面上で合焦するように前記光学系を制御するフォーカス制御手段
    を更に有することを特徴とする請求項１記載の画像処理装置。
  3. 注目対象物を光学系によって結像した後に撮像素子で撮像し注目対象物を含んだ画像情報を得る撮像手段と、
    フィールド内における前記注目対象物の注目点が存在する位置を前記撮像手段が存在する位置に関わらない情報により表現される位置情報として検出する注目点検出手段と、
    前記注目点検出手段が検出した位置情報と、前記撮像手段が撮像する撮像素子平面座標との対応関係を表す関係情報を求める関係情報生成手段と、
    を有することを特徴とする画像処理装置。
  4. 前記注目点が存在する位置の座標は、前記注目点がフィールド内において存在する絶対的な位置を座標によって表現するフィールド座標である
    ことを特徴とする請求項１または３に記載の画像処理装置。
  5. 前記注目点検出手段は、
    注目対象物のフィールド座標を測定する、注目対象物が有するフィールド座標検出手段と、
    前記フィールド座標検出手段が測定したフィールド座標情報を送信するフィールド座標情報送信手段と、
    前記フィールド座標送信手段が送信したフィールド座標情報を受信するフィールド座標情報受信手段とからなる
    ことを特徴とする請求項４記載の画像処理装置。
  6. 前記注目点検出手段は、前記注目点の位置を検出する、それぞれにアドレスが与えられた複数の注目点センサによって構成され、
    前記注目点が存在する位置の座標は、前記注目点を検出した前記注目点センサのアドレス番号であり、
    前記関係情報生成手段は、前記アドレス番号と該注目点センサがフィールド内において存在する絶対的な位置を座標によって表現するフィールド座標との対応関係を示した変換表を用いて、位置情報とカメラ座標との対応関係を求める
    ことを特徴とする請求項１に記載の画像処理装置。
  7. 前記注目点検出手段は、前記注目点の位置を検出する、それぞれにアドレス番号が与えられた複数の注目点センサによって構成され、
    前記注目点が存在する位置の座標は、前記注目点を検出した前記注目点センサのアドレス番号であり、
    前記関情報生成手段は、前記アドレス番号と該注目点センサが撮像される撮像素子平面座標との対応関係を示した変換表を用いて、前記位置情報と撮像素子平面座標との対応関係を求める
    ことを特徴とする請求項３に記載の画像処理装置。
  8. 前記関係情報生成手段が求めた関係情報に基づいて、前記撮像手段が得た画像情報のうちの一部の領域の画像情報を出力する画像切出し手段
    を更に有することを特徴とする請求項１又は３記載の画像処理装置。
  9. 前記関係情報生成手段が求めた関係情報に基づいて、前記撮像素子で撮像した画像情報のうちの一部の領域の画像情報を出力する画像切出し手段
    を更に有することを特徴とする請求項８記載の画像処理装置。
  10. 前記画像切出し手段が出力する画像情報は、
    前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出した注目点に対する点を中心とした所定面積の領域の画像情報である
    ことを特徴とする請求項８記載の画像処理装置。
  11. 前記注目対象物のフィールド空間内における大きさを記憶する注目対象サイズ情報記憶手段を更に有し、
    前記画像切出し手段は、
    前記注目点検出手段が検出した注目点に関する注目対象サイズを前記注目対象サイズ情報記憶手段から読み出し、この読み出した注目対象サイズを前記関係情報生成手段が求めた座標の関係情報に基づいて撮像素子平面座標に変換し前記所定面積の大きさとする
    ことを特徴とする請求項１０記載の画像処理装置。
  12. 前記画像切出し手段が出力する画像情報は、
    前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出された注目点を頂点とする多角形で囲われた領域の画像情報である
    ことを特徴とする請求項８記載の画像処理装置。
  13. 前記画像切出し手段が出力する画像情報は、
    前記撮像手段が得た画像情報のうちの前記注目点検出手段で検出された複数の注目点を全て含む領域の画像情報である
    ことを特徴とする請求項８記載の画像処理装置。
  14. 前記関係情報生成手段は、画像処理装置の起動時に前記関係情報を生成し、
    前記画像切出し手段は、前記関係情報生成手段が起動時に求めた前記関係情報に基づいて、前記撮像手段が得た画像情報のうちの一部の領域の画像情報を出力する
    ことを特徴とする請求項１又は３記載の画像処理装置。
  15. 前記関係情報生成手段は、前記注目点検出手段が検出したフィールド座標と前記撮像手段が撮像する方向および／または画角を基準とするカメラ座標との関係情報から、前記フィールド座標と前記撮像手段が撮像する撮像素子平面座標との関係情報を求めること
    ことを特徴とする請求項４に記載の画像処理装置。
  16. 前記カメラ座標は、
    前記光学系の入射瞳中心位置を原点とし、この原点と前記撮像素子面の中心とを通る主光線を１軸とし、この軸および互いに直交する２軸によって表現される３次元座標であり、前記フィールド座標系とは異なる座標系である
    ことを特徴とする請求項１５に記載の画像処理装置。
  17. 前記関係情報生成手段は、
    前記フィールド座標を前記カメラ座標に変換する変換式を用いて前記関係情報を求める
    ことを特徴とする請求項１６に記載の画像処理装置。
  18. 前記関係情報生成手段が用いる変換式は、
    前記光学系の倍率に応じて切り替えること
    を特徴とする請求項１７に記載の画像処理装置。
  19. 前記撮像素子平面座標は、
    前記撮像手段が撮像する撮像素子平面内の位置を特定する２軸によって表現される座標である
    ことを特徴とする請求項３に記載の画像処理装置。
  20. 前記関係情報生成手段は、
    前記フィールド座標を前記カメラ座標に変換する変換テーブルを用いて前記関係情報を求める
    ことを特徴とする請求項１９に記載の画像処理装置。
  21. 前記関係情報生成手段が用いる変換テーブルは、
    前記光学系の倍率に応じて切り替えること
    を特徴とする請求項２０に記載の画像処理装置。
  22. 前記撮像素子平面座標は、前記撮像手段が撮像する全体画角を複数の小画角に分割し、
    前記画像切出し手段は、前記関係情報生成手段が求めた座標の関係情報に基づいて前記複数の小画角から読み出すべき画角を選択し、前記撮像手段が得た画像情報のうち、この画角に対応する領域の画像情報を出力する
    ことを特徴とする請求項８に記載の画像処理装置。
  23. 前記撮像手段が得た画像情報と共に、前記注目点検出手段が検出した注目点のフィールド座標値または撮像素子平面座標を記録する画像情報記録手段を更に有し、
    前記画像切出し手段は、
    前記画像情報記録手段が記録した画像情報を読み出す際に注目点のフィールド座標値、又は、前記撮像素子平面座標も合わせて読み出し、この読み出したフィールド座標値または撮像素子平面座標に応じて、読み出した画像情報のうちの一部の領域の画像情報を出力する
    ことを特徴とする請求項８に記載の画像処理装置。
  24. 前記撮像手段が得た画像情報と、前記注目点検出手段が検出した注目点のフィールド座標と、前記カメラ座標と、前記関係情報生成手段が求めた関係情報とを記録する画像情報記録手段を更に有し、
    前記画像切出し手段は、
    前記画像情報記録手段が記録した画像情報を読み出す際に注目点のフィールド座標、カメラ座標、関係情報も合わせて読み出し、この読み出した注目点のフィールド座標、カメラ座標、関係情報に応じて、読み出した画像情報のうちの一部の領域の画像情報を出力する
    ことを特徴とする請求項８に記載の画像処理装置。
  25. 前記フィールド座標検出手段はＧＰＳ（全地球測位システム）を用いて注目点の緯度、経度、海抜を測定可能な手段であり、
    前記フィールド座標は、前記測定された緯度、経度、海抜の少なくとも２つにより表される座標である
    ことを特徴とする請求項５に記載の画像処理装置。
  26. 前記注目点検出手段は複数の無線基地局から発せられた電波の強度差または電波が到達する時間差から複数の基地局に対する注目点のフィールド座標を三点測量で測定する手段であり、
    前記フィールド座標は、前記測定された複数の基地局に対する注目点の位置を示す座標である
    ことを特徴とする請求項４に記載の画像処理装置。
  27. 前記注目点検出手段は前記注目点が発した電波が複数の無線基地局で受信した際の電波の強度差、或いは、時間差から複数の基地局に対する注目点のフィールド座標を三点測量で測定する手段であり、
    前記フィールド座標は、前記測定された複数の基地局に対する注目点の位置を示す座標である
    ことを特徴とする請求項４に記載の画像処理装置。
  28. 前記フィールド座標検出手段は等間隔に配置された複数の感圧センサ群であって、
    前記注目対象物が上に乗っている前記感圧センサが注目対象物を検出することで前記感圧センサ群上における注目対象物位置を測定し、
    前記フィールド座標は、前記測定された前記感圧センサ群上における注目対象物の位置を示す座標である
    ことを特徴とする請求項５に記載の画像処理装置。
  29. 前記注目対象物は、自らの存在位置を示す情報を発する情報発信手段を有し、
    前記注目点検出手段は前記情報発信手段が発した情報を基にして前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定する
    ことを特徴とする請求項４に記載の画像処理装置。
  30. 前記情報発信手段は、自らの存在位置を示す情報として所定周波数の電波を発し、
    前記注目点検出手段は、前記発せられた電波を受信するアダプティブアレイ・アンテナであり、
    アダプティブアレイ・アンテナを構成する複数のアンテナで前記情報発信手段が発した電波の位相差を検出し、
    この検出した位相差によって、前記電波を発した注目点がフィールド内で存在する方向を検出する
    ことを特徴とする請求項２９に記載の画像処理装置。
  31. 前記注目点検出手段は、複数のアダプティブアレイ・アンテナで構成され、
    前記複数のアダプティブアレイ・アンテナでそれぞれ検出した前記電波を発した注目点がフィールド内で存在する方向を基に３点測量を行い前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定する
    ことを特徴とする請求項３０に記載の画像処理装置。
  32. 前記情報発信手段は、所定周波数の超音波を発し、
    前記注目点検出手段は、前記情報発信手段が発した超音波を複数点で受信し３点測量を行い、前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定する
    ことを特徴とする請求項２９に記載の画像処理装置。
  33. 前記情報発信手段は、所定点滅周期で赤外光を発し、
    前記注目点検出手段は、前記情報発信手段が発した赤外光を複数点で受信し３点測量を行い、前記注目点検出手段に対する前記情報発信手段のフィールド座標を測定する
    ことを特徴とする請求項２９に記載の画像処理装置。
  34. 前記撮像手段に対する位置関係が既知である少なくとも１台の測距用カメラを更に有し、
    前記注目点検出手段は、前記測距用カメラと前記撮像手段で前記注目点を３点測量することで前記測距用カメラと前記撮像手段に対する注目点のフィールド座標を測定する
    ことを特徴とする請求項４に記載の画像処理装置。
  35. 前記撮像手段に対する位置関係が既知である、前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも２点のフィールド座標と、前記主光線に平行な線上以外の少なくとも１点のフィールド座標とを検出する位置検出センサを更に有し、
    前記関係情報生成手段は、
    前記少なくとも３点の位置検出センサにおけるフィールド座標の値と前記カメラ座標との対応関係から、前記注目点検出手段が検出したフィールド座標と前記撮像手段が撮像する撮像素子平面座標との前記関係情報を求める
    ことを特徴とする請求項１５に記載の画像処理装置。
  36. 前記撮像手段に対する位置関係が既知である、前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも１点のフィールド座標と、前記撮像手段が撮像する撮像領域内に位置し且つ前記主光線上の少なくとも１点および主光線上以外の少なくとも１点のフィールド座標とを検出する位置検出センサを更に有し、
    前記関係情報生成手段は、前記関係情報として、
    前記少なくとも３点の位置検出センサにおけるフィールド座標の値と前記カメラ座標との関係情報を用いて、前記注目点検出手段が検出したフィールド座標から、前記撮像手段が撮像する撮像素子平面座標への変換式を求める
    ことを特徴とする請求項１５に記載の画像処理装置。
  37. 前記画像切出し手段は、
    前記注目点検出手段がフィールド内における所定の特定領域内に注目点のフィールド座標を検出した際に、
    前記撮像手段が得た画像情報のうちの一部の領域の画像情報の出力を開始する
    ことを有することを特徴とする請求項８に記載の画像処理装置。
  38. 前記撮像手段は、撮像する領域、撮像する方向、撮像する倍率、撮像可能な被写界深度のうち少なくとも１つが異なる複数のカメラによって構成され、
    前記画像切出し手段は、
    前記注目点検出手段が検出した注目点のフィールド座標に応じて、前記複数のカメラから１つのカメラを選択し、選択したカメラが撮像した画像情報を出力する
    ことを特徴とする請求項８に記載の画像処理装置。
  39. 前記複数のカメラの撮像領域の重なり領域に前記注目点が存在している場合、
    前記画像切出し手段は、
    前記重なり領域に対応したカメラのうち、注目対象物を撮像する画素数が多いカメラを選択する
    ことを特徴とする請求項３８に記載の画像処理装置。
  40. 前記フィールド座標情報送信手段は、
    前記注目対象物に関する注目点のフィールド情報と共に注目対象物のＩＤ情報を送信する
    ことを特徴とする請求項５に記載の画像処理装置。
  41. 前記撮像手段の光学的な状態を制御するレンズ制御手段を更に有し、
    前記画像切出し手段は、
    前記レンズ制御手段が制御する光学的な状態に応じて出力する画像情報の領域の大きさを補正する
    ことを特徴とする請求項８に記載の画像処理装置。
  42. 前記撮像手段の光学的な状態を制御するレンズ制御手段を更に有し、
    前記注目点検出手段が検出した注目点のフィールド座標に対応する撮像素子平面座標が、前記撮像手段で撮像可能な座標範囲の外側にある場合、
    前記レンズ制御手段は、前記撮像手段の光学的な状態をワイド方向の画角となるように制御する
    ことを特徴とする請求項４に記載の画像処理装置。
  43. 請求項２０に記載の画像処理装置における変換テーブルを求めるキャリブレーション方法であって、
    前記フィールド内に所定間隔で注目点を配置する第１の工程と、
    前記配置した注目点のフィールド座標を求める第２の工程と、
    前記撮像手段で前記所定間隔で配置された注目点を撮像する第３の工程と、
    前記第１の工程で配置した注目点ごとに、前記第２の工程で求めたフィールド座標と、前記第３の工程で撮像した画像における撮像素子平面座標とを対応させることで、前記変換テーブルを作成する第４の工程と
    を有することを特徴とする画像処理装置のキャリブレーション方法。
  44. 請求項３５又は３６に記載の画像処理装置における変換式を求めるキャリブレーション方法であって、
    前記撮像手段が撮像する撮像領域内で且つ前記光学系の入射瞳中心位置と前記撮像素子面の中心とを通る主光線上の少なくとも１点および前記主光線上以外の少なくとも１点の注目点を前記フィールド内に配置する第１の工程と、
    前記配置した少なくとも２点の注目点のフィールド座標を求める第２の工程と、
    前記撮像手段で前記少なくとも２点の注目点を撮像する第３の工程と、
    前記撮像手段に対する位置関係が既知である前記主光線上の少なくとも１点のフィールド座標値と、前記第２の工程で求めた少なくとも２点のフィールド座標値とから求めた前記フィールド座標と前記カメラ座標との関係情報と、前記第３の工程で撮像した画像における少なくとも２点の注目点のフィールド座標値と撮像素子平面座標との関係情報とから前記変換式を作成する第４の工程と
    を有することを特徴とする画像処理装置のキャリブレーション方法。
  45. 注目対象物を光学系によって結像した後に撮像することによって得られた注目対象物を含んだ画像情報を入力する撮像データ入力手段と、
    フィールド内における前記注目点が存在する位置のフィールド座標を入力するフィールド座標入力手段と、
    前記フィールド座標入力手段から入力されたフィールド座標と、前記撮像データ入力手段から入力された画像情報における画像面内の座標との関係情報を求める関係情報生成手段と、
    を有することを特徴とする画像処理装置。
  46. コンピュータを
    注目対象物を光学系によって結像した後に撮像することによって得られた注目対象物を含んだ画像情報を入力する撮像データ入力手段と、
    フィールド内における前記注目点が存在する位置のフィールド座標を入力するフィールド座標入力手段と、
    前記フィールド座標入力手段から入力されたフィールド座標と、前記撮像データ入力手段から入力された画像情報における画像面内の座標との関係情報を求める関係情報生成手段と、
    して機能させるための画像処理プログラム。
JP2003402275A 2003-12-01 2003-12-01 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム Pending JP2005167517A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003402275A JP2005167517A (ja) 2003-12-01 2003-12-01 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム
US11/001,331 US20050117033A1 (en) 2003-12-01 2004-12-01 Image processing device, calibration method thereof, and image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003402275A JP2005167517A (ja) 2003-12-01 2003-12-01 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2005167517A true JP2005167517A (ja) 2005-06-23

Family

ID=34616736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003402275A Pending JP2005167517A (ja) 2003-12-01 2003-12-01 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム

Country Status (2)

Country Link
US (1) US20050117033A1 (ja)
JP (1) JP2005167517A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007109204A (ja) * 2005-09-15 2007-04-26 Fujitsu Ltd 画像処理装置及び画像処理方法
JP2009103499A (ja) * 2007-10-22 2009-05-14 Meidensha Corp トロリー線の摩耗量計測装置
WO2012053623A1 (ja) * 2010-10-22 2012-04-26 Murakami Naoyuki 数値制御機器のテレビカメラモニター画面での操作方法
JP2012525755A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラの最適視角位置を選択する方法
WO2013131036A1 (en) * 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
JP2016109698A (ja) * 2014-12-08 2016-06-20 国立大学法人 筑波大学 位置推定システム
WO2017056757A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 撮像装置および撮像方法
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
JP2019067419A (ja) * 2018-11-08 2019-04-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10600444B2 (en) 2016-03-08 2020-03-24 Fujitsu Limited Video image processing device, video image processing method, and non-transitory computer-readable recording medium
JP2021040225A (ja) * 2019-09-03 2021-03-11 キヤノン株式会社 制御装置、撮像装置、撮像システム、制御方法、および、プログラム
WO2023047804A1 (ja) * 2021-09-27 2023-03-30 株式会社Ｊｖｃケンウッド 撮像装置、撮像システム、撮像方法及びプログラム
WO2024070196A1 (ja) * 2022-09-28 2024-04-04 株式会社ユニゾンシステムズ 撮像システム、撮像プログラム、及び撮像方法
JP7478213B1 (ja) 2022-11-14 2024-05-02 アンリツ株式会社 格子センサーネットワークシステム、及び信号源位置推定方法

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623734B2 (en) * 2004-09-30 2009-11-24 Microsoft Corporation Method and system for automatically inscribing noisy objects in scanned image data within a minimum area rectangle
JP4317518B2 (ja) * 2004-12-14 2009-08-19 本田技研工業株式会社 物品運搬システム
JP2006174195A (ja) * 2004-12-17 2006-06-29 Hitachi Ltd 映像サービスシステム
US9189934B2 (en) * 2005-09-22 2015-11-17 Rsi Video Technologies, Inc. Security monitoring with programmable mapping
JP4456561B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
JP4670657B2 (ja) * 2006-01-24 2011-04-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及びプログラム
US20080232688A1 (en) * 2007-03-20 2008-09-25 Senior Andrew W Event detection in visual surveillance systems
JP2009253675A (ja) * 2008-04-07 2009-10-29 Canon Inc 再生装置および方法、プログラム
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US8698878B2 (en) * 2009-07-02 2014-04-15 Sony Corporation 3-D auto-convergence camera
KR101283825B1 (ko) * 2009-07-02 2013-07-08 소니 픽쳐스 엔터테인먼트, 인크. 3-ｄ 오토-컨버전스 카메라
US8878908B2 (en) * 2009-07-02 2014-11-04 Sony Corporation 3-D auto-convergence camera
JP5432664B2 (ja) * 2009-10-22 2014-03-05 キヤノン株式会社 撮像装置
US8731239B2 (en) * 2009-12-09 2014-05-20 Disney Enterprises, Inc. Systems and methods for tracking objects under occlusion
CN101782642B (zh) * 2010-03-09 2011-12-21 山东大学 多传感器融合的测量目标绝对定位的方法及装置
JP2011223565A (ja) * 2010-03-26 2011-11-04 Panasonic Corp 撮像装置
CN102073048A (zh) * 2010-11-16 2011-05-25 东北电力大学 具有逻辑判断的高压作业区矩形监测方法
US8861310B1 (en) * 2011-03-31 2014-10-14 Amazon Technologies, Inc. Surface-based sonic location determination
FR2975783A1 (fr) * 2011-05-27 2012-11-30 Mov N See Procede et systeme de poursuite d'une unite mobile par un dispositif de poursuite
US20130300832A1 (en) * 2012-05-14 2013-11-14 Sstatzz Oy System and method for automatic video filming and broadcasting of sports events
US20140125806A1 (en) * 2012-05-14 2014-05-08 Sstatzz Oy Sports Apparatus and Method
JP6153354B2 (ja) * 2013-03-15 2017-06-28 オリンパス株式会社 撮影機器及び撮影方法
EP2813810A1 (en) * 2013-06-13 2014-12-17 inos Automationssoftware GmbH Method for calibrating an optical arrangement comprising a carrier unit, an optical acquiring unit and a light emitting unit both connected to the carrier unit
KR102129797B1 (ko) * 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN111246195B (zh) * 2014-03-25 2022-01-11 6115187加拿大公司暨伊美景象公司 自动定义与场景图像内容相关的用户体验或系统行为的系统
US9398258B1 (en) * 2015-03-26 2016-07-19 Cisco Technology, Inc. Method and system for video conferencing units
US20170148488A1 (en) * 2015-11-20 2017-05-25 Mediatek Inc. Video data processing system and associated method for analyzing and summarizing recorded video data
CN105513012A (zh) * 2015-12-21 2016-04-20 中国电子科技集团公司第四十一研究所 示波器数字荧光图像的快速映射方法
CN106875444B (zh) * 2017-01-19 2019-11-19 浙江大华技术股份有限公司 一种目标物定位方法及装置
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
CN108038880B (zh) * 2017-12-20 2019-12-13 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
US10471591B1 (en) * 2018-06-01 2019-11-12 X Development Llc Object hand-over between robot and actor
US11115599B2 (en) 2020-01-14 2021-09-07 International Business Machines Corporation Automatic correction of camera views

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477459A (en) * 1992-03-06 1995-12-19 Clegg; Philip M. Real time three-dimensional machine locating system
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US6628283B1 (en) * 2000-04-12 2003-09-30 Codehorse, Inc. Dynamic montage viewer
US6774908B2 (en) * 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US7046273B2 (en) * 2001-07-02 2006-05-16 Fuji Photo Film Co., Ltd System and method for collecting image information
US7301569B2 (en) * 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
US6985811B2 (en) * 2001-10-30 2006-01-10 Sirf Technology, Inc. Method and apparatus for real time clock (RTC) brownout detection
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630511B2 (en) 2005-09-15 2014-01-14 Spansion Llc Image processing apparatus and method for image resizing matching data supply speed
JP2007109204A (ja) * 2005-09-15 2007-04-26 Fujitsu Ltd 画像処理装置及び画像処理方法
JP2009103499A (ja) * 2007-10-22 2009-05-14 Meidensha Corp トロリー線の摩耗量計測装置
JP2012525755A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラの最適視角位置を選択する方法
WO2012053623A1 (ja) * 2010-10-22 2012-04-26 Murakami Naoyuki 数値制御機器のテレビカメラモニター画面での操作方法
JP2012090196A (ja) * 2010-10-22 2012-05-10 Naoyuki Murakami 数値制御機器のテレビカメラモニター画面での操作方法
WO2013131036A1 (en) * 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
US8749634B2 (en) 2012-03-01 2014-06-10 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9565349B2 (en) 2012-03-01 2017-02-07 H4 Engineering, Inc. Apparatus and method for automatic video recording
US9800769B2 (en) 2012-03-01 2017-10-24 H4 Engineering, Inc. Apparatus and method for automatic video recording
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
JP2016109698A (ja) * 2014-12-08 2016-06-20 国立大学法人 筑波大学 位置推定システム
WO2017056757A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 撮像装置および撮像方法
JPWO2017056757A1 (ja) * 2015-09-30 2018-04-26 富士フイルム株式会社 撮像装置および撮像方法
US10389932B2 (en) 2015-09-30 2019-08-20 Fujifilm Corporation Imaging apparatus and imaging method
US10600444B2 (en) 2016-03-08 2020-03-24 Fujitsu Limited Video image processing device, video image processing method, and non-transitory computer-readable recording medium
JP2019067419A (ja) * 2018-11-08 2019-04-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2021040225A (ja) * 2019-09-03 2021-03-11 キヤノン株式会社 制御装置、撮像装置、撮像システム、制御方法、および、プログラム
WO2023047804A1 (ja) * 2021-09-27 2023-03-30 株式会社Ｊｖｃケンウッド 撮像装置、撮像システム、撮像方法及びプログラム
WO2024070196A1 (ja) * 2022-09-28 2024-04-04 株式会社ユニゾンシステムズ 撮像システム、撮像プログラム、及び撮像方法
JP7505838B1 (ja) 2022-09-28 2024-06-25 株式会社ユニゾンシステムズ 撮像システム、撮像プログラム、及び撮像方法
JP7478213B1 (ja) 2022-11-14 2024-05-02 アンリツ株式会社 格子センサーネットワークシステム、及び信号源位置推定方法

Also Published As

Publication number Publication date
US20050117033A1 (en) 2005-06-02

Similar Documents

Publication Publication Date Title
JP2005167517A (ja) 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム
EP2779620B1 (en) Image generation device, and image generation method
KR101694689B1 (ko) 동영상 데이터 생성 방법 및 이를 적용한 영상 촬영 장치
EP2779621B1 (en) Image generation device, image generation method and program
US10284776B2 (en) Image generation apparatus and image generation method
US9894272B2 (en) Image generation apparatus and image generation method
JP2007043225A (ja) 撮像画像処理装置及び撮像画像処理方法
CN102724398B (zh) 图像数据提供方法、组合方法及呈现方法
JP2008259000A (ja) テレビ会議装置、制御方法、およびプログラム
KR20060120052A (ko) 파노라마 또는 모자이크 기능을 구비한 디지털 카메라
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
JP2023509137A (ja) パノラマ３次元画像をキャプチャ及び生成するシステム及び方法
JPWO2018088037A1 (ja) 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム
JP2015506030A (ja) ビデオムービーを撮影するためのシステム
JP2009010728A (ja) カメラ設置支援装置
JP2013106324A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006262030A (ja) 画角調整装置、カメラシステムおよび画角調整方法
JP5714960B2 (ja) 監視範囲検知装置
US20200099917A1 (en) Robotic laser guided scanning systems and methods of scanning
JPH11164292A (ja) 画像生成装置，画像呈示装置，画像生成方法及び画像合成方法
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20160031464A (ko) 비디오 필름을 촬영하기 위한 촬영 카메라의 위치를 추적하는 시스템
JP2005266520A (ja) 撮像装置および撮像方法
JP6805350B2 (ja) 撮像素子、撮像装置、および距離画像の取得方法
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090929