JP3548308B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP3548308B2
JP3548308B2 JP33692795A JP33692795A JP3548308B2 JP 3548308 B2 JP3548308 B2 JP 3548308B2 JP 33692795 A JP33692795 A JP 33692795A JP 33692795 A JP33692795 A JP 33692795A JP 3548308 B2 JP3548308 B2 JP 3548308B2
Authority
JP
Japan
Prior art keywords
image
still image
recording
correction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33692795A
Other languages
Japanese (ja)
Other versions
JPH09181959A (en
Inventor
英夫 河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP33692795A priority Critical patent/JP3548308B2/en
Priority to US08/690,813 priority patent/US6388705B1/en
Priority to EP96112542A priority patent/EP0757480B1/en
Priority to DE69634868T priority patent/DE69634868T2/en
Priority to EP04014519A priority patent/EP1463303A3/en
Publication of JPH09181959A publication Critical patent/JPH09181959A/en
Application granted granted Critical
Publication of JP3548308B2 publication Critical patent/JP3548308B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置に関し、特にそのぶれ(ブレと表記されることもある)補正に関するものである。
【0002】
【従来の技術】
従来よりビデオカメラはAE(オートエクスポージャ),AF(オートフォーカス)等あらゆる点で自動化,多機能化が図られ、良好な撮影が容易に行えるようになっている。
【0003】
また、近年ビデオカメラの小型化や、光学系の高倍率化に伴い、カメラのぶれが撮影画像の品位を低下させる大きな原因となっていることに着目し、このカメラぶれを補正するぶれ補正機能付撮像装置が種々提案されている。
【0004】
図5に従来のぶれ補正機能付撮像装置の要部構成の一例を示す。同図において、1は例えば振動ジャイロ等の角速度センサからなる角速度検出器であり、カメラ等のぶれ補正機能付撮像装置に取り付けられている。2は角速度検出器1から出力される角速度信号の直流成分を遮断して交流成分すなわち振動成分のみを通過させるDCカットフィルタである。このDCカットフィルタは、所定の帯域で信号を遮断するハイパスフィルタ(以下HPFと記す)を用いても良い。
【0005】
3はDCカットフィルタ2より出力された角速度信号を適当なレベル(所要の検出感度が得られるレベル)に増幅するアンプである。
【0006】
4はアンプ3より出力された角速度信号をデジタル信号に変換するA/D変換器、5はA/D変換器4の出力の低周波成分を遮断するハイパスフィルタ(HPF)であり、任意の帯域で特性を可変し得る機能を有する。6はHPF5の出力(角速度信号)を積分して角変位信号を出力する積分器であり、任意の帯域で特性を可変し得る機能を有する。7は角速度信号及び積分器回路6より出力された角速度信号の積分信号すなわち角変位信号からパンニング・チルティングの判定を行うパン・チルト判定回路であり、角速度信号及び角変位信号のレベルにより後述するパンニング,チルティング制御を行う。8は角変位信号の出力をアナログ信号に変換して出力するD/A変換器である。そしてA/D変換器4,HPF5,積分器6,パン・チルト判定回路7,D/A変換器8は、例えばマイクロコンピュータ(以下マイコンと称す)COMによって構成される。9はマイコンより出力された角変位信号に基づいて、後段の画像補正手段をぶれを抑制するように駆動する駆動回路、10は画像補正手段であり、光学的に光軸を変移させてぶれを相殺する光学的補正手段が用いられている。
【0007】
ここでパン・チルト判定回路7の動作について詳しく述べる。A/D変換器4より出力された角速度信号及び積分回路6より出力された角変位信号を入力し、角速度が所定のしきい値以上、あるいは角速度が所定のしきい値以内であっても、角速度信号を積分した角変位信号が所定のしきい値以上の場合に、パンニングあるいはチルティングであると判定し、このようなときには、HPF5の低域カットオフ周波数を高域側へと変移させ、低域の周波数に対してぶれ補正系が応答しないように特性を変更し、更にパンニング,チルティングが検出された場合には、画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングするために、積分器6の積分特性の時定数を短くなる方向に変移させ、積分器に蓄積された値が基準値(揺れを検出していない状態においてとりうる値)とする制御(パンニング,チルティング制御)を行う。
【0008】
なお、この間も角速度信号及び角変位信号の検出は行われており、パンニング,チルティングが終了した場合には、再び低域のカットオフ周波数を低下しまた積分特性の時定数を長くしてぶれ補正範囲を拡張する動作が行われパンニング,チルティング制御から抜ける。
【0009】
この動作を図6のフローチャートを用いて説明すると、
#01 このフローの始まりであり、所定のタイミングで繰り返し開始される。
【0010】
#02 増幅された角速度信号をアナログ量からマイコン内で扱えるデジタル値に変換する。
【0011】
#03 前回用意されたカットオフ周波数(fc)の値を用いHPFの演算を行う。
【0012】
#04 前回用意された時定数の値を用い積分演算を行う。
【0013】
#05 積分結果、すなわち角変位信号をアナログ量に変換して出力する。
【0014】
#06 角速度信号が所定のしきい値以上であるかを判断する。
【0015】
#07 積分値が所定のしきい値以上であるかを判断する。
【0016】
ここで、角速度信号が所定のしきい値以上、あるいは角速度信号が所定のしきい値に満たなくとも、積分値が所定のしきい値以上ならばパンニング,チルティング状態と判断し#08へ、角速度信号と積分値が共に所定のしきい値に満たない場合は通常制御状態、あるいはパンニング,チルティングの終了状態と判断し#10へ進む。
【0017】
#08 HPF演算に用いるカットオフ周波数の値を現在の値より所定の値だけ高くし、低周波信号の減衰率を現在のそれより大きくする。
【0018】
#09 積分演算に用いる時定数の値を現在の値より所定の値だけ短くし、角変位出力が基準値に近づくようにする。
【0019】
#10 HPF演算に用いるカットオフ周波数の値を現在の値より所定の値だけ低くし、低周波信号の減衰率を現在のそれより小さくする。
【0020】
#11 積分演算に用いる時定数の値を現在の値より所定の値だけ長くし、積分効果を上げる。
【0021】
#12 処理の終了。
【0022】
次に、この従来例における画像補正手段10の一例を図7に示す。
【0023】
同図は特に可変頂角プリズム100を用いるとともに、駆動系にはボイス・コイル型駆動装置110を使用し、角変位をエンコーダ120で検出して駆動系にフィードバックして駆動量を制御するような閉ループを構成する制御系としたものである。
【0024】
可変頂角プリズム100について詳しく述べると、同図に示す101,101′は対向して配置されている平面ガラスであり、102は透明な高屈折率(屈折率n)の不活性液体(または弾性体)、103は高屈折液体102を外周より樹脂フィルム等にて弾力的に封止する封止材、104は平面ガラス101に直角に入射し、高屈折液体102および平面ガラス101′を透過した光の光路を示したものである。
【0025】
同図(a)は平面ガラス101及び101′が平行に保持されている状態であり、光路104は平面ガラス101に直角に入射し、高屈折率液体102を通り、平面ガラス101′より直角に射出する。
【0026】
同図(b)はボイス・コイル型駆動装置110により、平面ガラス101′を傾けた状態であり、光学的光軸を変移させた状態にあたる。
【0027】
この状態は、平面ガラス101,101′及び高屈折率液体102とで光学的なプリズムを形成し、したがって平面ガラス101に直角に入射した光は平面ガラス101′より射出されるときに同図に示すように光路104を変化させられる。
【0028】
同図(b)において、可変頂角プリズム100の一方の平面ガラス101′を平面ガラス101に対し角度σだけ回動させたときの入射光束104′の通過状態を更に説明していくと、同図に示すように、平面ガラス101に入射してきた光束104′は楔形プリズムと同じ原理により、角度φ=(n−1)σだけ偏向されて出射する。即ち、光軸104′は角度分だけ偏心(偏向)される。なお、σは図から明らかなようにプリズムの頂角に相当する。nは屈折率でありガラスの屈折率に近いものとする。
【0029】
この可変頂角プリズム100を用いた場合のぶれ補正動作を図8を用いて説明する。同図において101′−A及び101′−Bは先に説明した平面ガラス、104及び104′は光路、150は撮像光学系、161は結像した光を光電変換し電気信号として出力する撮像素子、162は撮像素子161の電気信号を例えばNTSC等のビデオ信号に変換する信号処理回路、13はビデオ信号を記録する記録装置である。
【0030】
平面ガラス101′−Aが同図に示すように前記平行にある場合、光路は104に示すように直線的に結像面に結ばれるが、101′−Bに示すように傾きを生じた場合、光路は104′に示すように変化し撮像装置の揺れなどによる被写体像の移動すなわち像ぶれを光学的に補正することが可能となる。
【0031】
次に図7に戻り、駆動装置すなわち駆動アクチュエータ110について説明すると、111はヨーク、112はマグネット、113はコイル、114は駆動トルクを伝達するアームであり、コイル113に電流を流すことにより、可変頂角プリズム100の頂角を可変し得るボイスコイル型のアクチュエータが構成されている。
【0032】
更に可変頂角プリズムの傾きを検出するために角変位エンコーダ120を設けており、121は可変頂角プリズム100の角変位検出用のスリットであり、可変頂角プリズム100の平面ガラス101′とともにアーム114を通じ回動してしその位置を変位する。122はスリット121の位置を検出するための発光ダイオード、123はPSD(Position Sensing Detector:フォトダイオードの表面抵抗を利用した入射光スポット位置検出センサ)であり、PSD123は、発光ダイオード122とともにスリット121の変位を検出することにより、可変頂角プリズム100の頂角の角変位を検出するエンコーダを構成している。
【0033】
そして可変頂角プリズム100によって光路が変えられた光束は図8に示す撮像光学系150を通じ撮像素子161の撮像面上に結像され信号処理され記録装置13にて記録される。
【0034】
なお図7には説明の便宜上不図示であるが、前記可変頂角プリズム100の駆動方向と直角に同様の機能をもつ駆動アクチュエータ,エンコーダ及び制御装置が存在し、撮像光学系の光軸に対し上下左右のぶれ補正を可能にするものである。
【0035】
次に可変頂角プリズム100を駆動制御する制御回路の基本的な構成及び動作について図9のブロック図を用いて説明する。同図において、100は可変頂角プリズム、131はアンプ、132はアクチュエータを駆動するドライバ、110は前述した可変頂角プリズム駆動用のボイス・コイル型アクチュエータ、120は可変頂角プリズムの頂角変位を検出するエンコーダ、134はマイクロコンピュータCMOから出力されるぶれ補正用の制御信号133と角変位エンコーダ120の出力信号とを逆極性で加算する加算器である。この構成により、マイクロコンピュータCOMから出力されるぶれ補正用の制御信号133と角変位エンコーダ120の出力信号とが等しくなるように制御系が動作するので、結果としてエンコーダ120の出力が制御信号133に一致するように可変頂角プリズム100が駆動されることにより、マイクロコンピュータCOMの指示された位置(頂角)に可変頂角プリズム100が制御される。
【0036】
【発明が解決しようとする課題】
しかしながら、前記従来例に示す光学的補正手段を用いた場合、光学的補正を行う際に程度の差こそあれ光学的な分光(スペクトルの分散)を生じてしまい、補正光学系の補正量に伴い撮像画の輪郭部等に色のノイズ(色ずれ)が発生してしまう。
【0037】
特に、前記従来例で説明した平面ガラスと高屈折率液体を組み合わせた可変頂角プリズムでは、光軸を変移させたときに分光が顕著に現れる。
【0038】
従来よりあるビデオカメラ等の動画においては、補正光学系の動きが補正中心(光軸)を基準にし、ほぼ左右上下対称に補正動作が行われるため、人間の目による積分効果により色ずれが軽減され、大きな問題とはならなかった。
【0039】
しかし、近年撮像装置及び記録装置のデジタル化に伴い、動画と静止画を同一のシステムで記録再生する装置の提案がなされている。
【0040】
もちろん、そのようなシステムにも画像のぶれを防ぐ、あるいは軽減させる目的でぶれ補正装置が採用されようとしているが、従来のような光学的補正方式である場合、静止画記録では色ずれがそのまま記録されてしまい、撮影画像の品位の低下につながる問題がある。
【0041】
本発明は、このような状況のもとでなされたもので、静止画撮影モード時に、色ずれが少なく、ぶれのない画像の得られる撮像装置を提供することを目的とするものである。
【0042】
【課題を解決するための手段】
前記目的を達成するため、本発明では、撮像装置を次の(1),(2)のとおりに構成する。
【0043】
(1)撮像装置の振動を検出する振動検出手段と、この振動検出手段の出力に基づいて撮像光学系の画像のぶれを光学的に補正する画像補正手段と、この画像補正手段で補正された画像を撮像する撮像手段と、この撮像手段による撮影モードを動画モードと静止画モードに切り替える撮影モード切替え手段と、この撮影モード切替え手段で撮影モードを静止画モードに切り替えた場合に、前記画像補正手段の補正量が所定値以上では静止画撮影を許可しない制御手段とを備えたことを特徴とする撮像装置。
【0044】
(2)画像補正手段は、可変頂角プリズムを備える前記(1)記載の撮像装置。
【0045】
【発明の実施の形態】
本発明は、ビデオカメラと記録装置とを一体に構成した記録装置一体型撮像装置の形で、またビデオカメラと記録装置を別体とし、ビデオカメラと記録装置を有線,無線で結合した記録装置別体型の形で実施することができる。更に撮像装置自体にモニタ,記録装置を設けず、撮像装置からライン入力するパソコン等の装置の表示装置,記録装置を利用する形で実施することもできる。
【0046】
以下本発明を、記録装置一体型撮像装置の形で、かつ画像補正手段に可変頂角プリズムを用いた実施例により詳しく説明する。なお、画像補正手段として可変頂角プリズムに限らず、レンズチルト・シフトタイプ等の適宜の光学的補正手段を用いて実施することができる。
【0047】
【実施例】
(実施例1)
図1は、実施例1である“撮像装置”の要部の構成を示すブロック図である。
【0048】
同図において、図5に示す従来例と同構成部分については同一の符号を付し、詳細な説明は省略する。
【0049】
同図において、撮像装置に取り付けられた振動ジャイロ等の角速度センサからなる角速度検出手段1,角速度検出手段1から出力される速度信号の直流成分を遮断するDCカットフィルタ(あるいはHPF)2,角速度信号を所定のレベルに増幅するアンプ3,駆動回路9,画像補正手段10については従来例と同一構成のものを用いることができる。
【0050】
更に、13は前記従来例を示す図5にて不図示であった記録装置であり、従来の動画の記録のほかに静止画の記録も可能なものである。11は記録制御切替え器であり、撮影者が自分の意思により撮影状態を、動画あるいは静止画に切り替えるスイッチである。12は記録制御切替え器11が静止画記録状態に選択されているときに、静止画を撮影するための静止画記録スイッチである。14は静止画記録スイッチ12が押されたときに積分値(=光軸補正角変位)が所定の範囲の時にだけ記録装置13に静止画記録の許可信号を出力する静止画記録制御回路である。
【0051】
本実施例において、記録制御切替え器11が動画記録側に設定されている場合、ぶれ補正動作は前記従来例となんら変わることなく制御されている。
【0052】
記録制御切替え器11を動画記録から静止画記録にした場合、記録装置13は記録状態を動画から静止画に切り替え、同時に不図示の撮像素子も撮像状態を静止画に対応した状態に切り替えるとともに、静止画記録制御回路14にも伝達される。また、静止画撮影状態に切り替えられた時、記録装置13は静止画記録スイッチ12より静止画記録制御回路14を介し入力される記録信号により静止画の記録を開始するものである。
【0053】
この時のCOMの動作を図2のフローチャートを用いて説明する。
【0054】
#21 このフローの始まりであり、所定のタイミングで繰り返し開始される。
【0055】
#22 記録制御切替え器11が静止画記録状態になっていることを判断する。
【0056】
静止画記録状態が選択されている場合は#23に、動画記録状態が選択されている場合は#26の処理の終了となる。
【0057】
#23 静止画記録スイッチ12が押されたかを判断する。
【0058】
静止画記録スイッチ12が押されていれば撮影者が静止画の記録を要求したものとし#24に、静止画記録スイッチ12が押されていなければ#26の処理の終了となる。
【0059】
#24 積分値(=角変位)が所定の範囲以内であるかを判断する。所定の範囲内にあれば#25へ、所定の範囲外であれば#26の処理の終了となる。
【0060】
#25 静止画の記録を開始する。
【0061】
#26 処理の終了。
【0062】
以上の処理が行われ、静止画記録状態において、積分値(光軸補正手段の補正角変位)が所定の値以内の場合のみ静止画の記録が可能となる。
【0063】
図3により動画記録時と静止画記録時のパンニングあるいはチルティング時の光軸の角変位を示す。
【0064】
同図は実施例の撮像装置を単一方向に振った場合の各部の角変位をグラフとして示し、また本説明はパン・チルト判定回路が角変位(=積分値)の増加による判定を行ったときの状態(図5の#07にてYesの判断を行った場合)にて説明をする。
【0065】
図3にパンニングあるいはチルティング時の撮影装置の角変位,光軸の角変位及び静止画撮影の状況を示す。
【0066】
同図は撮像装置を単一方向に振った場合の各部の角変位をグラフとして示したものである。
【0067】
同図71は撮像装置などの角変位(揺れ)、72はその時の光軸補正量の角変位を示す。
【0068】
73は動画撮影時の角変位のしきい値(積分値のしきい値)を示し、このしきい値を超えると前記パン・チルト判定回路により、パンニングあるいはチルティングと判断され、HPF5の低域カットオフ周波数を高域側へと変移させ、低域の周波数に対してぶれ補正系が応答しないように特性を変更し、更に画像補正手段の補正位置を徐々に移動範囲中心へとセンタリングするために、積分器6の積分特性の時定数を短くなる方向に変移させ、積分器に蓄積された値が基準値とする制御がなされる。
【0069】
74は前記静止画記録制御回路14の記録開始の判断を行うためのしきい値であり、光軸補正量72がこのしきい値74の下方(補正量の小さい側)にある場合には前記フローチャートで示したように静止画記録を許可し、反対にこの点線の上側(補正量の多い側)にある場合には静止画記録を行わない。
【0070】
75,76,77は同グラフにおいて静止画記録が許可される範囲を示したものであり、前述したように、75と77は静止画記録が許可されている範囲であり、静止画記録スイッチ12が有効に働くことを示している。76はそれとは逆に静止画記録スイッチ12が無効である(記録開始が行われない)ことを示している。
【0071】
同図からわかるように、光軸補正量の小さい(=色ずれが少ない)領域のみ静止画記録スイッチ12が有効になり、反対に光学補正量が大きい(=色ずれが大きい)領域では静止画記録スイッチ12は無効になる。
【0072】
また、本実施例において光学的補正量が大きい状態(例えば、図3の領域76)より連続的に静止画記録スイッチ12を押していた場合、補正量が小さい領域(例えば、図3の領域77)になった時点で静止画の記録が開始されるものである。
【0073】
以上説明したように、本実施例によれば、静止画撮影モードに切り替えたとき、色ずれが少なく、ぶれのない画像が記録できる。
【0074】
(実施例2)
本実施例は、前記実施例1とハードウエアの構成は同一であるが、静止画撮影スイッチ12をオンした後の処理に前記実施例1と差異がある。
【0075】
図4は実施例2である“撮影装置”の動作を説明するためのフローチャートである。
【0076】
同フローチャートにて本実施例におけるCOMの動作を説明する。
【0077】
#41 このフローの始まりであり、所定のタイミングで繰り返し開始される。
【0078】
#42 記録制御切替え器11が静止画記録状態になっていることを判断する。
【0079】
静止画記録状態が選択されている場合は#43に、動画記録状態が選択されている場合は#46の処理の終了となる。
【0080】
#43 静止画記録スイッチ12が押されたかを判断する。
【0081】
静止画記録スイッチ12が押されていれば撮影者が静止画の記録を要求したものとし#44に、静止画記録スイッチ12が押されていなければ#46の処理の終了となる。
【0082】
#44 積分値(=角変位)が所定の範囲以内であるかを判断する。所定の範囲内にあれば#45へ、所定の範囲外であれば再び同じ判断(#44)の判断を行う。
【0083】
#25 静止画の記録を開始する。
【0084】
#26 処理の終了。
【0085】
以上のように実施例1との差異は、実施例1が積分値(角変位)が所定の値を超えている場合には処理を終了(#26)であったのに対して、本実施例においては#44にて積分値が所定の値以内になるまで同判断を繰り返し行うことにある。
【0086】
これにより、静止画撮影状態において静止画撮影スイッチ12を一度でも押した場合、積分値が所定の値以内になるまで判断を繰り返した後、静止画記録を開始するものである。
【0087】
【発明の効果】
以上説明したように、本発明によれば、静止画撮影モード時に、色ずれが少なく、ぶれのない良好な画像を得ることができる。
【図面の簡単な説明】
【図1】実施例1の要部の構成を示すブロック図
【図2】実施例1の動作を示すフローチャート
【図3】実施例1における静止画記録制御を示す図
【図4】実施例2の動作を示すフローチャート
【図5】従来例の要部の構成を示す図
【図6】パンニング,チルティング判定のフローチャート
【図7】可変頂角プリズムの構成,動作を示す図
【図8】可変頂角プリズムによるぶれ補正動作を示す図
【図9】可変頂角プリズムを制御する構成を示すブロック図
【符号の説明】
1 ジャイロ
7 パン・チルト判定回路
10 画像補正手段
11 記録制御切替え器
12 静止画記録スイッチ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image pickup apparatus, and more particularly to correction of blurring (sometimes referred to as blurring).
[0002]
[Prior art]
2. Description of the Related Art Conventionally, video cameras have been automated and multifunctional in all aspects, such as AE (auto exposure) and AF (auto focus), so that good shooting can be easily performed.
[0003]
Focusing on the recent downsizing of video cameras and the increase in the magnification of optical systems, camera shake has become a major cause of degrading the quality of captured images. Various types of image pickup apparatuses have been proposed.
[0004]
FIG. 5 shows an example of a configuration of a main part of a conventional imaging apparatus with a shake correction function. In FIG. 1, reference numeral 1 denotes an angular velocity detector including an angular velocity sensor such as a vibrating gyroscope, which is attached to an imaging device with a shake correction function such as a camera. Reference numeral 2 denotes a DC cut filter that cuts off a DC component of the angular velocity signal output from the angular velocity detector 1 and passes only an AC component, that is, a vibration component. As the DC cut filter, a high-pass filter (hereinafter, referred to as HPF) that blocks a signal in a predetermined band may be used.
[0005]
Reference numeral 3 denotes an amplifier for amplifying the angular velocity signal output from the DC cut filter 2 to an appropriate level (a level at which a required detection sensitivity is obtained).
[0006]
Reference numeral 4 denotes an A / D converter that converts the angular velocity signal output from the amplifier 3 into a digital signal. Reference numeral 5 denotes a high-pass filter (HPF) that blocks a low-frequency component of the output of the A / D converter 4, and an arbitrary band. Has the function of changing the characteristics. Reference numeral 6 denotes an integrator that integrates the output (angular velocity signal) of the HPF 5 and outputs an angular displacement signal, and has a function of changing characteristics in an arbitrary band. Reference numeral 7 denotes a pan / tilt determination circuit which determines panning / tilting from an angular velocity signal and an integral signal of the angular velocity signal output from the integrator circuit 6, that is, an angular displacement signal. The pan / tilt determination circuit 7 will be described later based on the levels of the angular velocity signal and the angular displacement signal. Perform panning and tilting control. Reference numeral 8 denotes a D / A converter that converts the output of the angular displacement signal into an analog signal and outputs the analog signal. The A / D converter 4, the HPF 5, the integrator 6, the pan / tilt determination circuit 7, and the D / A converter 8 are constituted by, for example, a microcomputer COM. Reference numeral 9 denotes a drive circuit for driving the image correcting means in the subsequent stage so as to suppress blurring based on the angular displacement signal output from the microcomputer. Numeral 10 denotes image correcting means, which optically shifts the optical axis to reduce blurring. Canceling optical correction means are used.
[0007]
Here, the operation of the pan / tilt determination circuit 7 will be described in detail. The angular velocity signal output from the A / D converter 4 and the angular displacement signal output from the integration circuit 6 are input, and even if the angular velocity is equal to or more than a predetermined threshold or the angular velocity is within a predetermined threshold, When the angular displacement signal obtained by integrating the angular velocity signal is equal to or larger than a predetermined threshold value, it is determined that the panning or the tilting is performed. In such a case, the low frequency cutoff frequency of the HPF 5 is shifted to the high frequency side, The characteristic is changed so that the shake correction system does not respond to the low frequency, and when panning and tilting are detected, the correction position of the image correction means is gradually centered at the center of the movement range. Then, control is performed such that the time constant of the integration characteristic of the integrator 6 is shifted in a shorter direction, and the value stored in the integrator is set to a reference value (a value that can be taken in a state where no fluctuation is detected) (panning Performs tilting control).
[0008]
During this time, the angular velocity signal and the angular displacement signal are still detected, and when the panning and the tilting are completed, the low-frequency cutoff frequency is lowered again, and the time constant of the integration characteristic is lengthened and the camera shakes. An operation of expanding the correction range is performed, and the process exits from panning and tilting control.
[0009]
This operation will be described with reference to the flowchart of FIG.
# 01 This is the start of this flow, which is repeatedly started at a predetermined timing.
[0010]
# 02 Converts the amplified angular velocity signal from an analog amount to a digital value that can be handled in the microcomputer.
[0011]
# 03 The HPF is calculated using the previously prepared cutoff frequency (fc) value.
[0012]
# 04 Integral calculation is performed using the value of the previously prepared time constant.
[0013]
# 05 The integration result, that is, the angular displacement signal is converted into an analog amount and output.
[0014]
# 06 It is determined whether the angular velocity signal is equal to or greater than a predetermined threshold.
[0015]
# 07 It is determined whether or not the integral value is equal to or greater than a predetermined threshold.
[0016]
Here, even if the angular velocity signal is equal to or greater than a predetermined threshold value, or if the integral value is equal to or greater than the predetermined threshold value, the panning and tilting states are determined and the process proceeds to # 08, even if the angular velocity signal does not satisfy the predetermined threshold value. If both the angular velocity signal and the integral value are less than the predetermined threshold value, it is determined that the control state is the normal control state or the panning and tilting end states, and the process proceeds to # 10.
[0017]
# 08 The value of the cutoff frequency used for the HPF calculation is made higher than the current value by a predetermined value, and the attenuation rate of the low frequency signal is made larger than the current value.
[0018]
# 09 The value of the time constant used for the integration operation is shortened by a predetermined value from the current value so that the angular displacement output approaches the reference value.
[0019]
# 10 The value of the cutoff frequency used for the HPF calculation is made lower than the current value by a predetermined value, and the attenuation rate of the low-frequency signal is made smaller than the current value.
[0020]
# 11 The value of the time constant used for the integration operation is made longer than the current value by a predetermined value to increase the integration effect.
[0021]
# 12 End of processing.
[0022]
Next, an example of the image correction means 10 in the conventional example is shown in FIG.
[0023]
The figure uses a variable apex prism 100 in particular, uses a voice coil type driving device 110 as a driving system, detects angular displacement by an encoder 120, and feeds it back to the driving system to control the driving amount. This is a control system that forms a closed loop.
[0024]
The variable apex prism 100 will be described in detail. Reference numerals 101 and 101 ′ shown in FIG. 1 denote flat glass placed opposite to each other, and 102 denotes a transparent high refractive index (refractive index n) inert liquid (or elastic liquid). And 103, a sealing material for elastically sealing the high-refractive liquid 102 from the outer periphery with a resin film or the like; 104, incident perpendicularly to the flat glass 101 and transmitted through the high-refractive liquid 102 and the flat glass 101 '. It shows an optical path of light.
[0025]
FIG. 7A shows a state in which the flat glasses 101 and 101 ′ are held in parallel, and the optical path 104 is incident on the flat glass 101 at right angles, passes through the high-refractive-index liquid 102, and is perpendicular to the flat glasses 101 ′. Inject.
[0026]
FIG. 2B shows a state in which the plane glass 101 ′ is inclined by the voice coil type driving device 110, and corresponds to a state in which the optical axis is shifted.
[0027]
In this state, an optical prism is formed by the flat glasses 101 and 101 'and the high-refractive-index liquid 102, so that light incident on the flat glass 101 at right angles is emitted from the flat glass 101' in FIG. The optical path 104 can be changed as shown.
[0028]
In FIG. 2B, the passing state of the incident light beam 104 'when one flat glass 101' of the variable apex angle prism 100 is rotated by an angle σ with respect to the flat glass 101 will be further described. As shown in the figure, the light beam 104 'incident on the flat glass 101 is deflected by an angle φ = (n-1) σ and emitted according to the same principle as the wedge prism. That is, the optical axis 104 'is decentered (deflected) by the angle. Note that σ corresponds to the vertex angle of the prism as is apparent from the figure. n is a refractive index, which is close to the refractive index of glass.
[0029]
A blur correction operation using the variable apex angle prism 100 will be described with reference to FIG. In the figure, 101'-A and 101'-B are the above-mentioned flat glass, 104 and 104 'are optical paths, 150 is an image pickup optical system, 161 is an image pickup device which photoelectrically converts the formed light and outputs it as an electric signal. , 162 are signal processing circuits for converting electric signals of the image sensor 161 into video signals such as NTSC, for example, and 13 is a recording device for recording video signals.
[0030]
When the flat glass 101'-A is parallel as shown in the figure, the optical path is linearly connected to the image plane as shown at 104, but when the optical path is tilted as shown at 101'-B The optical path changes as shown by 104 ', and it becomes possible to optically correct the movement of the subject image, that is, the image blur due to the shaking of the image pickup apparatus.
[0031]
Next, returning to FIG. 7, the driving device, that is, the driving actuator 110 will be described. Reference numeral 111 denotes a yoke, 112 denotes a magnet, 113 denotes a coil, and 114 denotes a driving torque transmitting arm. A voice coil type actuator capable of changing the apex angle of the apex angle prism 100 is configured.
[0032]
Further, an angular displacement encoder 120 is provided to detect the inclination of the variable apex angle prism. Reference numeral 121 denotes a slit for detecting the angular displacement of the variable apex angle prism 100. It rotates through 114 and displaces its position. 122 is a light emitting diode for detecting the position of the slit 121, 123 is a PSD (Position Sensing Detector: incident light spot position detection sensor using the surface resistance of the photodiode), and the PSD 123 is a light emitting diode 122 and a light emitting diode. An encoder that detects the angular displacement of the apex angle of the variable apex angle prism 100 by detecting the displacement is configured.
[0033]
The light flux whose optical path has been changed by the variable apex angle prism 100 is imaged on the imaging surface of the imaging element 161 through the imaging optical system 150 shown in FIG.
[0034]
Although not shown in FIG. 7 for convenience of explanation, there is a drive actuator, an encoder, and a control device having the same function at right angles to the drive direction of the variable apex angle prism 100. This enables vertical, horizontal, and vertical blur correction.
[0035]
Next, the basic configuration and operation of a control circuit that drives and controls the variable apex angle prism 100 will be described with reference to the block diagram of FIG. In the figure, 100 is a variable apex prism, 131 is an amplifier, 132 is a driver for driving an actuator, 110 is a voice coil type actuator for driving the variable apex prism described above, and 120 is the apex angle displacement of the variable apex prism. Is an adder that adds the control signal 133 for blur correction output from the microcomputer CMO and the output signal of the angular displacement encoder 120 with opposite polarities. With this configuration, the control system operates so that the shake correction control signal 133 output from the microcomputer COM and the output signal of the angular displacement encoder 120 become equal, and as a result, the output of the encoder 120 becomes the control signal 133. By driving the variable apex angle prism 100 so as to match, the variable apex angle prism 100 is controlled to a position (apex angle) designated by the microcomputer COM.
[0036]
[Problems to be solved by the invention]
However, when the optical correction means shown in the above-mentioned conventional example is used, optical spectroscopy (spectral dispersion) occurs to a greater or lesser extent when optical correction is performed, and the correction amount of the correction optical system increases. Color noise (color misregistration) occurs at the outline of the captured image.
[0037]
In particular, in the variable apex angle prism in which the flat glass and the high refractive index liquid are combined as described in the above-mentioned conventional example, when the optical axis is displaced, the spectrum becomes remarkable.
[0038]
In moving images of a conventional video camera or the like, the movement of the correction optical system is performed substantially symmetrically with respect to the center of correction (optical axis) in the horizontal and vertical directions. Was not a big problem.
[0039]
However, with the recent digitization of imaging devices and recording devices, devices for recording and reproducing moving images and still images with the same system have been proposed.
[0040]
Of course, such a system is also going to adopt a blur correction device for the purpose of preventing or reducing image blur, but in the case of the conventional optical correction method, the color shift remains unchanged in still image recording. There is a problem that the image is recorded and the quality of the captured image is reduced.
[0041]
The present invention has been made under such a situation, and it is an object of the present invention to provide an imaging apparatus capable of obtaining an image without blurring with little color shift in a still image shooting mode.
[0042]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, the imaging device is configured as in the following (1) and (2).
[0043]
(1) Vibration detection means for detecting the vibration of the imaging device, image correction means for optically correcting the blur of the image of the imaging optical system based on the output of the vibration detection means, and correction by the image correction means An imaging unit for capturing an image; a shooting mode switching unit for switching a shooting mode of the imaging unit between a moving image mode and a still image mode; and the image correction when the shooting mode is switched to the still image mode by the shooting mode switching unit. An image pickup apparatus comprising: a control unit that does not permit still image capturing when the correction amount of the unit is equal to or more than a predetermined value.
[0044]
(2) The imaging device according to (1), wherein the image correction unit includes a variable apex angle prism.
[0045]
BEST MODE FOR CARRYING OUT THE INVENTION
The present invention relates to a recording apparatus in which a video camera and a recording apparatus are integrally formed, and a recording apparatus in which the video camera and the recording apparatus are separated from each other, and the video camera and the recording apparatus are connected by wire or wirelessly. It can be implemented in a separate form. Further, the present invention can also be implemented by using a display device and a recording device of a device such as a personal computer that inputs a line from the imaging device without providing a monitor and a recording device in the imaging device itself.
[0046]
Hereinafter, the present invention will be described in more detail with reference to an embodiment in which a variable apex prism is used as an image correcting unit in the form of a recording device-integrated imaging device. The image correction means is not limited to the variable apex angle prism, but can be implemented using an appropriate optical correction means such as a lens tilt / shift type.
[0047]
【Example】
(Example 1)
FIG. 1 is a block diagram illustrating a configuration of a main part of an “imaging device” according to the first embodiment.
[0048]
In the figure, the same components as those of the conventional example shown in FIG. 5 are denoted by the same reference numerals, and detailed description is omitted.
[0049]
In FIG. 1, an angular velocity detecting means 1 comprising an angular velocity sensor such as a vibrating gyroscope attached to an imaging device, a DC cut filter (or HPF) 2 for cutting off a DC component of a velocity signal outputted from the angular velocity detecting means 1, and an angular velocity signal The amplifier 3, the driving circuit 9, and the image correcting means 10 for amplifying the signal to a predetermined level can have the same configuration as that of the conventional example.
[0050]
Further, reference numeral 13 denotes a recording device (not shown in FIG. 5) showing the conventional example, which can record a still image in addition to the conventional moving image. Reference numeral 11 denotes a recording control switch, which is a switch for the photographer to switch the photographing state to a moving image or a still image according to his or her own intention. Reference numeral 12 denotes a still image recording switch for photographing a still image when the recording control switch 11 is set to the still image recording state. A still image recording control circuit 14 outputs a still image recording permission signal to the recording device 13 only when the integrated value (= optical axis correction angular displacement) is within a predetermined range when the still image recording switch 12 is pressed. .
[0051]
In this embodiment, when the recording control switch 11 is set to the moving image recording side, the blur correction operation is controlled without any difference from the above-described conventional example.
[0052]
When the recording control switch 11 switches from moving image recording to still image recording, the recording device 13 switches the recording state from moving image to still image, and at the same time, the image sensor (not shown) also switches the imaging state to a state corresponding to the still image. It is also transmitted to the still image recording control circuit 14. When the mode is switched to the still image shooting state, the recording device 13 starts recording a still image in response to a recording signal input from the still image recording switch 12 via the still image recording control circuit 14.
[0053]
The operation of the COM at this time will be described with reference to the flowchart of FIG.
[0054]
# 21 This is the start of this flow, which is repeatedly started at a predetermined timing.
[0055]
# 22 It is determined that the recording control switch 11 is in the still image recording state.
[0056]
If the still image recording state has been selected, the processing in # 23 ends, and if the moving image recording state has been selected, the processing in # 26 ends.
[0057]
# 23 It is determined whether the still image recording switch 12 has been pressed.
[0058]
If the still image recording switch 12 is depressed, it is assumed that the photographer has requested the recording of a still image, and the process of # 26 is terminated if the still image recording switch 12 is not depressed.
[0059]
# 24 It is determined whether the integral value (= angular displacement) is within a predetermined range. If it is within the predetermined range, the process goes to # 25, and if it is outside the predetermined range, the process at # 26 ends.
[0060]
# 25 Start recording a still image.
[0061]
# 26 End of processing.
[0062]
The above processing is performed, and a still image can be recorded only when the integral value (correction angular displacement of the optical axis correction unit) is within a predetermined value in the still image recording state.
[0063]
FIG. 3 shows the angular displacement of the optical axis during panning or tilting when recording a moving image and when recording a still image.
[0064]
This figure shows, as a graph, the angular displacement of each part when the imaging apparatus of the embodiment is swung in a single direction, and in this description, the pan / tilt determination circuit makes a determination based on an increase in the angular displacement (= integral value). A description will be given of the state at the time (when Yes is determined in # 07 of FIG. 5).
[0065]
FIG. 3 shows the angular displacement of the photographing device, the angular displacement of the optical axis, and the situation of still image photographing during panning or tilting.
[0066]
FIG. 3 is a graph showing the angular displacement of each part when the imaging apparatus is swung in a single direction.
[0067]
FIG. 71 shows the angular displacement (shake) of the image pickup device or the like, and 72 shows the angular displacement of the optical axis correction amount at that time.
[0068]
Reference numeral 73 denotes a threshold value of an angular displacement (a threshold value of an integral value) at the time of capturing a moving image. When the threshold value is exceeded, panning or tilting is determined by the pan / tilt determination circuit. To shift the cutoff frequency to the high frequency side, change the characteristic so that the shake correction system does not respond to the low frequency, and further center the correction position of the image correction means gradually to the center of the movement range. Then, the time constant of the integration characteristic of the integrator 6 is shifted in the direction of shortening, and control is performed using the value accumulated in the integrator as a reference value.
[0069]
Reference numeral 74 denotes a threshold value for determining the start of recording by the still image recording control circuit 14. When the optical axis correction amount 72 is below the threshold value 74 (on the side where the correction amount is smaller), the threshold value 74 is set. As shown in the flowchart, still image recording is permitted. Conversely, if the image is above the dotted line (the side with the larger correction amount), the still image recording is not performed.
[0070]
Reference numerals 75, 76, and 77 indicate the ranges in which the still image recording is permitted in the same graph. As described above, 75 and 77 indicate the ranges in which the still image recording is permitted. Indicates that works effectively. Reference numeral 76 indicates that the still image recording switch 12 is invalid (recording is not started).
[0071]
As can be seen from the figure, the still image recording switch 12 is effective only in the area where the optical axis correction amount is small (= the color shift is small), and conversely, in the area where the optical correction amount is large (= the color shift is large). The recording switch 12 becomes invalid.
[0072]
In this embodiment, when the still image recording switch 12 is continuously pressed from a state where the optical correction amount is large (for example, the region 76 in FIG. 3), a region where the correction amount is small (for example, the region 77 in FIG. 3). The recording of the still image is started at the time when the recording time is changed to.
[0073]
As described above, according to the present embodiment, when the mode is switched to the still image shooting mode, an image with little color shift and no blur can be recorded.
[0074]
(Example 2)
The second embodiment has the same hardware configuration as the first embodiment, but differs from the first embodiment in the processing after the still image capturing switch 12 is turned on.
[0075]
FIG. 4 is a flowchart for explaining the operation of the “photographing device” according to the second embodiment.
[0076]
The operation of the COM in this embodiment will be described with reference to the flowchart.
[0077]
# 41 This is the beginning of this flow, which is started repeatedly at a predetermined timing.
[0078]
# 42 It is determined that the recording control switch 11 is in the still image recording state.
[0079]
If the still image recording state has been selected, the processing in # 43 ends, and if the moving image recording state has been selected, the processing in # 46 ends.
[0080]
# 43 It is determined whether the still image recording switch 12 has been pressed.
[0081]
If the still image recording switch 12 is depressed, it is assumed that the photographer has requested the recording of a still image, and the process in # 44 is terminated if the still image recording switch 12 is not depressed.
[0082]
# 44 It is determined whether the integral value (= angular displacement) is within a predetermined range. If it is within the predetermined range, the process proceeds to # 45, and if it is outside the predetermined range, the same determination (# 44) is performed again.
[0083]
# 25 Start recording a still image.
[0084]
# 26 End of processing.
[0085]
As described above, the difference from the first embodiment is that the processing is terminated (# 26) when the integral value (angular displacement) exceeds a predetermined value in the first embodiment, In the example, the determination is repeated at # 44 until the integrated value falls within a predetermined value.
[0086]
Thus, when the still image capturing switch 12 is pressed even once in the still image capturing state, the determination is repeated until the integrated value falls within the predetermined value, and then the still image recording is started.
[0087]
【The invention's effect】
As described above, according to the present invention, it is possible to obtain a good image with little color shift and no blurring in the still image shooting mode.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a main part of a first embodiment. FIG. 2 is a flowchart showing an operation of the first embodiment. FIG. 3 is a diagram showing still image recording control in the first embodiment. FIG. 5 is a diagram showing a configuration of a main part of a conventional example. FIG. 6 is a flowchart of panning / tilting determination. FIG. 7 is a diagram showing a configuration and operation of a variable apex angle prism. FIG. 9 is a diagram showing a blur correction operation by a vertical angle prism. FIG. 9 is a block diagram showing a configuration for controlling a variable vertical angle prism.
DESCRIPTION OF SYMBOLS 1 Gyro 7 Pan / tilt determination circuit 10 Image correction means 11 Recording control switch 12 Still image recording switch

Claims (2)

撮像装置の振動を検出する振動検出手段と、この振動検出手段の出力に基づいて撮像光学系の画像のぶれを光学的に補正する画像補正手段と、この画像補正手段で補正された画像を撮像する撮像手段と、この撮像手段による撮影モードを動画モードと静止画モードに切り替える撮影モード切替え手段と、この撮影モード切替え手段で撮影モードを静止画モードに切り替えた場合に、前記画像補正手段の補正量が所定値以上では静止画撮影を許可しない制御手段とを備えたことを特徴とする撮像装置。Vibration detecting means for detecting vibration of the imaging device, image correcting means for optically correcting a blur of an image of an imaging optical system based on an output of the vibration detecting means, and imaging of the image corrected by the image correcting means A photographing mode, a photographing mode switching means for switching a photographing mode by the photographing means between a moving image mode and a still image mode, and a correction by the image correcting means when the photographing mode is switched to the still image mode by the photographing mode switching means. An image pickup apparatus comprising: a control unit that does not permit still image shooting when the amount is equal to or more than a predetermined value. 画像補正手段は、可変頂角プリズムを備えるものであることを特徴とする請求項1記載の撮像装置。2. The image pickup apparatus according to claim 1, wherein the image correction means includes a variable apex angle prism.
JP33692795A 1995-08-04 1995-12-25 Imaging device Expired - Fee Related JP3548308B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP33692795A JP3548308B2 (en) 1995-12-25 1995-12-25 Imaging device
US08/690,813 US6388705B1 (en) 1995-08-04 1996-08-01 Image sensing apparatus featured with vibration prevention function
EP96112542A EP0757480B1 (en) 1995-08-04 1996-08-02 Image sensing apparatus featured with vibration prevention function
DE69634868T DE69634868T2 (en) 1995-08-04 1996-08-02 Imaging device with function to prevent vibration
EP04014519A EP1463303A3 (en) 1995-08-04 1996-08-02 Image sensing apparatus featured with vibration prevention function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33692795A JP3548308B2 (en) 1995-12-25 1995-12-25 Imaging device

Publications (2)

Publication Number Publication Date
JPH09181959A JPH09181959A (en) 1997-07-11
JP3548308B2 true JP3548308B2 (en) 2004-07-28

Family

ID=18303923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33692795A Expired - Fee Related JP3548308B2 (en) 1995-08-04 1995-12-25 Imaging device

Country Status (1)

Country Link
JP (1) JP3548308B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4164424B2 (en) 2003-08-29 2008-10-15 キヤノン株式会社 Imaging apparatus and method
WO2007116636A1 (en) 2006-03-22 2007-10-18 Victor Company Of Japan, Limited Still image acquisition device, still image acquisition method, and image fluctuation correction device

Also Published As

Publication number Publication date
JPH09181959A (en) 1997-07-11

Similar Documents

Publication Publication Date Title
JP3466895B2 (en) Image stabilizer, imaging device, imaging system, camera unit, and lens unit
US7830415B2 (en) Camera having an image stabilizer
US6388705B1 (en) Image sensing apparatus featured with vibration prevention function
US7164853B2 (en) Vibration detection device and vibration correcting optical device
US7388604B2 (en) Image pickup device and apparatus including vibration correction means
JP6039212B2 (en) Image blur correction apparatus, imaging apparatus, and image blur correction apparatus control method
JP4536855B2 (en) Anti-vibration device, imaging device, and control method of anti-vibration device
JP3897993B2 (en) Imaging apparatus, image correction method, program, and recording medium
JP3614617B2 (en) Image motion correction device
JP2000147586A (en) Camera provided with camera shake correcting function
JP3548307B2 (en) Imaging device
JP3548308B2 (en) Imaging device
JPH06205268A (en) Automatic focus adjustment device and video camera
JP3610210B2 (en) Imaging device and interchangeable lens type imaging device
JP2004219548A (en) Image blur correcting device
JP3591357B2 (en) Image motion compensation device
JPH10322584A (en) Shake correcting method, lens unit, image pickup device and computer readable recording medium
JPH07325330A (en) Blurring correcting device
JPH10191146A (en) Camera-shake correction image pickup device and its method
JP3591358B2 (en) Image motion compensation device
JPH10322590A (en) Image pickup device and computer readable recording medium
JPH06265962A (en) Camera-shake correction device
JP2791190B2 (en) Imaging device and image blur correction device
JP2783654B2 (en) Imaging device
JPH08313950A (en) Image shake preventing device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees