JP5054858B1 - カラー撮像装置 - Google Patents

カラー撮像装置 Download PDF

Info

Publication number
JP5054858B1
JP5054858B1 JP2012524427A JP2012524427A JP5054858B1 JP 5054858 B1 JP5054858 B1 JP 5054858B1 JP 2012524427 A JP2012524427 A JP 2012524427A JP 2012524427 A JP2012524427 A JP 2012524427A JP 5054858 B1 JP5054858 B1 JP 5054858B1
Authority
JP
Japan
Prior art keywords
pixel
color
filter
pixels
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012524427A
Other languages
English (en)
Other versions
JPWO2012117584A1 (ja
Inventor
誠二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012524427A priority Critical patent/JP5054858B1/ja
Application granted granted Critical
Publication of JP5054858B1 publication Critical patent/JP5054858B1/ja
Publication of JPWO2012117584A1 publication Critical patent/JPWO2012117584A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

ＲＧＢの各色に対応するＲＧＢフィルタが周期的に配置され、かつ輝度信号を得るために最も寄与するＧフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）にそれぞれ２以上隣接する部分を含むカラーフィルタ配列を有するカラー撮像素子を使用する。そして、各方向に隣接するＧ画素の画素値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別する。モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定する。
【選択図】図５

Description

本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。
単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。
単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。
例えば、図１４の（Ａ）に示すような斜めの白黒の高周波画像が、図１４の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１４の（Ｃ）から（Ｅ）に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。
また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。
一方、特許文献３には、ベイヤー配列のモザイク画像の注目画素の周辺画素を用いて、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）における相関度を求め、求めた相関度の比率に応じた重み付けを行って画素補間を行う技術が記載されている。
また、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素おきに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子を備えた撮像装置が提案されている（特許文献４）。特許文献４に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するＧ画素がＲＢ画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。
特開２０００−３０８０８０号公報 特開２００５−１３６７６６号公報 特開２０１０−１０４０１９号公報 特開平８−２３５４３号公報
特許文献１に記載の３色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
特許文献２に記載の画像センサのカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献２に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献２に記載の発明は、色分布形状に関する統計量（共分散値）の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。
一方、特許文献３に記載の画素補間方法は、ベイヤー配列のモザイク画像に適用されるものであるが、ベイヤー配列の場合、Ｇ画素は、水平及び垂直方向に連続していないため、最小画素間隔で水平及び垂直方向における相関度を求めることができず、例えば、縦縞や横縞の高周波を入力した場合に相関度を誤判定し、画素補間を精度よく行うことができないという問題がある。
また、特許文献４に記載のカラー撮像素子は、ＲＢの画素に対してＧの画素の比率がベイヤー配列よりも高くなっており、水平及び垂直方向の解像度を上げることができるように構成されているが、特許文献４に記載の撮像装置は、このカラー撮像素子から出力されるＲＧＢ信号を補間フィルタにより一律に同時化しているため、偽色が発生しやすいという問題がある。
本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部とを備えている。
前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１のフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）に、それぞれ２以上隣接する部分を含んでいるため、各方向に隣接する画素の画素値に基づいて輝度の相関方向が前記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子の所定のカラーフィルタ配列は、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に１つ以上配置されている。前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内に水平及び垂直方向の各ライン内に１つ以上配置されているため、水平及び垂直方向の色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。また、このカラーフィルタ配列は、前記基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記３×３画素群の４隅に前記第１のフィルタが配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含むようになり、この２×２画素の画素値を使用して、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちの相関の高い方向を判別することができる。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記３×３画素群の中心のフィルタを挟んで上下左右に前記第１のフィルタが配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記３×３画素群の中心のフィルタを挟んで前記第１のフィルタが、水平及び垂直方向にそれぞれ２画素ずつ隣接することになる。これらの第１のフィルタに対応する画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別するようにしている。
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も１に近い方向を相関方向として判別するようにしている。
尚、上記各方向別に差分絶対値、又は比を複数算出し、各方向別に複数の差分絶対値の総和又は平均値、又は比の平均値を算出するようにしてもよく、この場合には、より精度よく相関方向を判別することができる。
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値としている。
本発明の更に他の態様に係るカラー撮像装置において、前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出している。尚、前記他の色の画素の画素位置における色差又は色比は、その画素位置における画素の画素値と、既に相関方向の方向判別により推定した他の色の画素値との差（色差）、又は比（色比）である。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式、
ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ）
により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式、
ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ）
により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式、
ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ）
により算出している。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記同時化処理部は、前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式、
ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ）
により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式、
ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ）
により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式、
ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ）
により算出している。
本発明の更に他の態様に係るカラー撮像装置において、前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出している。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
上記構成のカラーフィルタ配列によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。
本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
上記構成のカラーフィルタ配列によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。
本発明によれば、輝度信号を得るために最も寄与する第１のフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）にそれぞれ２以上隣接する部分を含むカラーフィルタを有するカラー撮像素子であって、前記第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが水平方向及び垂直方向の各ライン内に周期的に配置されたカラー撮像素子を使用し、各方向に隣接する画素の画素値の差分値に基づいて輝度の相関方向を判別するようにしたため、最小画素間隔の画素値を使用して相関方向を判別することができる。そして、モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして方向判別した相関方向に存在する他の色の画素の画素値を使用して、対象画素の画素位置における他の色の画素値を算出するようにしたため、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。
図１は本発明に係るカラー撮像装置の実施形態を示すブロック図であり； 図２は第１の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり； 図３は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり； 図４は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割した様子を示す図であり； 図５は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図であり； 図６は輝度の相関方向の判別方法と同時化処理時の画素補間方法を説明するために用いた図であり； 図７Ａは斜めの高周波画像がカラー撮像素子に入射した場合を示す図であり； 図７Ｂは斜めの高周波画像がカラー撮像素子に入射した場合の相関方向の判定方法を説明するために用いた図であり； 図８は本発明に適用されるカラー撮像素子の第２の実施形態を示す図であり； 図９は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり； 図１０は本発明に適用されるカラー撮像素子の第４の実施形態を示す図であり； 図１１は本発明に適用されるカラー撮像素子の第５の実施形態を示す図であり； 図１２は本発明に適用されるカラー撮像素子の第６の実施形態を示す図であり； 図１３は本発明に適用されるカラー撮像素子の第７の実施形態を示す図であり； 図１４は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。
以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。
［カラー撮像装置の全体構成］
図１は本発明に係るカラー撮像装置の実施形態を示すブロック図である。
撮影光学系１０により被写体が撮像され、被写体像を示す光像がカラー撮像素子１２（第１の実施形態のカラー撮像素子）の受光面上に結像される。
このカラー撮像素子１２は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子１２のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の全ての色のフィルタが、水平及び垂直方向の各ライン内に周期的に配置され、また、輝度信号を得るために最も寄与するＧに対応するＧフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むことを特徴とするものである。カラー撮像素子１２の詳細については、後述する。
カラー撮像素子１２に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２０の指令に従って駆動部１８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてカラー撮像素子１２から順次読み出される。カラー撮像素子１２から読み出される画像信号は、カラー撮像素子１２のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号である。尚、カラー撮像素子１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カラー撮像素子に限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの他の種類の撮像素子であってもよい。
カラー撮像素子１２から読み出された画像信号は、撮像処理部１４に入力する。撮像処理部１４は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、及びＡ／Ｄ変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１６に出力する。
画像処理部１６は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路（単板式のカラー撮像素子１２のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理回路）、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部２０からの指令に従い、撮像処理部１４から入力したモザイク画像のＲＡＷデータに所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。
画像処理部１６で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）規格に準拠した圧縮処理が施された後、記録メディア（メモリカード）に記録され、また、液晶モニタ等の表示装置（図示せず）に出力されて表示される。
尚、画像処理部１６の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。
＜カラーフィルタ配列の特徴＞
カラー撮像素子１２のカラーフィルタ配列は、下記の特徴（１）、（２）及び（３）を有している。
〔特徴（１）〕
図２はカラー撮像素子１２に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図２に示すように、カラー撮像素子１２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子１２から読み出されるＲ、Ｇ、Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
〔特徴（２）〕
図２に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターンＰ内の水平方向及び垂直方向の各ライン内に配置されている。これにより、後述するように、同時化処理時に相関方向が水平方向又は垂直方向と判別されると、水平方向又は垂直方向に存在する他の色の画素の画素値を使用して補間することができるため、色モワレ（偽色）の発生を抑圧することができる。また、上記のようにして偽色の発生を抑制することができるため、光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、図４に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
〔特徴（３）〕
図２に示すカラーフィルタ配列の基本配列パターンＰは、Ｇフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含んでいる。この基本配列パターンＰが水平方向及び垂直方向に配列されたカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
これは、図３に示すように輝度系画素であるＧフィルタが、Ａ配列またはＢ配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。これらのＧフィルタからなる２×２画素の画素値は、水平方向、垂直方向、及び斜め方向（ＮＥ，ＮＷ）方向の輝度の相関方向の算出（方向判別）に使用することができる。
［画像処理部１６の同時化処理回路］
次に、画像処理部１６の同時化処理回路の処理内容について説明する。
図５に示すように、カラー撮像素子１２から出力されるモザイク画像からＧフィルタに対応する２×２画素のＧ画素を取り出し、各Ｇ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、同時化処理回路に含まれる方向判別回路は、各方向別の差分絶対値を算出する。
即ち、垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。
方向判別回路は、これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別する。
いま、図６に示すように中央に３×３画素のＡ配列（図３参照）が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。したがって、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。
また、図７Ａに示すようなパターンの入力があった場合（黒が０、白が２５５）、図７Ｂに示す４隅の２×２画素のＧ画素の画素値の垂直方向の差分絶対値の総和は、｜０−２５５｜×８＝２０４０となり、水平方向の差分絶対値の総和も、｜０−２５５｜×８＝２０４０になる。一方、右上斜め方向の差分絶対値の総和は、｜２５５−２５５｜×２＋｜０−０｜×２＝０となり、左上斜め方向の差分絶対値の総和は、｜０−０｜×２＋｜２５５−２５５｜×２＝０となる。したがって、差分絶対値の総和が最小になる方向は、右上斜め方向と左上斜め方向の２方向となるが、図７Ａのパターンの場合は、斜めの最大周波数の入力であるため、斜め方向のどちらを採用しても問題はない。
上記のように互いに隣接する２×２画素のＧ画素から相関方向を判別するため、最小画素間隔で相関方向を判別することができる。即ち、高周波の影響を受けずに精度よく相関方向を判別することができる。
尚、上記の実施の形態では、隣接するＧ画素の画素値の差分値に基づいて輝度の変化が最も小さい方向（相関の高い相関方向）を判別するようにしたが、これに限らず、隣接するＧ画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するＧ画素の画素値の比に基づいて輝度の変化を判別する場合、その比（４つの方向別に複数の比を求める場合には、その比の平均値）が、最も１に近い方向を輝度の変化の小さい方向として判別する。
次に、画像処理部１６の同時化処理回路によりＲＧＢのモザイク画像を同時化処理する方法について説明する。
同時化処理の対象画素における相関方向が判別されると、同時化処理回路は、同時化処理の対象画素の画素位置における、他の色の画素値を算出する際に、前記判別された相関方向に存在する他の色の画素の画素値を使用する。
図４に示すように、水平方向及び垂直方向にはＲ画素、Ｇ画素、Ｂ画素の全ての色の画素が存在するため、水平方向又は垂直方向に相関方向があると判別されると、水平方向又は垂直方向に存在する、対象画素の近傍の他の色の画素の画素値を取得する。そして、取得した１画素の画素値、又は複数の画素の画素値の補間した値を、対象画素の画素位置における他の色の画素値とする。
例えば、相関方向が水平方向と判別された場合、図６において、Ｇ22の画素の画素位置におけるＲの画素値は、Ｒ12又はＲ32の画素値をそのまま画素値とする、または、Ｒ12及びＲ32の画素値から補間することにより決定する。
同様に、Ｇ22の画素の画素位置におけるＢの画素値は、Ｂ02又はＢ42の画素値をそのまま画素値とする、または、Ｂ02及びＢ42の画素値から補間することにより決定する。
また、Ｂ02の画素の画素位置におけるＲの画素値は、Ｒ12の画素値をそのまま画素値とする、または、Ｒ12及びＲ32の画素値から補間することにより決定する。
更に、Ｂ02の画素の画素位置におけるＧの画素値は、Ｇ22の画素値をそのまま画素値とする、または、隣接するＢ配列の同じ水平位置にあるＧ画素の画素値とＧ22の画素値から補間することにより決定する。
尚、相関方向が垂直方向と判別された場合も、上記と同様に垂直方向に存在する他の色の画素値を使用することができる。
また、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列は、３×３画素のＡ配列のＧ画素を中心とする斜め方向（対角方向）には、Ｇ画素しか存在しないため、相関方向がＧ画素の連続する斜め方向と判別されると、Ｇの画素値が算出されている近傍のＲ，Ｂ画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出する。
図６に示すように、方向判別結果により左斜め上に相関方向があると判別された場合、Ｇ11の画素の補間方向には、Ｒ，Ｂ画素が存在しない。そこで、Ｇ11の画素の近傍のＲ12，Ｂ21の画素の画素値Ｒ12，Ｒ21と、これらの画素の画素位置におけるＧの画素値Ｇ12’，Ｇ21’の色差を用いてＧ11の画素値Ｇ11を補間し、Ｇ11の画素の画素位置におけるＲ，Ｇの画素値Ｒ11’，Ｂ11’を算出する。
具体的には、以下の式で補間を行う。
Ｒ11’＝Ｇ11＋（Ｒ12−Ｇ12’） …（ａ）
Ｂ11’＝Ｇ11＋（Ｂ21−Ｇ21’） …（ｂ）
上記式（ａ）及び（ｂ）において、Ｇ12’＝Ｇ01，Ｇ21’＝Ｇ10である。即ち、画素値Ｇ12’，Ｇ21’は、左斜め方向の方向判別により推定したＲ12，Ｂ21の画素の画素位置におけるＧの画素値である。
同様に、Ｇ22の画素の画素位置のＲ，Ｂ画素の画素値Ｒ22’，Ｂ22’は、その近傍のＲ12，Ｒ32の画素と、Ｂ21，Ｂ23の画素の各画素位置の色差を用いて、Ｇ22の画素値Ｇ22を補間し、Ｇ22の画素の画素位置におけるＲ，Ｇの画素値Ｒ22’，Ｂ22’を算出する。
具体的には、以下の式で補間を行う。
Ｒ22’＝G22＋｛(Ｒ12+Ｒ32)/2−(Ｇ12’+Ｇ32’)/2｝ …（ｃ）
Ｂ22’＝G22＋｛(Ｂ21+Ｂ23)/2−(Ｇ21’+Ｇ23’)/2｝ …（ｄ）
尚、Ｇ32’＝Ｇ43，Ｇ23’＝Ｇ34である。
上記のようにして３×３画素（Ａ配列）の全ての画素の同時化処理が終了すると、隣接する３×３画素（Ｂ配列）の対象画素に対して、上記と同じ処理（方向判別と同時化処理）を行い、これを３×３画素単位で移動させながら繰り返す。
前述したように、カラー撮像素子１２のカラーフィルタ配列の場合、同時化処理の対象画素がＧ画素で、この画素位置におけるＲ，Ｂの画素値を算出する際に、斜め方向にＧ画素しか存在しないものがあるが、カラーフィルタ配列によっては、同時化処理の対象画素がＲ画素で、この画素位置におけるＧ，Ｂの画素値を算出する際に、斜め方向にＧ画素，又はＢ画素が存在しない場合や、同時化処理の対象画素がＢ画素で、この画素位置におけるＧ，Ｒの画素値を算出する際に、斜め方向にＧ画素，又はＲ画素が存在しない場合が考えられる。
この場合にも、上記式（ａ）〜（ｄ）と同様にして、ＲＧＢの画素値が算出された近傍の画素の画素値の色差により、対象画素の画素値を補間して他の色の画素値を算出することができる。
近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。
ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ） …（１）
この式（１）は、前述した式（ａ），（ｂ）に相当するものである。
同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。
ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ） …（２）
また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。
ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ） …（３）
尚、上記式（１）〜（６）に限らず、同時化処理の対象画素の近傍に、補間して求めようとする色と同じ色の画素が複数存在する場合には、式（ｃ）〜（ｄ）と同様に、複数の画素の平均の色差を使用して補間してもよい。
また、上記の実施形態では、同時化処理の対象画素に対し、判別された相関方向に他の色の画素が存在しない場合には、近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしたが、これに限らず、近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
近傍の画素の色比により、対象画素の画素値を補間して他の色の画素値を算出する方法の具体例を下記に示す。
同時化処理の対象画素がＧ画素、その画素値がＧであり、方向判別回路により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式により算出する。
ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ） …（４）
同様に、同時化処理の対象画素がＲ画素、その画素値がＲであり、方向判別回路により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式により算出する。
ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ） …（５）
また、同時化処理の対象画素がＢ画素、その画素値がＢであり、方向判別回路により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式により算出する。
ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ） …（６）
一方、本発明は、水平方向及び垂直方向の各ライン内にＲ，Ｇ，Ｂ画素が周期的に配置されるカラー撮像素子を前提とするが、斜め（ＮＥ，ＮＷ）方向にもＲ，Ｇ，Ｂ画素が周期的に配置されるカラー撮像素子を使用する場合には、上記式（１）〜（６）等により他の色の画素値を補間算出する必要はない。
また、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素の画素値の差分絶対値がそれぞれ等しい場合（差分絶対値が全ての方向で０の場合、又はほぼ０の場合）には、方向判別回路は相関方向がないと判別する。この場合、同時化処理の対象画素の画素位置における他の色の画素値は、その画素位置の近傍に存在する他の色の画素の画素値を使用する。
［カラー撮像素子の第２の実施形態］
図８は本発明に適用されるカラー撮像素子の第２の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
図８に示すように、このカラー撮像素子のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
また、図８に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
また、図８に示すように基本配列パターンを、３×３画素に４分割すると、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられたカラーフィルタ配列となっていると捉えることもできる。
Ａ配列は、３×３画素の中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置され、一方、Ｂ配列は、３×３画素の中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
図８に示すカラーフィルタ配列は、Ｇフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２つ隣接する部分を含んでいる。
輝度系画素であるＧフィルタは、Ａ配列またはＢ配列における３×３画素群の中心のフィルタを挟んで上下左右に配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記３×３画素群の中心のフィルタを挟んで水平及び垂直方向にそれぞれ２画素ずつ隣接することになる。
このカラーフィルタ配列によれば、輝度系画素であるＧフィルタに対応する画素（合計８画素）の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔の画素値で判断することができる。
いま、Ａ配列に対応する３×３画素を同時化処理の対象画素とした場合、中心のＲ画素を挟んで水平方向及び垂直方向に、それぞれ連続するＧ画素が存在する（Ｇ画素が十字状に配置されている）。これらの水平方向及び垂直方向に連続するＧ画素の画素値に基づいて水平方向及び垂直方向の輝度の相関を求めることができ、また、Ｒ画素に隣接する上下左右の４つのＧ画素から斜め方向（ＮＥ，ＮＷ）方向の輝度の相関を求めることができる。
この第２の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
尚、第２の実施形態のカラー撮像素子のカラーフィルタ配列の場合、例えば、Ａ配列の中心のＲ画素、又はＢ配列の中心のＢ画素を同時処理の対象画素とし、かつ斜め方向が相関方向と判別されると、その斜め方向にはＧ画素が存在しない。この場合、前述した式（２）、（３）、又は式（５）、（６）に基づいてＧの画素値を算出することができる。
［カラー撮像素子の第３の実施形態］
図９は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
図９に示すように、このカラー撮像素子のカラーフィルタ配列は、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
また、図９に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ２以上連続するＧフィルタ（Ｇ画素）が配置されている。これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
この第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
［カラー撮像素子の第４の実施形態］
図１０は本発明に適用されるカラー撮像素子の第４の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
図１０に示すように、このカラー撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
また、図１０に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ連続するＧフィルタ（Ｇ画素）が配置されている。即ち、基本配列パターン内で上下左右に連続する２×２画素のＧ画素のかたまりが４組存在する。
これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
この第４の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
［カラー撮像素子の第５の実施形態］
図１１は本発明に適用されるカラー撮像素子の第５の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
図１１に示すように、このカラー撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
また、図１１に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。
更に、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向に、それぞれ連続するＧフィルタ（Ｇ画素）が配置されている。即ち、基本配列パターン内で上下左右に連続する２×２画素を含むＧ画素のかたまりが４組存在する。
これらの連続するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。
この第５の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
［カラー撮像素子の第６及び第７の実施形態］
図１２及び図１３はそれぞれ本発明に適用されるカラー撮像素子の第６及び第７の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
図１２に示す第６の実施形態のカラー撮像素子のカラーフィルタ配列は、図３に示した第１の実施形態に示した３×３画素のＡ配列が、水平、垂直方向に並べて配列されて構成されている。
一方、図１３に示す第７の実施形態のカラー撮像素子のカラーフィルタ配列は、図３に示した第１の実施形態に示した３×３画素のＢ配列が、水平、垂直方向に並べて配列されて構成されている。
これらの第６及び第７の実施形態のカラー撮像素子のカラーフィルタ配列は、基本配列パターンが３×３画素と小さく、Ｒ、Ｇ、Ｂ信号の同時化処理が容易になるという利点がある。
一方、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されておらず、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（２）を有していないが、特徴（１）及び（３）と同じ特徴を有しており、本発明に係る方向判別や画素補間を行うことができる。
［その他］
上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０…撮影光学系、１２…カラー撮像素子、１４…撮像処理部、１６…画像処理部、１８…駆動部、２０…制御部

Claims (12)

  1. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、
    前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
    前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、
    前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
    前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
    を備え、
    前記カラーフィルタ配列は、前記第１のフィルタと前記第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
    前記第１のフィルタ及び第２のフィルタは、それぞれ前記基本配列パターン内において水平及び垂直方向の各ライン内に１つ以上配置されているカラー撮像装置。
  2. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、
    前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
    前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、
    前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
    前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
    を備え、
    前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されているカラー撮像装置。
  3. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、
    前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
    前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、
    前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
    前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
    を備え、
    前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されているカラー撮像装置。
  4. 前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の差分絶対値を算出し、各方向別の差分絶対値のうち最小となる方向を相関方向として判別する請求項１から３のいずれか１項に記載のカラー撮像装置。
  5. 前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向別に、隣接する画素の画素値の比を算出し、各方向別の比のうち最も１に近い方向を相関方向として判別する請求項１から３のいずれか１項に記載のカラー撮像装置。
  6. 前記同時化処理部は、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を、そのまま前記対象画素の画素位置における他の色の画素値とし、又は前記方向判別部により判別された相関方向に存在する複数の他の色の画素の画素値を補間した値を、前記対象画素の画素位置における他の色の画素値とする請求項１から５のいずれか１項に記載のカラー撮像装置。
  7. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素と、該複数の画素上に配設された所定のカラーフィルタ配列のカラーフィルタとが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが周期的に配置され、かつ前記第１のフィルタは、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に２以上隣接する部分を含むカラー撮像素子と、
    前記カラー撮像素子から前記カラーフィルタ配列に対応するモザイク画像を取得する画像取得部と、
    前記モザイク画像から抽出される同時化処理の対象画素に対し、該対象画素の近傍の前記第１のフィルタに対応する画素であって、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値を取得し、それぞれ隣接する画素の画素値に基づいて輝度の相関方向が、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちのいずれの方向かを判別する方向判別部と、
    前記モザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記方向判別部により判別された相関方向に存在する他の色の画素の画素値を使用して算出する同時化処理部と、
    前記モザイク画像から抽出する同時化処理の対象画素を前記同時化処理の対象画素単位毎に移動させながら前記方向判別部及び同時化処理部を繰り返し動作させる制御部と、
    を備え、
    前記同時化処理部は、前記方向判別部により判別された相関方向に前記他の色の画素が存在しない場合には、前記対象画素の近傍の前記他の色の画素の画素位置における色差又は色比により、前記対象画素の画素値を補間して前記他の色の画素値を算出するカラー撮像装置。
  8. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
    前記同時化処理部は、
    前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式、
    ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ）
    により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式、
    ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ）
    により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式、
    ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ）
    により算出する請求項７に記載のカラー撮像装置。
  9. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
    前記同時化処理部は、
    前記同時化処理の対象画素がＧ画素、その画素値がＧであり、前記方向判別部により判別された相関方向にＲ、又はＢ画素が存在しない場合、前記Ｇ画素の近傍のＲ、Ｂ画素の画素値をＲ，Ｂ、これらの画素の画素位置におけるＧの画素値をＧＲ、ＧＢとすると、前記対象画素の位置におけるＲ、Ｂ画素の画素値ＲＧ，ＢＧを、次式、
    ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ）
    により算出し、前記同時化処理の対象画素がＲ画素、その画素値がＲであり、前記方向判別部により判別された相関方向にＧ、又はＢ画素が存在しない場合、前記Ｒ画素の近傍のＧ、Ｂ画素の画素値をＧ，Ｂ、これらの画素の画素位置におけるＲの画素値をＲＧ、ＲＢとすると、前記対象画素の位置におけるＧ、Ｂ画素の画素値ＧＲ，ＢＲを、次式、
    ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ）
    により算出し、前記同時化処理の対象画素がＢ画素、その画素値がＢであり、前記方向判別部により判別された相関方向にＧ、又はＲ画素が存在しない場合、前記Ｂ画素の近傍のＧ、Ｒ画素の画素値をＧ，Ｒ、これらの画素の画素位置におけるＢの画素値をＢＧ、ＢＲとすると、前記対象画素の位置におけるＧ、Ｒ画素の画素値ＧＢ，ＲＢを、次式、
    ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ）
    により算出する請求項７に記載のカラー撮像装置。
  10. 前記方向判別部は、前記水平、垂直、及び斜め（ＮＥ，ＮＷ）方向に隣接する画素の画素値の差分値がそれぞれ等しい場合には相関方向がないと判別し、
    前記同時化処理部は、前記方向判別部により相関方向がないと判別されると、同時化処理の対象画素の画素位置における他の色の画素値を、該画素位置の近傍に存在する他の色の画素の画素値を使用して算出する請求項１から９のいずれか１項に記載のカラー撮像装置。
  11. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
    前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１、２、４から１０のいずれか１項に記載のカラー撮像装置。
  12. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、
    前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１、３から１０のいずれか１項に記載のカラー撮像装置。
JP2012524427A 2011-02-28 2011-07-29 カラー撮像装置 Active JP5054858B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012524427A JP5054858B1 (ja) 2011-02-28 2011-07-29 カラー撮像装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011042831 2011-02-28
JP2011042831 2011-02-28
JP2011162413 2011-07-25
JP2011162413 2011-07-25
JP2012524427A JP5054858B1 (ja) 2011-02-28 2011-07-29 カラー撮像装置
PCT/JP2011/067420 WO2012117584A1 (ja) 2011-02-28 2011-07-29 カラー撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012165734A Division JP5872408B2 (ja) 2011-02-28 2012-07-26 カラー撮像装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP5054858B1 true JP5054858B1 (ja) 2012-10-24
JPWO2012117584A1 JPWO2012117584A1 (ja) 2014-07-07

Family

ID=46757538

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012524427A Active JP5054858B1 (ja) 2011-02-28 2011-07-29 カラー撮像装置
JP2012165734A Active JP5872408B2 (ja) 2011-02-28 2012-07-26 カラー撮像装置及び画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012165734A Active JP5872408B2 (ja) 2011-02-28 2012-07-26 カラー撮像装置及び画像処理方法

Country Status (7)

Country Link
US (2) US8878970B2 (ja)
EP (1) EP2683167B1 (ja)
JP (2) JP5054858B1 (ja)
CN (1) CN102959958B (ja)
BR (1) BR112012027309A2 (ja)
RU (1) RU2556022C2 (ja)
WO (1) WO2012117584A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013048410A (ja) * 2011-02-28 2013-03-07 Fujifilm Corp カラー撮像装置
US9313466B2 (en) 2011-03-09 2016-04-12 Fujifilm Corporation Color imaging element
US9431444B2 (en) 2011-02-21 2016-08-30 Fujifilm Corporation Single-plate color imaging element including color filters arranged on pixels

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488031B2 (en) * 2011-01-14 2013-07-16 DigitalOptics Corporation Europe Limited Chromatic noise reduction method and apparatus
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
CN104335571B (zh) * 2012-06-08 2016-05-18 富士胶片株式会社 图像处理装置、摄像装置、计算机及图像处理方法
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP5981824B2 (ja) * 2012-09-28 2016-08-31 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN102938843B (zh) 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
WO2014087804A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
US9172743B2 (en) * 2012-12-31 2015-10-27 Futurewei Technologies, Inc. Scalable storage systems with longest prefix matching switches
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
EP2956084B1 (en) 2013-02-13 2022-08-03 3Shape A/S Focus scanning apparatus recording color
CN103179407B (zh) * 2013-03-11 2015-03-11 浙江大学 应用于去马赛克算法方向插值的实现装置及方法
WO2014188950A1 (ja) * 2013-05-23 2014-11-27 富士フイルム株式会社 画素補間装置およびその動作制御方法
US9042643B2 (en) * 2013-06-20 2015-05-26 Himax Imaging Limited Method for demosaicking
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP2015162706A (ja) 2014-02-26 2015-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR102134636B1 (ko) 2014-07-14 2020-07-16 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
TWI585726B (zh) * 2015-03-25 2017-06-01 鴻海精密工業股份有限公司 畫素結構
CN107431793A (zh) * 2015-03-26 2017-12-01 索尼公司 图像处理装置和图像处理方法以及程序
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN106507066B (zh) * 2016-11-22 2018-04-17 深圳开阳电子股份有限公司 抑制图像伪彩色的方法、装置
KR20210130972A (ko) * 2020-04-23 2021-11-02 삼성전자주식회사 전자 장치의 컬러 필터, 및 그 전자 장치
FR3120989B1 (fr) * 2021-03-16 2024-03-08 Commissariat Energie Atomique Motif couleur et proche-infrarouge pour capteur d’images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2006024999A (ja) * 2004-07-06 2006-01-26 Megachips Lsi Solutions Inc 画素補間方法
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263592A (ja) * 1984-06-11 1985-12-27 Toshiba Corp 固体撮像装置
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
WO1992013423A1 (en) * 1991-01-25 1992-08-06 Eastman Kodak Company A solid state color image sensor using a field-staggered color filter pattern
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) * 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
DE69927239T2 (de) * 1998-09-15 2006-07-13 Phase One A/S System und verfahren zur verarbeitung von bildern
US6396873B1 (en) 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP4043197B2 (ja) * 2000-03-24 2008-02-06 三洋電機株式会社 単板式カラーカメラの色分離回路
EP1148735A1 (en) * 2000-04-20 2001-10-24 Koninklijke Philips Electronics N.V. Camera with color filter
JP3972816B2 (ja) * 2000-09-07 2007-09-05 株式会社ニコン 画像処理装置および表色系変換方法
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
US7148926B2 (en) * 2001-05-15 2006-12-12 Matsushita Electric Industrial Co., Ltd. Image sensing apparatus and signal processing method therefor
US7027091B1 (en) 2001-09-17 2006-04-11 Pixim, Inc. Detection of color filter array alignment in image sensors
US6970597B1 (en) 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
JP4451044B2 (ja) * 2002-02-21 2010-04-14 株式会社メガチップス 混成画素補間装置および混成画素補間方法
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
EP1650979A1 (en) 2004-10-21 2006-04-26 STMicroelectronics S.r.l. Method and system for demosaicing artifact removal
JP4253634B2 (ja) 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4840740B2 (ja) 2004-12-01 2011-12-21 株式会社メガチップス 画素補間方法および画像判定方法
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7755682B2 (en) 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP4946581B2 (ja) 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US7859580B2 (en) 2007-10-16 2010-12-28 Aptina Imaging Corporation Method and apparatus for anisotropic demosaicing of image data
RU2383967C2 (ru) 2008-04-10 2010-03-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Фотоприемная матрица цветного изображения
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8004588B2 (en) 2008-08-27 2011-08-23 Seiko Epson Corporation Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel
US8164042B2 (en) 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5574615B2 (ja) 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5120441B2 (ja) 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
JP2010104019A (ja) 2009-12-17 2010-05-06 Mega Chips Corp 画素補間方法
RU2548566C1 (ru) 2011-02-21 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветного изображения
EP2683167B1 (en) * 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2006024999A (ja) * 2004-07-06 2006-01-26 Megachips Lsi Solutions Inc 画素補間方法
JP2007037104A (ja) * 2005-06-21 2007-02-08 Sony Corp 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9431444B2 (en) 2011-02-21 2016-08-30 Fujifilm Corporation Single-plate color imaging element including color filters arranged on pixels
JP2013048410A (ja) * 2011-02-28 2013-03-07 Fujifilm Corp カラー撮像装置
US9288454B2 (en) 2011-02-28 2016-03-15 Fujifilm Corporation Color imaging apparatus having color imaging element
US9313466B2 (en) 2011-03-09 2016-04-12 Fujifilm Corporation Color imaging element

Also Published As

Publication number Publication date
US20150029367A1 (en) 2015-01-29
CN102959958B (zh) 2015-05-27
EP2683167B1 (en) 2018-05-02
JPWO2012117584A1 (ja) 2014-07-07
JP5872408B2 (ja) 2016-03-01
US8878970B2 (en) 2014-11-04
RU2556022C2 (ru) 2015-07-10
RU2013139022A (ru) 2015-04-10
EP2683167A4 (en) 2014-11-26
WO2012117584A1 (ja) 2012-09-07
JP2013048410A (ja) 2013-03-07
BR112012027309A2 (pt) 2016-08-02
US9288454B2 (en) 2016-03-15
EP2683167A1 (en) 2014-01-08
US20120293696A1 (en) 2012-11-22
CN102959958A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5054858B1 (ja) カラー撮像装置
JP5054857B1 (ja) カラー撮像装置
US8922683B2 (en) Color imaging element and imaging apparatus
JP5095040B1 (ja) カラー撮像素子
WO2012114558A1 (ja) カラー撮像素子
US9159758B2 (en) Color imaging element and imaging device
US9324749B2 (en) Color imaging element and imaging device
US9143747B2 (en) Color imaging element and imaging device
US9219894B2 (en) Color imaging element and imaging device
US9185375B2 (en) Color imaging element and imaging device
WO2012114994A1 (ja) カラー撮像素子
WO2013100096A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120727

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5054858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250