JP6254938B2 - 画像ノイズ除去装置、および画像ノイズ除去方法 - Google Patents

Description

本発明は、画像ノイズ除去装置および画像ノイズ除去方法に関する。

画像データのノイズを除去するフィルタ処理（以降、単に「フィルタ」とも記載する）には、時間ノイズ除去フィルタと空間ノイズ除去フィルタとがある。これらのノイズ除去フィルタを切り替える方法として、特許文献１は、動き検出の結果を用いて時間ノイズ除去フィルタと空間ノイズ除去フィルタとのそれぞれの処理結果のいずれかを選択する方法を開示している。

また、特許文献２は、空間ノイズ除去フィルタの処理結果を用いて、時間ノイズ除去フィルタの処理結果を用いるかどうかを判断した上で、最終処理結果を出力する方法を開示している。

特開平２−２４８１７３号公報 国際公開第２０１０／０７３４８８号

時間ノイズ除去フィルタによりノイズを除去すると、新たにノイズ（例えば、残像又は動画像の違和感）を生成してしまう場合があるという問題がある。つまり、ノイズを除去するのに適切な強度の時間ノイズ除去処理を画像に施すことが難しいという問題がある。

そこで、本発明は、適切な強度の時間ノイズ除去処理を画像に施す画像ノイズ除去装置を提供する。

本発明の一態様に係る画像ノイズ除去装置は、第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去装置であって、前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去部と、前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出部と、前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンド部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像ノイズ除去装置および方法によれば、時間ノイズ除去フィルタのフィルタ強度を適応的に変化させることにより、ターゲットとする画像に対して時間ノイズ除去フィルタを最適にかけるノイズ除去ができる。

図１は、実施の形態１における画像ノイズ除去装置の構成図である。 図２は、実施の形態１における信頼度算出部の構成図である。 図３は、実施の形態１における画素値とベクトルとの関係の説明図である。 図４は、ノイズの確率分布を表す図である。 図５は、実施の形態１におけるαｔｎｒとＰとの対応関係の例である。 図６は、実施の形態１における処理の流れを示すフローチャートである。 図７は、実施の形態２における画像ノイズ除去装置の構成図である。 図８は、実施の形態２における処理の流れを示すフローチャートである。 図９は、各実施の形態における画像ノイズ除去装置の構成図の一例である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、ノイズ除去技術に関し、以下の問題が生じることを見出した。

画像（動画像、静止画像）データには撮影環境又はイメージセンサの特性により、ノイズ（雑音）が含まれている。ノイズの種類には、光ショットノイズ、ダークノイズ、固定パターンノイズ、又は、回路ノイズなどがある。このノイズにより画像の品質（画質）が劣化するため、画像データのノイズを除去又は低減するノイズ除去がフィルタ処理にて行われる。

ノイズ除去の方法として、注目している画素データ（画素値）の近傍領域のデータを用いて画素値を平滑化する方法がよく知られている。平滑化の方法の例として、領域の平均値を取るフィルタや近傍領域の中央値をとるメディアンフィルタ等がある。これらのノイズ除去フィルタは、１枚の画像内のデータを用いて処理される空間ノイズ除去フィルタである。

しかし動画像では、時間方向に連続する画像（フレーム）が存在するため、このフレーム間の相関を用いた平滑化処理により、ノイズを低減又は除去する時間ノイズ除去フィルタも用いられる。時間ノイズ除去の方法の例として、注目している画素データと時間的に前に存在するフレームの画素データを加重平均する方法がある。

空間ノイズ除去フィルタと時間ノイズ除去フィルタとを組み合わせた方法として、注目画素データが静止部分であれば時間ノイズ除去フィルタを、移動部分であれば空間ノイズ除去フィルタを選択的に用いるものもある。

画像データのノイズを除去するノイズ除去フィルタを切り替える方法として、特許文献１は、動き検出の結果を用いて時間ノイズ除去フィルタと空間ノイズ除去フィルタとのそれぞれの処理結果のいずれかを選択する方法を開示している。

また、特許文献２は、空間ノイズ除去フィルタの処理結果を用いて、時間ノイズ除去フィルタの処理結果を用いるかどうかを判断した上で、最終処理結果を出力する方法を開示している。

しかしながら、時間ノイズ除去フィルタと空間ノイズ除去フィルタとを切り替える方式において、時間ノイズ除去フィルタのノイズ除去効果を高めるためには、時間方向での平滑化処理を強くかけることが必要となる。時間ノイズ除去フィルタを強くかけた場合、移動領域周辺で残像が発生し画質が低下する。この残像を抑えるため時間ノイズ除去フィルタを強くかけることができず、時間ノイズ除去フィルタのノイズ除去効果が低下する。

また、空間ノイズ除去フィルタの処理結果を用いて、時間ノイズ除去フィルタの処理結果を用いるかどうかを判断する場合、時間ノイズ除去フィルタ処理結果を有効とするか、又は、無効とするかの選択になるため、時間ノイズ除去フィルタと空間ノイズ除去フィルタとのノイズ除去性能の差により、２つのフィルタの切り替るタイミングで動画像に違和感が生ずる。

上記のように、時間ノイズ除去フィルタによりノイズを除去すると、新たにノイズ（例えば、残像又は動画像の違和感）を生成してしまう場合があるという問題がある。つまり、ノイズを除去するのに適切な強度の時間ノイズ除去処理を画像に施すことができないという問題がある。

そこで、本発明は、適切な強度の時間ノイズ除去処理を画像に施す画像ノイズ除去装置を提供する。

このような問題を解決するために、本発明の一態様に係る画像ノイズ除去装置は、第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去装置であって、前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去部と、前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出部と、前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンド部とを備える。

これによれば、第二画像と、第一ノイズ除去画像とに加えて、第二画像のノイズを空間的に除去した空間ノイズ除去画像を用いて高い精度で第二画像における動きを検出し、その検出結果に応じて第二画像に対する時間ノイズ除去を行うことができる。第二画像における動き検出の精度が高いので、時間ノイズ除去の精度を向上させることができる。よって、画像ノイズ除去装置は、適切な強度の時間ノイズ除去処理を画像に施すことができる。

従来技術での第二画像における動きの検出は、第二画像と第一ノイズ除去画像とにより行われるが、その検出結果は精度が悪いことが知られている。本発明においては、上記の２つの画像に加えて第二画像の空間ノイズ除去画像を用いることで、動きの検出結果の精度を向上させることができる。

例えば、前記信頼度算出部は、前記第二画像に含まれる画素の動きが小さいほど、より大きな値を前記信頼度として算出し、前記時間ブレンド部は、前記信頼度が大きいほど、前記第一ノイズ除去画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行う。

これによれば、第二画像における動きが小さいほど、第一ノイズ除去画像の重みを大きくした時間ノイズ除去処理を画像に施すことができる。第二画像において動きがある可能性が小さい部分では、すでにノイズが除去されている第一ノイズ除去画像の重みを大きくすることで、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

例えば、前記信頼度算出部は、前記第一ノイズ除去画像と前記第二画像とのそれぞれに含まれる同一位置の画素値の差分が小さいほど、より大きな値を前記信頼度として算出する。

例えば、前記信頼度算出部は、前記第一ノイズ除去画像と前記空間ノイズ除去画像とのそれぞれに含まれる同一位置の画素値の差分が小さいほど、より大きな値を前記信頼度として算出する。

これによれば、画像ノイズ除去装置は、第二画像において動きがある可能性がより小さいと判断した場合に、時間ノイズ除去における第一ノイズ除去画像の重みを大きくする。第一ノイズ除去画像は、すでにノイズが除去されているので、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

例えば、前記信頼度算出部は、予め定められた偏差であってノイズにより変化する画素値の分布の偏差に対する、前記差分の比に基づいて、前記信頼度を算出する。

これによれば、画像ノイズ除去装置は、画素値の差分の大小判定の際に、ノイズにより変化する画素値の分布の偏差に対する比を用いて、大小判定をすることができる。

例えば、前記画素値は、複数の成分を有し、前記信頼度算出部は、前記空間ノイズ除去画像と前記第二画像とのそれぞれにおける同一位置の画素の画素値の差分を成分として有する第一ベクトルと、前記第一ノイズ除去画像と前記第二画像とのそれぞれにおける同一位置の画素の画素値の差分を成分として有する第二ベクトルとのなす角が小さいほど、より大きな値を前記信頼度として算出する。

これによれば、画像ノイズ除去装置は、空間ノイズ除去画像と第二画像との差分に対応する第一ベクトルと、第一ノイズ除去画像と第二画像との差分に対応する第二ベクトルとのなす角が小さいほど、第二画像において動きがある可能性がより小さいと判断し、時間ノイズ除去における第一ノイズ除去画像の重みを大きくする。第一ノイズ除去画像は、すでにノイズが除去されているので、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

例えば、前記第一ノイズ除去画像は、前記第一画像に含まれるノイズを当該画像ノイズ除去装置により除去した画像である。

これによれば、画像ノイズ除去装置は、当該画像ノイズ除去装置により第一画像を時間ノイズ除去処理して得られる画像を第一ノイズ除去画像として用いることができる。

例えば、前記第一画像は、動画像を構成する画像のうちの１つの画像であり、前記第二画像は、前記動画像を構成する画像のうちの１つの画像であって、時間順で前記第一画像の直後の画像である。

これによれば、時間順で連続した複数の画像で構成される動画像に対して、連続した画像に対して、順次、当該画像の直前の画像のノイズ除去結果を考慮して時間ノイズ除去処理を施すことができる。

例えば、前記画像ノイズ除去装置は、さらに、前記第二画像と前記空間ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、空間ブレンド画像を生成する空間ブレンド部とを備え、前記時間ブレンド部は、さらに、前記空間ブレンド画像と前記第一画像に含まれるノイズを除去した第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する。

これによれば、上記のように高い精度で第二画像における動きを検出し、その検出結果に応じて第二画像に対する空間ノイズ除去を行った後に、時間ノイズ除去を行うことができる。第二画像における動き検出の精度が高いので、空間ノイズ除去の精度を向上させることができる。そして、この空間ノイズ除去を行った後に時間ノイズ除去を行うので、さらに適切な時間ノイズ除去処理を画像に施すことができる。

例えば、前記信頼度算出部は、前記第二画像に含まれる画素の動きが小さいほど、より大きな値を前記信頼度として算出し、前記空間ブレンド部は、前記信頼度が大きいほど、前記第二画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行い、前記時間ブレンド部は、前記信頼度が大きいほど、前記第一ノイズ除去画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行う。

これによれば、第二画像における動きがある可能性が小さいほど、第二画像の重みを大きくした空間ノイズ除去処理を画像に施すことができる。第二画像において動きがある可能性が小さい部分では、第二画像の重みを大きくすることで、空間ノイズ除去により生ずるボケなどの副作用を回避することができる。

また、本発明の一態様に係る画像ノイズ除去方法は、第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去方法であって、前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去ステップと、前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出ステップと、前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンドステップとを含む。

これにより、上記の画像ノイズ除去装置と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記に記載の画像ノイズ除去方法をコンピュータに実行させるためのプログラムである。

これにより、上記の画像ノイズ除去装置と同様の効果を奏する。

また、本発明の一態様に係る集積回路は、第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための集積回路であって、前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去部と、前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出部と、前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンド部とを備える。

これにより、上記の画像ノイズ除去装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、本実施の形態における画像ノイズ除去装置の構成図である。

図１に示されるように、画像ノイズ除去装置１は、入力画像端子１０と、空間ノイズ除去部２０と、信頼度算出部３０と、時間ブレンド率算出部４０と、時間ブレンド部５０と、バッファ６０と、出力画像端子７０とを備える。

入力画像端子１０は、画像ノイズ除去装置１に入力される画像（以降、「入力画像」と記載する）を受け付ける。具体的には、入力画像端子１０は、注目画素の画素値（画素データ）と、その周辺画素の画素値（画素データ）とを受け付ける。なお、入力画像は、第二画像に相当する。

空間ノイズ除去部２０は、入力画像端子１０が受け付けた注目画素の画素値と、その周辺画素の画素値とを用いて平滑化によるノイズ除去を行う。このようにノイズ除去された画像が、空間ノイズ除去画像に相当する。

信頼度算出部３０は、入力画像端子１０が受け付けた注目画素が、過去の入力画像（第一画像に相当）における同位置の画素に対して静止している確率を算出する。つまり、信頼度算出部３０は、入力画像端子１０が受け付けた注目画素の画素値と、バッファに記録されている過去の画像に対してノイズ除去を施した画像における同位置の画素値と、空間ノイズ除去部２０がノイズ除去を行った後の画像における同位置の画素値とを入力とし、これらを用いて注目画素が過去の画像についてのノイズ除去信号における同位置の画素に対して静止している確率を算出する。算出する方式については、後に説明する。なお、「画素が静止している」とは、当該画素に対応する撮影対象物が変わらないことを意味する。すなわち、２つの画像のそれぞれにおける画素に対応する撮影対象物が同一である場合に、「画素が静止している」という。さらに、これらの２つの画素にそれぞれ異なる大きさのノイズが加わったために画素値が異なる場合であっても、「画素が静止している」といえる。反対に、２つの画像のそれぞれにおける画素に対応する撮影対象物が異なる場合に、「画素が静止していない」という。

具体的には、現実に動きがない被写体（例えば、風景、建物など）を撮影した動画から２つの画像を抽出すれば、一方の画像の画素が他方の画像の画素に対して静止しているといえる。さらに、上記一方の画像の画素と上記他方の画像の画素とに互いに異なるノイズが加わった場合には、上記の画素値は異なるが、その場合にも、一方の画像の画素が他方の画像の画素に対して静止しているといえる。一方、現実に動きがある被写体（例えば、動いている車、手を振っている人）を撮影した動画から２つの画像を抽出すれば、その動きがある部分においては、一方の画像の画素が他方の画像の画素に対して静止しているとはいえない。

なお、「バッファに記録されている過去の画像」とは、入力画像端子１０が受け付けた入力画像より過去の画像であって、ノイズ除去処理が施された画像を意味である。つまり、過去の画像は、当該入力画像の１つ前に入力されノイズ除去処理が施された画像であってもよいし、当該入力画像の所定数前に入力されノイズ除去処理が施されたた画像であってもよい。このとき、所定数は、当該入力画像との差分が比較的小さいと考えられる画像数とすればよい。なお、「バッファに記録されている過去の画像」は、第一ノイズ除去画像に相当する。

時間ブレンド率算出部４０は、信頼度算出部３０が算出した注目画素が静止している確率に基づいて、時間ブレンド部５０が用いる入力画像端子１０が受け付けた画素値とバッファに記録されている過去の画像の画素値とのブレンド率（混合率）を算出する。

時間ブレンド部５０は、時間ブレンド率算出部４０が算出したブレンド率に従い、入力画像端子１０が受け付けた画素値と、バッファに記録されている過去の画像についてのノイズ除去信号における同位置の画素値とのブレンドを行うことで出力画像を生成し、生成した出力画像を出力する。

図２は、本実施の形態における信頼度算出部３０の構成図である。

図２に示されるように、信頼度算出部３０は、差分演算部３１ａと、差分演算部３１ｂと、差分演算部３１ｃと、確率算出部３２とを備える。以降において、信頼度算出部３０に入力される入力画像端子１０が受け付ける画素値をＣＵＲとし、空間ノイズ除去部２０がノイズ除去（空間ノイズ除去）した後の画素値をＳＮＲとし、バッファ６０に記録されている画像の画像データをＰＲＥとして説明する。

差分演算部３１ａは、ａ＝ＳＮＲ−ＣＵＲを算出する。

差分演算部３１ｂは、ｂ＝ＰＲＥ−ＣＵＲを算出する。

差分演算部３１ｃは、ｃ＝ＰＲＥ−ＳＮＲを算出する。

一般に、画素値は、ＲＧＢ又はＹＣｂＣｒのような複数の色成分データによって構成されているので、差分演算部３１ａ、３１ｂ及び３１ｃが算出するａ、ｂ及びｃは、複数の成分を有するベクトルととらえることができる。例えば、画素値がＹＣｂＣｒの３つの情報にて構成される場合には、ベクトルａ、ｂ及びｃは、（式１）のように表わされる。

ここで、添字のｙ、ｃｂ及びｃｒは、それぞれ画素値のＹ成分、Ｃｂ成分及びＣｒ成分であることを示す。ベクトルａ、ｂ及びｃは、画素値が３つの成分（例えばＹＣｂＣｒやＲＧＢ形式）にて構成される場合には３次元のベクトルとなる。しかし、例えばグレースケールのようにＹ成分のみしか情報がない場合（ＣｂとＣｒとが常に０である場合）には１次元として扱ってもよいし、ＣｂとＣｒとを０として３次元と見なして扱ってもよい。

図３は、実施の形態１における画素値とベクトルとの関係の説明図である。図３には、画素値ＣＵＲ、ＳＮＲ及びＰＲＥ、並びに、ベクトルａ、ｂ及びｃの関係が示されている。

具体的には、画素値ＣＵＲ、ＳＮＲ及びＰＲＥのそれぞれがその画素値に対応する座標に配置されている。ベクトルａは、ＣＵＲを始点とし、ＳＮＲを終点とするベクトルとして描かれている。ベクトルｂは、ＣＵＲを始点とし、ＰＲＥを終点とするベクトルとして描かれている。ベクトルｃは、ＳＮＲを始点とし、ＰＲＥを終点とするベクトルとして描かれている。

確率算出部３２は、（式２）に従い、画素データが静止している確率Ｐを算出する。

ここで、α、β及びγは、外部から与えられる定数である。また、ω０、ω１及びω２は、（式３）、（式４）及び（式５）にて計算される。

ここで、σは画像に含まれるノイズモデル正規分布（ノイズにより変化する画素値の分布）の偏差であり、外部から与えられる。図４は、画像に含まれるノイズの確率分布の一例を示している。この確率分布は、ノイズを含まない真の画素値Ｓを中心とした偏差σの正規分布にモデル化されている。

一般に、画素データが静止している確率Ｐは、単にｂ（＝ＰＲＥ−ＣＵＲ）により算出することができるが精度が低い。単にｂのみを用いる方法は、（式２）の右辺の１つ目の因数だけを用いることと同等である。

これに対し、本実施の形態において、時間ノイズ除去した後の画素値と空間ノイズ除去した後の画素値との双方が正しいという理想的な場合からのずれが考慮される。具体的には、時間ノイズ除去により完全にノイズが除去されたと仮定した場合の時間ノイズ除去後の画素値と、空間ノイズ除去により完全にノイズが除去されたと仮定した場合の空間ノイズ除去後の画素値とは、等しいと考える。つまり、理想的な場合には、両者の画素値の差｜ｃ｜が０であり、かつベクトルａとｂとのなす角θが０である。現実的に上記の理想的な場合が実現することは難しく、理想的な場合から若干のずれが生ずる。その場合、両者の画素値の差｜ｃ｜が比較的小さく、かつベクトルａとｂとのなす角θが比較的小さいという関係がある。そこで、上記の｜ｃ｜及びθを、さらに用いて確率Ｐを（式２）により算出する。反対に、上記の関係が成り立たない場合は、時間ノイズ除去の精度が低いことを示している。つまり、注目している画素が過去の画像から移動している（静止していない）可能性が高いことを示している。

時間ブレンド率算出部４０は、信頼度算出部３０が算出した画素値が静止している確率Ｐを用いて、時間ブレンド部５０で用いるブレンド率αｔｎｒを算出する。αｔｎｒは１で正規化されて出力されるが、後段の時間ブレンド部５０における演算との関係で正規化を必ずしも必要としない。αｔｎｒは確率Ｐを用いた演算で求めても良いし、あらかじめ用意したテーブル又は対応関係を用いて算出してもよい。

図５は、実施の形態１におけるαｔｎｒとＰとの対応関係の例である。

図５の（ａ）は、αｔｎｒとＰとの対応関係の第一例である。Ｐが０から１まで変化する場合に、αｔｎｒがＰに比例して変化することを示している。αｔｎｒが変化する範囲は、例えば、０から０．９までとする。

図５の（ｂ）は、αｔｎｒとＰとの対応関係の第二例である。Ｐが０から１まで変化する場合に、Ｐが０から所定数までの区間ではαｔｎｒがＰに比例して変化し、Ｐが所定数から１までの区間ではαｔｎｒが一定値をとることを示している。αｔｎｒが変化する範囲は、例えば、上記と同様に０から０．９までとする。

上記のようにすれば、Ｐが０から１まで変化する場合に、αｔｎｒが０から所定数まで変化するようにすることができる。

なお、１で正規化した確率Ｐをそのまま、１で正規化したブレンド率αｔｎｒとして用いることにより、時間ブレンド率算出部４０を省略することもでき、構成を簡単にすることができる。

時間ブレンド部５０は、時間ブレンド率算出部４０が算出したブレンド率αｔｎｒを用いて出力画像ＯＵＴを出力する。例えば、αｔｎｒが１で正規化してある場合には、ＯＵＴ＝αｔｎｒ×ＰＲＥ＋（１−αｔｎｒ）×ＣＵＲとなる。

以上の構成と処理により、時間ノイズ除去フィルタのフィルタ強度を適応的に変化させることにより、ターゲットとする画像に対して時間ノイズ除去フィルタを最適にかけるノイズ除去ができる。

図６は、本実施の形態における処理の流れを示すフローチャートである。図６は、本実施の形態における１画像に対する処理のフローチャートである。

ステップＳ１０１において、画素値の入力が行われる。

ステップＳ１０２において、ステップＳ１０１で入力された画素値に対して空間ノイズ除去処理が行われる。

ステップＳ１０３において、ステップＳ１０２において空間ノイズ除去された画素値と、ステップＳ１０１で入力された画素値と、過去の画像の画素値とに基づいて画素が静止している確率を算出する。

ステップＳ１０４において、ステップＳ１０３で算出した確率を元に時間ブレンド率を算出する。

ステップＳ１０５において、ステップＳ１０４で算出した時間ブレンド率を元に、ステップＳ１０１で入力された画素値と、過去の画像の画素値の時間ブレンド処理を行う。

ステップＳ１０６において、ステップＳ１０５での時間ブレンド処理が行われた後の出力画像を出力する。

ステップＳ１０７において、上記の出力画像をバッファに記録する。

ステップＳ１０８において、全画素の処理が終わったかの判定を行い、終わったと判定した場合には当該１画像に対する処理を終了とする（ステップＳ１０９）。また、終わっていないと判定された場合には、ステップＳ１０１へ移行する。

以上の処理により、時間ノイズ除去フィルタの強度を適応的に変えて１画像のノイズ除去フィルタ処理を行うことができる。動画像の場合には、動画像を構成する画像のそれぞれに対して、順次、上記の処理を施すことで動画像を構成する全ての画像にノイズ除去フィルタ処理を行うことができる。

以上のように、本実施の形態における画像ノイズ除去装置によれば、第二画像と、第一ノイズ除去画像とに加えて、第二画像のノイズを空間的に除去した空間ノイズ除去画像を用いて高い精度で第二画像における動きを検出し、その検出結果に応じて第二画像に対する時間ノイズ除去を行うことができる。第二画像における動き検出の精度が高いので、時間ノイズ除去の精度を向上させることができる。よって、画像ノイズ除去装置は、適切な強度の時間ノイズ除去処理を画像に施すことができる。

従来技術での第二画像における動きの検出は、第二画像と第一ノイズ除去画像とにより行わるが、その検出結果は精度が悪いことが知られている。本発明においては、上記の２つの画像に加えて第二画像の空間ノイズ除去画像を用いることで、動きの検出結果の精度を向上させることができる。

また、第二画像における動きが小さいほど、第一ノイズ除去画像の重みを大きくした時間ノイズ除去処理を画像に施すことができる。第二画像において動きがある可能性が小さい部分では、すでにノイズが除去されている第一ノイズ除去画像の重みを大きくすることで、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

また、画像ノイズ除去装置は、第二画像において動きがある可能性がより小さいと判断した場合に、時間ノイズ除去における第一ノイズ除去画像の重みを大きくする。第一ノイズ除去画像は、すでにノイズが除去されているので、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

また、画像ノイズ除去装置は、画素値の差分の大小判定の際に、ノイズにより変化する画素値の分布の偏差に対する比を用いて、大小判定をすることができる。

また、画像ノイズ除去装置は、空間ノイズ除去画像と第二画像との差分に対応する第一ベクトルと、第一ノイズ除去画像と第二画像との差分に対応する第二ベクトルとのなす角が小さいほど、第二画像において動きがある可能性がより小さいと判断し、時間ノイズ除去における第一ノイズ除去画像の重みを大きくする。第一ノイズ除去画像は、すでにノイズが除去されているので、時間ノイズ除去処理後の画像のノイズを小さくすることができる。

また、画像ノイズ除去装置は、当該画像ノイズ除去装置により第一画像を時間ノイズ除去処理して得られる画像を第一ノイズ除去画像として用いることができる。

また、時間順で連続した複数の画像で構成される動画像に対して、連続した画像に対して、順次、当該画像の直前の画像のノイズ除去結果を考慮して時間ノイズ除去処理を施すことができる。

（実施の形態２）
図７は、本実施の形態における画像ノイズ除去装置の構成図である。

図７に示されるように、画像ノイズ除去装置２は、入力画像端子１０と、空間ノイズ除去部２０と、信頼度算出部３０と、時間ブレンド率算出部４０と、時間ブレンド部５０と、バッファ６０と、出力画像端子７０と、空間ブレンド率算出部８０と、空間ブレンド部９０とを備える。

入力画像端子１０は、画像ノイズ除去装置１に入力される画像（以降、「入力画像」と記載する）を受け付ける。具体的には、入力画像端子１０は、注目画素の画素値（画素データ）と、その周辺画素の画素値（画素データ）とを受け付ける。

空間ノイズ除去部２０は、入力画像端子１０が受け付けた画素値と、周辺画素の画素値とを用いて平滑化によるノイズ除去を行う。

信頼度算出部３０は、入力画像端子１０が受け付けた注目画素が、過去の入力画像における同位置の画素に対して静止している確率を算出する。つまり、信頼度算出部３０は、入力画像端子１０が受け付けた注目画素の画素値と、バッファに記録されている過去の画像に対してノイズ除去を施した画像における同位置の画素値と、空間ノイズ除去部２０がノイズ除去を行った後の画像における同位置の画素値を入力とし、これらを用いて注目画素が過去の画像についてのノイズ除去信号における同位置の画素に対して静止している確率を算出する。

空間ブレンド率算出部８０は、信頼度算出部３０が算出した確率であって、注目画素が静止している確率に基づいて、空間ブレンド部９０で用いる入力画像端子１０が受け付けた画素値と空間ノイズ除去部２０による処理の後の画素値とのブレンド率を算出する。

空間ブレンド部９０は、空間ブレンド率算出部８０が算出したブレンド率に従い、入力画像端子１０が受け付けた画素値と、空間ノイズ除去部２０による処理の後の画像における同位置の画素値とのブレンドを行う。

時間ブレンド率算出部４０は、信頼度算出部３０が算出した注目画素が静止している確率に基づいて、時間ブレンド部５０が用いる空間ブレンド部９０の出力画像とバッファに記録されている過去の画像についてのノイズ除去信号における同位置の画素値とのブレンド率（混合率）を算出する。

時間ブレンド部５０は、時間ブレンド率算出部４０が算出したブレンド率に従い、空間ブレンド部９０が出力した画像値と、バッファに記録されている過去の画像における同位置の画素値とのブレンディングを行うことで出力画像を生成し、生成した出力画像を出力する。

空間ブレンド率算出部８０は、実施の形態１で説明した注目画素が静止している確率Ｐに基づいて、ブレンド率αｓｎｒを算出する。

ブレンド率αｓｎｒの計算は、例えば、以下のようなことを考慮して行う。一般に、空間ノイズ除去による平滑化処理を行うと、画像にボケが発生するなどの副作用が生ずる。そこで、画像が静止している確率が高い場合には上記のボケのような副作用を抑制する目的で、入力画像端子１０を比較的高い割合でブレンドするようにブレンド率を調整する。

αｓｎｒは正規化されて出力されるが、後段の空間ブレンド部９０における演算との関係で正規化を必ずしも必要としない。αｓｎｒは確率Ｐを用いた演算で求めても良いし、あらかじめ用意したテーブル又は対応関係を用いて算出してもよい。対応関係は、実施の形態１で説明したように、図５に示される対応関係を採用してもよい。

なお、空間ノイズ除去の副作用を考慮せずに、１で正規化した確率Ｐをそのまま、１で正規化したブレンド率αｓｎｒとして用いることもできる。その場合、空間ブレンド率算出部８０を省略することもでき、構成を簡単にすることができる。

空間ブレンド部９０は、空間ブレンド率算出部８０が算出したブレンド率αｓｎｒを用いて出力結果ＯＵＴｓｎｒを出力する。例えば、αｓｎｒが１で正規化してある場合には、ＯＵＴｓｎｒ＝αｓｎｒ×ＣＵＲ＋（１−αｓｎｒ）×ＳＮＲとなる。

時間ブレンド部５０は、時間ブレンド率算出部４０で算出したブレンド率αｔｎｒを用いて出力画像ＯＵＴを出力する。例えば、αｔｎｒが１で正規化してある場合には、ＯＵＴ＝αｔｎｒ×ＰＲＥ＋（１−αｔｎｒ）×ＯＵＴｓｎｒとなる。

以上の構成と処理により、時間ノイズ除去フィルタのフィルタ強度を適応的に変化させることにより、ターゲットとする画像に対して時間ノイズ除去フィルタを最適にかけることができ、かつ、動いている部分に対する空間ノイズ除去フィルタとの切り替えをなだらかに行うノイズ除去ができる。

図８は、本実施の形態における処理の流れを示すフローチャートである。図８は、本実施の形態における１画像に対する処理のフローチャートである。

ステップＳ１０１において、画素値の入力が行われる。

ステップＳ１０２において、ステップＳ１０１で入力された画素値に対して空間ノイズ除去処理が行われる。

ステップＳ１０３において、ステップＳ１０２において空間ノイズ除去された画素値と、ステップＳ１０１で入力された画素値と、過去の画像の画素値とに基づいて画素が静止している確率を算出する。

ステップＳ２０１において、ステップＳ１０３で算出した確率を元に空間ブレンド率の算出を行う。

ステップＳ２０２において、ステップＳ２０１で算出した空間ブレンド率を元に、ステップＳ１０１で入力された画素値と、空間ノイズ除去された画素値との空間ブレンド処理を行う。

ステップＳ１０４において、ステップＳ１０３で算出した確率を元に時間ブレンド率を算出する。

ステップＳ１０５において、ステップＳ１０４で算出した時間ブレンド率を元に、ステップＳ１０１で入力された画素値と、ステップＳ２０２で処理された後の画素値の時間ブレンド処理を行う。

ステップＳ１０６において、ステップ１０５での時間ブレンド処理が行われた後の出力画像を出力する。

ステップＳ１０７において、上記の出力画像をバッファに記録する。

ステップＳ１０８において、全画素の処理が終わったかの判定を行い、終わったと判定した場合には当該１画像に対する処理を終了とする（ステップＳ１０９）。また、終わっていないと判定された場合には、ステップＳ１０１へ移行する。

以上の処理により、時間ノイズ除去フィルタの強度を適応的に変え、かつ動いている部分に対する空間ノイズ除去フィルタとの切り替えをなだらかするノイズ除去フィルタ処理を行うことができる。

以上のように、本実施の形態における画像ノイズ除去装置によれば、上記のように高い精度で第二画像における動きを検出し、その検出結果に応じて第二画像に対する空間ノイズ除去を行った後に、時間ノイズ除去を行うことができる。第二画像における動き検出の精度が高いので、空間ノイズ除去の精度を向上させることができる。そして、この空間ノイズ除去を行った後に時間ノイズ除去を行うので、さらに適切な時間ノイズ除去処理を画像に施すことができる。

また、第二画像における動きがある可能性が小さいほど、第二画像の重みを大きくした空間ノイズ除去処理を画像に施すことができる。第二画像において動きがある可能性が小さい部分では、第二画像の重みを大きくすることで、空間ノイズ除去により生ずるボケなどの副作用を回避することができる。

なお、上記各実施の形態における画像ノイズ除去装置は、以下の構成でも実現できる。図９は、各実施の形態における画像ノイズ除去装置の構成図の一例である。

図９に示されるように、時間順で第一画像の後の第二画像に含まれるノイズを除去するための画像ノイズ除去装置１Ａは、空間ノイズ除去部２０と、信頼度算出部３０と、時間ブレンド部５０とを備える。

空間ノイズ除去部２０は、第二画像(CUR)に含まれる画素値を用いて第二画像(CUR)に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像(SNR)を生成する。

信頼度算出部３０は、空間ノイズ除去画像(SNR)と、第二画像(CUR)と、第一画像のノイズを除去した第一ノイズ除去画像(PRE)とに基づいて、第二画像(CUR)における動きの有無の指標である信頼度を算出する。

時間ブレンド部５０は、第二画像(CUR)と第一ノイズ除去画像(PRE)とに対して、信頼度に基づいた加算処理を行う。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像ノイズ除去装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去方法であって、前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去ステップと、前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出ステップと、前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンドステップとを含む画像ノイズ除去方法を実行させる。

以上、一つまたは複数の態様に係る画像ノイズ除去装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明にかかる画像ノイズ除去装置の技術により、時間ノイズ除去フィルタの強度を適応的に変更することができるため、動画像を撮影するデジタルビデオカメラやデジタルスチルカメラのノイズ除去に対して有用である。

１、１Ａ、２ 画像ノイズ除去装置
１０ 入力画像端子
２０ 空間ノイズ除去部
３０ 信頼度算出部
３１ａ、３１ｂ、３１ｃ 差分演算部
３２ 確率算出部
４０ 時間ブレンド率算出部
５０ 時間ブレンド部
６０ バッファ
７０ 出力画像端子
８０ 空間ブレンド率算出部
９０ 空間ブレンド部

Claims (13)

1. 第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去装置であって、
   前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去部と、
   前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出部と、
   前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンド部とを備える
   画像ノイズ除去装置。
2. 前記信頼度算出部は、
   前記第二画像に含まれる画素の動きが小さいほど、より大きな値を前記信頼度として算出し、
   前記時間ブレンド部は、
   前記信頼度が大きいほど、前記第一ノイズ除去画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行う
   請求項１に記載の画像ノイズ除去装置。
3. 前記信頼度算出部は、
   前記第一ノイズ除去画像と前記第二画像とのそれぞれに含まれる同一位置の画素値の差分が小さいほど、より大きな値を前記信頼度として算出する
   請求項２に記載の画像ノイズ除去装置。
4. 前記信頼度算出部は、
   前記第一ノイズ除去画像と前記空間ノイズ除去画像とのそれぞれに含まれる同一位置の画素値の差分が小さいほど、より大きな値を前記信頼度として算出する
   請求項２又は３に記載の画像ノイズ除去装置。
5. 前記信頼度算出部は、
   予め定められた偏差であってノイズにより変化する画素値の分布の偏差に対する、前記差分の比に基づいて、前記信頼度を算出する
   請求項３又は４に記載の画像ノイズ除去装置。
6. 前記画素値は、複数の成分を有し、
   前記信頼度算出部は、
   前記空間ノイズ除去画像と前記第二画像とのそれぞれにおける同一位置の画素の画素値の差分を成分として有する第一ベクトルと、前記第一ノイズ除去画像と前記第二画像とのそれぞれにおける同一位置の画素の画素値の差分を成分として有する第二ベクトルとのなす角が小さいほど、より大きな値を前記信頼度として算出する
   請求項２〜５のいずれか１項に記載の画像ノイズ除去装置。
7. 前記第一ノイズ除去画像は、前記第一画像に含まれるノイズを当該画像ノイズ除去装置により除去した画像である
   請求項１〜６のいずれか１項に記載の画像ノイズ除去装置。
8. 前記第一画像は、動画像を構成する画像のうちの１つの画像であり、
   前記第二画像は、前記動画像を構成する画像のうちの１つの画像であって、時間順で前記第一画像の直後の画像である
   請求項１〜７のいずれか１項に記載の画像ノイズ除去装置。
9. 前記画像ノイズ除去装置は、さらに、
   前記第二画像と前記空間ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、空間ブレンド画像を生成する空間ブレンド部とを備え、
   前記時間ブレンド部は、さらに、
   前記空間ブレンド画像と前記第一画像に含まれるノイズを除去した第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する
   請求項１に記載の画像ノイズ除去装置。
10. 前記信頼度算出部は、
    前記第二画像に含まれる画素の動きが小さいほど、より大きな値を前記信頼度として算出し、
    前記空間ブレンド部は、
    前記信頼度が大きいほど、前記第二画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行い、
    前記時間ブレンド部は、
    前記信頼度が大きいほど、前記第一ノイズ除去画像の重みをより大きくした重み付け加算処理を、前記重み付け加算処理として行う
    請求項９に記載の画像ノイズ除去装置。
11. 第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための画像ノイズ除去方法であって、
    前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去ステップと、
    前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出ステップと、
    前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンドステップとを含む
    画像ノイズ除去方法。
12. 請求項１１に記載の画像ノイズ除去方法をコンピュータに実行させるためのプログラム。
13. 第一画像のノイズ除去の後に、第二画像に含まれるノイズを除去するための集積回路であって、
    前記第二画像に含まれる画素値を用いて前記第二画像に含まれるノイズを除去するための演算を行うことで空間ノイズ除去画像を生成する空間ノイズ除去部と、
    前記空間ノイズ除去画像と、前記第二画像と、前記第一画像のノイズを除去した第一ノイズ除去画像とに基づいて、前記第二画像における動きについての信頼度を算出する信頼度算出部と、
    前記第二画像と前記第一ノイズ除去画像とに対して、前記信頼度に基づいた重み付け加算処理を行うことで、前記第二画像に含まれるノイズを除去する時間ブレンド部とを備える
    集積回路。
    

Images