JP5843542B2 - 画像処理装置、眼科撮影装置、画像処理方法及びプログラム - Google Patents

画像処理装置、眼科撮影装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5843542B2
JP5843542B2 JP2011204653A JP2011204653A JP5843542B2 JP 5843542 B2 JP5843542 B2 JP 5843542B2 JP 2011204653 A JP2011204653 A JP 2011204653A JP 2011204653 A JP2011204653 A JP 2011204653A JP 5843542 B2 JP5843542 B2 JP 5843542B2
Authority
JP
Japan
Prior art keywords
image
fundus
image processing
feature amount
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011204653A
Other languages
English (en)
Other versions
JP2013063215A5 (ja
JP2013063215A (ja
Inventor
恵子 米沢
恵子 米沢
和英 宮田
和英 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011204653A priority Critical patent/JP5843542B2/ja
Priority to US13/605,873 priority patent/US8960906B2/en
Priority to CN201210353478.3A priority patent/CN103006174B/zh
Publication of JP2013063215A publication Critical patent/JP2013063215A/ja
Publication of JP2013063215A5 publication Critical patent/JP2013063215A5/ja
Priority to US14/597,127 priority patent/US20150124218A1/en
Application granted granted Critical
Publication of JP5843542B2 publication Critical patent/JP5843542B2/ja
Priority to US16/287,926 priority patent/US11058293B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

本明細書が開示する技術は、眼底画像から視細胞に関する情報を取得する画像処理装置、眼科撮影装置、画像処理方法、及びプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼底部の検査が広く行われている。眼底を検査する装置は、眼底に照射した光の反射光を受光することで眼底を撮像する眼底カメラや、共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)がある。近年、被検眼の収差を波面センサーでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する眼底カメラやSLOが開発され、高横分解能な眼底平面画像の取得を可能にしている。これら装置により網膜における視細胞を撮像し、疾病の診断や薬剤応答の評価をする試みが行われている。
補償光学SLOを用いて視細胞の可視化を行った例として、非特許文献1においては、網膜の眼底平面画像を取得し、視細胞の自動抽出を可能とした眼科撮影装置が提案されている。この眼科撮影装置では、高横分解能の網膜の眼底平面画像を撮像し、画像に描出される視細胞の配置の周期性を利用して高周波成分を除去することで画像の前処理を行い、視細胞の自動検出を行っている。
Kaccie Y. Li and Austin Roorda, "Automated identification of cone photoreceptors in adaptive optics retinal images"J. Opt. Soc. Am. A, May 2007, Vol. 24, No. 5, 1358
このような視細胞の画像において、撮影条件の調整や得られた画像の診断を行ううえで、視細胞の画像の撮像状態を評価したい場合が多くある。一般に撮像状態を評価するには、評価対象の領域とそれ以外の領域のノイズレベルを比較することで画質指標値を得ることが行われている。しかしながら視細胞の画像は一般に画像内すべてが網膜領域となるために、上述の方法を利用できないという問題があった。
本発明は上記課題に鑑み、補償光学SLO等の眼科装置によって取得された網膜の視細胞画像の画質を、客観的に評価する指標を提示することを目的とする。
上述の目的を鑑みた処理を行う画像処理装置は、眼底を撮像し得られる眼底画像を周波数変換し空間周波数画像を得る変換手段と、前記空間周波数画像における特徴量を抽出する抽出手段と、前記特徴量に基づいて前記眼底画像における視細胞の撮像状態を示す情報を取得する情報取得手段と、を有することを特徴とする。
本発明によれば、眼底画像を処理して視細胞の撮像状態を示す情報が得られるため、撮影条件の調整や画像の診断等を容易に行うことができる。
実施例1に係る画像処理装置10の機能構成を示す図である。 実施例1に係る画像処理装置10の処理手順を示すフローチャートである。 補償光学SLO装置により視細胞を撮影した高精細な眼底平面画像の模式図である。 眼底平面画像を周波数変換して得られるフーリエ画像の例である。 視細胞の配置を反映した構造をフーリエ画像から算出する方法を示す図である。 シグナルが弱い眼底平面画像から取得されるフーリエ画像を示す図である。 フーリエ画像より取得する特徴量を示す図である。 解像度が低い画像のフーリエ画像及びその特徴量の一例を示す図である。 解像度がさらに低い画像のフーリエ画像及びその特徴量の一例を示す図である。 フーリエ画像より抽出した特長量から構成した画質指標を示す図である。 実施例2に係る画像処理装置10の機能構成を示す図である。 実施例2に係る画像処理装置10の処理手順を示すフローチャートである。 眼底平面画像を複数の局所眼底平面画像に分割する一例を示す図である。 局所眼底平面画像からの指標を統合した指標を示す図である。 画像処理装置のその他の例に係るハードウェア構成図である。 眼科撮影システムの構成を示す図である。 眼科撮影装置の構成を示す図である。 OCTの画像取得方法を示す図である。 SLOの画像取得方法を示す図である。
(実施例1)
本実施例では、補償光学SLOにより網膜の視細胞を撮影した画像を取得した際に、該取得された画像の画質を定量的に示す指標を算出し提示する場合の処理について説明する。具体的には、補償光学SLOにより取得された眼底平面画像の空間周波数画像を離散フーリエ変換により取得する(取得された画像を以下、フーリエ画像または周波数画像とする)。該取得されたフーリエ画像から、視細胞が規則正しく配置されていることを反映した周期構造の特徴量を抽出し、抽出された特徴量から画質の指標を構築する。
こうして得られた画質指標を提示することにより、ユーザは、例えば画像の撮影中であれば再度撮影を行うか否かの判断をすることができる。また視細胞の密度をもとに診断を行う場合に、該画像を用いたし細胞密度に基づき診断することが妥当か否かの判断をすることが可能になる。
<眼底平面画像>
図3に、補償光学SLOで撮影された眼底平面画像を模式的に示す。図3に示すように、輝度が比較的大きい小領域として、各視細胞PRが一つ一つ区別される形で描出される。また、視細胞の輝度に比較して輝度の低い血管領域Vが描出されることもある。この血管領域は視細胞より上層にある血管の影が描出されているものである。
<フーリエ画像>
図4に、上記眼底平面画像の空間周波数成分を離散フーリエ変換により取得したフーリエ画像の模式図を示す。図4に示すように、視細胞が周期的に配置していることを反映して、視細胞の周期に相当するリング構造が見られる。
<画像処理装置の構成>
図1は、本実施例に係る画像処理装置10の機能構成を示したものである。
図1の画像取得部100は眼底平面画像を取得する。ここで得られる眼底平面画像は、眼底の視細胞が撮像された画像である。たとえば、ハルトマンシャックセンサ等の収差測定部と、シリコン基板の上に液晶を形成した反射型の液晶表示パネル(LCOS)やディフォーマブルミラー等の補償光学系におり収差を補正する眼底撮像装置で撮像された画像が該当する。
入力情報取得部110は、補償光学SLOによる眼底平面画像の撮影の際の、被検眼情報を取得する。取得した画像は制御部120を通じて記憶部130に記憶される。140は画像処理部であり、周波数変換部141、特徴抽出部142、指標算出部143を含む。
周波数変換部141は、眼底を撮像し得られる眼底平面画像を周波数変換し周波数画像を得る。周波数変換の方法として、たとえば上述のとおり離散フーリエ変換を用いる。
特徴抽出部142は、撮像された眼底平面画像における周期構造を示す特徴量を周波数画像から抽出する。周波数画像において、眼底平面画像における周期構造はたとえば原点を中心とした環状(リング状)の構造として現れる。これは、視細胞の構造に対応する特定の周波数帯域が周波数画像に現れたものである。特徴量としては、この環状構造に関する特徴量がある。たとえば、環状構造における輝度値のピークの値、環状構造の広がりを示す尖鋭度の値がある。また、環状構造における輝度値のピークの位置などがある。また、画質が悪い場合には、周波数画像に環状の構造が現れず、円盤状の構造となる場合もある。この場合には、円盤領域の広がり、位置や円盤領域における輝度値のピークの値を特徴量として抽出する。これらは、眼底平面画像における視細胞の撮像状態や視細胞の分布などを示す情報の取得に用いられる。
指標算出部143は、フーリエ画像から得られた視細胞の撮像状態、または視細胞の分布情報を示す情報を取得する情報取得部として機能する。上述した特徴抽出部142の特徴量を用いることで、精度良く撮像状態または分布を把握することができる。
出力部150は指標算出部143で取得された視細胞の撮像状態を示す情報や視細胞の分布を示す情報を出力する。出力対象としては表示部160のほか、外部のデータベースやプリントアウトのための出力機器がある。これらの機器には、撮像状態を示す情報をそのまま表示させるほか、眼底平面画像とともに表示させる。ここで表示対象となる撮像状態を示す情報としては、視細胞が撮影された眼底平面画像の画質指標値や、撮像状態を改善するためにユーザに操作を促すための情報がある。また、撮像状態の情報を含んでいる周波数画像を眼底画像とともに表示させる。また、後述する図5(b)に示すように環状構造の中心位置または周波数画像の原点からの距離と輝度値と関係を示すグラフを表示する。また、眼底平面画像の撮像に用いた眼科撮影装置に、視細胞の撮像状態に応じた制御値を出力する。
画像処理部140は、取得した眼底平面画像よりフーリエ画像を生成し、フーリエ画像より抽出した特徴量から画質の指標を算出して、記憶部130に記憶する。150は出力部であり、算出された指標をモニタ等に出力するほか、記憶部130に記憶されている処理結果をデータベースに出力する。
本実施例において、画像処理装置10は、補償光学SLOから直接眼底平面画像を取得する構成としたが、ネットワークを介してそれらの画像を取得してもよい。その場合には、ネットワークを介して接続されたデータベースに補償光学SLOで撮影された眼底平面画像が保存され、画像処理装置10はそのデータベースから画像を取得する構成となる。
<画像処理装置の処理手順>
次に、図2(a)のフローチャートを参照して、本実施形態の画像処理装置10の処理手順を説明する。
<ステップS210>
ステップS210において、画像取得部100は、画像処理装置10に接続される補償光学SLO、もしくは該装置により撮影された眼底平面画像を保存するデータベースから、解析対象となる眼底平面画像を取得する。取得された眼底平面画像は、制御部120を通じて記憶部130に記憶される。
またこのとき、取得された眼底平面画像が撮影された際の撮影パラメタ情報を取得し、制御部120を通じて記憶部130に記憶する。ここで撮影パラメタ情報とは、撮影の際の固視灯の位置情報などのことである。固視灯の位置などの撮影パラメタ情報は、眼底平面画像に付加されている画像撮影情報ファイルに記載されている場合もあれば、画像のタグ情報として含まれている場合もある。
<ステップS220>
ステップS220において、入力情報取得部110は、データベースもしくは操作者の入力部(不図示)による入力により被検眼の情報を取得する。ここで被検眼の情報とは、被検眼の患者ID、氏名、年齢、性別、検査対象が右目であるか左目であるか、撮影日時等のことであり、これら取得した情報は、制御部120を通じて記憶部130に記憶される。
<ステップS230>
ステップS230において、周波数変換部141は、記憶部130に記憶されている補償光学SLOにより取得された眼底平面画像の空間周波数画像を離散フーリエ変換により取得する。図3に示したように、眼底平面画像の多くの領域は、輝度の高い小領域として観察される規則的な配置をもつ視細胞で構成される。よって血管や病変などの領域が部分的に画像内に含まれる場合であっても、該眼底平面画像を空間周波数変換して得られるフーリエ画像は、図4に示したようなリング状の構造をもつ。
<ステップS240>
ステップS240において、特徴抽出部142は、ステップS230で得られたフーリエ画像から、視細胞の配置の周期性を示す環状構造の特徴量を抽出する。具体的には、図5(a)に示したように、フーリエが像のサイズを縦と横のピクセル数がNとなるNxNの正方形であるとした時、(N/2、N/2)となるフーリエ画像の中心を原点とした極座標表示(r, θ)を考える。そしてフーリエ画像の各ピクセルの値をθ方向に積算した関数I(r)を算出する。但し、r=0, 1, 2・・N/2とする。フーリエ画像は連続画像ではなく、ピクセルごとに値をもつため、I(r)の計算の際には各ピクセルのrが例えば4.5以上、5.5未満の場合にはI(5)の値に積算する。その後隣接点間で平均値をとるなどしてI(r)を平滑化する。図5(b)に図5(a)に対して取得された関数I(r)を示す。
図5(b)のI(r)は視細胞の配列に関する多くの情報を含んでいる。例えばI(r)疾病眼で水晶体のにごりなどのために、視細胞のシグナルが非常に弱くなることがある(図6(a))。そのような場合には図6(b)示すようにI(r)の値自体が、図5(b)に比べて小さな値をとるようになる。また、視細胞が撮影領域内で欠損していて周期的な構造がみられないような場合にも、同様のI(r)となる。よって、視細胞の周期構造の強さを示す特徴量として、図7に示すようにI(r)の最大値ImaxやI(r)の積算値Isumを用いることができる。
さらに、Imaxを与えるrであるrmaxは視細胞の配列の周期に対応している。
隣接視細胞間の距離が小さく、視細胞が密に配列している場合にはrmaxは大きく、逆に黄斑から遠くなり視細胞密度が低い場合にはrmaxは小さくなる。
また、例えシグナル強度が高くても、解像度が低く視細胞の周期構造が見えにくくなっているような場合(図8(a))には、図8(b)に示すようにI(r)のピークはrが小さい側に広がった形となる。このような解像の悪さを示す特徴量として、rmaxの周辺(±n)の積算値と、さらにそれより小さなrの積算値の比を取ることが考えられる。図8(c)に具体的な算出領域を示す。
撮影条件が悪く解像度が低い場合(図9(a))などに、I(r)のピークを取得するのが困難な場合がある。図9(b)にそのような場合のI(r)のシグナルを示した。このような場合には、Imaxを求めても正確なpeak_ratioを算出することができない。このような場合には、取得した固視の情報から推定されるピーク位置r_expected_peakをrmaxのかわりに用いてpeak_ratioを算出することで、より正確に画像の解像度を評価することができる。
<ステップS250>
ステップS250において、指標算出部143は、ステップS240で取得された特徴量から、補償光学SLO画像の視細胞の撮像状態や分布情報等、視細胞に関する情報を取得する。そうして算出した画質指標を、制御部120を通じて記憶部130に記憶する。以下にステップS240によって取得された特徴量から画質指標を算出する方法の一例を示すが、算出される指標は以下の例に限定されるものではない。
ステップS240で抽出した複数の指標のうち、ImaxやIsumなど視細胞の周期構造の強度に関連したものと、peak_ratioなどの解像度に関連したものが画質を考える上で重要である。補償光学SLOにおいては、被検眼の状態がよく高いシグナルが得られる状態であっても、解像度に失敗する場合がある。この場合には波面センサーによる補正を再度やり直せば画質のよい画像が取得できる可能性があり、水晶体の濁りなどでよい画像が取得できる可能性の低い被検眼とは区別することが重要である。よって画質指標としては、周期構造の強度に関連した指標と、解像度に関連した指標を2次元で組み合わせることで、各指標を個別に取得する場合に比べ撮像状態を正確に示す情報を得ることができる。
図10に指標の具体例を示す。ここでは縦軸に周期構造の強度に関連した指標であるImax、横軸に解像度に関連した指標であるpeak_ratioを示した。ステップS240では、peak_ratioとしてr_maxを用いる場合とr_expected_peakを用いる場合を示した。一般的にシグナル強度が低くなる場合にはノイズが多くなり、正確なr_maxを取得することが困難になる。よってここでは、r_expected_peakに対してpeak_ratioを算出した場合を示している。
図10(b)に示したように、周期構造の強度の指標、解像度の指標ともに高い領域Aにくる画像は、画質の良い画像といえる。両者ともに低い値となる領域Bは画質の悪い画像である。これに対して,周期構造の強度の指標は高いが、解像度の指標は低い領域Cの画像は、被検眼の状態は悪くないが解像度が悪くなっている可能性があり、収差補正をやり直すことで画質の改善がみられる可能性のある画像になる。もしくは視細胞の構造がきれいにでている領域とそうでない領域が共に含まれた画像である可能性もあり、病変部などの対応する可能性がある。また逆に、周期構造の強度の指標は低いが、解像度の指標は高い領域Dの画像は、解像はできているが全体的にシグナルの弱い画像であり、シグナル強度を上げることでより鮮明な画像を取得できる可能性がある。
<ステップS260>
ステップS260において、出力部150は、ステップS250において記憶部に保存された画質指標等の撮像状態を示す情報を、表示部160に表示させる。
たとえば、取得された特徴量をそのまま撮像状態を示す情報として表示させる。詳細な情報をユーザに提示することができる。
あるいは、予め適切な閾値を設定しておき、画質指標が閾値を下回る場合に、「視細胞領域の画質が低い」といった文字情報を、出力部150が撮像状態を示す情報として表示部160に表示させる。なお、文字情報でなくても、当該文字情報を示すようなアイコンや画像を表示することとしてもよい。これにより、たとえば操作に慣れていない検査者であっても、画質に問題があることを容易に把握することができる。もちろん、閾値を上回る場合には、「画質が十分です」といった文字情報を表示し、ユーザに画質が問題ないことを表示することとしても良い。
また、上述のとおりpeak−ratioの値が低くImaxの値が高い場合には、出力部150は眼科撮影装置による収差補正が必要であることを示す情報を表示部160に表示させる。これにより、ユーザは収差補正が必要であることを直感的に理解することができる。また、peak−ratioの値が高くImaxの値が低い場合には、撮影光量の増加が必要であることを示す情報を表示部160に表示させる。これにより、光量調整が必要であることをユーザに直感的に把握させることができる。
また、撮像状態以外の情報として、rmaxの位置に基づいて視細胞の密度の情報を表示することとしてもよい。また、眼底平面画像において視細胞が描出されず血管や病変領域が描出されていることを示す文字や図形を表示することとしても良い。
このほか、出力部150は図4に示すような周波数画像を眼底画像とともに表示部160に表示させる。また、図7(b)に示すようなグラフを表示することとしても良い。これにより、詳細な撮像状態の情報をユーザに通知することができる。また、特徴抽出部142で抽出された環状構造の径の大きさを示す情報に基づいて、視細胞の密度等の分布状態を表示しても良い。また、血管や病変等の視細胞が写らない領域の有無を表示することとしても良い。
さらにステップS210〜ステップS250で記憶部130に保存された特徴量その他をデータベースに保存する。
以上の構成により、補償光学SLO装置による取得される網膜の視細胞の眼底平面画像に対して、その画質を客観的に評価する指標を提示することが可能になる。このような指標の提示により、視細胞の密度等を用いて診断や治療効果の判定を行う際に、そのデータに関する客観的な判断基準を提示することが可能になる。
(実施例2)
実施例1では、補償光学SLOにより取得された眼底平面画像全体を周波数変換してフーリエ画像を求め、そこから様々な特徴量を抽出することで、眼底平面画像全体の画質を評価する指標を算出した。しかし、一枚の眼底平面画像内でも画質にムラがある場合や、病変部位などが偏在しているために視細胞の周期構造の強さが場所によって変化する場合がある。本実施例では、そのような局所的な変化を捉える目的で、眼底平面画像を複数の局所領域に分割する。そして分割されたそれぞれの眼底平面画像に対してフーリエ画像を求め、そこから抽出した特徴量を用いて画像を分析する場合について説明する。
本実施例に関わる画像処理装置10の機能構成を、図11に示す。但し100〜150の機能構成に関しては図1と同様なので説明は省略する。本実施例では画像処理部140が、周波数変換部141、特徴抽出部142、指標算出部143に加えて画像分割部1140、統合部1144を含み、眼底平面画像を複数の領域に分割してそれぞれの領域で特徴量を抽出した後、それらを統合した指標によって画像の評価を行う。
画像分割部1140は、眼底平面画像を複数の部分領域に分割する。
周波数変換部141は、部分領域ごとに周波数変換して部分周波数画像を得る。
特徴抽出部142は、部分周波数画像に現れる環状構造に基づいて特徴量を抽出する。
指標算出部143は、複数の部分領域における視細胞に関する情報を取得する。
部分領域ごとに周波数画像を得ることで、画像全体において視細胞が描出されない領域がある場合、血管等が描出され視細胞が描出されない領域を含む部分領域とそうでない部分領域とを分けることができる。なお、ノイズに埋もれ周波数画像の特徴量からは有無を判別できないような微細な血管や病変はここでは対象としていない。
図12のフローチャートを参照して、本実施形態の画像処理装置10の処理手順を説明する。ここでステップS210、S220、S230、S240、S250に関しては実施例1で説明した処理手順と変わらないために、説明は省略する。
実施例1においては、補償光学SLOによる取得される眼底平面画像の全体について画質指標の算出を行っていた。本実施例においては、眼底平面画像を複数の局所領域に分割してそれぞれの領域で指標を算出し、それらを組み合わせて画像全体の評価を行う点が異なっている。よってステップS230、S240、S250で扱う画像は眼底平面画像を分割した局所眼底平面画像となる。
以下に各ステップについてより詳細に説明する。
<ステップS1230>
ステップS1230において、画像分割部1140は、記憶部130に記憶されている補償光学SLOにより取得された眼底平面画像を複数の局所領域に分割する。ここで分割の方法は様々な方法が可能であり、多数の小領域に分割するほど局所的な差を明確化することが可能だが、それぞれの局所領域から得られる情報の精度は低くなる。また、複数の領域の周波数変換を行うには処理時間のコストがかかるため、高速フーリエ変換に適した画像サイズである2のn乗のサイズを用いることも重要である。ここでは例えば、オリジナルの眼底平面画像400x400に対して128x128の局所眼底平面画像を、図13に示すように重なりを許容して取得する。しかし分割手法はこの例に限定されるものではない。
こうして作成された16枚の局所眼底平面画像を、制御部120を通じて記憶部130に保存する。続くステップS230,S240,S250の処理は実施例1と同様であるが、ステップ1230で作成された16枚の局所眼底平面画像それぞれについて処理が行われ、16個の指標が得られる。また得られた指標及びその途中で取得される特徴量なども、それぞれの局所眼底平面画像と対応づけて記憶部130に保存される。
<ステップS1260>
ステップS1260において、統合部1144は、各局所眼底平面画像より取得された指標を統合した指標を作成する。そして統合された指標を出力部150を通じてモニタに表示する。さらにステップS210〜ステップS1260で記憶部130に保存された特徴量その他をデータベースに保存する。
図14に、ステップS250で取得された16箇所の指標を、同一グラフ上に表示した例を示す。図14(a)には、16箇所すべてにおいて画質が悪い場合を示している。被検眼の状態が悪く、たとえば水晶体の混濁が激しくシグナルがほとんど得られない場合などには、各局所眼底平面画像より取得される指標すべてが悪い値を示す。よって図14(a)のような統合指標が得られた場合には、眼底平面画像が全体として低画質であると考えられる。
それに対して図14(b)のように、局所眼底平面画像によって高い指標を示す領域と低い指標を示す領域が混在している場合には、撮影自体はうまくいっているにも関わらず、視細胞の周期構造が取得できていない局所領域が存在することが示されている。これは、血管など視細胞が描出できない領域が存在するか、もしくは病変等により視細胞が存在していない領域が存在することを示すと考えられる。補償光学SLOによる眼底平面画像からの血管抽出に関しては、Tam, J., Martin, J.A., Roorda, A., “Non−invasive visualization and analysis of parafoveal capillaries in humans” Invest.Ophthalmol.Vis.Sci. 51 (3): 1691−1698 (2010)などに周知の手法が紹介されている。これらの方法と組み合わせることで、図14(b)のような指標が得られた場合に、その低い指標を示す局所領域が、血管であるのかもしくはそれ以外の病変等である可能性が高いのかを判別することが可能になる。
なお、実施例1と実施例2を組み合わせ、即ち、全体的な評価と部分的な評価を組み合わせて評価をするようにしてもよい。組み合わせでの評価を提示することで、例えば全体の評価が低い場合でも、撮像条件が悪いのか、もしくは病変部なのかの判断をユーザーに提示する効果がある。なぜなら、部分の評価のわずかな割合でも高い画質を示す場合には、撮影条件の問題ではない可能性が高いからである。このように、組み合わせて評価を行うことにより、より最適な指標を提示することができる。
以上、本実施例では、補償光学SLO装置により取得される眼底平面画像を複数の局所領域に分割して、それぞれの局所眼底平面画像からの画質指標を統合した指標を提示する。これにより眼底平面画像全体の画質が低い場合と、画質自体は低くないが、血管や病変などのために視細胞の周期構造が描出されていない領域が存在するのかを示すことができる。
また、例えば指標算出部143で病変領域を自動判定し、出力部150が判定結果に応じた制御値を眼科撮影装置に出力することで、その領域を中心とした画像を再度撮影するように撮影範囲を決定するなどのハードウェア的応用を行うこともできる。
たとえば、出力部150が撮像状態に応じて収差補正の指示や光量の調整値等の制御値を眼科撮影装置に出力する。眼科撮影装置は入力された制御値に応じて収差測定部や補正光学系を制御する。これにより、ユーザは装置の調整の手間を省くことができる。
(実施例3)
実施例1では撮像状態を示す情報を表示し、ユーザに処理を促すこととしていたが、本実施例では、撮像状態を示す情報を画像の形成や選択に用いる例を説明する。装置の構成は実施例1及び2と同様であるため省略し、先述の実施例と異なる点を中心に説明する。
画像取得部100は、異なるまたは略同一の位置を撮影した複数の眼底平面画像を取得する。ここで略同一とは、眼底の固視微動やサッケード等により眼底が動くため、追尾機能を設けても追尾しきれず、同じ位置を撮像する設定であっても結果的に異なる位置が撮像されてしまう場合があることに対応するものである。
画像処理部140は画質を判定する判定部として機能する。指標算出部143で取得された撮像状態を示す情報と、予め定められた撮像状態の閾値の情報とを取得し、各画像について得られた撮像状態が当該閾値を上回るか否かを判定する。下回るか否かを判定しても良い。ここで撮像状態を示す情報としては、たとえば実施例1で挙げたpeak−ratioやImaxの値、またはこれらを組み合わせて得られる画質指標値を用いることとする。
さらに画像処理部140は画像を選択する選択部として機能する。判定部により閾値以下の画質の画像については、ユーザに提示する画像または重ね合わせ処理を行う画像として不適であるとして選択せず、閾値を上回る画像についてのみ選択する。閾値以下の画像を選択しないことにより、収差や光量の不足している画像や、瞬き等で瞬間的に眼が動いてしまった際の画像が選択されないこととなる。
画像処理部140はさらに、選択された画像の位置合わせ及び重ねあわせ処理を行い、ランダムノイズを低減した画像を生成する生成部として機能する。これにより、複数の画像について画質を自動的に判定し、画質の良い眼底平面画像を得ることができる。
また、生成部とともに、または生成部に変えて、制御部120は取得された複数の画像のうち選択された画像のみを出力部150に出力する。出力部150は選択された画像のみを表示部160に表示させる。選択されない画像は出力部150には送られず、記憶部130に記憶されることとなる。
あるいは、ユーザからの承認を得て写損画像として削除することとしてもよい。この場合、出力部150が、診断用の画像の表示とは別に、選択されなかった画像について表示部160に表示させるとともに、削除を承認する入力を受け付ける旨のウィンドウ等を表示させる機能を設けることとしてもよい。そして、制御部120は削除の承認が入力された画像を記憶部130から一括で削除する。また、削除に変えて、承認された画像のみ外部のデータベースへの転送をさせない制御をすることとしてもよい。これによりユーザは不要な画像を自動的に判別し、削除または不転送とする処理を容易に行うことができる。
(実施例4)
図15に示すハードウェアを用いて、上述した画像処理装置10の機能を、ソフトウェアとハードウェアを協働させることにより実現しても良い。
図15に示す画像処理装置は、CPU1501、RAM1502、ROM1503、外部記憶装置1504、通信用のインターフェース1505を有しこれらはバス1509を介して接続されている。また、画像処理装置10にはモニタ1506、キーボード1507、マウス1508が接続されている。ROM1503または外部記憶装置1504には上述した図2または図12に示す処理を実行するための指示を含むプログラムが記憶されている。
記憶されたプログラムがCPU1501により読み込まれ、RAM1502に展開され、CPU1501によりプログラムに含まれる指示が実行されることにより、上述した実施例の画像処理装置10の機能が実現されることとなる。
(撮影システムの構成例)
図16を用いて上記の眼底平面画像を取得する撮影システムの例を説明する。撮影システムでは上述の画像処理装置10がLAN40を介して眼科撮影装置30、データベースと50と接続されている。もちろんLAN40には無線を介して接続しても良い。また、画像処理装置10には表示部160が接続されている。
なおこれに限らず、眼科撮影装置が、上述の眼科撮影装置30の機能を有する眼科撮影部と、上述の画像処理装置10の機能を有する画像処理部と、表示部160とを有することとしてもよい。このような構成によれば、眼科撮影装置30単体で視細胞画像の画質を確認することができ、システムを小型化することができる。
図17を用いて上述の眼科撮影装置30の構成を説明する。
眼科撮影装置として、本発明を適用したSLO装置とOCT装置との複合装置について説明する。特に、補償光学系を備え、網膜の高横分解能の眼底平面画像(SLO像)と断層画像(OCT像)との両方の撮像を行い、眼底平面画像を取得する眼科撮影装置30について説明する。眼科撮影装置30では、空間光変調器を用いて被検眼の光学収差を補正して眼底平面画像を取得するSLO装置と、断層画像を取得するフーリエドメイン方式のOCT装置とを備えている。これにより被検眼の視度や光学収差によらず良好な眼底平面画像・断層画像が得られるようにされている。
<全体>
図17を用いて、まず、本実施例における眼科撮影装置30の概略構成について、具体的に説明する。
光源201から出射した光は光カプラー231によって参照光205と測定光206とに分割される。測定光206は、シングルモードファイバー230−4、空間光変調器259、XYスキャナ219、Xスキャナ221、球面ミラー260−1〜9等を介して、観察対象である被検眼207に導かれる。
被検眼207によって反射あるいは散乱された戻り光208となり、ディテクター238あるいはラインセンサ239に入射される。
ディテクター238は戻り光208の光強度を電圧に変換し、その信号を用いて、被検眼207の眼底平面画像が構成される。
また、ラインセンサ239には参照光205と戻り光208とが合波されて入射され、被検眼207の断層画像が構成される。さらに、複数の取得された断層画像を用いて、血管の3次元的な走行が描出される。
ここでは、波面収差を補正するデバイスとして空間光変調器を用いたが、波面収差を補正できればよく、可変形状ミラー等を用いることもできる。
<光源>
つぎに、光源201の周辺について説明する。光源201は代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。波長は830nm、バンド幅50nmである。ここでは、スペックルノイズの少ない眼底平面画像を取得するために、低コヒーレント光源を選択している。また、光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等も用いることができる。
また、波長は眼を測定することを鑑みると、近赤外光が適する。さらに波長は、得られる眼底平面画像の横方向の分解能に影響するため、なるべく短波長であることが望ましく、ここでは830nmとする。観察対象の測定部位によっては、他の波長を選んでも良い。
光源201から出射された光は、シングルモードファイバー230−1と光カプラー231とを介して、参照光205と測定光206とに、96:4の割合で分割される。253は偏光コントローラである。
<参照光路>
つぎに、参照光205の光路について説明する。
光カプラー231にて分割された参照光205はシングルモードファイバー230−2を通して、レンズ235−1に導かれ、ビーム径4mmの平行光になるよう、調整される。
次に、参照光205は、ミラー257−1〜4によって、参照ミラーであるミラー214に導かれる。参照光205の光路長は、測定光206の光路長と略同一に調整されているため、参照光205と測定光206とを干渉させることができる。
次に、ミラー214にて反射され、再び光カプラー231に導かれる。ここで、参照光205が通過した分散補償用ガラス215は被検眼207に測定光206が往復した時の分散を、参照光205に対して補償するものである。
ここでは、日本人の平均的な眼球の直径として代表的な値を想定し、L1=23mmとする。
さらに、217−1は電動ステージであり、矢印で図示している方向に移動することができ、参照光205の光路長を、調整・制御することができる。
また、電動ステージ217−1はパソコン225からドライバ部281内の電動ステージ駆動ドライバ283を介して制御される。
<測定光路>
つぎに、測定光206の光路について説明する。
光カプラー231によって分割された測定光206はシングルモードファイバー230−4を介して、レンズ235−4に導かれ、ビーム径4mmの平行光になるよう調整される。また、偏光コントローラ253−1又は2は、測定光206の偏光状態を調整することができる。ここでは、測定光206の偏光状態は紙面に平行な方向の直線偏光に調整されている。
測定光206は、ビームスプリッタ258、可動式ビームスプリッタ261(分岐手段とも呼ぶ。)を通過し、球面ミラー260−1、260−2を介し、空間光変調器259にて入射・変調される。ここで、空間光変調器259は、液晶の配向性を利用して変調を行う変調器であり、紙面に平行な方向の直線偏光(P偏光)の位相を変調する向きに配置され、測定光206の偏光の向きと合わせている。
さらに、測定光206は偏光板273を通過し、球面ミラー260−3、260−4を介し、Xスキャナ221のミラーに入射される。ここで、偏光板273は戻り光208のうち紙面に平行な方向の直線偏光のみを空間光変調器259に導く役割がある。また、ここで、Xスキャナ221は測定光206を紙面に平行な方向に走査するXスキャナであり、ここでは共振型スキャナを用いている。駆動周波数は約7.9kHzである。
さらに、測定光206は球面ミラー260−5〜6を介し、XYスキャナ219のミラーに入射される。ここで、XYスキャナ219は一つのミラーとして記したが、実際にはXスキャン用ミラーとYスキャン用ミラーとの2枚のミラーが近接して配置されるものである。また、測定光206の中心はXYスキャナ219のミラーの回転中心と一致するように調整されている。XYスキャナ219の駆動周波数は〜500Hzの範囲で可変できる。
球面ミラー260−7〜9は網膜227を走査するための光学系であり、測定光206を角膜226の付近を支点として、網膜227をスキャンする役割がある。
ここで、測定光206のビーム径は4mmであるが、より高分解能な断層画像を取得するために、ビーム径はより大径化してもよい。
また、217−2は電動ステージであり、矢印で図示している方向に移動することができ、付随する球面ミラーである球面ミラー260−8の位置を、調整・制御することができる。電動ステージ217−2は電動ステージ217−1と同様に、電動ステージ駆動ドライバ283によって制御される。
球面ミラー260−8の位置を調整することで、被検眼207の網膜227の所定の層に測定光206を合焦し、観察することが可能になる。初期状態では、測定光206は平行光の状態で、角膜226に入射するように、球面ミラー260−8の位置が調整されている。
また、被検眼207が屈折異常を有している場合にも対応できる。
測定光206は被検眼207に入射すると、網膜227からの反射や散乱により戻り光208となり、再び光カプラー231に導かれ、ラインカメラ239に到達する。
また、戻り光208の一部は可動式ビームスプリッタ261で反射され、レンズ235−5を介して、ディテクター238に導かれる。ここで、272はピンホールを有する遮光板であり、戻り光208の内、網膜227に合焦していない不要な光を遮断する役割がある。また、遮光板272はレンズ235−5の合焦位置に共役に配置される。また、遮光板272のピンホールの直径は例えば50μmである。ディテクター238は例えば高速・高感度な光センサであるAPD(Avalanche Photo Diode)が用いられる。
また、ビームスプリッタ258にて分割される戻り光208の一部は、波面センサ255に入射される。波面センサ255はシャックハルトマン方式の波面センサである。
ここで、XYスキャナ219、Xスキャナ221、角膜226、波面センサ255、空間光変調器259は光学的に共役になるよう、球面ミラー260−1〜9が配置されている。そのため、波面センサ255は被検眼207の収差を測定することが可能になっている。また、空間光変調器259は被検眼207の収差を補正することが可能になっている。さらに、得られた収差に基づいて、空間光変調器259をリアルタイムに制御することで、被検眼207で発生する収差を補正し、より高横分解能な断層画像の取得を可能にしている。
<測定系の構成>
つぎに、測定系の構成について説明する。
眼科撮影装置30は、断層画像(OCT像)及び眼底平面画像(SLO像)を取得することができる。
まず、断層画像の測定系について説明する。
戻り光208は光カプラー231によって合波される。合波された光242は、シングルモードファイバー230−3、レンズ235−2を介して、透過型グレーティング241に導かれ、波長毎に分光され、レンズ235−3を介してラインカメラ239に入射される。
ラインカメラ239は位置(波長)毎に光強度を電圧に変換し、その電圧信号はフレームグラバー240にてデジタル値に変換されて、パソコン225にて、被検眼207の断層画像が構成される。
ここでは、ラインカメラ239は1024画素を有し、合波された光242の波長毎(1024分割)の強度を得ることができる。
つぎに、眼底平面画像の測定系について説明する。
戻り光208の一部は、可動式ビームスプリッタ261で反射される。反射された光は遮光板272によって不要な光が遮断された後、ディテクター238に到達し、光の強度が電気信号に変換される。
得られた電気信号に対して、パソコン225にてXスキャナ221とXYスキャナ219との走査信号と同期したデータ処理が行われ、眼底平面画像が形成される。
ビームスプリッタ258にて分割される戻り光208の一部は、波面センサ255に入射され、戻り光208の収差が測定される。
波面センサ255にて得られた画像信号は、パソコン225に取り込まれ、収差が算出される。得られた収差はツェルニケ多項式を用いて表現され、これは被検眼207の収差を示している。
ツェルニケ多項式は、チルト(傾き)の項、デフォーカス(defocus)の項、アスティグマ(非点収差)の項、コマの項、トリフォイルの項等からなる。
<OCT像の取得方法>
つぎに、眼科撮影装置30を用いた断層画像(OCT像)の取得方法について図18(a)〜(c)を用いて説明する。
OCT装置200は、XYスキャナ219を制御し、Xスキャナ221を固定ミラーとして用いて、ラインカメラ239で干渉縞を取得することで、網膜227の断層画像を取得することができる。戻り光208がディテクター238に導光されないように可動式ビームスプリッタ261を制御する。また、Xスキャナ221、XYスキャナ219は、パソコン225からドライバ部281内の光スキャナ駆動ドライバ282を介して制御される(図17)。ここでは、網膜227の断層画像(光軸に平行な面)の取得方法について説明する。
図18(a)は被検眼207の模式図であり、眼科撮影装置30によって観察されている様子を示している。
図18(a)に示すように、測定光206は角膜226を通して、網膜227に入射すると様々な位置における反射や散乱により戻り光208となり、それぞれの位置での時間遅延を伴って、ラインカメラ239に到達する。
ここでは、光源201のバンド幅が広く、コヒーレンス長が短いために、参照光路の光路長と測定光路の光路長とが略等しい場合に、ラインカメラ239にて、干渉縞が検出できる。
上述のように、ラインカメラ239で取得されるのは波長軸上のスペクトル領域の干渉縞となる。
次に、波長軸上の情報である干渉縞を、ラインカメラ239と透過型グレーティング241との特性を考慮して、光周波数軸の干渉縞に変換する。
さらに、変換された光周波数軸の干渉縞を逆フーリエ変換することで、深さ方向の情報が得られる。
さらに、図18(b)に示すように、XYスキャナ219を駆動しながら、干渉縞を検知すれば、各X軸の位置毎に干渉縞が得られ、つまり、各X軸の位置毎の深さ方向の情報を得ることができる。
結果として、XZ面での戻り光208の強度の2次元分布が得られ、それはすなわち断層画像232である(図18(c))。
本来は、断層画像232は上記説明したように、該戻り光208の強度をアレイ状に並べたものであり、例えば該強度をグレースケールに当てはめて、表示されるものである。X方向の長さは700μmであり、下に説明するSLO像の同様にしている。
ここでは得られた断層画像の境界のみ強調して表示している。ここで、246は網膜色素上皮層、247は視神経線維層である、278は血管である。
また、各Y軸の位置毎に複数の断層画像を取得すれば、血管の3次元的な走行を描出できる。
<SLO像の取得方法>
つぎに、眼科撮影装置30を用いた眼底平面画像(SLO像)の取得方法について説明する。
眼科撮影装置30は、XYスキャナ219のY軸方向のみとXスキャナ221とを動作・制御し、XYスキャナ219のX軸方向を固定し、ディテクター238で戻り光208の強度を取得することで、網膜227の眼底平面画像を取得することができる。Xスキャナ221とXYスキャナ219は、パソコン225からドライバ部281内の光スキャナ駆動ドライバ282を介して制御される(図17)。また、眼科撮影装置30は、波面センサ255で測定した被検眼207の収差を用いて空間光変調器259を制御し、被検眼207等にて生じる収差を補正しながら眼底平面画像を取得することができる。また、空間光変調器259をリアルタイムに制御しながら眼底平面画像を取得することができる。
<SLO像の取得方法>
つぎに、眼底平面画像(SLO像)の取得方法について図19(a)〜(d)を用いて説明する。
眼科撮影装置30は、XYスキャナ219を制御し、ディテクター238で戻り光208の強度を取得することで、網膜227の眼底平面画像を取得することができる。ここでは、網膜227の眼底平面画像(光軸に垂直な面)の取得方法について説明する。
図19(a)は被検眼207の模式図であり、眼科撮影装置30によって観察されている様子を示している。
図19(a)に示すように、測定光206は角膜226を通して、網膜227に入射すると様々な位置における反射や散乱により戻り光208となり、ディテクター238に到達する。
さらに、図19(b)に示すように、XYスキャナ209をX方向に駆動しながら、戻り光208の強度を検知すれば、各X軸の位置毎の情報を得ることができる。
さらに、図19(c)に示すように、XYスキャナ209のX軸とY軸とを同時に駆動し、網膜227のある撮像範囲292に対して、測定光206を軌跡293のように、ラスタースキャンしながら戻り光208の強度を検知する。これにより、戻り光208の強度の2次元分布が得られ、それはすなわち眼底平面画像277(図19(d))である。
ここで、測定光206は右上の点Sから、左下の点Eに向かってスキャンされ、その間の戻り光208の強度が眼底平面画像277の構成に用いられる。点Eから点Sへの軌跡293は次の眼底平面画像277の撮像の撮像のための準備である。スキャンにかかる時間は、図中の軌跡293に対して、S→Eが84%、E→Sが16%であり、この比は上述のYスキャナの駆動波形のデューティ比に基づいている。また、図19(c)では簡単のため、軌跡293におけるX方向のスキャン回数を少なめに記している。
ここで、この眼底平面画像277の大きさは700×350μm、取得に要する時間は約15.6msである。この時間はYスキャナの駆動周波数に基づいている。
また、眼底平面画像277中には、戻り光208の強度が比較的大きい視細胞群279が明るく、比較的小さい血管278が暗く描出される。また、血管278に血球(不図示)が明るく描出される。また、眼底平面画像277を時間的に連続して取得すれば、血球が血管278内を移動する様子を描出することができる。
また、連続して取得した眼底平面画像277から、血球が描出されている血管278を抽出し、撮影順に積み重ねて時空間画像を作成してもよい。血球が移動する様子や血流速を容易に把握することができる。
血流速を求める画像を得る撮影方法と、視細胞の画像を得る撮影方法とは、画像処理装置10の操作部により指定される。操作部を介してユーザが撮影方法を選択すると、画像処理装置の不図示の指定部は選択された撮影方法を指定し、眼科撮影装置30へ係る情報を送信する。眼科撮影装置30では、指定された撮影方法に合わせて、視細胞が観察しやすい画像か、または血流を観察対象とした画像を出力する。
(その他の実施形態)
前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
10 画像処理装置
100 画像取得部
110 入力情報取得部
120 制御部
130 記憶部
140 画像処理部
141 周波数変換部
142 特徴抽出部
143 指標算出部
150 出力部
1140 画像分割部
1144 統合部

Claims (15)

  1. 眼底を撮像し得られる眼底画像を周波数変換し空間周波数画像を得る変換手段と、
    前記空間周波数画像における特徴量を抽出する抽出手段と、
    前記特徴量に基づいて前記眼底画像における視細胞の撮像状態を示す情報を取得する情報取得手段と、
    を有することを特徴とする画像処理装置。
  2. 前記眼底画像を複数の部分領域に分割する分割手段をさらに有し、
    前記変換手段は、前記部分領域ごとに周波数変換して部分空間周波数画像を得、
    前記抽出手段は、前記部分空間周波数画像ごとにおける特徴量を抽出し、
    前記情報取得手段は、前記複数の部分領域における視細胞の撮像状態を示す情報を取得する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記情報取得手段は、各部分領域に対応する特徴量に基づいて、視細胞が描出されない領域を含む部分領域の情報を取得する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記特徴量が、周期構造を示す特徴量であり、
    前記情報取得手段は、前記特徴量に基づいて前記眼底画像における視細胞の撮像状態を示す情報を取得する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記抽出手段は、前記空間周波数画像の所定の位置から等距離の輝度値を積算することにより前記特徴量を抽出する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記抽出手段は、前記積算した輝度値のピークの輝度値の大きさ、又は、前記積算した輝度値の先鋭度を前記眼底画像における視細胞の撮像状態を示す特徴量として抽出する
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記眼底画像は、視細胞画像を得る撮影方法で撮影された眼底画像であり、
    前記情報取得手段は、前記特徴量に基づいて前記眼底画像において視細胞が描出されず血管または病変が描出された領域の有無を示す情報を取得する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記眼底画像と前記視細胞の撮像状態を示す情報とを出力する出力手段をさらに有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記情報取得手段は、前記眼底画像における視細胞の撮像状態を示す情報を取得し、
    前記出力手段は、撮像状態を示す情報に基づいて前記眼底画像の撮影部で収差補正が必要であることを示す情報、または前記眼底画像の撮影部が発する撮影光量の増加が必要であることを示す情報の少なくともいずれかを前記眼底画像とともに出力させる
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記出力手段は、前記空間周波数画像における所定の位置からの距離と、前記積算した輝度値との関係を示すグラフを出力させる
    ことを特徴とする請求項またはに記載の画像処理装置。
  11. 前記眼底画像は、収差測定手段と補償光学系により収差を補正する眼底撮像装置で被検眼の眼底の所定の深さ位置にフォーカスして得られた眼底画像であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 被検眼の視細胞の画像を得る撮影方法を指定する指定手段と、
    前記撮影方法の情報に応じて眼底を撮影し眼底画像を得る撮影手段と、
    前記眼底画像を周波数変換し空間周波数画像を得る変換手段と、
    前記空間周波数画像における特徴量を抽出する抽出手段と、
    前記特徴量に基づいて前記眼底画像における視細胞の分布を示す情報を取得する情報取得手段と、
    を有することを特徴とする眼科撮影装置。
  13. 前記情報取得手段は、前記特徴量に基づいて前記眼底画像における視細胞の密度を示す指標を取得する
    ことを特徴とする請求項12に記載の眼科撮影装置。
  14. 眼底を撮像し得られる眼底画像を周波数変換し空間周波数画像を得る変換ステップと、
    前記空間周波数画像における特徴量を抽出する抽出ステップと、
    前記特徴量に基づいて前記眼底画像における視細胞の撮像状態に関する情報を取得する情報取得ステップと、
    を有することを特徴とする画像処理方法。
  15. 請求項14に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2011204653A 2011-09-20 2011-09-20 画像処理装置、眼科撮影装置、画像処理方法及びプログラム Expired - Fee Related JP5843542B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011204653A JP5843542B2 (ja) 2011-09-20 2011-09-20 画像処理装置、眼科撮影装置、画像処理方法及びプログラム
US13/605,873 US8960906B2 (en) 2011-09-20 2012-09-06 Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium
CN201210353478.3A CN103006174B (zh) 2011-09-20 2012-09-20 图像处理设备、眼科摄像设备和图像处理方法
US14/597,127 US20150124218A1 (en) 2011-09-20 2015-01-14 Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium
US16/287,926 US11058293B2 (en) 2011-09-20 2019-02-27 Image processing apparatus, ophthalmologic imaging apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011204653A JP5843542B2 (ja) 2011-09-20 2011-09-20 画像処理装置、眼科撮影装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013063215A JP2013063215A (ja) 2013-04-11
JP2013063215A5 JP2013063215A5 (ja) 2014-11-06
JP5843542B2 true JP5843542B2 (ja) 2016-01-13

Family

ID=47880360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011204653A Expired - Fee Related JP5843542B2 (ja) 2011-09-20 2011-09-20 画像処理装置、眼科撮影装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (3) US8960906B2 (ja)
JP (1) JP5843542B2 (ja)
CN (1) CN103006174B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5610884B2 (ja) 2010-07-09 2014-10-22 キヤノン株式会社 光断層撮像装置及び光断層撮像方法
JP5835938B2 (ja) * 2011-05-10 2015-12-24 キヤノン株式会社 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置
JP6146951B2 (ja) 2012-01-20 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法、撮影装置及び撮影方法
JP5936368B2 (ja) 2012-01-20 2016-06-22 キヤノン株式会社 光干渉断層撮影装置及びその作動方法
JP6061554B2 (ja) 2012-01-20 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6039185B2 (ja) 2012-01-20 2016-12-07 キヤノン株式会社 撮影装置
JP5988772B2 (ja) * 2012-01-20 2016-09-07 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013148509A (ja) 2012-01-20 2013-08-01 Canon Inc 画像処理装置及び画像処理方法
WO2013143113A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Techniques for media quality control
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
JP6241091B2 (ja) * 2013-06-27 2017-12-06 株式会社ニデック 画像処理装置および画像処理プログラム
JP6410498B2 (ja) * 2014-07-08 2018-10-24 キヤノン株式会社 眼科装置及びその制御方法
JP6506518B2 (ja) * 2014-08-29 2019-04-24 キヤノン株式会社 眼科装置及びその制御方法
JP2016150090A (ja) * 2015-02-17 2016-08-22 キヤノン株式会社 撮像装置及びその制御方法
KR101825923B1 (ko) * 2015-09-03 2018-03-22 주식회사 이오테크닉스 레이저 가공장치 및 레이저 가공방법
KR101746763B1 (ko) 2016-02-01 2017-06-14 한국과학기술원 망막 또는 맥락막 내 혈관조영 광가간섭 단층촬영 장치 및 이를 이용한 질병 진단방법
JP2017185057A (ja) * 2016-04-06 2017-10-12 キヤノン株式会社 眼科撮影装置及びその制御方法、並びに、プログラム
CN107292877B (zh) * 2017-07-05 2020-07-03 北京至真互联网技术有限公司 一种基于眼底图像特征的左右眼识别方法
CN107423726A (zh) * 2017-08-12 2017-12-01 合肥全飞信息科技有限公司 一种眼病识别手机app设计方法
CN108272434B (zh) * 2017-12-07 2020-06-19 柯鑫 对眼底图像进行处理的方法及装置
CN110648303B (zh) * 2018-06-08 2022-07-26 上海市第六人民医院 眼底图像分析方法、计算机设备和存储介质
CN109238131B (zh) * 2018-08-09 2020-12-22 江苏度微光学科技有限公司 一种横向超高分辨的光学相干层析方法和系统
WO2021255779A1 (ja) * 2020-06-15 2021-12-23 株式会社ニコン 情報表示方法、情報表示装置、及びプログラム
CN111751013B (zh) * 2020-07-07 2021-09-03 中国科学院长春光学精密机械与物理研究所 光学成像的像差测量方法及光学成像方法
CN113974964B (zh) * 2021-12-28 2022-04-22 广东麦特维逊医学研究发展有限公司 一种激光撕囊装置及其工作方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3030073A (en) * 1958-08-11 1962-04-17 Auto Specialties Mfg Co Positioning apparatus
EP1427328B1 (en) 2001-08-30 2014-07-02 University Of Rochester Adaptive optics in a scanning lase ophtalmoscope
WO2003030073A1 (en) * 2001-10-03 2003-04-10 Retinalyze Danmark A/S Quality measure
EP2130486B1 (en) * 2008-06-02 2016-03-23 Nidek Co., Ltd. Ophthalmic Photographing Apparatus
JP5209377B2 (ja) * 2008-06-02 2013-06-12 株式会社ニデック 眼底撮影装置
WO2010083381A1 (en) * 2009-01-15 2010-07-22 Physical Sciences, Inc. Adaptive optics line scanning ophthalmoscope
CN101833697A (zh) 2009-03-13 2010-09-15 新奥特硅谷视频技术有限责任公司 一种基于虹膜认证的监控系统

Also Published As

Publication number Publication date
US11058293B2 (en) 2021-07-13
CN103006174A (zh) 2013-04-03
US20150124218A1 (en) 2015-05-07
US20190191987A1 (en) 2019-06-27
US8960906B2 (en) 2015-02-24
JP2013063215A (ja) 2013-04-11
CN103006174B (zh) 2016-07-06
US20130070202A1 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5843542B2 (ja) 画像処理装置、眼科撮影装置、画像処理方法及びプログラム
JP5792967B2 (ja) 画像処理装置及び画像処理システム
US8899749B2 (en) Image processing apparatus, image processing method, image processing system, SLO apparatus, and program
JP5818458B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
JP5721412B2 (ja) 眼科装置、血流速算出方法およびプログラム
JP5818409B2 (ja) 眼底撮像装置及びその制御方法
JP6071331B2 (ja) 画像処理装置及び画像処理方法
JP5847510B2 (ja) 画像処理装置及び画像処理方法
JP6184232B2 (ja) 画像処理装置及び画像処理方法
JP2014045907A (ja) 眼科装置、眼科装置の制御方法、およびプログラム
JP2012196439A (ja) 撮像装置及び撮像方法
JP6061555B2 (ja) 画像処理装置及び画像処理方法
JP2013165953A (ja) 画像処理装置及び画像処理方法
US20200375453A1 (en) Tomographic image acquisition apparatus and tomographic image acquisition method
JP2015029559A (ja) 撮影装置及び撮影方法
WO2020044712A1 (ja) 眼科装置、及びその制御方法
JP2019088382A (ja) 画像処理装置、眼科撮影装置、画像処理方法、及びプログラム
JP6633468B2 (ja) 血流計測装置
JP6901264B2 (ja) 眼科装置
WO2021153087A1 (ja) 眼科装置、その制御方法、及び記録媒体
JP6381622B2 (ja) 画像処理装置及び画像処理方法
JP6437055B2 (ja) 画像処理装置及び画像処理方法
JP6001149B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
JP2017051670A (ja) 画像処理装置及び画像処理方法
JP2024099210A (ja) 光コヒーレンストモグラフィ装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151117

R151 Written notification of patent or utility model registration

Ref document number: 5843542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees