JP5727629B2 - 顕微鏡撮像における高速自動焦点合わせ - Google Patents

顕微鏡撮像における高速自動焦点合わせ Download PDF

Info

Publication number
JP5727629B2
JP5727629B2 JP2013552502A JP2013552502A JP5727629B2 JP 5727629 B2 JP5727629 B2 JP 5727629B2 JP 2013552502 A JP2013552502 A JP 2013552502A JP 2013552502 A JP2013552502 A JP 2013552502A JP 5727629 B2 JP5727629 B2 JP 5727629B2
Authority
JP
Japan
Prior art keywords
focal length
images
image
calculated
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013552502A
Other languages
English (en)
Other versions
JP2014507685A (ja
Inventor
ザーニサー,マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Constitution Medical Inc
Original Assignee
Constitution Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Constitution Medical Inc filed Critical Constitution Medical Inc
Publication of JP2014507685A publication Critical patent/JP2014507685A/ja
Application granted granted Critical
Publication of JP5727629B2 publication Critical patent/JP5727629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Description

発明の分野
本発明は電子撮像システムに関する。
発明の背景
撮像および走査の多くの応用例では、画像を自動化された方式で取得する。取得した画像は、有意義な分析および解釈が容易になるよう、焦点が適切に合っている必要がある。焦点が適切に合った画像を取得するためには、焦点距離、たとえば焦点高さまたは焦点長さを、画像を取得する前に正確に決める必要がある。これはたとえば次のようにして行なうことができる。所与の位置の数枚の画像を、異なる焦点距離を用いて取得し、次に、最も焦点が合っている画像を選択する。複数の画像の取得は、特に多数の画像を短時間で捕捉しなければならない用途の場合、時間がかかり過ぎる可能性がある。
撮像される対象物または面は局所的に変形している可能性があり、許容できる程度に焦点が合った画像を得るためには、この対象物または面上の位置によって焦点距離を変える必要がある。たとえば、顕微鏡のスライドガラスまたはその上に置かれた生物試料の表面は、完全に平坦ではないかもしれず、単純に焦点面を決めてこの焦点面がスライド全体上の異なる位置における焦点距離を代表するようにしても、このような局所的な変形には対応していない。このような場合、鮮明かつ明確に焦点が合った画像を取得するためには、焦点距離を、スライド上の複数の位置各々について求める必要があるかもしれない。各位置での焦点距離を、たとえばフルフォーカスサーチを行なうことによって微調整すると、時間がかかり過ぎることになり、これは多くの用途では不適切となり得る。
発明の概要
基板上の対象物の画像を捕捉するための撮像プロセスは、自動化され効率的な焦点合わせ方法およびシステムを用いることによって、大幅に高速化できる。本発明を採用するシステムおよび方法は、一般的には基板に沿う複数の位置の、焦点が十分に合った画像を、素早く連続して取得する。本発明の少なくとも一部は、新たな位置各々について時間のかかるフルフォーカスサーチを実施するのではなく、既に撮像された位置または対象物の焦点データに基づいて、これから撮像する新たな位置各々での焦点距離を確実に推定し得るという発見に、基づいている。撮像した位置が多くなるほど、関連する推定誤差は、このような誤差を平均化するように以前の推定を組合わせることによって、ますます小さくなる。
ある局面において、本開示は、基板上の1つ以上の対象物の複数の画像の焦点を自動的に合わせるための方法を特徴とする。この方法は、プロセッサによって、基板上の第1の位置についての代表的な焦点距離を、基板上の既知の位置での焦点距離の1組(a set of focal distances)に基づいて、求めるステップを含む。この方法はまた、画像取得装置によって、第1の位置の少なくとも2つの画像からなる1組の画像を取得するステップを含む。これらの画像は各々、代表的な焦点距離からオフセットされた異なる焦点距離を用いて取得される。この方法はさらに、プロセッサによって、第1の位置に対応する理想的な焦点距離を、画像各々の焦点の品質の比較に基づいて、推定するステップと、推定された理想的な焦点距離および第1の位置を既知の位置での焦点距離の1組に格納するステップとを含む。
別の局面において、本開示は、画像取得装置とプロセッサとを備える撮像システムを特徴とする。画像取得装置は、基板上の第1の位置の少なくとも2つの画像からなる1組の画像を、各画像について、代表的な焦点距離からオフセットされた異なる焦点距離を用いて、取得するように構成される。プロセッサは、画像取得装置に接続され、第1の位置についての代表的な焦点距離を、基板上の既知の位置での焦点距離の1組に基づいて計算するように構成される。プロセッサはまた、第1の位置に対応する理想的な焦点距離を、画像各々の焦点の品質の比較に基づいて推定し、推定された理想的な焦点距離および第1の位置を既知の位置での焦点距離の1組に格納するように構成される。プロセッサはさらに、計算した代表的な焦点距離を画像取得装置に与えるように構成される。
別の局面において、本開示は、コンピュータ可読命令を符号化したコンピュータ可読記憶装置を特徴とする。この命令がプロセッサによって実行されることにより、プロセッサは、基板上の第1の位置についての代表的な焦点距離を、基板上の既知の位置での焦点距離の1組に基づいて計算し、第1の位置に対応する理想的な焦点距離を、画像各々の焦点の品質の比較に基づいて推定する。上記命令によって、プロセッサはさらに、推定された理想的な焦点距離および第1の位置を既知の位置での焦点距離の1組に格納し、計算した代表的な焦点距離を画像取得装置に与える。画像取得装置は、第1の位置の少なくとも2つの画像からなる1組の画像を、各画像について、代表的な焦点距離からオフセットされた異なる焦点距離を用いて、取得するように構成される。
実現化例は下記のうち1つ以上を含み得る。
プロセッサは、既知の位置での焦点距離の1組を取出すことができる。画像取得装置は、第2の位置の少なくとも2つの画像からなる追加の1組の画像を取得することができ、追加の1組の画像は各々、既知の位置での既知の焦点距離の1組に基づいて第2の位置について計算された第2の代表的な焦点距離からオフセットされた異なる焦点距離を用いて取得される。プロセッサは、第2の位置に対応する理想的な焦点距離を、追加の1組の画像各々の焦点の品質の比較に基づいて、推定することができる。
代表的な焦点距離は、既知の位置での焦点距離の1組のうちの少なくとも2つの焦点距離の加重平均として推定することができ、所与の焦点距離に対する重みは、対応する位置の、第1の位置からの距離に基づいて計算される。焦点の品質の比較は、各画像について、隣接する画素間の差を定量化することによって焦点スコアを計算することを含むことができる。焦点スコアはブレナー焦点スコアであってもよい。理想的な焦点距離の推定は、画像の焦点スコアの対数間の差を計算することと、計算した差からのオフセットを推定することと、オフセットに基づいて理想的な焦点距離を推定することとを含むことができる。
上記画像のうちの少なくとも2つは、実質的に同一の色の光による照明の下で取得されたものであってもよく、照明の色の例には、緑、黄、青、および赤が含まれる。上記1組の画像は、少なくとも2つの異なる色による照明の下で取得することができ、少なくとも2つの画像は、各色による照明の下で取得することができる。第1の位置に対応する理想的な焦点距離を推定することは、上記異なる色各々について焦点距離のオフセットを計算することと、上記異なる色について計算した焦点距離のオフセットに基づいて焦点距離のオフセットの平均を求めることと、この焦点距離のオフセットの平均に基づいて、第1の理想的な焦点距離を推定することとをさらに含むことができる。
本発明は、下記のものを含めて、数多くの利益および利点を提供する(そのうちいくつかは本発明のさまざまな局面および実現化例のうちのいくつかにおいてのみ得られるであろう)。概して、本発明は、高速自動焦点合わせプロセスを提供することにより、画像を高速で取得できるようにする。開示されているシステムおよび方法は、撮像される各位置について理想的なまたは真の焦点距離を推定することにより、撮像プロセスの速度を落とすことなく、対象物の表面上の局所的な凹凸による変形に対応する。各位置について、理想的な焦点距離は、最初の代表的な焦点距離から計算された焦点距離を用いて取得された画像から、計算される。この代表的な焦点距離は、他の位置について既にわかっているおよび/または推定された、多数の理想的な焦点距離に基づいているので、推定誤差は徐々に小さくなる。よって、連続する撮像位置での焦点距離の推定値は徐々にますます正確になる。
生物試料の撮像に関しては、多数の画像を連続して素早く取得することを必要とする応用例がある。取得した画像を高速で、できればほぼリアルタイムで処理することが必要な応用例もある。このような場合、撮像プロセスは、撮像位置での高速かつ正確な自動焦点合わせを容易にする方法およびシステムを実現することによって、大幅に高速化することができる。たとえば、血球を含む試料を撮像する場合、画像の焦点が正確に合っていれば、細胞のさまざまな種類の検出、同定、および分類が容易になる。加えて、画像の焦点が適切に合っていれば、正常細胞と異常細胞の区別が容易になる。同様に、正確な焦点合わせは、成熟細胞と未成熟細胞、胎児の細胞と母親の細胞、および、健康な細胞と疾患細胞の区別にも役立つ。さらに、画像を高速で連続して取得し処理することにより、確実に、たとえば同じまたは異なる患者からの複数の血液試料を所与の時間内で扱うことができるので、システムの処理能力が高まる。
特に指定がなければ、本明細書で使用されるすべての技術および化学用語は、本発明が属する技術分野の当業者が一般的に理解するのと同じ意味を有する。本発明の実施または試験には本明細書に記載のものと同様または同等の方法および材料を用いることができるが、適切な方法および材料を以下で説明する。本明細書で挙げたすべての刊行物、特許出願、特許、およびその他の引用文献は、その全体を本明細書に引用により援用する。競合する場合は、定義を含めて本明細書が優先されるであろう。加えて、これら材料、方法、および例は、例示として挙げるにすぎず、限定を意図したものではない。
本発明のその他の特徴および利点は、以下の詳細な説明および請求項から明らかになるであろう。
本明細書に記載の高速自動焦点合わせ方法を実現するための撮像システムのある実施の形態の概略図である。 理想的な焦点距離を推定するための動作シーケンスのある実施の形態を示すフロー図である。 焦点スコアとして用いられる関数の例を示す1組のグラフである。 重み関数の実施の形態を示す図である。 面上の推定された焦点距離を表わすグラフである。 計算装置およびシステムの概略図である。
詳細な説明
本開示では、新たな位置各々について時間のかかるフルフォーカスサーチを実施する代わりに、撮像する各位置での理想的な焦点距離を推定することに基づいた、撮像装置における高速自動焦点合わせについて説明する。所与の位置での理想的な焦点距離は、互いにオフセットされかつ最初の代表的な焦点距離からオフセットされた焦点距離を用いて取得された複数の画像の焦点スコアから推定される。この代表的な焦点距離は、他の位置での理想的な焦点距離の以前の推定値に関する知識を考慮することにより、または、1つ以上の訓練データセットから、計算される。このように推定を積重ねることによって、関連する推定誤差は少しずつ平均化され、撮像した位置が多くなるほど、理想的な焦点距離の推定値は徐々にますます正確になる。
撮像システム
図1は、本明細書に記載の高速自動焦点合わせ方法を採用する撮像システム100の一実施形態を示す。撮像システム100は、コンピュータ190によって制御される撮像ハードウェア105を含む。コンピュータ190は一般的に、中央処理装置192と、ハードドライブ194と、ランダムアクセスメモリ196とを含む。
図1に示される撮像システムでは、光源110が、生物試料135を含むスライド130を照らす。このスライドは、スライド130の任意の部分を対物レンズ140の下に配置できるよう(撮像されるスライドの表面と平行な)水平面内で移動可能な第1の電動ステージ120の上に置かれる。第2の電動ステージ150は、対物レンズ140を上下に移動させることにより、スライド130上に配置された試料135に対する焦点合わせを容易にする。スライド130と対物レンズ140との間の距離を「焦点距離」と呼ぶ。焦点距離を小さくするということは、この例では対物レンズ140をスライド130に向けて垂直方向に移動させることを意味する。その代わりに、スライド130を対物レンズ140に向けて垂直方向に移動させることにより(たとえば第1の電動ステージ120を移動させることにより)、焦点距離を調整することもできる。実現化例によっては、スライド120および対物レンズ140双方を移動させることによって焦点距離の調整を容易にすることができる。第1の電動ステージ120が水平面内で移動するときの軸は、一般的にX軸およびY軸と呼ばれる。第2の電動ステージ150が対物レンズ140を移動させるときの垂直軸は、一般的にZ軸と呼ばれる。これら3つの軸は、スライド130に対して、システム100が空間内の任意の(x、y、z)点を撮像するのに利用する座標系を定める。
光源110からの光は、スライド130を通過し、対物レンズ140によってカメラ160のセンサ上に投射される。このセンサは、たとえば電荷結合素子(CCD)アレイであってもよい。図1は、スライド上の対象物が光を吸収するのでカメラが生成する画像においてより暗くなるために目に見えるという「明視野」顕微鏡法の一例を示す。撮像ハードウェア105は、さらに1つ以上のレンズを含むことができる。蛍光、暗視野、または位相差といった他の顕微鏡方式も、本明細書に記載の高速自動焦点合わせ方法を応用可能な画像を生成できる。
最適でない焦点距離で画像を取得した場合、この画像は不鮮明であり一般的には多くの画像処理用途に不向きである。スライド130の表面が完全に平坦であったなら、システム100は、3つの(x,y)位置における焦点が合った画像に対応する適切なz高さを求めその後これらの(x,y,z)点に面をフィットさせるだけで、焦点が合った画像を取得できるであろう。この面の方程式はしたがって、スライド上の他の任意の(x,y)位置における焦点が合ったz高さを提供するであろう。しかしながら、実際のところ、所与の位置についての焦点距離は、スライド130および/またはステージ120の表面に凹凸があることが原因で、上記のように面をフィットさせても正確に求められないかもしれない。したがって、一般的には、スライド上の異なる(x,y)位置で取得される各画像に対し、焦点距離を微調整する必要があるかもしれない。
画像取得後、カメラ160は、画像を処理のためにコンピュータ190に送る。この画像の処理速度が十分に速ければ、1つの画像位置から得た焦点距離データを用いて、画像を捕捉する次の位置での焦点距離を調整し得る。そうすれば、システムは、位置の違いに応じて異なる焦点距離に対して調整を行なうことにより、表示用の、より正確に焦点が合わされた画像を生成できる。たとえば、スライド130の1つの領域が他の領域よりもわずかに厚くこの領域内の10の位置を撮像しようとする場合、この厚みの違いは、最初の画像の取得後に発見することができ、この領域内の他の位置で捕捉されるさらなる画像を、本明細書に記載の方法を用いて焦点距離を微調整して取得することにより、厚みの違いを補償できる。
高速自動焦点合わせ方法
図2は、顕微鏡のスライド等の基板上の異なる撮像位置における理想的な焦点距離を推定するためのシステムによって実施される動作のシーケンスを含む、自動焦点合わせの一般的な方法を示すフローチャート200である。動作は、代表的な焦点距離から予め定められたオフセットがなされた焦点距離を用いて、ある撮像位置における1組の画像を取得すること(ステップ210)と、この組に含まれる画像すべてまたは画像のサブセットについて焦点スコアを計算すること(ステップ220)とを含む。動作はまた、計算した焦点スコアから、上記撮像位置にとって理想的な焦点距離を推定し、格納すること(ステップ230)と、このシステムがさらに撮像する必要がある位置が基板上にあるか否か確認すること(ステップ240)と、この判断に応じて、対物レンズおよび/またはステージハードウェアを新たな撮像位置に移動させること(ステップ260)とを含む。この新たな撮像位置での代表的な焦点距離は、以前の撮像位置に対して推定され格納された理想的な焦点距離の加重平均として推定される(ステップ270)。このシステムは、上記新たな撮像位置についてこれらのステップを繰返し、スライド130上のすべての位置および/またはスライド130上に位置する対象物すべての画像を取得するまで、このプロセスを続ける。上記ステップについて以下でより詳細に説明する。
画像の取得
ステップ210で取得した1組の画像は、画像の「スタック」と呼ぶことができる。画像の組またはスタックを取得することは、撮像面上のターゲットの一部または(x,y)位置の、第1の画像と、第1の画像と異なる焦点距離の少なくとも第2の画像とを取得することを含み得る。1つのスタック内の異なる画像のそれぞれの焦点距離は、このスタック全体についての代表的な焦点距離に対するオフセットとして求めることができる。特定の実施の形態では、このスタックに対応する代表的な焦点距離は、このスタック内の予め定められた点に対して特定され、このスタック内の個々の画像の焦点距離は、このような予め定められた点に対する相対的なオフセットとして計算される。たとえば、対応する焦点距離同士の差が等しい4つの画像からなるスタックの場合、このスタックの代表的な焦点距離は、このスタックのトップから第2の画像と第3の画像との間の中間点までに対応し得る。スタックの代表的な焦点距離を特定するための他の規則を本発明の実施に用いることも可能である。たとえば、あるスタックの代表的な焦点距離が、このスタック内の特定の画像に対応する焦点距離に相当するものであってもよい。
一般的に、異なるスタックは、異なる撮像位置に対応し、それぞれの位置で同数の画像を含み得る。さらに、コンピュータからの1つのコマンドに応じて画像のスタック全体を取得されるようなやり方で、画像のスタックを取得するように、システムの構成要素を予めプログラムすることが可能である。このような事前のプログラミングは、ハードウェアを用いる場合でもソフトウェアを用いる場合でも、各画像に対して別のコマンドを与える場合と比較して、レイテンシを短縮できる。
1つのスタック内の画像を、照明の色を変えて取得することができる。たとえば、あるスタック内の数枚の画像を青色光の照明の下で取得しその他の画像を黄、緑、または赤色光の照明の下で取得することができる。ある試料に、色が異なる光を照射すると、取得した画像から、異なる情報が得られる。たとえば、血球を含む試料の撮像の場合、血球は、照明の色が異なると、異なって見えるので、同定、分類、または区別が容易になる。たとえば、赤血球はヘモグロビンがあるので大量の青色光を吸収し、標準的なロマノフスキー染色によって染色された細胞核は黄色光を吸収する。
各スタックは、相対的にオフセットされた焦点距離で、所与の色の光を照射することによって取得された、2つ以上の画像を有することができ、色が異なる光を照射することによって取得された画像の複数の組を有することもできる。たとえば、1つのスタックは、各々が、青、緑、赤、および黄色光のうちの1つ以上の照射によって取得された、2つの画像を有することができる。同じまたは異なる色の下で取得された画像間の焦点距離の相対的なオフセットは、解像度等の他のパラメータに依存し得る。たとえば、低解像度(または低倍率)の血球画像の場合、同じ種類の波長の照明の下で取得された2つの画像間の焦点距離オフセットは、約1〜10ミクロン、たとえば、2、4、5、6、または7ミクロンであってもよく、高解像度の画像についてのオフセットは、わずか0.1〜1.0ミクロン、たとえば0.4、0.5、0.6、0.7、または0.8ミクロンであってもよい。
以下でさらに説明するように、基板上の複数の位置での理想的な焦点距離の推定値がわかっている場合、新たな撮像位置についての代表的な焦点距離は、既に撮像された位置についてわかっているまたは推定された理想的な焦点距離の加重平均として求めることができる。しかしながら、最初の1つのスタック(または最初の数個のスタック)を取得したときに、基板上の他の位置に関して得られる十分な焦点距離情報はないかもしれない。このような場合、システムはまず、スライド上の複数の位置を撮像することにより、スライド表面の傾斜度を求めることができる。これは、たとえば、スライド上の3つ以上の位置における実際の焦点距離を(たとえば微調整プロセスによって)決定し、決定した点を通して面をフィットさせることにより焦点面の傾斜を推定することによって、行なうことができる。この傾斜の効果に対し、面内のさまざまな位置の撮像を通して、対応または訂正してもよく、最初の代表的な焦点距離は、傾斜の測定に基づいて計算してもよい。
焦点スコアの計算
動作はまた、取得した組またはスタックに含まれる画像すべてまたは画像のサブセットについて焦点スコアを計算すること(ステップ220)を含む。ある画像についての焦点スコアは、撮像面上の所与の点に対する理想的なまたは真の焦点距離からの、代表的な焦点距離の偏差を表わす。したがって、実現化例によっては、複数の画像から計算した焦点スコアに基づいて理想的な焦点距離を推定することが可能である。焦点スコアは、所与の画像の焦点の品質を定量的に評価する関数を用いて計算できる。取得した各画像の焦点スコアをこのような「自動焦点合わせ関数」を用いて計算する場合、スコアが最も高い画像に対応する焦点距離を、理想的な焦点距離として選択できる。特定の自動焦点合わせ関数は、画像の微分、すなわち、隣合う画素間の差の定量化に基づいて、機能する。一般的に、焦点が合っていないために不鮮明な画像は、隣接する画素間の差が小さく、焦点が合って鮮明な画像は、隣接する画素間の差が大きい。
画像内の焦点の相対的な品質を、種類が異なる画像微分関数を用いて測定する。たとえば、ブレナースコアを用いて画像内の焦点の品質を測定できる。ブレナースコアの計算については、たとえば、その全体を本明細書に引用により援用する、Brenner et al., "An Automated Microscope for Cytological Research," J. Histochem. Cytochem., 24: 100-111 (1971)に記載されている。
ブレナースコアは、画像内のテクスチャの尺度である。焦点が合った画像は、ブレナースコアが高く、そのテクスチャは、焦点が合っていない画像よりも細かい。逆に、焦点が合っていない画像は、ブレナースコアが低く、そのテクスチャは、焦点が合った画像よりも粗い。焦点距離によるブレナースコアの違いは、焦点距離が異なる数枚の画像を取得することによって実験的にグラフ化されたブレナー関数を用い、これらの画像のブレナースコアを焦点距離の関数としてグラフ化することによって、表わすことができる。ブレナー関数は、そのピーク値が理想的な焦点距離にあり、焦点距離が理想的な焦点距離からいずれの方向に変化しても、減少する。したがって、一般的に、ブレナー関数は、理想的な焦点距離よりも短い焦点距離で画像を取得したときの低い値で始まり、画像が理想的な焦点距離で焦点が合ったときにピーク値に達し、焦点距離が理想的な焦点距離よりも長くなるにつれて減少する。
図3の曲線310は、関数の正規分布特性を示す、典型的なブレナー関数を表わしている。焦点は、基準点(0μm)とみなされ、この正規分布曲線のピークとして識別される。この例では、ブレナー関数は、焦点を中心として対称であり、焦点からいずれの方向においても、約10μmでほぼゼロまで減少する。
ブレナースコアは、所与の数の画素によって隔てられた点と点の対の間のグレーレベルの変化の平均を測定することによって、計算できる。たとえば、所与の画像のブレナースコア(B)は、以下の式を用いて計算できる。
式中、RおよびCは、画像内の画素の行および列の数であり、Pi,jは、i行j列における画素の値である。nの値は、実験により、たとえば、光学部品の解像度および倍率に応じて、ならびにカメラの画素サイズに応じて、選択できる。たとえば、nは、光学システムが解像できる最小距離であってもよい。
センサによって取得された画像はいずれも、画素値に、たとえば画素位置に当たる光子の数のばらつきを原因とする、または、センサに関連する電子機器におけるノイズを原因とする、ノイズを含む。このようなノイズは、所与の画像内の2つの画素について、たとえこれら2つの画素が画像の同一レベルの強度を示していても、その値を異ならせる可能性がある。このようなノイズの効果は、ブレナースコアを計算するための加算演算で考慮される項のしきい値処理によって、減じることができる。たとえば、隣接する2つの画素間の差の2乗を、ブレナースコアのための総和に、この差が予め定められたしきい値よりも大きい場合に限って、加算することができる。このようなしきい値処理プロセスの一例を、以下の疑似コードで説明する。
ここで、Bはブレナースコアを表わし、Pi,jは、i番目の行およびj番目の列における画素の画素値を表わし、RおよびCはそれぞれ行の数および列の数を表わし、Tはしきい値を表わす。上記疑似コードで説明したように、n個の画素で隔てられた2つの画素間の強度値の差がしきい値Tよりも大きい場合に限って、この差を2乗しブレナースコアの最新の値に加算する。したがって、所与の画像のブレナースコアは、画像全体についてのこのような差の総和を求めることによって計算される。
理想的な焦点距離の推定
再び図2を参照して、動作はさらに、計算された焦点スコアに基づき、所与の位置にとって理想的な焦点距離を推定し格納すること(ステップ230)を含む。ある実施の形態では、ブレナースコアから導出された関数を用いて、計算された焦点スコアから理想的な焦点距離を推定する。加えて、ブレナースコアの対数の差を用いて理想的な焦点距離を推定することができる。
ブレナー関数の対数は放物線で表わすことができる。図3に示される曲線320はこのような放物線の一例を示す。理想的な焦点距離を所与の1組の焦点スコアから推定することは、放物線を、焦点距離の関数としての焦点スコアの対数にフィットさせることを含み得る。放物線の一般的な形状は周知であり、一例として図3の曲線320を用いると、放物線は以下の式を用いて数学的に表わすことができる。
y=Ax+Bx+C (4)
式中、y=f(x)=log(b(x))は、ブレナースコアの対数を表わし、A、B、およびCは、X−Y面上の放物線の形状および位置を決める定数を表わす。よって、A、B、およびCを求めるには3つの等式が必要である。放物線のピーク値ymax(または頂点の値)を、曲線フィッティングアルゴリズムに予めプログラムすることができる。ピーク値は、実験データに基づいて求めることができ、上記パラメータA、B、およびCを求めるための第1の等式を提供する。その他2つの等式は、異なる2つの画像について計算されたブレナースコアの対数を用いて表わされる。パラメータA、B、およびCは、これら3つの式から求めることができ、これにより、放物線が完成する。次に、この放物線のピークに対応する焦点距離が、理想的な焦点距離の推定値として用いられる。
計算した焦点スコアに対して放物線をフィットさせる他のやり方も、本明細書の範囲に含まれる。たとえば、パラメータA、B、またはCのうちのいずれか1つを、履歴または実験データに基づいて確定することができる。したがって、式(4)を、異なる2つの画像に対して計算されたブレナースコアを用いるために求めることができる未知の2つのパラメータを有する式に換算できる。所与の照明色について2つではなく3つの画像が取得される場合、対応する、計算された焦点スコアから、3つの式を表わすことができ、パラメータA、B、およびCをこれらの式を解いて求めることができる。これは、用途によっては、2つの点のみに基づく推定よりも正確かもしれないが、さらに1つの画像の取得および処理を必要とする。等式をフィットさせることができる他の焦点スコア関数を用いて、本開示の範囲を逸脱することなく、理想的な焦点距離を推定することもできる。
ブレナースコアを利用する実施の形態に関し、決められた、相対的にオフセットされた焦点距離で捕捉された一対の画像についてのブレナースコアの対数間の差は、線形関数(曲線330、図3に示される例)であり、この関数の値は、ブレナー関数のピークによって表わされる理想的な焦点距離からのずれまたはオフセットに対し実質的に比例する。したがって、所与の照明の下で取得された画像に対して推定される理想的な焦点距離オフセットは、ブレナースコアの対数の単位差当たりの焦点距離の既知の差(Δf)を仮定して、計算される。このような仮定は、たとえば、図3に示される曲線330のような線形曲線の傾斜から導出できる。したがってオフセットは次のように計算できる。
オフセット=差・(Δf/δ) (5)
式中、Δfは、ブレナースコアの対数の単位差当たりの焦点距離の差であり、δは一対の画像間のZ分離である。推定された、画像のスタック全体としてのオフセットは、4色すべてについてのオフセットの平均値として計算できる。この位置の理想的な焦点距離は、スタックを得るために用いられた代表的な焦点距離に、平均オフセットを加算してから、格納される。なお、計算されたオフセットを代表的な焦点距離に加算するかまたはこれから減算するかは、特定の用途が従う符号規約に依存する。
所与の位置にとって理想的な焦点距離が推定されると、この推定された理想的な焦点距離は、基板上の対応する位置とリンクされた(たとえばデータベース内の)記憶場所に格納される。次に、格納された値は、下記のように、次の撮像位置での画像スタックの代表的な焦点距離の計算に用いることができる。
同じ位置または対象物の2つ以上の画像を用いて、理想的な焦点距離を推定するために曲線をフィットさせる焦点スコアを評価することができる。たとえば、異なる焦点距離で複数の画像を取得することができ、これら複数の画像からの焦点スコアに正規分布曲線をフィットさせる。正規分布曲線のピークを、焦点スコアから補間することができる。これら画像および対応する焦点スコアは、比較的大きな焦点オフセット(たとえば4μm)で集めることができるが、理想的な焦点距離は、より細かい解像度で推定できる。
新たな位置での代表的な焦点距離の推定
動作は、撮像システムが、所与の基板上の他の位置でさらに画像を取得する必要があるか否か確認し(ステップ240)、それに応じて撮像プロセスを続けることを含み得る。残っている位置がなければ、所与の対象物に対する撮像プロセスを終了させることができ(ステップ250)、新たな対象物、たとえば異なる生物試料を含む異なるスライドに対して撮像プロセスを再開することができる。逆に、撮像すべき位置がまだあれば、撮像ハードウェアは新たな撮像位置に移動することができる(ステップ260)。撮像する位置を、撮像ハードウェアを制御する制御モジュール内に予めプログラムしてもよい。
動作はさらに、新たな位置での最初の代表的な焦点距離を推定すること(ステップ270)を含む。この代表的な焦点距離は、他の位置についてわかっている、推定された理想的な焦点距離の加重平均として、推定または計算してもよい。このような計算において、わかっている、推定された理想的な焦点距離に、たとえば、新たな撮像位置からの、以前撮像された位置の距離に基づいて求められた重み関数に基づく重みを、割当ててもよい。代表的な焦点距離の推定の一例が、図4に示される。この図面において、撮像面405上の数個の位置は、(x,y)座標対で表わされ、これらの位置における、対応する推定された理想的な焦点距離は、zの値を用いて表わされる。たとえば、この例では位置(5,3)における理想的な焦点距離はz=3と推定された。同様に、位置(1,8)、(5,8)、(8,4)、および(8,3)における理想的な焦点距離は、それぞれ、z=−1、z=−3、z=−2、およびz=1と、推定された。次に、推定された理想的な焦点距離を用いて、点(6,6)で表わされる新たな撮像位置での代表的な焦点距離が推定された。
一般的に、加重平均は、最新の撮像位置に最も近い位置から推定された理想的な焦点距離にはより大きな重みを割当て、最新の撮像位置からそれよりも遠い撮像位置についての焦点距離にはより小さい重みを割当てる。重み関数は、線形であってもよく、または、1つ以上のパラメータの関数であってもよい。ある実施の形態において、所与の位置における推定された(またはわかっている)理想的な焦点距離に割当てられる重みは以下のように計算される。
重み=(d+n−(s/2) (6)
式中、パラメータdは、最新の位置から所与の位置までの距離であり、近傍を表わすパラメータnは、重み関数の横軸方向の大きさを制御し、鮮明度を表わすパラメータsは、重み関数に対応する曲線の形状を制御する。この例において、(x,y)距離はミリメートル単位で計算された。したがって、近傍1000μm(すなわちn=1000μm)、鮮明度4(すなわちs=4)と仮定すると、この例における重みは以下の式を用いて計算された。
重み=(d+1)(−2) (7)
上記例における新たな撮像位置(6,6)についての代表的な焦点距離の計算が表1に示される。
上記のように、位置(6,6)における代表的な焦点距離は、−1.451ミクロンと推定された。一般的に、代表的な焦点距離は、以前撮像された位置についての真の焦点距離または推定された理想的な焦点距離と異なる。たとえば、位置(6,6)における理想的な焦点距離の推定値は、1ミクロンであると判明する可能性がある。代表的な焦点距離ではなく、この推定された理想的な焦点距離が、所与の位置について格納され、1つ以上の新たな撮像位置における代表的な焦点距離の推定に使用される。複数の位置から得た理想的な焦点距離の、前の推定値の平均を求めることを繰返すことにより、推定値の誤差を平滑化できるので、結果として、新たな撮像位置における焦点距離の推定値は、徐々に改善される。
推定された理想的な焦点距離を加重平均することにより所与の位置での焦点距離を推定すると、結果として、所与の位置におけるフィットされた放物線の傾斜の推定値も徐々に正確にすることができる。この放物線の傾斜は通常、撮像視野の1つ以上のパラメータに依存する。たとえば、染色された血球の試料を含むスライドを撮像する場合、傾斜は、暗さおよび血球の密度に依存し得る。
図5を参照して、グラフ500は、曲線f(x,n,s)の例を示しており、式(6)に基づき、重み関数f(x)の形状がパラメータnおよびsによってどのように変化するかを説明している。たとえば、曲線510は、n=1000μmおよびs=2の重み関数を表わす。曲線520は、n=1554μmおよびs=4の重み関数を表わす。曲線530は、n=1961μmおよびs=6の重み関数を表わし、曲線540は、n=2299μmおよびs=8の重み関数を表わす。ある実現化例では、適切な重み関数を、実験により、パラメータnおよびsを操作することによって求める。パラメータの数がより多いまたはより少ない他の重み関数も、本開示の範囲に含まれる。
計算システムの概要
図6は、ある実現化例に従い、本明細書に記載のコンピュータにより実行される方法のうちいずれかとの関連で説明した動作を制御するのに使用できるコンピュータシステム600の概略図である。システム600は、プロセッサ610と、メモリ620と、記憶装置630と、入出力装置640とを含む。これら構成要素610、620、630、および640は各々、システムバス650を用いて相互に接続される。プロセッサ610は、システム600内で実行のために命令を処理することができる。ある実現化例では、プロセッサ610はシングルスレッドのプロセッサである。別の実現化例では、プロセッサ610はマルチスレッドのプロセッサである。プロセッサ610は、メモリ620または記憶装置630に格納された命令を処理することにより、入出力装置640上にユーザインターフェイス用の図形情報を表示することができる。
メモリ620はシステム600内で情報を格納する。ある実現化例では、メモリ620はコンピュータ可読媒体である。メモリ620は揮発性メモリおよび/または不揮発性メモリを含み得る。
記憶装置630は、システム600に大容量記憶装置を提供することができる。一般的に、記憶装置630は、コンピュータ可読命令を格納するように構成された、任意の一時的でない有形の媒体を含み得る。ある実現化例において、記憶媒体630はコンピュータ可読媒体である。異なる多様な実現化例において、記憶装置630は、フロッピー(登録商標)ディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置であってもよい。
入出力装置640は、システム600に対して入出力動作を行なう。ある実現化例において、入出力装置640は、キーボードおよび/またはポインティングデバイスを含む。ある実現化例において、入出力装置640は、グラフィカルユーザインターフェイスを表示するための表示装置を含む。
ここに記載されている特徴は、デジタル電子回路において、または、コンピュータハードウェア、ファームウェアにおいて、または、これらを組合わせたものにおいて、実現し得る。これらの特徴は、プログラマブルプロセッサによる実行のために、たとえば機械可読記憶装置といった情報担体において有形に実現されたコンピュータプログラムプロダクトにおいて、実現することができ、これらの特徴を、プログラマブルプロセッサによって実施することができる。このプログラマブルプロセッサは、命令のプログラムを実行することにより、ここに記載されている実現化例の機能を、入力データを処理し出力を生成することによって果たす。ここに記載されている特徴は、プログラマブルシステム上で実行可能な1つ以上のコンピュータプログラムにおいて実現でき、このプログラマブルシステムは、データ記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置からデータおよび命令を受信し、これらにデータおよび命令を送信するように接続された、少なくとも1つのプログラマブルプロセッサを含む。コンピュータプログラムは、コンピュータ内で直接または間接的に使用されることによって特定のアクティビティを実行するまたは特定の結果をもたらすことができる1組の命令を含む。コンピュータプログラムは、コンパイルされたまたはインタープリットされた言語を含む任意の形態のプログラミング言語で書込むことができ、スタンドアロンプログラムまたはモジュール、コンポーネント、サブルーチン、または計算環境で使用するのに適したその他のユニットを含む任意の形態で導入できる。
本願に記載の方法およびシステムを実現するためにさまざまなソフトウェアアーキテクチャを使用できる。たとえば、本明細書に記載の方法およびシステムの実現において、出版/購読メッセージングパターンを使用できる。出版/購読メッセージングの場合、このシステムは、メッセージングモジュールを介してのみ通信する数個のハードウェアおよびソフトウェアモジュールを含む。各モジュールを、特定の機能を果たすように構成できる。たとえば、このシステムは、ハードウェアモジュール、カメラモジュール、および焦点モジュールのうちの1つ以上を含み得る。ハードウェアモジュールは、コマンドを、高速自動焦点合わせを実現する撮像ハードウェアに送ることができ、これがカメラをトリガして画像を取得する。
カメラモジュールは、画像をカメラから受け、シャッター時間または焦点といったカメラパラメータを決めることができる。画像は、カメラモジュールによって処理される前に、コンピュータメモリ内にバッファリングすることもできる。カメラモジュールは、スライドの傾斜を最初に調べる場合、ハードウェアモジュールに割込むメッセージを、適切なシャッター時間または焦点を決めるのに十分な画像を既に見たときに、送ることもできる。
このシステムはまた、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組合せとして実現できる焦点モジュールを含み得る。ある実現化例では、焦点モジュールは、スタック内のすべてのフレームを調べ、このスタックが理想から、すなわち理想的な焦点距離からどれだけ離れているか推定する。焦点モジュールは、画像のスタック内の各フレームに焦点スコアを割当てる役割を果たすこともできる。
命令のプログラムの実行に適したプロセッサは、一例として、汎用マイクロプロセッサおよび専用マイクロプロセッサ双方、ならびに、任意の種類のコンピュータの単独のプロセッサまたは複数のプロセッサのうち1つを含む。一般的に、プロセッサは、読取専用メモリまたはランダムアクセスメモリまたはこれら双方から、命令およびデータを受ける。コンピュータは、命令を実行するためのプロセッサと、命令およびデータを格納するための1つ以上のメモリとを含む。一般的に、コンピュータはさらに、データファイルを格納するための1つ以上の大容量記憶装置を含むかまたはこの記憶装置と通信できるように接続される。このような記憶装置は、内蔵ハードディスクおよびリムーバブルディスク等の磁気ディスク、光磁気ディスク、および光ディスクを含む。コンピュータプログラム命令およびデータを有形で実現するのに適した記憶装置は、すべての形態の不揮発性メモリを含み、これは一例として、EPROM、EEPROM、およびフラッシュメモリ装置等の半導体記憶装置、内蔵ハードディスクおよびリムーバブルディスク等の磁気ディスク、光磁気ディスク、ならびにCD−ROMおよびDVD−ROMディスクを含む。プロセッサおよびメモリを、ASIC(特定用途向け集積回路)で補うことができる、または、ASICに組込むことができる。
ユーザとの対話に備えて、ユーザに対して情報を表示するためのCRT(陰極線管)またはLCD(液晶表示装置)モニタ等の表示装置と、ユーザがコンピュータに対する入力を行なえるようにするためのキーボードおよびマウスまたはトラックボール等のポインティングデバイスとを有する、コンピュータ上で、上記特徴を実現することができる。これに代えて、コンピュータは、キーボード、マウス、またはモニタが搭載されずに、別のコンピュータから遠隔制御されてもよい。
上記特徴は、データサーバ等のバックエンド素子を含む、または、アプリケーションサーバもしくはインターネットサーバ等のミドルウェア素子を含む、または、グラフィカルユーザインターフェイスもしくはインターネットブラウザを有するクライアントコンピュータ等のフロントエンド素子を含む、または、これらの任意の組合せを含む、コンピュータシステム内で実現できる。上記システムの素子は、任意の形態で、または、通信ネットワーク等のデジタルデータ通信の媒体によって、接続できる。通信ネットワークの例は、たとえば、LAN、WAN、およびインターネットを形成するコンピュータとネットワークを含む。
コンピュータシステムは、クライアントとサーバとを含み得る。クライアントとサーバは、一般的には互いに離れており、典型的には上記のようなネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されクライアントーサーバの関係があるコンピュータプログラムによって発生する。
プロセッサ610は、コンピュータプログラムに関連する命令を実行する。プロセッサ610は、論理ゲート、加算器、乗算器、および計数器等のハードウェアを含み得る。プロセッサ610はさらに、算術および論理演算を行なう別の算術論理演算装置(ALU)を含み得る。
実施例
以下の実施例は、図1との関連で説明したシステム100を用いて血球を含む生物試料を撮像することを目的とした本発明の応用例を説明している。図4との関連で先に説明した実施例の続きである以下の実施例は、例示のみを目的としており、請求項に記載の発明の範囲を限定するものではない。
自動化された試料調製システム、たとえば、同時係属中の米国出願第12/430,885号に開示されているシステムの実施の形態は、撮像の対象である生物試料を、血球の薄い単一層をスライド130上に置くことによって調製した。その後、同時係属中の米国出願第12/943,687号に開示されているシステムの実施の形態は、スライド130上の試料を、固定し、染色し、洗い、乾燥した。このプロセスは、メチレンブルーおよびアズールBで細胞を染色することを含んでいた。しかしながら、この文献および以下の実施例に開示されている方法は、撮像試料をロマノフスキー染色またはその他の染色および/または染料を用いて調製する場合にも使用できる。次に、システム100の自動搬送機構(図示せず)は、スライド130を第1の電動ステージ120上に載せた。
スライド130上に置かれた細胞を撮像する前に、以下でさらに説明するように、システム100は、ステージ120上に載せられたスライド130の傾斜の度合いを求めた。コンピュータ190は、ステージ120をx方向およびy方向に移動させるコマンドおよび対物レンズ140を第2の電動ステージ150を用いてz方向に移動させるコマンドを発することにより、スライド130上における異なる3つの(x,y)位置での焦点スコアを測定した。これら3つの位置各々で、コンピュータ190は、撮像ハードウェアに、スライド130の複数の画像を、異なる焦点距離で捕捉させ、ブレナー焦点関数を用いて焦点スコアのピークを探させた。スライド130上の上記異なる3つの(x,y)位置は、図4においてA(0,0)、B(0,10)、およびC(10,0)として示されている。3つの位置各々でのピーク焦点スコアに対応する焦点距離を用いて、スライド130の焦点面の予備推定を与えた。コンピュータ190は、位置A、B、およびC各々でのピーク焦点スコアが、表2に示される下記ステージ座標に対応すると判断した。
コンピュータ190は、スライド130上のピーク焦点スコア位置各々についてのステージ座標を用いて、以下の式によって示されているように、スライド130の焦点面を計算した。
z=0.2x−0.1y+0.5 (8)
スライド130の焦点面を計算した後、システム100は、対象細胞を含む数個の(x,y)位置において、スライド130に対する一連の画像捕捉ステップを開始した。表1に示される、スライド130上の、第1の新たな(x,y)位置(5,3)およびさらに4つの(x,y)位置において、カメラ160は、対象細胞の8画像スタックを取得した。具体的には、カメラは、スライド130について計算された焦点面に対応する第1の焦点距離で、4色の照明(すなわち635、598、525、および415nm)各々で画像を取得した。次に、電動ステージ150が焦点距離を0.7ミクロンだけ変更し、カメラ160が同じ(x,y)位置(5,3)で別の4つの画像を取得した。この場合、4つの照明色各々について1つの画像であった。式5との関連で述べたように、コンピュータ190は、理想的な焦点距離オフセット計算を用いて、表1に示される位置(5,3)、(8,3)、(8,4)、(5,8)および(1,8)各々について理想的な焦点距離を推定した。
撮像する次の位置(6,6)で、コンピュータ190は、表1に示されるように、スライド130上の過去に撮像された5つの位置に対応する、推定された理想的な焦点距離に基づいて、位置(6,6)に対して式7を用いて計算された重みを利用して代表的な焦点距離−1.451ミクロンを計算した。これに対し、式8を用いて計算された位置(6,6)でのz高さはz=1.1であった。
これに応じて、コンピュータ190は、焦点面のz値が1.1であることおよび焦点面に対する代表的な焦点距離が−1.451であることに基づいて、(x,y)ステージ座標(6,6)にある8画像スタックの中心のzステージ座標−0.351、すなわちz=1.1+(−1.451)=−0.351ミクロンを、求めた。コンピュータ190は、撮像ハードウェア105に、位置(6,6)で4つの画像を2組取得するよう命じた。撮像ハードウェアは、画像スタックの中心に対して±0.35ミクロンの第1および第2のz位置において、色が異なる照明で、4つの画像を2組捕捉した。焦点面を基準として、位置(6,6)の、第1の4つの画像はz=−1.101、第2の4つの画像はz=−1.801であった。
コンピュータ190は、以下の表に示されるように、位置(6,6)で取得した8画像スタックから得た焦点スコアを用いて、この位置について推定される理想的な焦点距離を計算した。
ブレナースコアの対数の単位差当たりの焦点距離の差は2ミクロンとみなされた。各色について1組の画像の焦点距離ともう1組の画像の焦点距離の間は、0.7ミクロン離れていた。コンピュータ190は、式5を用いて、推定される理想的な焦点距離オフセットを計算した。したがって、コンピュータ190は、位置(1,1)で取得したスタックの焦点距離が、表3に示すように、理想的な焦点距離より0.429ミクロン短いと判断した。これに応じて、コンピュータ190は、このオフセット値を代表的な焦点距離に与えることにより、位置(6,6)の推定された理想的な焦点距離:0.429+(−1.451)=−1.022ミクロンを導出した。次に、推定された理想的な焦点距離は、表1に追加され、コンピュータ190がスライド130上の撮像対象の次の(x,y)位置の代表的な焦点距離を算出するときに、用いられた。
次に、コンピュータ190は引続き、位置(6,6)の後に撮像される新たな(x,y)位置各々について、代表的な焦点距離および推定される理想的な焦点距離を計算した。システム100は、スライド130上の対象細胞すべてについて画像スタックを取得するまで、このプロセスを行なった。コンピュータ190は、新たな(x,y)位置から画像のスタックを受けると、これらの画像を分析し、撮像ハードウェア105が対象となる次の細胞をカメラ160に対して示すまでに、焦点面のモデルを更新した。システムがスライド130に沿う位置をさらに撮像すると、このモデルは、スライド130の表面の局所的な変形に対応しながら、焦点距離の推定が徐々により正確になった。このようにして、まるで単純な面フィッティングを用いたかのように素早いが焦点測定が改善されている状態で、画像を取得することができた。
他の実施の形態
本明細書に記載の発明は、数多くのやり方で実現できる。有用ないくつかの実現化例は上記の通りである。この実現化例についての説明は、発明の説明ではなく、これは、本明細書に記載の詳細な実現化例に限定されないが請求項においてより広い文言で記載されている。本発明を発明の詳細な説明と関連付けて説明してきたが、上記説明は例示を目的としており、以下の請求項の範囲によって定められる本発明の範囲を限定しないことが、理解されるはずである。本明細書に記載の方法およびシステムを用いて、たとえば多様な医療撮像用途および高速焦点合わせ写真術における他の撮像システムでの高速自動焦点合わせを実現できる。焦点距離の高速インライン推定を必要とする撮像システムはいずれも本願の範囲に含まれる。その他の局面、利点および変形は、以下の特許請求の範囲に含まれる。

Claims (24)

  1. 基板上の1つ以上の対象物の複数の画像の焦点を自動的に合わせるための方法であって、
    a)プロセッサによって、前記基板上の第1の位置についての代表的な焦点距離を、前記基板上の既知の位置での焦点距離の1組に基づいて、求めるステップを含み、前記代表的な焦点距離は、前記既知の位置での焦点距離の1組のうちの少なくとも2つの焦点距離の加重平均として推定され、所与の焦点距離に対する重みは、対応する位置の、前記第1の位置からの距離に基づいて計算され、
    b)画像取得装置によって、前記第1の位置の少なくとも2つの画像からなる1組の画像を取得するステップとを含み、前記画像は各々、前記代表的な焦点距離からオフセットされた異なる焦点距離を用いて取得されたものであり、
    c)プロセッサによって、前記第1の位置に対応する理想的な焦点距離を、前記画像各々の、隣接する画素間の差を用いて算出される焦点の品質の比較に基づいて、推定するステップと、
    d)前記推定された理想的な焦点距離および前記第1の位置を前記既知の位置での焦点距離の1組に格納するステップとを含む、方法。
  2. プロセッサによって、前記既知の位置での焦点距離の1組を取出すステップと、
    前記画像取得装置によって、第2の位置の少なくとも2つの画像からなる追加の1組の画像を取得するステップとをさらに含み、前記追加の1組の画像は各々、前記既知の位置での既知の焦点距離の1組に基づいて前記第2の位置について計算された第2の代表的な焦点距離からオフセットされた異なる焦点距離を用いて取得され、
    プロセッサによって、前記第2の位置に対応する理想的な焦点距離を、前記追加の1組の画像各々の焦点の品質の比較に基づいて、推定するステップを含む、請求項1に記載の方法。
  3. 既知の位置での焦点距離の前記1組は、当該既知の位置の理想的な焦点距離を含む、請求項1に記載の方法。
  4. 前記焦点の品質は、焦点が合っている画像の傾斜を反映する各画像のテクスチャに基づく、請求項1に記載の方法。
  5. 前記焦点の品質は、ブレナー(Brenner)スコアを用いて算出される、請求項に記載の方法。
  6. 前記理想的な焦点距離を推定するステップは、
    前記画像のブレナー(Brenner)スコアの対数間の差を計算するステップと、
    前記計算した差からのオフセットを推定するステップと、
    前記オフセットに基づいて前記理想的な焦点距離を推定するステップとをさらに含む、請求項に記載の方法。
  7. 前記画像のうちの少なくとも2つは、実質的に同一の色の光による照明の下で取得され、前記光の色は、緑、黄、青、および赤のうちの少なくとも1つである、請求項1に記載の方法。
  8. 前記1組の画像は、少なくとも2つの異なる色による照明の下で取得され、少なくとも2つの画像は、各色による照明の下で取得される、請求項1に記載の方法。
  9. 前記第1の位置に対応する理想的な焦点距離を推定するステップは、
    前記異なる色各々について焦点距離のオフセットを計算するステップと、
    前記異なる色について計算した焦点距離のオフセットに基づいて焦点距離のオフセットの平均を求めるステップと、
    前記焦点距離のオフセットの平均に基づいて、前記第1の位置に対応する理想的な焦点距離を推定するステップとをさらに含む、請求項に記載の方法。
  10. 撮像システムであって、
    基板上の第1の位置の少なくとも2つの画像からなる1組の画像を、各画像について、代表的な焦点距離からオフセットされた異なる焦点距離を用いて、取得するように構成された画像取得装置と、
    前記画像取得装置に接続されたプロセッサとを備え、
    前記プロセッサは、
    前記第1の位置についての代表的な焦点距離を、前記基板上の既知の位置での焦点距離の1組に基づいて計算し、前記代表的な焦点距離は、前記既知の位置での焦点距離の1組のうちの少なくとも2つの焦点距離の加重平均として推定され、所与の焦点距離に対する重みは、対応する位置の、前記第1の位置からの距離に基づいて計算され、
    前記第1の位置に対応する理想的な焦点距離を、前記画像各々の、隣接する画素間の差を用いて算出される焦点の品質の比較に基づいて推定し、
    前記推定された理想的な焦点距離および前記第1の位置を前記既知の位置での焦点距離の1組に格納し、
    前記計算した代表的な焦点距離を前記画像取得装置に与えるように、構成される、システム。
  11. 前記プロセッサはさらに、前記既知の位置での焦点距離の1組を取出すように構成され、
    前記画像取得装置はさらに、第2の位置の少なくとも2つの画像からなる追加の1組の画像を取得するように構成され、前記追加の1組の画像は各々、前記既知の位置での既知の焦点距離の1組に基づいて前記第2の位置について計算された第2の代表的な焦点距離からオフセットされた異なる焦点距離を用いて取得される、請求項10に記載のシステム。
  12. 前記プロセッサはさらに、前記第2の位置に対応する理想的な焦点距離を、前記追加の1組の画像各々の焦点の品質の比較に基づいて推定するように構成される、請求項11に記載のシステム。
  13. 既知の位置での焦点距離の前記1組は、当該既知の位置の理想的な焦点距離を含む、請求項10に記載のシステム。
  14. 前記焦点の品質は、焦点が合っている画像の傾斜を反映する各画像のテクスチャに基づく、請求項10に記載のシステム。
  15. 前記焦点の品質は、ブレナー(Brenner)スコアを用いて算出される、請求項11に記載のシステム。
  16. 前記プロセッサはさらに、
    前記画像のブレナー(Brenner)スコアの対数間の差を計算し、
    前記計算した差からのオフセットを推定し、
    前記オフセットに基づいて前記理想的な焦点距離を推定するように構成される、請求項15に記載のシステム。
  17. 前記画像のうちの少なくとも2つは、実質的に同一の色の光による照明の下で取得され、前記光の色は、緑、黄、青、および赤のうちの少なくとも1つである、請求項10に記載のシステム。
  18. 前記1組の画像は、少なくとも2つの異なる色による照明の下で取得され、少なくとも2つの画像は、各色による照明の下で取得される、請求項10に記載のシステム。
  19. 前記プロセッサはさらに、
    前記異なる色各々について焦点距離のオフセットを計算し、
    前記異なる色について計算した焦点距離のオフセットに基づいて焦点距離のオフセットの平均を求め、
    前記焦点距離のオフセットの平均に基づいて、前記第1の位置に対応する理想的な焦点距離を推定するように構成される、請求項18に記載のシステム。
  20. コンピュータ可読記憶装置であって、前記記憶装置における符号化されたコンピュータ可読命令が、プロセッサによって実行されることにより、前記プロセッサは、
    基板上の第1の位置についての代表的な焦点距離を、前記基板上の既知の位置での焦点距離の1組に基づいて計算し、前記代表的な焦点距離は、前記既知の位置での焦点距離の1組のうちの少なくとも2つの焦点距離の加重平均として推定され、所与の焦点距離に対する重みは、対応する位置の、前記第1の位置からの距離に基づいて計算され、
    前記第1の位置に対応する理想的な焦点距離を、画像各々の、隣接する画素間の差を用いて算出される焦点の品質の比較に基づいて推定し、
    前記推定された理想的な焦点距離および前記第1の位置を前記既知の位置での焦点距離の1組に格納し、
    前記計算した代表的な焦点距離を画像取得装置に与え、前記画像取得装置は、前記第1の位置の少なくとも2つの画像からなる1組の画像を、各画像について、前記代表的な焦点距離からオフセットされた異なる焦点距離を用いて、取得する、コンピュータ可読記憶装置。
  21. 既知の位置での焦点距離の前記1組は、当該既知の位置の理想的な焦点距離を含む、請求項20に記載のコンピュータ可読記憶媒体。
  22. 前記焦点の品質は、焦点が合っている画像の傾斜を反映する各画像のテクスチャに基づく、請求項20に記載のコンピュータ可読記憶媒体。
  23. 前記焦点の品質は、ブレナー(Brenner)スコアを用いて算出される、請求項20に記載のコンピュータ可読記憶装置。
  24. 前記プロセッサが、
    前記画像のブレナー(Brenner)スコアの対数間の差を計算し、
    前記計算した差からのオフセットを推定し、
    前記オフセットに基づいて前記理想的な焦点距離を推定するようにするための命令を、さらに含む、請求項23に記載のコンピュータ可読記憶装置。
JP2013552502A 2011-02-01 2011-02-01 顕微鏡撮像における高速自動焦点合わせ Active JP5727629B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/023374 WO2012105966A1 (en) 2011-02-01 2011-02-01 Fast auto-focus in microscopic imaging

Publications (2)

Publication Number Publication Date
JP2014507685A JP2014507685A (ja) 2014-03-27
JP5727629B2 true JP5727629B2 (ja) 2015-06-03

Family

ID=44625103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013552502A Active JP5727629B2 (ja) 2011-02-01 2011-02-01 顕微鏡撮像における高速自動焦点合わせ

Country Status (8)

Country Link
EP (2) EP3988985B1 (ja)
JP (1) JP5727629B2 (ja)
KR (1) KR101891364B1 (ja)
CN (1) CN103534628B (ja)
AU (1) AU2011357735B2 (ja)
CA (1) CA2826372C (ja)
HK (1) HK1190195A1 (ja)
WO (1) WO2012105966A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090574A1 (ja) * 2019-11-06 2021-05-14 ソニー株式会社 位置調整方法、微小粒子分析装置、及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105093479A (zh) * 2014-04-30 2015-11-25 西门子医疗保健诊断公司 用于显微镜的自动对焦方法和装置
JP6562547B2 (ja) * 2015-07-16 2019-08-21 オリンパス株式会社 顕微鏡システム、算出方法、及び、プログラム
JP7248833B2 (ja) * 2015-10-19 2023-03-29 モレキュラー デバイシーズ, エルエルシー フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
CN109844494B (zh) * 2016-10-06 2022-05-24 艾瑞斯国际有限公司 动态聚焦系统和方法
JPWO2018139156A1 (ja) * 2017-01-26 2019-12-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
JP2019008196A (ja) * 2017-06-27 2019-01-17 株式会社オプティマ 観察システム、制御装置、制御方法、及びプログラム
US11067526B2 (en) 2017-08-17 2021-07-20 Abbott Point Of Care Inc. Devices, systems, and methods for performing optical and electrochemical assays
CN111279242B (zh) * 2017-11-28 2022-03-29 徕卡生物系统成像股份有限公司 双处理器图像处理
JP2019102640A (ja) * 2017-12-01 2019-06-24 東京エレクトロン株式会社 プローブ針の針先位置調整方法および検査装置
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems
CN110658618A (zh) * 2018-06-28 2020-01-07 湖南爱威医疗科技有限公司 样本图像拟合聚焦的方法、装置、计算机设备和存储介质
CN109507792B (zh) * 2018-12-27 2021-07-06 湖南品信生物工程有限公司 一种基于机器学习的光学显微镜自动聚焦方法
US11340439B2 (en) 2019-03-21 2022-05-24 Sigtuple Technologies Private Limited Method and system for auto focusing a microscopic imaging system
CN110763679A (zh) * 2019-10-31 2020-02-07 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质
CN110793965A (zh) * 2019-10-31 2020-02-14 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质
CN110927158B (zh) * 2019-10-31 2022-07-05 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质
US11108946B1 (en) * 2020-06-25 2021-08-31 Zebra Technologies Corporation Focus stabilization of imaging system with variable focus lens
WO2022086448A1 (en) * 2020-10-23 2022-04-28 National University Of Singapore An optical microscope assembly, and a focussing method for such an assembly
SE2250140A1 (en) * 2022-02-11 2023-08-12 Cellink Bioprinting Ab Imaging apparatus and method for determning a focal point of a well-plate
US20240109063A1 (en) * 2022-09-29 2024-04-04 Illumina, Inc. Dynamic optical system calibration

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779434B2 (ja) 1986-05-16 1995-08-23 キヤノン株式会社 合焦検出装置
KR100300618B1 (ko) 1992-12-25 2001-11-22 오노 시게오 노광방법,노광장치,및그장치를사용하는디바이스제조방법
DE60041203D1 (de) * 1999-10-29 2009-02-05 Cytyc Corp Verfahren zur verifikation der verwendung eines bestimmten färbemittels für eine zellprobe
WO2002063367A1 (en) 2001-02-02 2002-08-15 Cellomics, Inc. Method for estimating the best initial focus position
US20050036674A1 (en) * 2003-08-13 2005-02-17 Bar Ilan University Method and system for determining shape of an object from a planar top view thereof
JP4800104B2 (ja) 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US20070211460A1 (en) 2006-03-09 2007-09-13 Ilya Ravkin Multi-color LED light source for microscope illumination
US7769219B2 (en) * 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
US20100157086A1 (en) * 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager
JP5489545B2 (ja) * 2009-06-10 2014-05-14 オリンパス株式会社 撮像システムおよび撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090574A1 (ja) * 2019-11-06 2021-05-14 ソニー株式会社 位置調整方法、微小粒子分析装置、及びプログラム

Also Published As

Publication number Publication date
WO2012105966A1 (en) 2012-08-09
JP2014507685A (ja) 2014-03-27
CN103534628B (zh) 2016-03-09
EP2671113A1 (en) 2013-12-11
EP3988985B1 (en) 2024-08-28
AU2011357735A1 (en) 2013-05-02
EP3988985A3 (en) 2022-07-13
CA2826372A1 (en) 2012-08-09
KR101891364B1 (ko) 2018-08-23
AU2011357735B2 (en) 2015-07-30
CA2826372C (en) 2020-03-31
HK1190195A1 (zh) 2014-06-27
EP3988985A2 (en) 2022-04-27
CN103534628A (zh) 2014-01-22
KR20140045331A (ko) 2014-04-16
EP2671113B1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
JP5727629B2 (ja) 顕微鏡撮像における高速自動焦点合わせ
US10462351B2 (en) Fast auto-focus in imaging
TWI805857B (zh) 用於特性化一樣品之系統及方法
TWI478101B (zh) 評估影像聚焦品質的方法
US9176311B2 (en) Microscope control device and optical distortion correction method
US20220046180A1 (en) Deep Learning Model for Auto-Focusing Microscope Systems
CN109001902A (zh) 基于图像融合的显微镜聚焦方法
CN113366364A (zh) 载玻片扫描系统中的实时聚焦
US11803960B2 (en) Optical image contrast metric for optical target search
TWI751184B (zh) 產生一樣本之三維(3-d)資訊之方法及三維(3-d)量測系統
JP2014106388A (ja) 自動合焦点検出装置及びそれを備える荷電粒子線顕微鏡
CN113939759B (zh) 用于校正显微镜物镜视场中对焦平面变化的系统和方法
US20230258919A1 (en) A method for analysing scanning efficacy
CN115777060B (zh) 用于光学目标搜索的光学图像对比度量
CN111212237B (zh) 用于生物荧光芯片的自动对焦方法
CN113655610B (zh) 用于光热反射显微热成像的自动对焦方法及控制装置
TW202129685A (zh) 帶電粒子線裝置及檢查裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150402

R150 Certificate of patent or registration of utility model

Ref document number: 5727629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250