JP7233506B2 - 一次染色および免疫組織化学画像に基づくコンピュータ採点 - Google Patents

Description

[0001] 生物検体(biological specimens)の分析において、検体は、染料またはアッセイの１つ以上の組み合わせによって染色されることが多く、染色された生物検体が、更なる分析のために、視認または撮像される。アッセイを観察することによって、疾病の診断、処置に対する応答の評価、および疾病と闘うための新たな薬剤の開発を含む、種々のプロセスが可能になる。

[0002] 免疫組織化学（ＩＨＣ）スライド染色は、組織切片の細胞においてタンパク質を識別するために利用することができ、したがって、生体組織(biological tissue)にお
ける癌細胞および免疫細胞のような、異なる型の細胞の研究において広く使用されている。免疫細胞に対する染色のコンテキストでは、免疫学的データは、腫瘍試料(tumor sample)内における免疫細胞の型、密度、および位置を示し、このデータは、患者の生存予測を判定するときに、病理医にとって特に関心深いものとなる。つまり、ＩＨＣ染色は、免疫応答研究のために癌組織における免疫細胞（Ｔ－細胞またはＢ－細胞のような）の異なる表現で示されるバイオマーカの分布および局在化(localization)を理解するために研究において使用することができる。例えば、腫瘍は免疫細胞の浸潤を含有することが多く、これは腫瘍の発生(development)を防止する場合や、または腫瘍の成長(outgrowth)に有利に働く場合がある。

[0003] イムノスコア(immunoscore)計算のための従前からのワークフローでは、専門
家の読み手(expert reader)が、初期ステップとして、ディスプレイ上において既に走査
／ディジタル化されているスライドを見直すまたはスライドの画像を読み取ることによって、手作業で代表的な視野（ＦＯＶ）または対象領域（ＲＯＩ）を顕微鏡の下で選択する。組織スライドが走査されるとき、走査された画像は独立した読み手によって目視され、読み手の個人的好みに基づいてＦＯＶまたはＲＯＩに手作業で印が付けられる。ＦＯＶまたはＲＯＩを選択した後、病理医／読み手は手作業で、選択したＦＯＶまたはＲＯＩ内にある免疫細胞を計数する。読み手が異なれば、異なるＦＯＶまたはＲＯＩを選択して計数することもあり得るので、ＦＯＶまたはＲＯＩの手作業による選択および計数は、非常に主観的であり、読み手よって偏りが生ずる。したがって、イムノスコアの研究は、手作業のプロセスでは必ずしも再現可能ではない。

[0004] 本開示の１つの態様は、組織試料の分析のためのコンピュータ実装方法である。この方法は、第１および第２入力画像を受け取るステップであって、第１または第２入力画像の内一方がバイオマーカ画像に対応し、第１および第２入力画像の内他方がＨ＆Ｅ画像に対応する、ステップと、第１画像の分析を実行するステップであって、第１画像から特徴を導き出すことを含む、ステップと、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成するステップと、位置合わせ画像の分析を実行するステップであって、位置合わせ画像から特徴を導き出すことを含む、ステップと、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合するステップであって、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含む、ステップと、融合した特徴集合に基づいて、バイオマーカ画像に対応する入力画像内において核を分類するステップとを含む。ある実施形態では、バイオマーカ画像は、エストロゲン受容体（ＥＲ）マーカ、プロゲステロン受容体（ＰＲ）マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカの内少なくとも１つの存在に対応するシグナルを含む。ある実施形態では、バイオマーカ画像は、ＰＤ－Ｌ１マーカ、ＣＤ３マーカ、またはＣD８マーカの存在に対応するシグナルを含む。ある実施形態では、コンピュータ実装方法は、更に、分類した核を採点するステップを含む。

[0005] 本開示の１つの態様は、組織試料の分析のためのコンピュータ実装方法である。この方法は、第１および第２入力画像を受け取るステップと、第１画像の分析を実行するステップであって、第１画像から特徴を導き出すことを含む、ステップと、第１画像の少なくとも一部を第２画像にマッピングすることによって、第１および第２画像を位置合わせして、位置合わせ画像を形成するステップと、位置合わせ画像の分析を実行するステップであって、位置合わせ画像から特徴を導き出すことを含む、ステップと、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合するステップであって、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含む、ステップと、融合した特徴集合に基づいて、第１または第２画像の内１つにおいて核を分類するステップとを含む。ある実施形態では、核が分類される画像は、マーカに対応するシグナルを有する画像（例えば、バイオマーカ画像）である。ある実施形態では、確率特徴は、（ｉ）第１画像または位置合わせ画像の内１つから確率マップを生成し、（ｉｉ）生成した確率マップから特徴を導き出すことによって、計算される。

[0006] ある実施形態では、第１画像がＨ＆Ｅ画像であり、第２画像がバイオマーカ画像であり、確率特徴が第１画像から導き出される。ある実施形態では、位置合わせされたバイオマーカ画像を形成するために、全腫瘍領域がＨ＆Ｅ画像からバイオマーカ画像にマッピングされる。ある実施形態では、この方法は、更に、位置合わせ画像において核を検出するステップを含み、位置合わせ画像から導き出された特徴が、検出した核に基づいて計算される。ある実施形態では、 第１画像の分析を実行するステップが、（ｉ）第１画像内において組織構造をセグメント化するステップ、または（ｉｉ）第１画像内において細胞型を検出し分類するステップの内少なくとも１つを含む。ある実施形態では、この方法は、更に、セグメント化した組織構造または検出し分類した細胞型の内少なくとも１つに基づいて、確率マップ画像を生成するステップを含む。ある実施形態では、確率特徴が、生成した確率マップ画像から導き出される。

[0007] ある実施形態では、第１画像がバイオマーカ画像であり、第２画像がＨ＆Ｅ画像であり、確率特徴が第２画像から導き出される。ある実施形態では、位置合わせされたＨ＆Ｅ画像を形成するために、バイオマーカ画像の領域がＨ＆Ｅ画像にマッピングされる。ある実施形態では、位置合わせ画像の分析を実行するステップが、（ｉ）組織構造をセグメント化するステップ、または（ｉｉ）細胞型を検出し分類するステップの内少なくとも１つを含む。ある実施形態では、この方法は、更に、セグメント化した組織構造または検出し分類した細胞型の内少なくとも１つに基づいて、確率マップ画像を生成するステップを含む。ある実施形態では、確率特徴が、生成した確率マップから導き出される。ある実施形態では、この方法は、更に、第１画像において核を検出するステップを含み、第１画像から導き出された特徴が、検出した核に基づいて計算される。

[0008] 本開示の他の態様は、コンピュータ実装方法である。この方法は、（ａ）第１および第２画像を供給するために撮像モジュールを実行するステップと、（ｂ）画像を位置合わせし、第１画像の少なくとも一部を第２画像にマッピングして位置合わせ画像を形成するために、画像位置合わせモジュールを実行するステップと、（ｃ）第１画像から特徴を導き出すために核検出モジュールおよび／または特徴抽出モジュールを実行するステップと、（ｄ）位置合わせ画像から特徴を導き出すために、核検出モジュールおよび／または特徴抽出モジュールを実行するステップと、（ｅ）第１画像または位置合わせ画像の内１つから組織型および／または細胞型を識別するためにセグメンテーション・モジュールを実行するステップと、（ｆ）確率特徴マップが生成されるように、識別した組織型および／または細胞型に対して、領域マップ生成モジュールを実行するステップと（ｇ）確率特徴マップから確率特徴を導き出すために、特徴抽出モジュールを実行するステップと、（ｈ）第１画像から導き出された特徴、位置合わせ画像から導き出された特徴、および導き出された確率特徴に基づいて、第１画像または位置合わせ画像の内１つにおいて核を分類するために分類モジュールを実行するステップとを含む。ある実施形態では、この方法は、更に、（ｉ）分類した核を採点するために、採点モジュールを実行するステップを含む。ある実施形態では、核が分類される画像は、バイオマーカに対応するシグナルを含む画像（例えば、バイオマーカ画像）である。

[0009] 本開示の他の態様は、核を分類するように構成されたコンピューティング・デバイスであって、１つ以上のプロセッサと少なくとも１つのメモリとを備える。少なくとも１つのメモリは、１つ以上のプロセッサによる実行のための非一時的コンピュータ読み取り可能命令を格納する。非一時的コンピュータ読み取り可能命令は、１つ以上のプロセッサに、第１および第２入力画像を受け取らせ、第１画像から特徴を導き出すことを含む分析を第１画像に対して実行させ、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成させ、位置合わせ画像から特徴を導き出すことを含む分析を位置合わせ画像に対して実行させ、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合させ、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含み、融合した特徴集合に基づいて、画像の内少なくとも１つにおいて核を分類する命令を実行させる。ある実施形態では、確率特徴は、（ｉ）第１画像または位置合わせ画像の内１つから確率マップを生成し、（ｉｉ）生成した確率マップから特徴を導き出すことによって、計算される。

[0010] 本開示の他の態様は、非一時的コンピュータ読み取り可能記憶媒体である。この非一時的コンピュータ読み取り可能記憶媒体は、第１および第２入力画像を受け取り、第１画像から特徴を導き出すことを含む分析を第１画像に対して実行し、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成し、位置合わせ画像から特徴を導き出すことを含む分析を位置合わせ画像に対して実行し、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合し、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含み、融合した特徴集合に基づいて、画像の内少なくとも１つにおいて核を分類するための実行可能命令を備える。ある実施形態では、確率特徴は、（ｉ）第１画像または位置合わせ画像の内１つから確率マップを生成し、（ｉｉ）生成した確率マップから特徴を導き出すことによって、計算される。

[0011] 本開示の他の態様は、コンピュータ・プログラム・コードを具体化した非一時的コンピュータ使用可能媒体である。コンピュータ・プログラム・コードは、第１および第２入力画像を受け取り、第１画像から特徴を導き出すことを含む分析を、第１画像に対して実行し、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成し、位置合わせ画像から特徴を導き出すことを含む分析を、位置合わせ画像に対して実行し、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合し、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含み、融合した特徴集合に基づいて、画像の内少なくとも１つにおいて核を分類するように構成されたコンピュータ実行可能命令を備える。

[0012] ある実施形態では、第１画像がＨ＆Ｅ画像であり、第２画像がバイオマーカ画像であり、確率特徴が第１画像から導き出される。ある実施形態では、位置合わせ画像を形成するために、全腫瘍領域がＨ＆Ｅ画像からバイオマーカ画像にマッピングされる。ある実施形態では、コンピュータ・コードは、更に、位置合わせ画像において核を判定する命令を含み、位置合わせ画像から導き出された特徴が、検出した核に基づいて計算される。ある実施形態では、第１画像の分析の実行が、（ｉ）第１画像内において組織構造をセグメント化すること、または（ｉｉ）第１画像内において細胞型を検出し分類することの内少なくとも１つを含む。ある実施形態では、このコンピュータ・コードは、更に、セグメント化した組織構造または検出し分類した細胞型の内少なくとも１つに基づいて、確率マップを生成する命令を含む。ある実施形態では、確率特徴が、生成した確率マップから導き出される。

[0013] ある実施形態では、第１画像がバイオマーカ画像であり、第２画像がＨ＆Ｅ画像であり、確率特徴が第２画像から導き出される。ある実施形態では、位置合わせ画像を形成するために、バイオマーカ画像の領域がＨ＆Ｅ画像にマッピングされる。ある実施形態では、位置合わせ画像の分析の実行が、（ｉ）第１画像内において組織構造をセグメント化すること、または（ｉｉ）第１画像内において細胞型を検出し分類することの内少なくとも１つを含む。ある実施形態では、このコンピュータ・コードは、更に、セグメント化した組織構造または検出し分類した細胞型の内少なくとも１つに基づいて、確率マップを生成する命令を含む。ある実施形態では、確率特徴が、生成した確率マップから導き出される。ある実施形態では、このコンピュータ・コードは、更に、第１画像において核を検出する命令を含み、第１画像から導き出された特徴が、検出した核に基づいて計算される。ある実施形態では、このコンピュータ・コードは、更に、分類した核を採点する命令を含む。

[0014] 本開示の１つの態様は、組織試料の分析のためのコンピュータ実装方法である。この方法は、第１および第２入力画像を受け取るステップであって、第１または第２画像の内一方がバイオマーカ画像に対応し、第１および第２入力画像の内他方がＨ＆Ｅ画像に対応する、ステップと、第１画像の分析を実行するステップであって、第１画像から特徴を導き出すことを含む、ステップと、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成するステップと、位置合わせ画像の分析を実行するステップであって、位置合わせ画像から特徴を導き出すことを含む、ステップと、第１画像から導き出された特徴と、第２画像から導き出された特徴とを融合するステップであって、第１画像または位置合わせ画像の１つから導き出された特徴が確率特徴を含む、ステップと、バイオマーカ画像に対応する入力画像内において核を分類するステップとを含む。一実施形態では、バイオマーカ画像は、エストロゲン受容体マーカ、プロゲステロン受容体マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカの内少なくとも１つの存在に対応するシグナルを含む。他の実施形態では、バイオマーカ画像は、ＰＤ－Ｌ１マーカ、ＣＤ３マーカ、またはＤＣ８マーカの存在に対応するシグナルを含む。一実施形態では、第１および／または第２画像からの特徴は、ピラミッド・ヒストグラムの特徴を含む。

[0015] 通例、Ｈ＆Ｅ組織スライドは、特定の組織指示（乳癌、前立腺癌、肺癌等）に対して癌の型を検出し、格付けし、進行の診断を行うために最初の一次診断に使用される。一方、ＩＨＣ組織スライドは、通例、予知および予測の目的のために癌の細分類に使用される。組織形態素(tissue morphology)、即ち、腫瘍腺領域、細胞およびリンパ球、ならびにリンパ領域、更には間質領域および細胞は、Ｈ＆Ｅ組織スライドにおいて容易に区別可能である。ＩＨＣ組織スライドは、単体または多重ＩＨＣ発色性アッセイ（ＤＡＢ、ファスト・レッド、二重染色）のいずれかによって染色され、組織における腫瘍、免疫、および血管領域内の抗原／タンパク質過剰発現を検出し定量化するために使用される。顕微鏡下、またはコンピュータ・モニタ上におけるホール・スライド・キャプチャのディジタル表示(digital read)上のいずれかにおいてＩＨＣスライドを検討し解釈する手作業のプロセスでは、病理医は、通例、組織形態素の視覚的理解を深めるために、Ｈ＆Ｅ組織スライド画像における対応領域も検討し、発色性ＩＨＣ組織スライドにおいて同様に見えることもある組織構造を明確化する。例えば、ＩＨＣ組織スライドにおいて、対比染色された腫瘍核およびリンパ球は、同様の発色外観を有し、視覚的に差別化するのが困難であるが、一方ＩＨＣ組織スライドと比較すると、Ｈ＆Ｅ組織スライドの方が、腫瘍細胞およびリンパ球を明確化するのは容易である。このように、通例では、病理医は、組織スライドの解釈および採点を改善するために、Ｈ＆ＥおよびＩＨＣ組織スライドからの情報を統合する。

[0016] 一例として、ＰＤ－Ｌ１および／またはＩＨＣ乳癌組織スライド（ＥＲ、ＰＲ、Ｋｉ６７、ＨＥＲ２等）に対するというような、手作業の採点プロセスにおいて、病理医は、より正しい判断を行うために、Ｈ＆ＥおよびＩＨＣスライド双方の連続切片を検討することが推奨される。例えば、手作業のＰＤ－Ｌ１採点プロセスでは、同じ対象領域にけるＨ＆Ｅ情報を使用して、腫瘍および間質領域の位置を確認し、同じ対象領域におけるＨ＆Ｅ情報を使用して、腫瘍領域における免疫細胞の存在を確認し、Ｈ＆Ｅスライドを使用して、採点すべきでない領域を識別および確認する。

[0017] 本出願人は、画像分析およびＩＨＣ組織スライドの採点におけるＨ＆Ｅ組織スライド情報の自動使用のための方法を開発した。病理医によってＩＨＣスライドを採点するために選択された領域に基づいて、本出願人は、マーカ間位置合わせアルゴリズム(inter-marker registration algorithm)を使用して、これらの選択された領域を、Ｈ＆Ｅホール・スライド画像における対応領域に「逆マッピング」し、Ｈ＆Ｅ画像分析アルゴリズムを使用してこれらの領域を分析し、種々の組織構造および形態素を検出する自動方法を開発した。また、本出願人は、ＩＨＣ組織スライドにおける対応領域の画像分析における効果的で複合的な使用のために、Ｈ＆Ｅ画像分析結果を使用して関連情報およびメトリックを導き出す自動方法も開発した。

[0018] 以下の図面を参照しながら、非限定的および非網羅的な実施形態について説明する。同じ参照番号は、別段指定されない場合は、種々の図を通じて同様の部分またはアクトを指すこととする。
ある実施形態にしたがって、分析のために組織試料のディジタル画像を処理するためのコンピュータ・システムを示す。 ある実施形態にしたがって、分析のためのディジタル画像の処理において使用されるモジュールを概説するフローチャートを示す。 ある実施形態にしたがって、本明細書において説明するディジタル病理ワークフローを概説するフローチャートを示す。 ある実施形態にしたがって、本明細書において説明するディジタル病理ワークフローを概説するフローチャートを示す。 ある実施形態にしたがって、本明細書において説明するディジタル病理ワークフローを概説するフローチャートを示す。 ある実施形態にしたがって、組織領域マスクを生成するステップを概説するフローチャートを明示する。 ある実施形態によるインターマーカ位置合わせ(inter-marker registration)のステップを図示するフローチャートを示す。 ある実施形態による確率マップ生成のステップを図示するフローチャートを明示する。 ある実施形態による確率マップ生成のステップを図示するフローチャートを明示する。 ＩＨＣスライドにおいて検出された核毎に、Ｈ＆Ｅ画像における対応する核シード位置が識別され、続いて、核を取り囲むもっと大きなＨ＆Ｅパッチが得られることを示す。次に、パッチ内における間質および腫瘍細胞分布を推定する。この分布は、ピラミッド・ヒストグラムを使用して計算することができる。

[0026] 本開示は、分析におけるＨ＆Ｅホール・スライド画像、ならびにＩＨＣおよび／またはＩＳＨホール・スライド画像（ここでは纏めて「バイオマーカ画像」と呼ぶ）の
解釈からの情報を利用するディジタル病理システムおよびワークフローを提供する。いかなる特定の理論によっても拘束されることは望まないが、ＩＨＣおよび／またはＩＳＨホール・スライド画像の解釈においてＨ＆Ｅホール・スライドを使用することにより、ＩＨＣおよび／またはＩＳＨホール・スライド画像における構造的特徴の、Ｈ＆Ｅホール・スライド画像における同じ構造的特徴に対する相関付けが可能になる(allow for)と考えられる。

[0027] 本明細書において使用する場合、単数形「ａ」、「ａｎ」、および「ｔｈe」
は、文脈上明白に他の意味が示される場合を除いて、複数の引用物(referent)を含むものとする。 同様に、「または」(or)という単語は、文脈上明白に他の意味が示される場合
を除いて、「および」(and)を含むことを意図している。

[0028] 本明細書において使用する場合、「ブロブ」(blob)または「画素ブロブ」(pixel blob)とは、ディジタル画像において、周囲の領域と比較して、輝度または色というようなプロパティが異なる画素の領域、あるいは空間的に接続された集合体のことである。例えば、ブロブは、特定の強度値(intensity value)範囲を有する、１組の隣接する画素であってもよい。ブロブの一部は、「オブジェクト候補」として分類されることがある。ブロブは、例えば、位置に関する関数の導関数に基づく差分方法、および極値に基づく方法によって検出することができる。これらの方法は、関数の局所極大値および極小値の発見に基づく。

[0029] 「備えている」(comprising)、「含んでいる」(including)、「有している」(having)等の用語は、相互交換可能に使用され、同じ意味を有するものとする。同様に、
「備える」(comprises)、「含む」(includes)、「有する」(has)等も、相互交換可能に使用され、同じ意味を有するものとする。具体的には、これらの用語の各々は、慣習的な米国特許法における「備えている」(comprising)の法的な定義に倣って定義されるものとし、したがって「少なくとも以下の」を意味する開放用語(open term)であると解釈され、更に追加の特徴、限定、態様等を除外しないと解釈されるものとする。つまり、例えば、「コンポーネントａ、ｂ、およびｃを有するデバイス」とは、このデバイスが少なくともコンポーネントａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを伴う方法」という表現は、この方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。更に、本明細書において、ステップおよびプロセスの概要が特定の順序で説明される場合があるが、順番に現れるステップおよびプロセスは変化してもよいことは、当業者には認められよう。

[0030] 本明細書において使用する場合、「免疫組織化学」とは、抗原と抗体のような特異的な結合剤との相互作用を検出することによって、試料における抗原の存在または分布を判定する方法を指す。試料は、抗体－抗原結合を許容する条件下で、抗体と接触させられる。抗体－抗原結合は、抗体に共役された検出可能な標識によって（直接検出）、または特異的に一次抗体に結合する二次抗体に共役された検出可能な標識によって（間接検出）検出することができる。

[0031] 本明細書において使用する場合、「マーカ」(marker)または「バイオマーカ」(biomarker)とは、何らかの生物学的状態または条件の測定可能な指標である。具体的に
は、バイオマーカは、 特異的に染色することができ、細胞の生物学的特徴、例えば、細
胞の型または細胞の生理学的状態を示す、タンパク質またはペプチド、例えば、表面タンパク質であってもよい。免疫細胞マーカとは、ほ乳類の免疫応答に関係する特徴(feature)を選択的に示すバイオマーカである。

[0032] 本明細書において使用する場合、「マスク」(mask)とは、ディジタル画像の派
生物(derivative)であり、マスクにおける各画素が二進値、例えば、「１」または「０」（あるいは「真」または「偽」）として表される。ディジタル画像とマスクを重ねることによって、二進値の特定の１つのマスク画素にマッピングされたディジタル画像の全ての画素は、このディジタル画像に対して適用されるその後の処理ステップにおいて、隠される、除去される、あるいはそうでなければ無視または排除(filter)される。例えば、元の画像の全ての画素に、強度値が閾値より高い場合には真、それ以外には偽を割り当てることによって、元のディジタル画像からマスクを生成することができ、こうすることによって、「偽」マスク画素("false" masked pixel)が重ね合わされた全ての画素を排除するマスクを作成する。

[0033] 本明細書において使用する場合、「核ブロブ」(nucleus blob)または「核ブロブ」(nuclear blob)は、識別された核心／シードの周囲において接続された画素の一群であり、核を表す。

[0034] 本明細書において使用する場合、「組織試料」(tissue sample)とは、解剖病
理学のために人または動物の身体から得られた任意の生体試料を指す。例えば、組織試料は、胸部組織、肺組織、前立腺組織等から得られても(derived)よく、腫瘍、腫瘍の疑い
があるもの、または健康な組織から得られた試料を含んでもよい。組織試料および検体(specimen)の他の例、ならびにそれらの調製についても、本明細書において開示する。組織試料は、試料内における構造（例えば、血管、細胞等）の識別において補助するために、アッセイ内において１つ以上の染料によって処置することができる。

[0035] 全体像
[0036] 本開示の少なくともいくつかの実施形態は、１つ以上の一次染色（例えば、ヘマトキシリンおよびエオシン）および１つ以上の検出プローブ（例えば、試料内にあるターゲットの標識付けを容易にする特定の結合エンティティを含有するプローブ）によって染色された組織試料を含む生体試料からキャプチャされたディジタル画像を分析するためのコンピュータ・システムおよび方法に関する。本明細書において更に開示するように、出願人は組織試料のＩＨＣまたはＩＳＨスライド画像（以下「バイオマーカ画像」）において選択された領域を使用し、これらの選択された領域を、組織試料のＨ＆Ｅ画像における対応領域に「逆マッピングする」システムおよび方法を開発した。Ｈ＆Ｅ画像分析からの結果は、ＩＨＣ画像の自動化分析において補助するために使用される。

[0037] 本明細書における具体的な例では、特定の組織、および／または特定のマーカ(certain marker)（したがって、疾病）の検出のための特定の染料または検出プローブの適用に言及することがあるが、異なるマーカおよび異なる疾病を検出するためには、異なる組織および異なる染料／検出プローブを適用してもよいことは当業者には認められよう。

[0038] ディジタル病理学システム
[0039] 検体を分析するためのコンピュータ・ベース検体アナライザ１０を図１に示す。コンピュータ・ベース検体アナライザ１０は、撮像装置１２とコンピュータ１４とを備えることができ、撮像装置１２およびコンピュータは、通信可能に一緒に結合することができる（例えば、直接、またはネットワーク２０を通じて間接的に）。尚、他のコンピュータ・デバイスまたはシステムを利用してもよいこと、そして本明細書において説明するコンピュータ・システムが追加のコンポーネント、例えば、検体アナライザ、スキャナまたは撮像システム、自動化スライド調製機器(slide preparation equipment)等に通信可能に結合されてもよいことは、当業者には認められよう。利用することができるこれらの追加のコンポーネントおよび種々のコンピュータの一部についても、本明細書において説明する。

[0040] 通常では、撮像装置１２（またはその他の画像源）は、限定ではなく、１つ以上の画像キャプチャ・デバイスを含むことができる。画像キャプチャ・デバイスは、限定ではなく、カメラ（例えば、アナログ・カメラ、ディジタル・カメラ等）、光学素子（例えば、１つ以上のレンズ、センサ合焦レンズ群、顕微鏡の対物レンズ等）、撮像センサ（例えば、電荷結合デバイス（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）撮像センサ等）、写真フィルム等を含むことができる。ディジタルの実施形態では、画像キャプチャ・デバイスは、複数のレンズを含み、これらが協働して実行中の合焦に対応することができる。撮像センサ、例えば、ＣＣＤセンサは、検体のディジタル画像をキャプチャすることができる。ある実施形態では、撮像装置１２は、明視野撮像システム、マルチスペクトル撮像（ＭＳＩ）システム、または蛍光顕微鏡システムである。ディジタル化した組織データは、例えば、アリゾナ州ＴｕｃｓｏｎのＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳによるｉＳｃａｎ ＨＴスキャナ、またはＤＰ２００スキャナ、あるいは他の適した撮像機器によって生成することができる。更に他の撮像デバイスおよびシステムについても、本明細書において説明する。

[0041] 図１および図２を参照すると、コンピュータ・システム１４は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット等、ディジタル電子回路、ファームウェア、ハードウェア、メモリ２１０、コンピュータ記憶媒体２１０、コンピュータ・プログラム（例えば、プログラムがメモリまたは記憶媒体内に格納される場合）、プロセッサ２２０（プログラミングされたプロセッサを含む）等(and/or the like)を含むことができる。図１に示すコンピューティング・システム１４は、ディスプレイ・デバイス１６および筐体１８を有するコンピュータであってもよい。コンピュータ・システムは、ディジタル画像を二進形態で（サーバ上、またはその他のネットワーク接続デバイス上でローカルに）格納することができる。また、ディジタル画像を画素の行列に分割することもできる。画素は、ビット深度によって定められる１ビット以上のディジタル値を含むことができる。

[0042] 再度図１を参照すると、ネットワーク２０は、ある実施形態では、撮像装置１２およびコンピュータ・システム１４を相互接続する。ネットワーク２０は、限定ではなく、１つ以上のゲートウェイ、ルータ、ブリッジ、これらの組み合わせ等を含んでもよい。ネットワーク２０は、１つ以上のサーバおよび１つ以上のウェブサイトを含んでもよく、これらはユーザにアクセス可能であり、コンピュータ・システム１４が利用することができる情報を送信および受信するために使用することができる。サーバは、限定ではなく、情報（例えば、ディジタル画像、アルゴリズム、染色プロトコル、比較評価のための切り捨て値(cutoff value)等）を格納するための１つ以上の関連データベースを含むことができる。ネットワーク２０は、送信制御プロトコル（ＴＣＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、インターネット・プロトコル（ＩＰ）、およびその他のデータ・プロトコルを使用するデータ・ネットワークを含むことができるが、これらに限定されるのではない。ある実施形態では、コンピュータ・デバイスまたはシステムは、更に、表示出力、あるいはデータ／出力をユーザ、操作者、または下流の機材(instrument)もしくはプロセスに供給するその他の手段を備える。

[0043] 図２は、現在開示しているワークフロー内において利用される種々のモジュールの全体像を示す。ある実施形態では、コンピュータ・デバイス１４またはコンピュータ実装方法は、１つ以上のプロセッサ２２０と１つ以上のメモリ２１０とを備えており、少なくとも１つのメモリ２１０は、１つ以上のプロセッサに１つ以上のモジュール（例えば、モジュール２１１～２１８まで）において命令を実行させるために、１つ以上のプロセッサによる実行のための非一時的コンピュータ読み取り可能命令を格納する。あるいは、命令は、非一時的コンピュータ読み取り可能媒体（２１０）またはコンピュータ使用可能媒体に格納されてもよい。ある実施形態では、非一時的コンピュータ読み取り可能媒体は、一時的な伝搬信号を除いて、全てのコンピュータ読み取り可能媒体を含むことができる。

[0044] ある実施形態では、本開示はコンピュータ実装方法を提供する。この方法は、（ａ）第１および第２画像を供給するために撮像モジュール（１２）を実行するステップと、（ｂ）第１画像の少なくとも一部を第２画像に位置合わせして位置合わせ画像を形成するために画像位置合わせモジュール（２１１）を実行するステップと、（ｃ）第１画像から特徴を導き出すために核検出モジュール（２１４）および／または特徴抽出モジュール（２１５）を実行するステップと、（ｄ）位置合わせ画像から特徴を導き出すために、核検出モジュール（２１４）および／または特徴抽出モジュール（２１５）を実行するステップと、（ｅ）第１画像または位置合わせ画像の１つから組織の型および／または細胞の型を識別するためにセグメンテーション・モジュール（２１２）を実行するステップと、（ｆ）確率特徴マップを生成するように、識別された組織の型および／または細胞の型に対して領域マップ生成モジュール（２１３）を実行するステップと、（ｇ）確率特徴マップから確率特徴を導き出すために特徴抽出モジュール（２１５）を実行するステップと、（ｈ）第１画像から導き出された特徴、位置合わせ画像から導き出された特徴、および導き出された確率特徴に基づいて、第１画像または位置合わせ画像の１つにおいて核を分類するために、分類モジュール（２１６）を実行するステップとを含む。ある実施形態では、この方法は、更に、分類した核を採点するために採点モジュール（２１７）を実行するステップも含む。ある実施形態では、この方法は、更に組織領域マスキング・モジュール（２１８）を実行するステップも含む。勿論、各モジュールにおける使用のために記載する命令、アルゴリズム、およびフィルタはいずれも、検出される染料または利用される検出プローブに基づいて、適合させることまたは変更することができることは、当業者には認められよう。また、これらのモジュールはいずれの順序で実行してもよいことも当業者には認められよう。

[0045] 尚、図３Ｂおよび図３Ｃに示すワークフローの内特定のステップが、このワークフローの任意の特定のステップにおいて複数のモジュールを利用できることは、当業者には認められよう（例えば、図３Ｂに表すワークフローのステップ３２２におけるＨ＆Ｅ画像分析のステップが、セグメント化モジュール２１２、核検出モジュール２１４、および特徴抽出モジュール２１５を利用してもよい）。同様に、図３Ｂおよび図３Ｃに示すワークフローが、このワークフローの１つよりも多いステップにおいて特定のモジュールを利用してもよいことも当業者には認められよう（例えば、図３Ｃに表すワークフローのＨ＆Ｅ画像分析（ステップ３１６）およびＩＨＣ画像分析（ステップ３１２）のステップが双方共、少なくとも核検出モジュール２１４および特徴抽出モジュール２１５を利用する）。

[0046] 図３Ａは、現在開示しているワークフローの方法の総合的な全体像を与えるフローチャートを明示する。概略的に、この方法は、少なくとも第１および第２画像を入力として受け取るステップ（ステップ３０１）と、第１画像の少なくとも一部を第２画像に位置合わせして、位置合わせ画像を形成するステップ（ステップ３０３）と、第１画像（ステップ３０２）および位置合わせ画像（ステップ３０４）の分析を独立して実行するステップであって、第１画像および位置合わせ画像の分析が、第１画像および位置合わせ画像双方から特徴を導き出すことを含み、導き出した特徴の少なくとも一部が確率特徴(probability feature)を含む、ステップと、第１画像および位置合わせ画像から導き出された特徴を融合するステップであって、これらの特徴が、第１画像および位置合わせ画像の１つから導き出された確率特徴を含む、ステップ（ステップ３０５）と、融合した特徴集合に基づいて、第１または第２画像の内少なくとも１つにおいて核を分類するステップ（ステップ３０６）と、分類した核を採点するステップ（ステップ３０７）とを含む。ある実施形態では、ステップ３０６において核を分類した第１または第２画像の内少なくとも１つが、バイオマーカ画像に対応する画像である。

[0047] 更に、図３Ｂおよび図３Ｃも本開示のワークフローを示す。例えば、図３Ｂは、第１画像がバイオマーカ（例えば、ＩＨＣ画像）であり、第２画像がＨ＆Ｅ画像である実施形態を示す。更に、図３Ｂは、位置合わせしたＨ＆Ｅ画像から確率特徴を究極的に計算することができるように、位置合わせしたＨ＆Ｅ画像の分析に続いて、位置合わせしたＨ＆Ｅ画像から確率マップを生成するステップを含む。同様に、図３Ｃは、第１画像がＨ＆Ｅ画像であり、第２画像がバイオマーカ画像である実施形態を示す。更に、図３Ｃは、Ｈ＆Ｅ画像から確率特徴を計算することができるように、Ｈ＆Ｅ画像の分析に続いて、Ｈ＆Ｅ画像（第１画像）から確率マップを生成するステップを示す。

[0048] 入力画像
[0049] 最初のステップにおいて、そして図３Ａを参照すると、コンピュータ・システムは少なくとも２つの画像を入力として受け取る（ステップ３０１）。ある実施形態では、入力として受け取られる画像は、連続組織切片、即ち、同じ異種移植片組織ブロックから導き出された連続切片から導き出される。ある実施形態では、入力画像は、随意に、本明細書において説明するように組織マスキング・モジュール２１８によってマスキングされる。

[0050] 通常、入力として受け取られる少なくとも２つの画像は、各々、染色に対応するシグナル（色原体、蛍光体、量子ドット等を含む）を含む。ある実施形態では、これらの画像の１つは、少なくとも１つの一次染料（ヘマトキシリンまたはエオシン）によって染色されており、一方これらの画像の他方は、特異的バイオマーカの識別のために、ＩＨＣアッセイまたはＩＳＨアッセイの内少なくとも１つにおいて染色されている（ここでは「バイオマーカ」画像と呼ぶ）。ある実施形態では、これらの画像の内１つは、ヘマトキシリンおよびエオシンの双方で染色されており（ここでは「Ｈ＆Ｅ画像」と呼ぶ）、一方これらの画像の他方は、特異的バイオマーカの識別のために、ＩＨＣアッセイまたはＩＳＨアッセイの内少なくとも１つにおいて染色されている。ある実施形態では、入力画像は多重画像であってもよい。即ち、当業者には知られている方法にしたがって、多重アッセイにおいて複数の異なるマーカ用に染色された多重画像であってもよい。

[0051] 当業者には認められるであろうが、組織試料は、異なる型の核毎に染色すること、および／または細胞膜バイオマーカ毎に染色することもできる。組織構造を染色する方法、および種々の目的に適した染料の選択における指針は、例えば、Sambrook et alの「 Molecular Cloning: A Laboratory Manual」（分子クローニング：実験室マニュアル
）, Cold Spring Harbor Laboratory Press (1989)、および Ausubel et alの「Current Protocols in Molecular Biology」（分子生物学における現在のプロトコル）, Greene Publishing Associates and Wiley-Intersciences (1987)において論じられている。これらの文献をここで引用したことにより、その内容は本願にも含まれるものとする。

[0052] 乳癌検出のコンテキストでは、ある実施形態では、組織試料は、エストロゲン受容体マーカ、プロゲステロン受容体マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカを含む１つまたは複数のバイオマーカの存在を求めて、ＩＨＣアッセイにおいて染色される。したがって、ある実施形態では、入力として使用されるバイオマーカ画像は、エストロゲン受容体（ＥＲ）マーカ、プロゲステロン受容体（ＰＲ）マーカ、Ｋｉ－６７マーカ、またはＨＥＲ２マーカの内少なくとも１つの存在に対応するシグナルを含むＩＨＣ画像である。

[0053] 非小細胞肺癌を検出するというコンテキストでは、ある実施形態では、組織試
料は、ＰＤ－Ｌ１バイオマーカを含む１つ以上のバイオマーカの存在を求めて、ＩＨＣアッセイにおいて染色される。したがって、ある実施形態では、入力として使用されるバイオマーカ画像は、ＰＤ－Ｌ１マーカ、ＣＤ３マーカ、およびＣＤ８マーカの存在に対応するシグナルを含むＩＨＣ画像である。ある実施形態では、コンピュータ実装方法は、更に、分類した核を採点するステップを含む。

[0054] ある実施形態では、組織領域だけが画像内に存在するように入力画像にマスキングを行う。これらのマスキング画像(masked image)を生成するために、入力画像を組織領域マスキング・モジュール２１８に供給する。ある実施形態では、組織領域から非組織領域をマスキングするために、組織領域マスクを生成する。尚、非組織領域を組織領域からマスキングすることに加えて、組織マスキング・モジュールは、特定の組織型に属するまたは腫瘍の疑いがある領域に属すると識別された組織の一部というように、必要に応じて、他の対象エリアをマスキングすることも可能であることは、当業者には認められよう。

[0055] ある実施形態では、入力画像において組織領域を非組織領域からマスキングすることによって、組織領域マスキング画像を生成するために、セグメンテーション技法(segmentation technique)を使用する。適したセグメンテーション技法は、先行技術から知られているもの等がある（参考文献：Digital Image Processing, Third Edition（ディジタル画像処理、第３版）, Rafael C. Gonzalez, Richard E. Woods, chapter 10, page 689 、およびHandbook of Medical Imaging, Processing and Analysis（医療用撮像、処理、および分析の便覧）, Isaac N. Bankman Academic Press, 2000, chapter 2）。ある実施形態では、ディジタル化した組織データと画像におけるスライドとの間で区別するために、画像セグメンテーション技法を使用する。組織は前景に対応し、スライドは背景に対応する。ある実施形態では、前述のコンポーネントがホール・スライド画像において対象エリア（ＡｏＩ）を計算し、ＡｏＩにおいて全ての組織領域を検出する一方、背景の非組織エリアにおいて分析される量を制限する。例えば、組織データと非組織、即ち、背景データとの境界を判定するために、広範囲の画像セグメンテーション技法を使用することができる（例えば、ＨＳＶカラー・ベース画像セグメンテーション、実験室画像セグメンテーション、平均－シフト・カラー画像セグメンテーション(mean-shift color image segmentation)、領域成長、レベル設定方法、高速進行法(fast marching methods)等）。少なくとも部分的にセグメンテーションに基づいて、コンポーネントは組織前景マスクを生成することもできる。組織前景マスクは、組織データに対応するディジタル化スライド・データの部分を識別するために使用することができる。あるいは、コンポーネントは、組織データに対応しないディジタル化スライド・データの部分を識別するために使用される背景マスクを生成することもできる。

[0056] 図４を参照すると、ある実施形態では、組織領域マスキング画像の生成は、以下の非限定的動作の内１つ以上を含む。低解像度入力単一マーカ・チャネル画像（３３６）の輝度を計算する（３３７）。単一マーカ・チャネル画像から輝度画像を生成する（３３８）。生成した輝度画像に標準偏差フィルタを適用する（３３９）。生成した輝度画像からフィルタ輝度画像(filtered luminance image)を計算する（３４０）。所与の閾値よりも高い輝度を有する画素が１に設定され、この閾値よりも低い画素が０に設定されるように、閾値をフィルタ輝度画像に適用する（３４１）。組織領域マスクを生成する（３４２）。組織領域マスクの生成に関する更に多くの情報および例が、"An Image Processing Method and System for Analyzing a Multi-Channel Image Obtained from a Biological Tissue Sample Being Stained by Multiple Stains"（複数の染料によって染色された生体試料組織から得られたマルチチャネル画像を分析するための画像処理方法およびシステム）と題するPCT/ EP/2015/062015に開示されている。この特許文書をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[0057] 画像の注釈付け(Image Annotation)
[0058] ある実施形態では、インターマーカの位置合わせおよび画像分析（図３Ｂおよび図３Ｃのステップ３２１および３１０をそれぞれ参照のこと）を容易にするために、ユーザ、医療専門家、または病理医によって入力画像に注釈が付けられる。ある実施形態では、そして図３Ｂを参照すると、ユーザ、医療専門家、または病理医が、更なる分析（ステップ３２１）に適したバイオマーカ画像（例えば、ＩＨＣ全画像）の複数の部分（例えば、小領域）を識別し、これらの識別された部分は、続いてバイオマーカ画像からＨ＆Ｅ画像における対応する部分に転写される（ステップ３２６）。これについては本明細書において明記する。ある実施形態では、識別された部分は、特異的バイオマーカ、例えば、特異的ＩＨＣマーカの過剰表現腫瘍領域を表す。

[0059] 他の実施形態では、そして図３Ｃを参照すると、ユーザ、医療専門家、または病理医が、Ｈ＆Ｅ画像上の全腫瘍領域に注釈を付け（ステップ３１０）, これらの識別された部分は、続いて、Ｈ＆Ｅ画像から、バイオマーカ画像における対応する部分に転写される（ステップ３１１）。これについては本明細書において明記する。

[0060] ある実施形態では、病理医がスライド解釈全体に使用するバイオマーカ表現を反映するために、注釈を付けられた代表的フィールドが病理医によって選択されてもよい。注釈付けは、ビューア・アプリケーション（例えば、ＶＩＲＴＵＯＳＯ／ＶＥＲＳＯ（商標）または同様のソフトウェア）において提供される注釈付けツールを使用して書くことができ(draw)、更に任意の倍率または解像度で注釈を書くことができる。あるいは、または加えて、セグメンテーション、閾値処理(thresholding)、エッジ検出等のような自動化画像分析処理を使用して、自動的に腫瘍領域またはその他の領域を検出するために画像分析処理を使用することもでき、検出された領域に基づいて、ＦＯＶが自動的に生成される。

[0061] インターマーカの位置合わせ(Intermarker Registration)
[0062] 第１および第２画像、および／またはそれらの注釈を受け取った後、第１画像の少なくとも一部を、第２画像の対応する部分に位置合わせして、位置合わせ画像を形成する（ステップ３０３）。ある実施形態では、インターマーカ位置合わせモジュール２１１が、第１画像（例えば、バイオマーカ画像）の少なくとも一部を第２画像（例えば、Ｈ＆Ｅ画像）の対応する部分にマッピングするために使用される。このようにするとき、第１および第２画像は、共通座標系にマッピングされる。ある実施形態では、第１画像の部分とは、上流プロセスにおいて、更なる分析に適した特徴を含むものとして識別された部分である（例えば、先に注記したように、病理医によって注釈が付けられた、または自動化ＦＯＶ選択プロセスによって）。ある実施形態では、インターマーカ位置合わせは、位置合わせモジュール２１１を使用して行われる。

[0063] 通常では、インターマーカ位置合わせは、１つの入力画像、またはその一部を、基準画像として役割を果たすために選択し、他の各入力画像の基準画像の座標フレームへの変換を計算することを含む。したがって、画像位置合わせを使用して、全ての入力画像を同じ座標系に揃える(align)ことができる（例えば、連続組織切片、または特異的マーカを有するスライドの場合、組織ブロックの中央にあるスライド切片を基準座標にすることができる）。したがって、各画像は、その古い座標系から新しい基準座標系に揃えることができる。

[0064] インターマーカ位置合わせは、複数組の異なるデータ、ここでは画像、または画像内にあるマーカを、１つの座標系に変換するプロセスである。更に具体的には、インターマーカ位置合わせは、２つ以上の画像を位置合わせするプロセスであり、一般に、１
つの画像を基準（基準画像または固定画像とも呼ぶ）として指定し、他の画像が基準と位置合わせするように、幾何学的変換を他の画像に適用することを伴う。幾何学的変換は、１つの画像における位置を、他の画像における新たな位置にマッピングする。正しい幾何学的変換パラメータを決定するステップは、画像位置合わせプロセスの鍵となる。各画像の基準画像に対する変換を計算する方法は、当業者にはよく知られている。例えば、"11th International Symposium on Biomedical Imaging (ISBI)（第１１回国際生物医学撮像シンポジウム）, 2014 IEEE, April 29 2014-May 2 2014)において、例えば、画像位置合わせアルゴリズムについて記載されている。この文献をここで引用したことにより、その内容全てが本願にも含まれるものとする。画像位置合わせ方法の詳細について、以下で概説する。

[0065] インターマーカ位置合わせプロセスは、当技術分野ではよく知られており、既知の方法の内任意のものを本開示に応用することができる。ある実施形態では、インターマーカまたは画像位置合わせは、"Line-Based Image Registration and Cross- Image Annotation Devices, Systems and Methods"（線に基づく画像位置合わせ、および画像間注釈付けデバイス、システム、ならびに方法）と題し、２０１４年９月３０日に出願されたＷＯ／２０１５／０４９２３３において記載されている方法を使用して実行される。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ＷＯ／２０１５／０４９２３３は、単独でまたは精細位置合わせプロセスと組み合わせて使用される粗雑位置合わせプロセスを含む位置合わせプロセスについて記載する。ある実施形態では、粗雑位置合わせプロセスは、整列のためにディジタル画像を選択するステップと、選択したディジタル画像の各々から前景画像マスクを生成するステップと、結果的に得られた前景画像間において組織構造を照合するステップとを含むことができる。更に他の実施形態では、前景画像マスクを生成するステップは、染色された組織切片のホール・スライド画像から、適度に重み付けされた(soft-weighted)前景画像を生成するステップと、適度に重み付けされた二進画像マスクを生成するために、ＯＴＳＵ閾値を、適度に重み付けされた前景画像に適用するステップとを伴うのでもよい。更に他の実施形態では、前景画像マスクを生成するステップは、染色された組織切片のホール・スライド画像から、適度に重み付けされた二進画像マスクを生成するステップと、同じホール・スライド画像から勾配強度画像マスク(gradient magnitude image mask)を別個に生成するステップと、二進勾配強度画像マスクを生成するために、ＯＴＳＵ閾値を勾配画像マスクに適用するステップと、二進ＯＲ演算を使用して適度に重み付けされた二進画像および二進勾配強度画像マスクを組み合わせて、前景画像マスクを生成するステップとを伴う。本明細書において使用する場合、「勾配」(gradient)とは、例えば、特定の画素を取り囲む１組の画素の強度値勾配(intensity value gradient)を考慮に入れることによって、前記特定の画素について計算された画素の強度勾配である。各勾配は、座標系に対して特定の「方位」を有することができ、この座標系のｘ－およびｙ－軸は、ディジタル画像の２つの直交するエッジによって定められる。「勾配方位特徴」(gradient orientation feature)とは、前記座標系内における勾配の方位を示すデータ値としてもよい。ある実施形態では、組織構造を照合するステップは、結果的に得られた前景画像マスクの各々の境界から線に基づく構造を計算するステップと、第１前景画像マスク上の第１組の線特徴と第２前景画像マスク上の第２組の線特徴との間におけるグローバル変換パラメータを計算するステップと、変換パラメータに基づいて第１および第２画像を全域的に整列するステップとを伴う。更に他の実施形態では、粗雑位置合わせプロセスは、グローバル変換パラメータに基づいて選択されたディジタル画像を共通格子にマッピングするステップを含み、この格子は、選択されたディジタル画像を包含することができる。ある実施形態では、精細位置合わせプロセスは、１組の整列されたディジタル画像における第１ディジタル画像の第１小領域を識別するステップと、１組の整列されたディジタル画像における第２ディジタル画像上の第２小領域を識別するステップであって、第２小領域が第１小領域よりも大きく、第１小領域が共通格子上において実質的に第２小領域の内部に位置する、ステップと、第２小領域において第１小領域に対して最適化された位置を計算するステップとを伴うことができる。

[0066] これらの方法をここでは図５に示し、方法６００は開始ブロック６０２において開始する。ブロック６０４において、１組の画像データまたはディジタル画像を操作のために取得する（例えば、スキャンするまたはデータベースから選択する）。各組の画像データは、例えば、１人の患者の１組の隣接組織切片からの組織切片に対応する画像データを含む。ブロック６０６において、１対の画像だけが選択された場合、本プロセスはブロック６１０に直接進む。１対よりも多い画像が選択された場合、ブロック６１０に進む前に、ブロック６０８において、１組の選択された画像を対に纏める(grouped into pairs)。ある実施形態では、画像対は隣接対として選択される。つまり、例えば、１組の選択された画像が１０枚の平行な隣接スライス（Ｌ１、．．．Ｌ１０）を含む場合、Ｌ１およびＬ２が１対として纏められ、Ｌ３およびＬ４が１対として纏められる等となる。他方で、画像のどの対が互いに最も似ているかについて情報が入手できない場合、ある実施形態では、それらの離間距離(distance apart)にしたがって画像を纏めて（例えば、種々の画像のエッジ－マップ(edge-map)間の面取り距離に対応するエッジ間または画像間距離）、互いに最も近い画像を一緒に纏めて対にする。本開示の例示的な実施形態では、エッジ間／画像間距離が画像の対に利用される。ある実施形態では、エッジに基づく面取り距離は、画像間／エッジ間距離を計算するために使用することができる。画像の対には既に粗雑位置合わせプロセスが実行されており、画像が粗雑に整列され結果が保存されている場合、本プロセスはブロック６１４に進む。そうでない場合、ブロック６１２において、選択された画像対に対して粗雑位置合わせプロセスを実行する。粗雑位置合わせプロセスについては以下で更に詳しく説明する。

[0067] ブロック６１４に移り、選択され、今では位置合わせされている（整列されている）画像を共通格子上に表示する。画像は１つの画像の中で重ね合わされるか、または別個の画像として表示されるか、あるいは双方であり、１つのモニタ上に表示されるか、もしくは数台のモニタに跨がって広げられる。ブロック６１６において、クライアント・ユーザは、１対の画像からの画像の１つを、ソース画像として選択することができる。所望に応じてソース画像に既に注釈が付けられている場合、本プロセスはブロック６２２に進む。そうでない場合、クライアント・ユーザは、ブロック６２０において、所望に応じてソース画像に注釈を付ける。ブロック６２０と実質的に同時に行うことができる（または行わなくてもよい）ブロック６２２において、対における他の画像（ターゲット画像）にこの注釈をマッピングし、ターゲット画像上にグラフィック状に再現する。粗雑位置合わせの前に注釈付けが行われる実施形態では、１対の画像が位置合わせされる（整列される）のと実質的に同時に、ソース画像からターゲット画像に注釈をマッピングすることができる。ブロック６２４において、ユーザは精細位置合わせプロセスに進む(engage in)
か否か選択することができる。ユーザが、精細位置合わせを実行せずに、結果を直接表示することを選択した場合、本プロセスはブロック６２６に進む。

[0068] そうでない場合、ブロック６２４において、例えば、マッピングされた注釈の位置付け、および／または画像の整列を最適化するために、精細位置合わせプロセスを、選択された画像対に対して実行する。精細位置合わせプロセスについては、以下で更に詳しく説明する。ブロック６２６において、注釈が付けられた画像対は、精細位置合わせプロセスの結果と共に表示される（または、精細位置合わせが使用されない場合、注釈が付けられた画像対だけが、粗雑位置合わせプロセスの結果と共に表示されてもよい）。次いで、本方法は最終ブロック６２８において終了する。

[0069] 画像分析
[0070] 図３Ａを参照して、位置合わせ画像を形成するために、第２画像の対応部分に
第１画像の少なくとも一部を位置合わせした後に、第１画像および位置合わせ画像の双方を分析し（ステップ３０２および３０４）、各画像から特徴またはメトリックを導き出す。本明細書において記されているように、導き出される特徴は、（ｉ）Ｈ＆Ｅ画像の特徴、（ｉｉ）バイオマーカ画像の特徴、および（ｉｉｉ）Ｈ＆Ｅ画像内において識別された組織および／または細胞から計算した確率マップ画像から導き出される確率特徴(probability feature)を含む。合わせて、Ｈ＆Ｅ画像の特徴、バイオマーカ画像の特徴、および確率特徴を一緒に融合して（ステップ３０５）、入力画像の少なくとも１つに存在する細胞核を分類する（ステップ３０６）および／または採点する（ステップ３０７）ことができる。画像分析を実行するために必要なステップについては、本明細書において説明する。

[0071] ある実施形態では、バイオマーカ画像の特徴およびＨ＆Ｅ画像の特徴は、バイマーカ画像から導き出される核特徴(nuclear feature)を含む。ある実施形態では、バイ
オマーカ画像および／またはＨ＆Ｅ画像からの特徴を導き出すステップは、画像内において核を検出し、次いで検出した核から、または検出した核を取り囲む画像パッチから特徴を抽出するステップを含む（例えば、図３Ｃのステップ３１２を参照のこと）。これらの方法については、本明細書において説明する。

[0072] 他の実施形態では、確率特徴は、Ｈ＆Ｅ画像から最終的に導き出されるが、最初にＨ＆Ｅ画像内において異なる組織および／または細胞型を識別し（即ち、組織をセグメント化する、および／または細胞型を検出しそして分類する）、続いて、識別された異なる組織および／または細胞型のいずれかに基づいて確率マップを生成し、次いで確率マップから確率特徴を導き出す必要がある。これらの方法についても本明細書において更に説明する（例えば、図３Ｃのステップ３１６を参照のこと）。

[0073] バイオマーカおよびＨ＆Ｅ画像からの特徴の導出
[0074] ある実施形態では、バイオマーカ画像および／またはＨ＆Ｅ画像からの特徴の導出は、画像内において核を検出し、次いで検出された核から、または検出された核を取り囲む画像パッチから特徴を抽出することを含む。

[0075] 核の検出
[0076] ある実施形態では、核検出モジュール２１４によってというようにして、入力ＩＨＣ画像の各々において、核を検出する。一旦核が検出されたなら、識別された核から、または核を取り囲む画像パッチから、特徴抽出モジュール２１５によってというようにして、特徴を導き出すことができる。

[0077] ある実施形態では、入力として受け取られた画像は、核心（シード）を検出するため、および／または核をセグメント化する等のために処理される。例えば、当業者には一般的に知られている技法を使用して、放射相称投票(radial-symmetry voting)に基づいて核心を検出する命令を与えるのでもよい（Parvin, Bahram, et al. "Iterative voting for inference of structural saliency and characterization of subcellular events"（細胞内事象の構造的顕著性および特徴化の推論に対する繰り返し投票）, Image Processing, IEEE Transactions on 16.3 (2007): 615-623を参照のこと。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする）。ある実施形態では、核検出モジュール２１４が、核心を検出するために放射相称を使用して核を識別し、次いで核心周囲の染色強度に基づいて核を分類する。例えば、１つの画像チャネルを想定して、このチャネルから画像強度(image magnitude)を計算し、選択された領域内における強度の合計を加算することによって、各画素における１つ以上の投票を蓄積する。領域における局所中心(local center)を発見するために、平均シフト・クラスタリング(mean shift clustering)を使用することもでき、局所中心は実際の核の位置を表す。

[0078] 放射相称投票に基づく核検出は、色画像強度データに対して実行され、核が楕円形状をなし可変サイズおよび偏心を有するブロブであるという先験的なドメイン知識(a
priori domain knowledge)を明示的に使用する。これを遂行するために、入力画像にお
ける色強度と共に、放射相称投票において画像勾配情報も使用し、適応セグメンテーション・プロセスと組み合わせて、細胞核を正確に検出し位置を突き止める。本明細書において使用する場合、「勾配」(gradient)は、例えば、特定の画素を取り囲む１組の画素の強度値勾配を考慮に入れることによって、前記特定の画素について計算された画素の強度勾配である。各勾配は、座標系に対して特定の「方位」を有することができ、この座標系のｘ－軸およびｙ－軸はディジタル画像の２つの直交するエッジによって定められる。実例をあげると、核シード検出は、細胞核の内側にあり、細胞核の位置を突き止めるための開始点として役割を果たすと想定される点として、シードを定義することを伴う。最初のステップは、楕円形状をなすブロブ、細胞核に類似する構造を検出するための放射相称に基づく、ロバスト性の高い手法を使用して、各細胞核と関連付けられたシード点を検出することである。放射相称手法は、カーネルに基づく投票手順を使用して、勾配画像に対して動作する。投票カーネルを通して投票を蓄積する各画素を処理することによって、投票応答行列を作成する。カーネルは、その特定の画素において計算された勾配方向、最大および最小の核サイズの予測範囲、ならびに投票カーネルの角度（通例では、［π／４、π／８］の範囲）に基づく。結果的に得られた投票空間において、既定の閾値よりも大きな投票値を有する極大値位置をシード点として保存する。無関係なシードは、後続のセグメンテーションまたは分類プロセス中において後に破棄することができる。

[0079] 当業者に知られている他の技法を使用して、核を識別することもできる。例えば、Ｈ＆Ｅ画像またはＩＨＣ画像の内１つの特定の画像チャネルから画像強度を計算してもよく、指定された強度程度の各画素に、その画素を中心とする領域内における強度の合計に基づく投票数を割り当ててもよい。あるいは、投票画像内において、核の実際の位置を表す局所中心(local center)を発見するために平均シフト・クラスタリング処理を実行してもよい。他の実施形態では、モルフォロジー演算および局所閾値処理(local thresholding)によって、この時点ではわかっている(now-known)核の中心に基づいて、核全体をセグメント化するために核セグメンテーション(nuclear segmentation)を使用してもよい。更に他の実施形態では、核を検出するために、モデルに基づくセグメンテーションを利用してもよい（即ち、訓練データ集合から核の形状モデルを学習し、それを以前の知識として使用して、検査画像において核をセグメント化する）。

[0080] ある実施形態では、その後、核毎に個別に計算された閾値を使用して、核をセグメント化する。例えば、識別された核を取り囲む領域におけるセグメンテーションのためにオーツの方法を使用してもよい。何故なら、核領域における画素強度は変化すると考えられるからである。当業者には認められるであろうが、オーツの方法は、クラス内分散(intra-class variance)を最小化することによって最適な閾値を決定するために使用され、当業者には知られている。更に具体的には、オーツの方法は、クラスタリングに基づく画像閾値処理、または中間階層画像の二値画像への簡約(reduction)を自動的に実行するために使用される。このアルゴリズムでは、画像は、バイモーダル・ヒストグラム(bi-modal histogram)にしたがって、２つのクラスの画素を含む（前景画素および背景画素）ことを仮定する。次いで、２つのクラスを分離する最適な閾値を計算して、それらの複合拡散(combined spread)（クラス内分散）が最小になり、または等価になり（対毎の二乗距離の和が一定になるため）、それらのクラス間分散が最大になるようにする。

[0081] ある実施形態では、一旦シードが検出されたなら、局所適応閾値処理方法(locally adaptive thresholding method)を使用してもよく、検出された中心を取り囲むブロブを作成する。ある実施形態では、マーカに基づく分水嶺アルゴリズム(watershed algorithm)のような別の方法も組み込むことができ、検出された核心を取り囲む核ブロブを識別するために使用することができる。これらおよびその他の方法については、 ＷＯ２０１６／１２０４４２として公開された、同時係属中の特許出願 ＰＣＴ／ＥＰ２０１６／０５１９０６において記載されている。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[0082] 特徴抽出
[0083] 核の検出に続いて、特徴抽出モジュール２１５によってというようにして、特徴（またはメトリック）を導き出す。通常では、特徴抽出モジュール２１５は、画像データを受け取り、受け取った画像データに基づいて特定のメトリックを導き出し、別個に計算された確率特徴との組み合わせのために、これらの導き出したメトリックを出力する（ステップ３０５）。ある実施形態では、バイオマーカ画像から、そしてＨ＆Ｅ画像から別個のメトリクスを計算する。

[0084] 更に具体的には、メトリックは、Ｈ＆Ｅおよびバイオマーカ画像の双方において識別した核の特徴から、または識別した核を取り囲むパッチ内から導き出すこともできる。例えば、特徴メトリックは、特定の特徴、ヒストグラム、分布等の定量的プロパティを示す数値データ値(numerical data value)とすることができる。ある実施形態では、特徴メトリックは、核毎に、それらの視覚的プロパティおよび記述子、例えば、形態上の特徴、外観上の特徴、背景の特徴等に基づいて計算される。他の実施形態では、識別された核を取り囲む画像パッチ内から、特徴が計算される。ある実施形態では、Ｈ＆Ｅおよびバイオマーカ画像において検出された核から導き出された種々の特徴メトリックが、メトリックのベクトルとして供給され、生成された確率マップ（ステップ３０４または３１７）から導き出されたメトリックと共に、分類のために分類モジュール２１６に供給される（ステップ３０７または３１４）。

[0085] 尚、異なる染色がなされた組織試料（例えば、特定のバイオマーカのためにＩＨＣプロセスにおいて染色されたものと、Ｈ＆Ｅまたはその他の一次染料で染色された組織）が、異なる生物学的特徴を暴露できることは、当業者には認められよう（例えば、核マーカのためのＫｉ－６７染料、異なるマーカの異なるクラスタを表現する免疫細胞等）。更に、全体的な分析、分類、および採点において補助するために、異なる形態的特徴に基づいて、異なるメトリックを導き出すこともできる。例えば、リンパ球は、それらの典型的な形態素(morphology)に基づいて、即ち、小さく、丸い、均質に好塩基性核であることに基づいて識別することができる。これらの形態素が、これらを、もっと長くセグメント化された核を有する好中球のような、その他の白血球から差別化する。つまり、例えば、特定の乳房腫瘍型において、リンパ球は、一般に、それよりも大きくそして多くの多形核を有する癌細胞から、差別化することができる。このように、これらの形態的特徴から導き出されるメトリック（例えば、面積、緊密さ等）は、核を分類する上で重要であることは、当業者には認められよう。

[0086] 核の特徴からのメトリックの導出は、当技術分野ではよく知られており、本開示のコンテキストにおいて、知られている核の特徴であればいずれでも使用することができる。計算することができるメトリックの非限定的な例には、以下のものが含まれる。

[0087] （Ａ）形態的特徴から導き出されるメトリック
[0088] 「形態的特徴」(morphology feature) とは、本明細書において使用する場合
、例えば、核の形状または寸法を示す特徴である。いかなる特定の理論によっても拘束されることは望まないが、形態的特徴は、細胞またはその核のサイズもしくは形状についての何らかの不可欠な情報を提供すると考えられる。例えば、形態的特徴は、核ブロブまたはシード内に含まれる画素、またはそれを取り囲む画素に対して種々の画像分析アルゴリ
ズムを適用することによって計算することができる。ある実施形態では、形態的特徴には、面積、単軸および長軸の長さ、輪郭、半径、硬度等が含まれる。

[0089] 形態的特徴の例（ｉ）
[0090] 画素数に関する、核ブロブのサイズを特徴として使用することができる。面積＝核領域における画素の総数。

[0091] 形態的特徴の例（ｉｉ）：単軸／長軸の長さ
[0092] 領域と同じ正規化された第２中心モーメントを有する楕円の短軸／長軸の長さを指定するスカラー（画素単位）。一例として、識別された核またはシード点の周囲で検出された核ブロブ・マスクに基づいて、ブロブ形状を楕円で近似することができる。この楕円の短軸は、偏心パラメータ（短軸の長軸に対する比として計算される）と共に特徴として使用される。

[0093] 形態的特徴の例（ｉｉｉ）：輪郭
[0094] 核領域の境界上の画素数
[0095] 形態的特徴の例（ｉｖ）：半径
[0096] 核の中心から核の境界画素までの平均距離。

[0097] 形態的特徴の例（ｖ）：硬度
[0098] 同一領域内に存在する凸包内における画素の割合を指定するスカラー（面積／凸面積(Area/ConvexArea)として計算する）。

[0099] 形態的特徴の例（ｖｉ）：ブロブの緊密さ
[00100] ブロブと同じ面積を有するブロブの中心を中心にして広がる円形領域を考え
、この円形領域とブロブとの間の重複領域の面積を「重複面積」(overlap area)と呼び、次いで、ブロブの緊密さの特徴を、緊密さ＝重複面積／ブロブ面積として計算する。この特徴は、不規則な形状および非核形状を核から差別化するために使用される。

[00101] 形態的特徴の例（ｖｉｉ）：ブロブ密度
[00102] ある実施形態では、「ブロブ密度」特徴が、リンパ球および間質に対して非
常に差別的であると思われる。リンパ球については、細胞は、間質細胞よりも密接に詰め込まれている。また、リンパ球については、平均ブロブ・サイズが、特定のバイオマーカに対して陰性に染色する特定の核よりも小さいとして差し支えない。したがって、密度に基づく特徴は、近隣シード(nearby seed)の詰め込み密度、および近傍にあるブロブ(neighborhood blob)のサイズの分布の双方を説明するために使用される。例えば、５ｕｒｎから２５ｕｒｎの範囲をとる半径の複数の値に対して、所与のシードを取り囲むサイズ（２×半径＋１）×（２×半径＋１）のウィンドウを使用して、この特徴を計算する。半径値毎に、ブロブ画素密度、ブロブ・シード密度、正規化画素密度（核ブロブの平均サイズで正規化する）、正規化シード密度特徴(Normalized Seed density feature) といった特徴を計算する。

[00103] 形態的特徴の例（ｖｉｉｉ）：重心を通る最良の当てはめ線の角度方向が測
定される長軸方向。
[00104] （Ｂ）外観的特徴から導き出されるメトリック
[00105] 「外観的特徴」(appearance feature)は、本明細書において使用する場合、
例えば、核を識別するために使用される核ブロブまたはシード内に含有される、あるいはそれを取り囲む画素の画素強度値を比較することによって、特定の核について計算された特徴であり、これによって、異なる画像チャネル（例えば、背景チャネル、バイオマーカの染色のためのチャネル等）から、比較画素強度(compared pixel intensities)が導き出
される。ある実施形態では、外観的特徴から導き出されるメトリックは、異なる画像チャネルから計算される画素強度(pixel intensities)および勾配強度(gradient magnitudes)のパーセンタイル値（例えば、１０、５０，および９５パーセンタイル値）から計算される。例えば、最初に、対象の核を表す核ブロブ内にある複数ＩＣの画像チャネル（例えば、３つのチャネル：ＨＴＸ、ＤＡＢ、輝度）の各々の画素値のＸ－パーセンタイル値（Ｘ＝１０、５０、９５）の数Ｐを特定する。外観的特徴メトリックを計算することは、有利であると言える。何故なら、導かれるメトリックは、核領域のプロパティ（例えば、ＰＤＬ１バイオマーカに対する染色のコンテキストでは、濃い茶色の核、濃い青色の核、明るい青色の核等）を記述することができ、更に、例えば、膜の染色が明るい茶色、暗い茶色、または全く染色しない等の場合、核を取り囲む膜領域（この場合も、ＰＤＬ１バイオマーカに対する染色のコンテキストにおいて）（リボン領域）を記述することができるからである。

[00106] （Ｃ）背景特徴から導き出されるメトリック
[00107] 「背景特徴」(background feature)とは、例えば、細胞質における外観およ
び／または染料の存在を示す特徴、および背景特徴が画像から抽出された核を含む細胞の細胞膜の特徴である。背景特徴および対応するメトリックは、例えば、核ブロブまたは核を表すシードを識別し、識別された１組の細胞に直接隣接する画素エリア（例えば、核ブロブ境界周囲の厚さ２０画素、即ち、約９ミクロンのリボン）を分析し、したがって、細胞の細胞質および膜における外観および染料の存在を、この核および細胞に直接隣接するエリアと共に、キャプチャすることによって、ディジタル画像内に描写される核および対応する細胞について計算することができる。これらのメトリックは、核の外観的特徴に似ているが、各核の境界周囲の約２０画素（約９ミクロン）の厚さのリボンにおいて計算され、したがって、識別された核を有する細胞の細胞質および膜における外観および染料の存在が、この細胞に直接隣接するエリアと共に、キャプチャされる。いかなる特定の理論によっても拘束されることは望まないが、このリボン・サイズを選択したのは、核を取り囲む十分な量の背景組織エリアをキャプチャし、核の差別について有用な情報を提供するために使用することができると考えられるからである。これらの特徴は、J. Kong, et al., "A comprehensive framework for classification of nuclei in digital microscopy imaging: An application to diffuse gliomas"（ディジタル顕微鏡撮像における核の分類のための総合的フレームワーク：びまん性神経膠腫に対する応用）in ISBI, 2011, pp.2128-2131によって開示されたものと同様である。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。尚、これらの特徴は、周囲の組織が間質かまたは上皮か判定するために使用することができると考えられる（Ｈ＆Ｅ染色組織試料におけるように）。いかなる特定の理論によっても拘束されることは望まないが、これらの背景特徴は、膜染色パターンもキャプチャし、膜染色パターンは、組織試料がしかるべき膜染色剤（例えば、ＰＤＬ１）によって染色されるときに有用であると考えられる。この場合も、ＰＤＬ１のコンテキストでは、ＰＤ－Ｌ１バイオマーカは細胞膜を殆ど染色するので、この染色は、核の境界の外側に沿って、茶色のリボン、茶色のスポット、または双方を生み出す。

[00108] （Ｄ）色から導かれるメトリック
[00109] ある実施形態では、色から導き出されるメトリックには、色比率、Ｒ／（Ｒ
＋Ｇ＋Ｂ）、または色の主成分が含まれる。他の実施形態では、色から導き出されるメトリックには、色の各々の局所的統計（平均／中央／分散／標準偏差）、および／または局所画像ウィンドウにおける色強度相関(color intensity correlation)が含まれる。

[00110] （Ｅ）強度特徴から導き出されるメトリック
[00111] 病理組織学的スライド画像内に表示される灰色の細胞の黒から白までの明暗
度の間で、一定の特異的プロパティ値を有する隣接細胞の一群を設定する。色特徴の相関
は、サイズ・クラスのインスタンスを定め、したがって、このようにして、これらの着色された細胞の明暗度によって、病的細胞を、その周囲にある黒い細胞のクラスタから判定する。

[00112] （Ｆ）テクスチャ特徴(texture feature)から導かれるメトリック
[00113] テクスチャ特徴の例（ｉ）：コンテキスト－テクスチャ特徴
[00114] ある実施形態では、対象核（ＮｏＩ：nucleus of interest）を中心として広がる画像パッチから１組のテクスチャ特徴を計算するために、コンテキスト－テクスチャ方法を使用する。更に具体的には、コンテキスト－テクスチャ方法は、各ＮｏＩを取り囲む領域におけるテクスチャ・パターンをキャプチャすることを可能にし、この情報は、ＮｏＩが存在しているかもしれない組織の局所的型の識別において補助するために使用される（例えば、ＮｏＩを取り囲む領域はいずれも、固形腫瘍、リンパ球（免疫細胞）の集合体、間質、および／または全体的な染色応答を含む場合がある）。例えば、間質は、繊維のようなテクスチャによって特徴付けられ、一方可変サイズの複数の「ブロブ」の存在は、腫瘍領域の特徴である。繊維状テクスチャまたはブロブを取り囲む領域の画像パッチにおいてテクスチャ特徴を計算することによって、この情報は、その領域における任意の細胞または細胞核が、腫瘍組織ではなく、間質に属すると分類するとき、またはその逆であると分類するときに役立つことができる。ＮｏＩを取り囲む画像パッチからコンテキスト－テクスチャ特徴を導き出す手順は、Classifying Nuclei in Histology Images（組織学画像における核の分類）と題し、ＷＯ／２０１６／０７５０９６として公開された、同時係属中の特許出願において記載されている。この特許出願をここで引用したことによりその内容全体が本願にも含まれるものとする。通常では、各ＮｏＩを中心として広がる画像パッチをキャプチャすることによって、コンテキスト－テクスチャ方法を実行する。ある実施形態では、Ｓ×Ｓのサイズを有するパッチ・サイズを選択し、核についての豊富なコンテキスト情報を提供する、適度に大きい組織エリアを取り込む。他の実施形態では、パッチ・サイズは、任意のＳ×Ｓ寸法において、約５０画素から約２００画素の範囲を取る。更に他の実施形態では、約１５０画素（約７０ミクロン）のパッチ・サイズを使用する。ある実施形態では、特定の組織型についてのみパッチを作成する。例えば、特定のバイオマーカに対して陽性である領域についてのみ、パッチを作成することもできる。画像パッチをキャプチャした後、各パッチ内においてテクスチャ特徴を計算する。ある実施形態では、計算するテクスチャ特徴には、強度のヒストグラム、勾配強度および勾配方位のヒストグラム、ガボール特徴(Gabor features)、ならびにハラリック特徴(Haralick features)というような特徴が含まれる。

[00115] 「ガボール特徴」とは、例えば、１つ以上のガボール・フィルタをディジタ
ル画像に適用することによって、ディジタル画像から抽出されたディジタル画像の特徴である。１つ以上のガボール・フィルタは、異なる周波数および／または方位を有してもよい。ガボール・フィルタとは、例えば、エッジを検出するために、画像においてパターンを検出するために使用することができる、例えば、線形フィルタである。ガボール・フィルタの周波数および方位の表現は、人の視覚系のそれらと同様であり、これらはテクスチャの表現および差別に特に適していることがわかっている。ガボール・フィルタは、例えば、エッジ検出のために画像分析において使用されることが多い線形フィルタである。例えば、ガボール・フィルタは、正弦平面波によって変調されたガウス・カーネル関数とすることができる。

[00116] 尚、ガボール・フィルタは、人の視覚系の周波数および方位感度特性をモデ
ル化する能力を有すると考えられている。ガボール・フィルタは、複数の異なる方位および異なるスケールで、対数－ガボール・フィルタによって画像を畳み込み、次いで同じスケールにおける異なる方位の応答を平均化して、回転不変特徴を得る。ガボール・フィルタの応答は、ガボール・フィルタの１組の画像画素の強度値に適用した結果である。Ｎｏ
Ｉを含む画像パッチの画素に対して計算された応答は、ＮｏＩのコンテキスト情報メトリックとして使用することができる。ある実施形態では、ガボール・フィルタは、平均、標準偏差、平均応答に対する最小－最大比率を計算するために使用され、これらはコンテキスト情報メトリックとして使用することができる。ガボール・フィルタおよびそれらの応用についてのこれ以上の情報は、Jain, A. K., Farrokhnia, F.: "Unsupervised texture segmentation using Gabor filters"（ガボール・フィルタを使用した教師なしテクスチャ・セグメンテーション）, IEEE Int. Conf. System, Man., Cyber., pp. 14-19 (1990)において見ることができる。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。この場合も、これらの特徴を分類モジュールに供給することができる。

[00117] ハラリック特徴は、テクスチャのパターンにおいて出現するパターンについ
ての情報をキャプチャすると考えられている。ハラリック・テクスチャ値は、共起行列によって計算される。この行列は、２つの画素間における角度関係および距離双方の関数であり（互いにある距離だけ分離されてもよい）、２つの指定された画素間における関係の発生回数を示す。「ハラリック・テクスチャ特徴」または「ハラリック特徴」とは、例えば、共起行列から抽出されたディジタル画像の特徴であり、互いに関して特定の位置にあるディジタル画像の画素における画像強度がどのようにして一緒に発生するかについての情報を含む。ハラリック特徴を計算するために、ディジタル画像において識別された各オブジェクト内で観察された最大および最小強度に、行列の強度レベルの根拠を置くことによって、共起行列を、例えば、正規化することができる。Haralick, Shanmugan, and Dinstein (1973)は、これを「グレー・トーン空間依存性行列」(gray-tone spatial-dependence matrix)と呼ぶ。本開示の実施形態において使用されるこれらの実施態様では、ある距離ｄだけ分離された画素間において４つの方向（０°、４５°、９０°、および１３５°）を考える（Haralick, R., Shanmugan, K., and Dinstein, I. "Textural Features for Image Classification"（画像分類のためのテクスチャ特徴）, IEEE Transactions on Systems, Man, and Cybernetics 3, no. 6 (1973): 610-621を参照のこと。この文献をここで引用したことにより、その開示内容全体が本願にも含まれるものとする）。

[00118] 共起行列（即ち、空間依存性共起行列）は、ＮｏＩを中心として広がるパッ
チ内にある画素について計算される。実施形態によれば、共起行列は、複数の既定の方向（または「角度」）、例えば、４つの方向、０°、４５°、９０°、および１３５°の各々について計算される。生成された１つまたは複数の共起行列から、自己相関、コントラスト、相関、不同性(dissimilarity)、エネルギ、エントロピ、同質性、最大確率、分散、和平均、和分散、和エントロピ、差分散、差エントロピ、相関の２つの情報尺度、逆差、正規化逆差、および逆モーメントを含む複数の特徴を計算することができる。これらのパラメータの各々は、共起行列における異なるデータ・エントリ間の関係、例えば、「茶色チャネルにおける高強度値」という特徴と、グレー値勾配サイズに対する特定のビン値との相関を表すことができる。検討中の各チャネルからこれらの値を抽出し、各特徴画像の平均、標準偏差、およびモードを求めることによって多数の共起特徴が得られる。これらの特徴はいずれも、コンテキスト情報メトリックとして使用することができる。

[00119] パッチ内にある画素について共起行列を計算することは有益であると言って
よい。何故なら、共起行列は特定の細胞型または組織型のインディケータとなることができる生体情報を示すことができるからである。例えば、共起行列、およびこれから導き出されるコンテキスト情報メトリックは、どれくらいの頻度で青色画素（核内部の画素）が茶色画素（膜染色の画素）に近づくか（距離ｄ以内に）記述することができる。

[00120] ある実施形態では、グレー・レベル共起行列（「ＧＬＣＭ」）を画像チャネ
ル毎に個別に計算し、それぞれのハラリック・テクスチャ値を、各画像チャネルから別々
に導き出す。チャネル毎に個別に計算する従来のグレー・レベル共起行列（「ＧＬＣＭ」）に加えて、チャネル間または色共起行列（「ＣＣＭ」）も計算することができる。ＣＣＭは、２つの異なる画像チャネルにおける画素強度の共起から、即ち、変位ベクトル（例えば、ｄ＝［ｄｘ；ｄｙ］）を使用して、２つのチャネル（例えば、Ｃ_ｉ；Ｃ_ｊ）からＣＣＭを計算するために、作成される。共起は、Ｃ_ｉ内の位置（ｘ；ｙ）における画素強度、およびＣ_ｊ内の位置（ｘ＋ｄｘ；ｙ＋ｄｙ）における画素強度について計算される。尚、ＣＣＭは、異なる組織構造（異なるチャネルにおいて強調される）間の空間関係を、これらを明示的にセグメント化する必要なく、キャプチャする利点を提供すると考えられる。例えば、第１バイオマーカが細胞膜の外面上で表現されることがわかっており、第２バイオマーカが細胞膜の内面上で表現されることがわかっており、第１および第２バイオマーカが異なる染料によって染色され、これらの染料のシグナルが２つの異なる画像チャネルにおいてキャプチャされる場合、２つの異なるチャネルにおけるシグナルの強度値は相関する（既定のオフセットで）。何故なら、内膜のタンパク質および外膜のタンパク質は常に、または主に、互いに空間的に近接してシグナルを生成するからである。前記空間近接度は、ＣＣＭ行列において、異なるチャネルにおける画素強度相関の形態でキャプチャすることができる。

[00121] ある実施形態では、検討中の全てのチャネルのＧＬＣＭから、ハラリック特
徴を計算する。この場合も、ＣＣＭから計算される特徴の内任意のものをコンテキスト情報メトリックとして使用することができる。ＧＬＣＭ行列と同じようにまたは似たようにして、実施形態にしたがってチャネル間行列を計算する。複数の異なる角度および距離を考慮することができる。唯一の相違は、１対の画素が２つの異なるチャネルから選出される、例えば、画像チャネル１に属する画素ｐ１および画素チャネル２に属するｐ２が選出されるが、これら２つの画素は同じ座標系内にあると見なされることである（これらの間の距離および角度を計算できるように）。これらの特徴も同様に、分類モジュールに供給することができる。

[00122] テクスチャ特徴の例（ｉｉ）：コンテキスト－テクストン方法(Context-Texton Method)
[00123] 「テクストン」(texton)とは、例えば、基準画素から最大距離未満だけ離れ
て位置する画素ブロブまたは１組の画素の１組の１つ以上の属性であり、これによって、前記属性が画像内において繰り返すことが観察されているか、または予測される。例えば、テクストンは、指向性線形フィルタ出力(oriented linear filter output)の頻繁に共起する組み合わせ(frequently co-occurring combination)とすることができる。画素ブロブは、例えば、核を含む細胞内に存在すると識別された核ブロブまたは画素エリアとすることができる。基準画素は、例えば、核の中心、または細胞の中心、または細胞膜にすることができる。つまり、「テクストン」を「ビジュアル・ワード」(visual word)と見なすことができ、例えば、特定のサイズまたは寸法の楕円、特定の平均強度値の円、特定の強度分布またはパターンを有する画素ブロブ等と見なすことができる。

[00124] コンテキスト－テクストン方法は、各ＮｏＩを中心として広がる画像パッチ
からテクストン・マップのヒストグラムを計算する（Malik, Jitendra et al., "Textons, Contours and Regions: Cue Integration in Image Segmentation"（テクストン、輪郭、および領域：画像セグメンテーションにおけるキュー統合）, s.i.: IEEE Computer Society, 1999, Proceedings of the International Conference on Computer Vision, Corfu, Greece。この文献をここで引用したことにより、その海自内容全体が本願にも含まれるものとする）。コンテキスト－テクストン特徴を導き出すための手順は、ＷＯ／２０１６／０７５０９６として公開された同時係属中の特許出願においても記載されている。この特許出願をここで引用したことによりその開示内容全体が本願にも含まれるものとする。

[00125] コンテキスト－テクスチャ方法と同様、この方法の目標も、各ＮｏＩを取り
囲む領域においてテクスチャ・パターンをキャプチャすることである。しかしながら、テクスチャ特徴からコンテキスト情報メトリックを導き出す代わりに、一揃いの(bank)最大応答フィルタを、組織試料の画像上（またはそのチャネル画像に）に適用して、フィルタ応答画像のリストを得る。（Varma and Zisserman, "Classifying images of materials:
Achieving viewpoint and illumination independence"（素材の画像の分類：視点およ
び照明独立性の達成）in Computer Vision ECCV 2002, 2002, vol. 2352, pp.255-271を
参照のこと。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。）各フィルタ応答画像は、１つ以上のフィルタ応答を含むディジタル画像である。「フィルタ応答」は、［００１８］において定められているようなフィルタ応答としてもよい。訓練画像から導き出されたフィルタ応答画像、およびその中に含まれるフィルタ応答を収集し、「テクストン」と呼ばれる複数のＫ個のクラスタにクラスタリングする（ステップ３３１）。

[00126] 例えば、組織試料の画像に複数の最大応答フィルタを適用することによって
得られたフィルタ応答の各々は、直径、強度等のような何らかのプロパティ値を有するベクトルであってもよい。前記フィルタ応答のクラスタリングによって、１組のＫ個のクラスタを得ることができ(provide)、これによって、クラスタ毎にクラスタ中心が、前記ク
ラスタに属する全てのフィルタ応答の平均値のベクトルとして、繰り返し計算される。つまり、各クラスタ中心は、「平均」フィルタ応答ベクトル（その値は、前記クラスタ中心に割り当てられたフィルタ応答のそれぞれ特徴ベクトルの平均値である）、または前記クラスタ中心に割り当てられたフィルタ応答から導き出される「プロトタイプ」フィルタ応答ベクトルの他の形態であってもよい。クラスタのクラスタ中心を表す前記「派生」(derivative)フィルタ応答ベクトルが、「テクストン」として使用される。例えば、各クラスタ中心は、各フィルタの特定の画像パッチに対する１組の投影を表す。前記Ｋ個の「クラスタ中心テクストン」は、繰り返し高精度化する(refine)こともできるが、Ｋ－平均クラスタリング・アルゴリズムの出力として供給することができる。このクラスタリング・アルゴリズムの判断基準は、各フィルタ応答ベクトルを最も近い中心に割り当てた後、中心からの二乗距離の合計が最小になるように、Ｋ個の「中心」を発見することである。つまり、組織試料画像に含まれる情報を処理することによって、Ｋ個のテクストンのテクストン・ボキャブラリー(texton vocabulary)が自動的に抽出される。次いで、クラスタ中心を構成するテクストンから、テクストン・マップを計算することができる。複数の訓練済みクラスタ中心に基づいて、組織試料の画像の各画素を、Ｋ個のテクストンの内の１つに割り当てる。例えば、この割り当ては、画像における各画素（または少なくともＮｏＩを中心として広がる画像パッチ内にある各画素）が、前記マッピングされる画素を含む１組の画素に対して生成されるフィルタ出力についての特徴である、テクストンの１つに割り当てられるように、実行することができる。各画素はテクストンの内の１つに正確にマッピングされるので、画像は、異なるテクストンに割り当てられた領域に区分される(partition)。前記「区分画像」を「テクストン・マップ」と呼ぶことができる。

[00127] 次いで、ＮｏＩを中心として広がるＳ×Ｓのサイズを有する画像パッチにお
ける全ての画素からテクストン・ヒストグラムを計算する（ステップ３３３）。ある実施形態では、パッチ・サイズは、任意のＳ×Ｓ寸法において、約５０画素から約２００画素までの範囲を取る。他の実施形態では、約１５０画素（約７０ミクロン）のパッチ・サイズが使用される。尚、前記パッチ・サイズの範囲は、細胞型についてのテクスチャ関連コンテキスト情報が予測パラメータであるときに、この細胞型を精度高く識別するのに、特に適していることが観察されている。「テクストン・ヒストグラム特徴」とは、例えば、画像または特定の画像チャネルにおいて識別されたテクストン（「ビジュアル・ワード」）の発生頻度の分布である。例えば、テクストン・ヒストグラムは、特定の型のテクストンの数を示すグラフとして表すことができる。例えば、以下の３の型式のテクストンを画像から抽出することができる。軸ａ１．１およびａ１．２を有する「楕円１」、軸ａ２．１およびａ２．２を有する「楕円２」、ならびに直径ｄ１および強度値範囲＝［０９～１１０」を有する「円１」。テクストン・ヒストグラム特徴は、テクストン「楕円１」が７９回発見され、テクストン「楕円２」が１．１２４回画像において発見され、「円１」が画像において３４回発見されたことを示すヒストグラムであってもよい。

[00128] テクスチャ特徴の例（ｉｉｉ）：コンテキスト－ＣＲＦ方法
[00129] コンテキスト－ＣＲＦ方法は、分類結果の均質性を高めるために、条件付き
確率場（ＣＲＦ：conditional random field）モデルを採用する（J. Lafferty et al., Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data（条件付き確率場：シーケンス・データをセグメント化し標識付けするための確率モデル）, ICML, pp. 282-289, 2001を参照のこと。この文献をここで引用したことにより、その開示内容全体が本願にも含まれるものとする）。ＣＲＦモデルは、本明細書におけるＢｏＷモデルと同様、近隣核からの、予め計算されている核の特徴／メトリックおよび標識をコンテキスト情報として利用し、これによって、追加の特徴抽出を行わずに（コンテキスト・テクスチャ方法およびコンテキスト・テクストン方法と比較して）、コンテキスト情報の組み込みを可能にする。尚、ＣＲＦモデル方法は、対毎の制約(pair-wise constraints)を組み込み、同じクラスに属する隣接領域を強制する自然な方法を提供ると考えられる。また、コンテキストーＣＦＲ方法は、ＷＯ／２０１６／０７５０９６として公開されている同時係属中の特許出願にも記載されている。この特許出願をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。

[00130] テクスチャ特徴の例（ｉｖ）：コンテキスト－ＢｏＷ方法
[00131] バッグ－オブ－ワーズ・モデル (bag-of-words model)は、基本ブロック（単語）の頻度に基づく、単純であるが強力な表現技法である。バッグ・オブ・ワーズ（ＢｏＷ）は、広く使用されている特徴エンコーディング方法であり、画像から抽出された局所特徴が互いに独立していると仮定し、各画像内に現れる各ビジュアル「ワード」の頻度を計数するだけである。本明細書において使用する場合、「ワード」(word)とは核特徴ベクトルである。この方法は、ＮＯＩのコンテキスト情報を、その近隣の外観（たとえば、数および／または細胞型分布）によって記述できるという観察を使用する。ある実施形態では、近隣は、距離ｄ＝７５画素内にある核として定められる。他の実施形態では、この距離は約２５画素と約１００画素との間の範囲を取る。コンテキスト－ＢｏＷ方法も、ＷＯ／２０１６／０７５０９６として公開された同時係属中の特許出願に記載されている。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[00132] （Ｇ）空間的特徴
[00133] ある実施形態では、空間的特徴は、細胞の局所密度、２つの隣接する検出細
胞間の平均距離、および／または細胞からセグメント化された領域までの距離を含む。

[00134] （Ｈ）ピラミッド・ヒストグラム特徴(Pyramid Histogram Features)
[00135] ある実施形態では、バイオマーカ・スライドにおいて検出された核毎に、最
初に、対応する核シード位置を対応するＨ＆Ｅ画像において識別し、その核を取り囲むもっと大きなＨ＆Ｅパッチを得る。次いで、このパッチにおいて間質細胞および腫瘍細胞分布を推定する。分布は、ピラミッド・ヒストグラム（例えば、図７参照）を使用して計算することができる。ピラミッド・ヒストグラム特徴については、更に、S. Lazebnik et al. "Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories"（バッグ－オブーフィーチャを超えて：自然場面カテゴリを認識するための空間ピラミッド・マッチング）, VPR '06 Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Volume 2, Pages 2169-2178, June 17 - 22, 2006に記載されている。

[00136] （Ｉ）その他のＨ＆Ｅ画像の特徴
[00137] 検出された核心および関連するブロブ（ＩＨＣ画像において）について、Ｈ
＆Ｅ画像および／またはＨ＆Ｅ確率画像においてマッピングされた中心および領域から、Ｈ＆Ｅ特徴を計算することができる。使用することができる画像特徴のいくつかの例には、次のものがある。

[00138] （ａ）マッピングされた中心Ｈ＆Ｅ画像を取り囲む局所画像ウィンドウ（例
えば、１５×１５画像矩形パッチおよび／または複数のウィンドウ）における画像強度の平均／中央／分散空間(Variancespatial)相関／テクスチャ特徴／局所統計。

[00139] （ｂ）画素強度のヒストグラム。
[00140] （ｃ）確率マップ画像から計算される確率の平均値／最大値／最小値
[00141] （Ｊ）核特徴から導き出されるメトリック
[00142] また、当業者には、核特徴からもメトリックを導き出せることが認められよ
う。このような核特徴の計算については、Xing et al. "Robust Nucleus/Cell Detection
and Segmentation in Digital Pathology and Microscopy Images: A Comprehensive Review"（ディジタル病理学および顕微鏡画像におけるロバストな核／細胞検出およびセグメンテーション：包括的な再検証）, IEEE Rev Biomed Eng 9, 234-263, January 2016に記載されている。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[00143] 勿論、当業者には知られているような他の特徴も考慮し、特徴の計算のため
の基準として使用してもよい。導き出されたメトリックは、特徴またはメトリックのベクトルとして、分類モジュール２１６に供給される。

[00144] 確率特徴の導出
[00145] 確率特徴の導出は、最初に、Ｈ＆Ｅ画像内において異なる組織および／また
は細胞型を識別し、その後に、識別された異なる組織および／または細胞型のいずれかに基づいて確率マップを生成し、次いでこの確率マップから確率特徴を導き出すことを必要とする。

[00146] 異なる組織および／または細胞型の識別
[00147] Ｈ＆Ｅ画像ホール・スライド画像を考慮すると、このＨ＆Ｅ画像において異
なる組織型および／または細胞型を識別することができる（ここでは纏めて「セグメンテーション」または「Ｈ＆Ｅ画像セグメンテーション」と呼ぶ）。ある実施形態では、腫瘍領域、リンパ球領域、間質領域、および壊死領域を含む、異なる型の領域に、Ｈ＆Ｅ画像をセグメント化する。他の実施形態では、Ｈ＆Ｅ画像内にある細胞を検出し、腫瘍、リンパ球、または間質細胞として分類する。Ｈ＆Ｅ画像の「セグメンテーション」に続いて、識別された組織型および／または細胞型に基づいて、確率マップを生成する。

[00148] ある実施形態では、元のＲＧＢ画像を別々の画像チャネルに分解するための
カラー・デコンボリューション(color color deconvolution)（「アンミキシング」(unmixiing)とも呼ぶ）によってというようにして、入力画像（例えば、異なるバイオマーカに対応する複数のシグナルを含む多重画像）の内任意のものに存在する異なる画像チャネルを最初に分離しなければならない。ある実施形態では、アンミキシング・モジュールが、個々の色チャネルを分離するために利用され、これはRuifrok, A. and Johnston, D., "Quantification of histochemical staining by color de- convolution"（カラー・デコンボリューションによる組織化学的染色の定量化）, Analyt. Quant. Cytol. Histol. 23, 291-299 (2001)に記載されている方法に基づく。ある実施形態では、線形アンミキシングを使用して、多重画像を分離する(unmix)。線形アンミキシングは、例えば、Zimmermann "Spectral Imaging and Linear Unmixing in Light Microscopy"（光学顕微鏡におけるスペクトル撮像および線形アンミキシング）, Adv Biochem Engin/Biotechnol (2005) 95:245- 265、および C. L. Lawson and R. J. Hanson, "Solving least squares Problems"（最小二乗法の問題の解決）, PrenticeHall, 1974, Chapter 23, p. 161に記載されている。これらの文献をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。他の実施形態では、何種類かの画像分析において、入力ＲＧＢ画像、またはＲＧＢ画像からの何らかの派生画像（ＨＳＶ、ＣｌＥｌａｂのような）上で直接細胞検出および分類を行うことができる。他の実施形態では、アンミキシングは、"Group Sparsity Model for Image Unmixing"（画像アンミキシングのための群希薄モデル）と題し、
２０１５年２月２３日に出願されたＷＯ２０１５／１２４７７２に記載されている方法を使用して行われる。この特許出願をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。他の実施形態では、アンミキシングは、"Image Adaptive Physiologically Plausible Color Separation"（生理学的に妥当な画像適応型色分離）と題し、２０１４年５月２８日に出願されたＷＯ２０１４／１９５１９３に記載されている方法を使用して行われる。この特許出願をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。概略的に、ＷＯ２０１４／１９５１９３は、繰り返し最適化した基準ベクトルを使用して、入力画像の成分シグナルを分離することによるアンミキシング方法について記載する。ある実施形態では、アッセイからの画像データを、アッセイの特徴に特異的な、予測結果または理想的な結果と相関付けて、品質メトリックを判定する。

[00149] ある実施形態では、Ｈ＆Ｅ画像を、ヘマトキシリンの局所量、エオシンの局
所量を表す別個のチャネルに分離する(unmix)。加えて、輝度チャネル（Ｌａｂ色空間の
Ｌ成分）を、Ｈ＆Ｅ画像用アンミキシング・モジュールによって生成することもできる。

いかなる特定の理論によっても拘束されることは望まないが、これらのチャネルは、組
織画像における異なる組織構造を強調すると考えられ、したがって、これらを構造的画像チャネルと呼んでもよい。更に正確には、ヘマトキシリン・チャネルは核領域を強調し、エオシン・チャネルは好酸性構造を強調し、一方輝度チャネルは脂肪構造、内腔、および空間を強調する。したがって、これらのチャネルから抽出された特徴は、組織の任意の画像内に存在する異なる生体構造を記述するのに有用である。勿論、構造画像チャネルの選択は、セグメンテーション問題毎に調節できることは、当業者には認められよう。例えば、ＩＨＣ染色画像では、構造画像チャネルは、対比染色チャネル、１つ以上の免疫組織化学染色チャネル、色相、および輝度を含むことができ、各チャネルは、ＩＨＣ画像内における異なる組織および／または構造の識別を容易にする。

[00150] ある実施形態では、Ｈ＆Ｅ画像セグメンテーションおよび組織型識別は、２
０１５年１月２３日に出願され、"Adaptive Classification for Whole Slide Tissue Segmentation"（ホール・スライド組織セグメンテーションのための適応分類）と題するＰＣＴ／ＥＰ２０１５／０５１３０２（ＷＯ２０１５／１１３８９５として公開されている）に記載されている方法にしたがって実行する。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。概略的に、ＷＯ２０１５／１１３８９５は、領域の分類に関係する処理によって、画像において腫瘍領域を他の領域からセグメント化することについて記載し、組織画像において格子点を識別するステップと、格子点を複数の組織型の１つとして分類し、組織型の既知の特性のデータベースに基づいて分類格子点を生成するステップと、分類格子点に、高信頼度得点または低信頼度得点の内少なくとも１つを割り当てるステップと、高信頼度得点が割り当てられた格子点に基づいて、組織型の既知の特性のデータベースを修正し、修正データベースを生成するステップと、修正データベースに基づいて、低信頼度得点が割り当てられた格子点を分類し直して、組織をセグメント化する（例えば、画像において組織領域を識別する）ステップとを含む。

[00151] ある実施形態では、放射相称に基づく細胞検出方法を使用して、Ｈ＆Ｅ画像
において異なる型の細胞を検出し、これに続いて、複数の画像特徴（形態計測的特徴、強度）を計算し、次いで細胞を異なる細胞型に類別する(categorize)ために教師付き分類器を訓練する。

[00152] ある実施形態では、Ｈ＆Ｅ画像セグメンテーションを、Veta et al. "Automatic Nuclei Segmentation in H&E Stained Breast Cancer Histopathology Images"（Ｈ＆Ｅ染色乳癌組織病理学画像における自動核セグメンテーション）, PLoS One. 2013; 8(7): e70221に記載されている方法にしたがって実行する。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。この方法によると、概略的に、画像セグメンテーションを次の４つの主要ステップ、１）前処理、２）マーカ制御分水嶺セグメンテーション、３）後処理、および４）複数のスケールからの結果の融合に分割することができる。前処理の目的は、核の境界を保存しつつ、無関係のコンテンツを除去することである。前処理は、ヘマトキシリン染色をＲＧＢ画像から分離するためのカラー・アンミキシングから開始する。次いで、ヘマトキシリン画像のグレースケール・バージョンを、一連の形態学的処理によって処理して、無関係な構造を除去する。この手順の核心部分は、マーカ制御分水嶺セグメンテーションである。２種類の核マーカを使用する。即ち、前処理された画像の高い放射相称の領域的極小値(high radial symmetry regional minima)の構造を強調する画像変換を使用して抽出されたマーカを使用する。後処理ステップでは、核を表しそうもない領域を除去し、残った領域の輪郭を、楕円としてパラメータ化する。前処理ステップにおいて構造エレメント(structuring element)のサイズを変化させることによって、異なるスケールにおいて核を求めるようにセグメンテーション手順を調整し(tune)、マルチスケール分析を可能にする。セグメンテーションは複数のスケールから得られ、次いで同時領域を解明することによって２つのマーカ型を融合し、最終的なセグメンテーションを与える。

[00153] 他の実施形態では、Gurcan et al. "Histopatho logical Image Analysis: A
Review"（組織病理学論理画像分析：再検証）, IEEE Rev Biomed Eng. 2009; 2: 147-171に記載されている方法にしたがって、Ｈ＆Ｅセグメンテーションを実行する。この文献をここで引用したことにより、その開示内容全体が本願にも含まれるものとする。この文献では、著者は、種々の局所構造セグメンテーション技法、および全域的場面セグメンテーション手法について記載しており、そのいずれもが、本明細書において提示するワークフローと共に使用することができる。

[00154] 更に他の実施形態では、Bautista et al. "Improving the visualization and detection of tissue folds in whole slide images through color enhancement"（色強調によるホール・スライド画像における組織ひだの可視化および検出の改良）, J Pathol Inform 2010, 1 :25に記載されている方法にしたがって、Ｈ＆Ｅセグメンテーションを実行する。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[00155] 他の実施形態では、当業者には知られている閾値処理技法を使用して、セグ
メンテーションを実行することもできる。セグメンテーションの他の方法には、Kriete, A et al., Automated quantification of quantum-dot-labeled epidermal growth factor receptor internalization via multiscale image segmentation（マルチスケール画像セグメンテーションによる量子ドット標識付けされた上皮成長因子受容体インターナリゼーションの自動定量化）, Journal of Microscopy, v. 222(1) 22-27 (April 2006)に記載されているようなマルチスケール手法、Kass, A. Witkin, and D. Terzopoulos. Snakes: Active contour models（動的輪郭モデル）, International, Journal of Computer Vision, 1 :321-332, 1988に記載されている動的輪郭（スネーク）手法(active contour (snake) approach)、J. A. Sethian, Level Set Methods: Evolving Interfaces in Geometry, Fluid Mechanics, Computer Vision and Materials Sciences（レベル設定方法：幾何学、流体力学、コンピュータ・ビジョン、および材料科学において進化しつつあるインターフェース）, Cambridge Univ. Press, 1996に記載されているレベル設定手法(level set approach)、 Mahamud, S et al, Segmentation of Multiple Salient Closed Contours from Real Images（実画像からの複数の突出閉鎖輪郭のセグメンテーション）, IEEE Transactions On Pattern Analysis And Machine Intelligence, Vol. 25, No. 4, April 2003に記載されている輪郭閉鎖手法(contour closure approach)、および Vincent, L. et al, Watersheds in digital spaces（ディジタル空間における分水嶺）に記載されている分水嶺手法、没入シミュレーション(immersion simulation)に基づく効率的なアルゴリズム（IEEE Transactions on Pattern Analysis and Machine Intelligence v. 13(6) June 1991 pp. 583-598）が含まれる。また、Watershed: Roerdink, J. and Meijster A., The Watershed Transform: Definitions, Algorithms and Parallelization Strategies"（分水嶺変換：定義、アルゴリズム、および並列化戦略）, Fundamenta Informatica v. 41, 2001, IOS Press pp. 187-228についての批評記事も参照のこと。以下の論文に記載されているものを含む、他の技法も使用することができる。Thouis R. Jones et al, Voroni-Based Segmentation of Cells on Image Manifolds（画像多面性に対する細胞のボロノイに基づくセグメンテーション）, in CVBIA, ser. Lecture Notes in Computer Science, Y. Liu et al. Eds., vol. 3765 Springer- Verlag, 2005 pp. 535-543、Thouis R. Jones et al,のポスター用紙(poster paper)、Methods for High-Content, High-Throughput Image-Based Cell Screening（高コンテンツ、高スループットの画像に基づく細胞選別方法）, Proceedings of MIAAB 2006（www.broad.mitedu/~thouis/MIAABPoster.pdf;においてオンラインで入手可能）, およびGang Lin et al, A Hybrid 3D Watershed Algorithm Incorporating Gradient Cues and Object Models for Automatic Segmentation of Nuclei in Confocal Image Stacks（共焦点画像スタックにおける核の自動セグメンテ
ーションのための勾配キューおよびオブジェクト・モデルを組み込んだハイブリッド３Ｄ分水嶺アルゴリズム）, Cytometry Part A, 56A:23-26 (2003)。

[00156] 確率マップの生成
[00157] Ｈ＆Ｅ画像セグメンテーションに続いて、確率マップを生成するが、確率マ
ップは、識別された組織型のみ、識別された細胞型のみ、または識別された組織型および識別された細胞型の双方に基づくのでもよい。ある実施形態では、確率マップは、類別されたクラスの数と同じサイズの画像のベクトルである。確率マップにおける各画素位置において、クラス確率のベクトル（ベクトル・サイズは領域数に等しい）を生成する。クラスに対するクラス確率は、画素がその特定のクラスに属する確率を与える。領域分類結果の一例では、クラスは（腫瘍、非腫瘍、リンパ球、間質、壊死領域）とすることができる。細胞分類結果の例では、クラスは、背景、および異なる型の細胞構造（腫瘍、リンパ球、間質細胞、接続された組織、背景等）とすることができる。

[00158] 確率マップの結果は、図６Ａおよび図６Ｂに明示するように、２つの異なる
方法で生成することができる。一実施形態では、そして画像分析アルゴリズムの適用の副産物として、確率マップも生成される（図６Ｂ参照）。実際、注釈を付けられ分析された小画像領域(sub-image region)毎に、確率マップ画像ベクトルが出力として供給される。

[00159] 図６Ａにおいて明示したような他の実施形態では、画像分析結果画像から確
率マップの画像ベクトルを計算する。画像分析結果画像は、各画素に分類標識が割り当て
られ、領域型毎に１つずつ、複数の二進画像マスクが生成される画像であると仮定する。続いて、スムージング・フィルタ（例えば、１１×１１ガウス・フィルタ）を画像に適用して、スムージング・バージョンを生成する。生成された複数のスムージング画像(smoothed image)（異なる領域型毎に１つずつ）から、各画素において正規化することによって、確率画像ベクトルを生成する（即ち、任意の所与の画素において、特異的確率画像における画素値を、スムージング・ガウス値を、全ての領域型からのスムージング値の和によって正規化されたものとして与える）。

[00160] 確率特徴
[00161] ある実施形態では、Ｈ＆Ｅ確率マップ画像から抽出された特徴を、ＩＨＣ画
像スライドを分析するための追加の画像特徴として使用することができる（例えば、Ｈ＆Ｅ画像は、ＩＨＣ画像の隣接する連続組織切片に関して組織切片の変形バージョンに対応し、したがって、ＩＨＣおよびＨ＆Ｅ画像の画素対画素、または細胞対細胞の対応でさえも不可能である）。

[00162] ある実施形態では、生成された領域マップはテンソル表現を有し、この領域
マップにおける各画素は、その画素が特定の領域（例えば、組織領域）に属する確率を示すｋ－次元ベクトルに対応する。

[00163] 分類
[00164] Ｈ＆Ｅ画像の特徴、バイオマーカ画像の特徴、および確率画像の特徴を導き
出した後、これらを一緒に融合し、入力画像の少なくとも１つにおいて核を分類するために使用する。ある実施形態では、分類器を訓練し、次いで異なる細胞核または染色応答を区別するために使用する。ある実施形態では、訓練中に、当業者には知られている手順にしたがって、専門家の観察者によって与えられるグラウンド・トゥルース識別と共に、細胞例を提示する。

[00165] 論理的および経験的結果も、同様に、精度に関して、分類器のアンサンブル
が一般にモノリシック・ソリューションを凌駕することが定説となっている。学習アンサンブル(learning ensemble)または複数の分類システム（以下で説明するサポート・ベク
トル・マシンまたはアダブースト(Adaboost)）は、様々な同様の分類器の予測の集計によって分類精度を高め、これによって個々の分類器の偏倚または分散のいずれも低減する方法である。

[00166] ある実施形態では、分類モジュールはサポート・ベクトル・マシン（「ＳＶ
Ｍ」）である。一般に、ＳＶＭは分類技法であり、統計学習理論に基づき、非線形ケースのためのカーネルによって、非線形入力データ集合を高次元線形特徴空間に変換する。いかなる特定の理論によっても拘束されることは望まないが、サポート・ベクトル・マシンは、２つの異なるクラスを表す１組の訓練データＥを、カーネル関数Ｋによって、高次元空間に投影すると考えられている。この変換されたデータ空間では、クラス分離を最大化するようにクラスを分離するために平坦な線を生成することができるように（識別超平面）非線形データを変換する。次いで、Ｋによって検査データを高次元空間に投影し、超平面に関してこれらがどこに入ったかに基づいて、検査データを分類する。カーネル関数Ｋは、データを高次元空間に投影する方法を定める。

[00167] 他の実施形態では、アダブースト・アルゴリズムを使用して分類を実行する
。アダブーストとは、多数の弱分類器を組み合わせて強分類器を生成する適応アルゴリズムである。訓練段階中に病理医によって識別された画像画素（例えば、特定の染色を有する、または特定の組織型に属する）を使用して、弱分類器と見なされる、個々のテクスチャ特徴ｊ∈｛１,．．．,Ｋ｝に対してΦ_ｊの各々について確率密度関数を生成する。次いで、ベイズの定理を使用して弱学習機(weak learner)を構成するΦ_ｊ毎に、尤度シーン(likelihood scene)Ｌ_ｊ＝（Ｃ_ｊ，Ｉｊ∈｛１．．．．Ｋ｝）を生成する。これらをアダブースト・アルゴリズムによって組み合わせて、強分類器 Π_ｊ＝ΣＴ_ｉ＝１α_ｊｉｌ_ｊｉ
にする。ここで、画素ｃ^ｊ∈Ｃ^ｊ毎に、Π^ｊ（ｃ^ｊ）は画素ｃ^ｊがクラスω_Ｔに属する複合尤度であり、α_ｊｉは、特徴Φ_ｉについて訓練する間に決定される重みであり、Ｔは繰り返しの回数である。

他の実施形態では、ブートストラップ集計技法を使用して分類を実行する。ブートストラップ集計（バギング）とは、統計的分類および回帰に使用される機械学習の安定性および精度を高めるように設計された、機械学習アンサンブル・メタアルゴリズムである。また、これは分散も低減し、過剰適合を回避するのにも役立つ。

[00168] 例
[00169] ＰＬＤ１の採点

[00170] ワークフロー例１
[00171] １．Ｈ＆ＥおよびＩＨＣ組織スライドのホール・スライド走査（ＥＲ、ＰＲ
、Ｋｉ６７、およびＨＥＲ２等）
[00172] ２．病理医がホール・スライド・ビューア（Ｖｉｒｔｕｏｓｏ、Ｖｅｒｓｏ
、ＩＲＩＳ等）上でＩＨＣ組織のホール・スライド（例えば、Ｋｉ６７）を検討する。

[00173] ３．病理医が、画像分析のために、ＩＨＣ組織スライドから代表的な領域に
注釈を付け、選別する(pick) 。
[00174] ４．マーカ間位置合わせアルゴリズムを使用して、ＩＨＣ組織のホール・ス
ライドからの注釈付き領域を、Ｈ＆Ｅ組織ホール・スライドに逆にマッピングする。

[00175] ５．対象の組織構造、例えば、腫瘍細胞、リンパ球、間質細胞、および領域
を検出するための、Ｈ＆Ｅホール・スライドにおいてマッピングされた領域の自動画像分析。

[00176] ６．Ｈ＆Ｅ画像において分析された領域から、異なる組織／細胞型の領域確
率ヒート・マップ（即ち、リンパ球の確率、腫瘍細胞の確率等）を計算する。確率マップは、画像スムージングを使用して、Ｈ＆Ｅ画像上における検出から計算する。

[00177] ７．ＩＨＣ画像におけるＨ＆Ｅ分析情報（Ｉ＜ｉ６７）を使用して、種々の
細胞型の細胞／確率マップを、補足特徴として、ＩＨＣ組織において検出された核オブジェクト上のＫｉ６７画像から計算された特徴集合に追加し、ＩＨＣ画像における核オブジェクト分類のために使用する。ここでは、Ｈ＆Ｅ画像において細胞オブジェクト（対比染色された腫瘍核、リンパ球、および間質細胞）の内いくつかについての画像特徴を差別化
することが容易であるとすると、これらは、陰性および陽性に染色された腫瘍核の検出において補助することによって擬陽性を減らすことにより、核オブジェクト分類器のロバスト性を高めるのに貢献するという仮定がある。

[00178] ワークフロー例２
[00179] 他のワークフロー例として、Ｈ＆ＥおよびＩＨＣ情報の双方を組み合わせる
、コンピュータ・ベースＰＤ－Ｌ１採点アルゴリズムを紹介する。連続切片Ｈ＆ＥおよびＩＨＣスライドを入力として使用することができる。２つの画像を整列するために画像位置合わせアルゴリズムを使用することができる。次いで、双方の画像に対して画像セグメンテーションを実行し、腫瘍、間質、壊死、および血管領域というような異なる領域を得ることができる。次に、セグメンテーションの結果を、双方のスライドから組み合わせて、領域マップを生成することができる。領域マップは、形態素処理、またはセグメンテーション結果からの確率の加重平均のような複数の方法で得ることができる。その場合、Ｈ＆ＥおよびＩＨＣスライドの双方が互いにセグメンテーションにおいて補助するように使用することができる。次に、Ｈ＆ＥおよびＩＨＣスライド双方においてシードを得るために、核検出方法を使用することができる。シードの周囲において、以下を含むがこれらに限定されない複数の特徴を抽出することができる。

１．ＰＤ－Ｌ１の特徴：ＩＨＣスライドからの色、強度、勾配、バッグ・オブ・ワード等。
２．Ｈ＆Ｅの特徴：Ｈ＆Ｅスライドからの色、強度、勾配、バッグ・オブ・ワード等、更に大きなパッチにおける間質および腫瘍細胞の分布。細胞分布の更なる詳細については以下で説明する。

３．領域マップの特徴：画素が領域に属する確率を示すｋ－次元ベクトル表現に関係する特徴。
[00180] 次いで、アダブースト、ＳＶＭ、ランダム・フォーレスト(Random Forest)、ＫＮＮ、バッギング(Bagging)、ブースティング・ツリー(Boosting tree)等のような分類アルゴリズムを使用して特徴ベクトルを分類することができる。全ての特徴にわたって分類する代わりに、アンサンブル学習をこのステップにおいて使用することができる。先に掲示したような、単純なブートストラッピングから複雑な分類アルゴリズムまでに、弱学習機を選択することができる。

[00181] 本開示の実施形態を実践するためのその他のコンポーネント
[00182] 本開示のコンピュータ・システムは、組織検体に対して１つ以上の調製プロ
セスを実行することができる検体処理装置に結び付ける(tie)こともできる。調製プロセ
スは、限定ではなく検体を脱パラフィン化する、検体のコンディショニングを行う（例えば、細胞コンディショニング）, 検体を染色する、抗原賦活化を実行する、免疫組織化学染色（標識付けを含む）もしくはその他の反応を実行する、および／またはインサイチュー・ハイブリダイゼーション（例えば、ＳＩＳＨ、ＦＩＳＨ等）染色（標識付けを含む）もしくはその他の反応を実行する、更には顕微鏡、微小分析、質量分光法、またはその他の分析方法のために検体を調製するその他のプロセスを実行することを含むことができる。

[00183] 検体は、組織試料を含むことができる。組織の試料は、ターゲットが存在す
ることができる任意の液体、半固体、または固体物質（または材料）とすることができる。具体的には、組織試料は、生体組織から得られた生体試料または組織試料とすることができる。組織は、臓器内において同様の機能を実行する、相互接続された細胞の集合体とすることができる。ある例では、生体試料は、ヒトの被験者のような、動物の被験者から得られる。生体試料は、任意の生存生物から得られる、任意の生物学的組織によって排泄される、または分泌される任意の個体または流体試料であり、限定ではなく、とりわけ、バクテリア、酵母菌、原虫、およびアメーバ等の単細胞生物、多細胞生物（植物又は動物等であり、健康であるか又は見掛け上健康であるヒトの被験者あるいは癌などのように診断又は検査を行うべき状態又は病気の影響を受けているヒトの患者からの試料も含まれる）を含む。例えば、生物学的試料は、例えば、血液、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、房水または硝子体液、あるいは任意の身体分泌物、濾出液、浸出液（例えば、膿瘍あるいは感染または炎症の任意の他の部位から得られた流体）、あるいは関節（例えば、正常な関節または疾病に冒された関節）から得られる液体から得られる生物学的体液とすることができる。また、生物学的試料は、任意の臓器または組織（腫瘍生検のような生検または検死試料を含む）から得られた試料とすることができ、あるいは細胞（初代細胞か培養細胞かは問わない）、あるいは任意の細胞、組織、または臓器によって条件付けられた培養基を含むことができる。ある例では、生物学的試料は細胞核抽出物である。ある種の例では、試料とは、開示される細胞ペレット切片試料(cell pellet section sample)の内の１つのような、品質対照試料である。他の例では、試料は検査試料である。例えば、検査試料は、被験者から得られた生体試料から調製された細胞、組織、または細胞ペレット切片である。一例では、被験者とは、特定の状態または疾病の危険があるもの、または既に罹患したものである。ある実施形態では、検体は乳癌である。

[00184] 処理装置は、定着剤を検体に適用することができる。定着剤は、架橋剤（ア
ルデヒド、例えば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド、ならびに非アルデヒド架橋剤のような）、酸化剤（例えば、四酸化オスミウムおよびクロム酸のような、金属イオンおよび複合体）、タンパク質変性剤（例えば、酢酸、メタノールおよびエタノール）、未知のメカニズムの定着剤（例えば、塩化第二水銀、アセトンおよびピクリン酸）、複合試薬（例えば、カルノア固定液、メタカーン、ブアン液、Ｂ５定着剤、ロスマンの液体およびジャンドルの液体）、マイクロ波および種々雑多な固定剤（例えば、体積固定および蒸気固定を除く）を含むことができる。

[00185] 検体がパラフィン埋め込み試料である場合、適切な脱パラフィン液（１つま
たは複数）を使用してこの試料を脱パラフィンすることができる。廃物除去装置が脱パラフィン液（１つまたは複数）を除去した後、任意の数の物質を連続的に検体に適用することができる。物質は、前処置（例えば、タンパク質架橋、核酸露出等）、変性、ハイブリダイゼーション、洗浄（例えば、ストリンジェンシ洗浄）、検出（例えば、視覚、またはマーカ分子をプローブにリンクする）、増幅（例えば、タンパク質、遺伝子等を増幅する）、対比染色、封入処理等のためとすることができる。

[00186] 検体処理装置は、広範囲の物質を検体に適用することができる。物質は、限
定ではなく、染料、プローブ、試薬、リンス、および／またはコンディショナを含む（以後纏めて「染料」と呼ぶ）。物質は、流体（例えば、気体、液体、または気体／液体混合物）等とすることができる。流体は、溶媒（例えば、極性溶媒、非極性溶媒等）、溶液（例えば、水溶液または他の種類の溶液）等とすることができる。試薬は、限定ではなく、染料、湿潤剤、抗体（例えば、モノクロナール抗体、ポリクロナール抗体等）、抗原回復流体（例えば、水性または非水性系抗原賦活化液(retrieval solutions)、抗原回復緩衝剤(antigen recovering buffer)等）等を含むことができる。プローブは、検出可能な標識またはレポーター分子に付着した(attached)単離核酸または単離合成オリゴヌクレオチドとすることができる。標識は、放射性同位体、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素を含むことができる。

[00187] 検体処理装置は、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎ
ｃ．が販売するＢＥＮＣＨＭＡＲＫ ＸＴ計器およびＳＹＭＰＨＯＮＹＣ計器のような、自動装置とすることができる。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎ
ｃ．は、自動解析を行うためのシステムおよび方法を開示する多数の米国特許の譲受人であり、米国特許第５，６５０，３２７号、第５，６５４，２００号、第６，２９６，８０９号、第６，３５２，８６１号、第６，８２７，９０１号、および第６，９４３，０２９号、および米国公開出願第２００３／０２１１６３０号および第２００４／００５２６８５号を含む。これらの特許文書をここで引用したことにより、その内容全体が本願にも含まれるものとする。あるいは、検体を手作業で処理することもできる。

[00188] 検体を処理した後、ユーザは、検体支持スライドを撮像装置に移送すること
ができる。ここで使用する撮像装置は、明視野撮像スライド・スキャナである。明視野撮像装置の１つに、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売するｉＳｃａｎ ＨＴ 明視野スキャナがある。自動化された実施形態では、撮像装置は、IMAGING SYSTEM AND TECHNIQUES（撮像システムおよび技法）と題する国際特許出願第Ｐ
ＣＴ／ＵＳ２０１０／００２７７２号（特許公報第ＷＯ／２０１１／０４９６０８号）、またはIMAGING SYSTEMS, CASSETTES, AND METHODS OF USING THE SAME（撮像システム、
カセット、およびこれらの使用方法）と題する米国特許出願第６１／５３３，１１４号、２０１１年９月９日出願に開示されるようなディジタル病理デバイスである。国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号および米国特許出願第６１／５３３，１１４号をここで引用したことにより、その内容が本願にも含まれるものとする。他の実施形態では、撮像装置には、顕微鏡に結合されたディジタル・カメラが含まれる。

[00189] 撮像システムまたは装置は、マルチスペクトル撮像（ＭＳＩ）システムまた
は蛍光顕微鏡システムであってもよい。ここで使用する撮像システムはＭＳＩである。ＭＳＩは、概略的には、画素レベルで画像のスペクトル分布を利用することによって、病理学検体の分析に、コンピュータ化した顕微鏡に基づく撮像システムを装備する。種々のマルチスペクトル撮像システムが存在するが、これらのシステムの全てに共通する動作的側面は、マルチスペクトル画像を形成する能力(capability)である。マルチスペクトル画像とは、電磁スペクトルの全域における特異的波長または特異的スペクトル帯域幅において画像データをキャプチャするものである。これらの波長は、光学フィルタによって、または例えば、赤外線（ＩＲ）のような、可視光範囲を超える波長における電磁放射線を含む、所定のスペクトル成分を選択することができるその他の機材(instrument)の使用によって、選び出す(single out)ことができる。

[00190] ＭＳＩは、光学撮像システムを含むことができ、その一部には、所定数Ｎの
離散光帯域を定めるためにチューニングすることができるスペクトル選択システム(spectrally-selective system)を内蔵する。光学システムは、広帯域光源を用いて光検出器上への透過によって照明された組織試料を撮像するように構成することができる。光学撮像システムは、一実施形態では、例えば、顕微鏡のような拡大システムを含んでもよく、光学システムの１つの光学出力とほぼ空間的に整列された１本の光軸を有する。このシステムは、異なる離散スペクトル帯域において画像を取得することを確保するように、スペクトル選択システムが調節またはチューニングされる（例えば、コンピュータ・プロセッサによって）に連れて、組織の連続画像を形成する。この装置は、加えて、ディスプレイも内蔵することができ、このディスプレイにおいて、取得された連続画像からの、視覚的に認知可能な少なくとも１つの組織画像が現れる。スペクトル選択システムは、回折格子のような光学分散エレメント、薄膜干渉フィルタのような光学フィルタの集合体、あるいはユーザ入力または予めプログラミングされているプロセッサのコマンドのいずれかに応答して、光源から試料を通して検出器に向かって伝送される光のスペクトルから特定の通過帯域を選択するように構成された任意の他のシステムを含むことができる。

[00191] 代替実施態様では、スペクトル選択システムが、Ｎ個の離散スペクトル帯域
に対応するいくつかの光出力を定める。この種のシステムは、光学システムからの透過光
出力(transmitted light output)を吸入し(intake)、識別されたスペクトル帯域内にある試料を検出システム上に、この識別されたスペクトル帯域に対応する光路に沿って撮像するように、この光出力の少なくとも一部を、Ｎ本の空間的に異なる光路に沿って空間的にリダイレクトする。

[00192] 本明細書において説明した主題および動作の実施形態は、ディジタル電子回
路において、あるいはコンピュータ・ソフトウェア、ファームウェア、またはハードウェアにおいて実装することができ、本明細書において開示した構造、およびそれらの構造的均等物、またはこれらの内１つ以上の組み合わせを含む。本明細書において説明した主題の実施形態は、１つ以上のコンピュータ・プログラムとして実装することができる。即ち、データ処理装置による実行のため、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上にエンコードされたコンピュータ・プログラム命令の１つ以上のモジュールとして実装することができる。本明細書において説明したモジュールはいずれも、プロセッサ（１つまたは複数）によって実行されるロジックを含むことができる。「ロジック」(logic)とは、本明細書において使用する場合、命令信号、および／またはプロセッサの動作に作用するために適用することができるデータの形態を有する任意の情報のことを言う。ソフトウェアはロジックの一例である。

[00193] コンピュータ記憶媒体は、コンピュータ読み取り可能記憶デバイス、コンピ
ュータ読み取り可能記憶基板、ランダムまたはシリアル・アクセス・メモリ・アレイもしくはデバイス、あるいはこれらの内１つ以上の組み合わせとすることができ、もしくはその中に含めることができる。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号内にエンコードされたコンピュータ・プログラム命令の起点または宛先となることができる。また、コンピュータ記憶媒体は、１つ以上の別個の物理コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、またはその他の記憶デバイス）とすることができ、あるいはその中に含めることができる。本明細書において説明した動作は、データ処理装置によって、１つ以上のコンピュータ読み取り可能記憶デバイス上に格納されたデータ、またはその他のデータ源から受信されたデータに対して実行される動作として実装することができる。

[00194] 「プログラミングされたプロセッサ」(programmed processor)という用語は
、データを処理するためのあらゆる種類の装置(apparatus)、デバイス、および機械(machine)を包含し、一例として、プログラム可能なマイクロプロセッサ、コンピュータ、１つまたは複数のシステム・オン・チップ、あるいは以上のものの組み合わせを含む。前述の装置には、特殊用途のロジック回路、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＡＳＩＣ（特定用途集積回路）を含むことができる。また、前述の装置には、ハードウェアに加えて、対象のコンピュータ・プログラムのための実行環境を形成するコード、例えば、プロセッサ・ファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、クロスプラットフォーム・ランタイム環境、仮想機械、あるいはこれらの１つ以上の組み合わせを構成するコードを含むことができる。前述の装置および実行環境は、ウェブ・サービス、分散型コンピューティング、およびグリッド・コンピューティング・インフラストラクチャのような、種々の異なるコンピューティング・モデル・インフラストラクチャを実現することができる。

[00195] コンピュータ・プログラム（別名プログラム、ソフトウェア、ソフトウェア
・アプリケーション、スクリプト、またはコード）は、コンパイラ型またはインタープリタ型言語、宣言型または手続き型言語を含む、任意の形式のプログラミング言語で書くことができ、更に、これを任意の形態でデプロイすることができ、単体プログラムとして、あるいはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境における使用に適した他のユニットとしてデプロイすることを含む。コンピ
ュータ・プログラムは、ファイル・システムにおけるファイルに対応することができるが、そうする必要はない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語文書中に格納される１つ以上のスクリプト）を保持するファイルの一部に格納されてもよく、対象のプログラムに専用に割り当てられる１つのファイルに格納されてもよく、あるいは複数の調整されたファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル）に格納されてもよい。コンピュータ・プログラムは、１つのコンピュータ上で、あるいは１つのサイトに位置するか、または複数のサイトにまたがって分散され、そして通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるようにデプロイすることもできる。

[00196] 本明細書において説明したプロセスおよびロジック・フローは、入力データ
に対して動作して出力を生成することによってアクションを実行するために１つ以上のコンピュータ・プログラムを実行する１つ以上のプログラマブル・プロセッサによって実行することができる。 また、プロセスおよびロジック・フローは、特殊用途のロジック回
路、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＡＳＩＣ（特定用途集積回路）によって実行することもでき、更に、装置もこうしたロジック回路として実装することができる。

[00197] コンピュータ・プログラムの実行に適したプロセッサは、例えば、汎用およ
び特殊用途マイクロプロセッサの双方、ならびに任意の種類のディジタル・コンピュータの任意の１つ以上のプロセッサも含まれる。一般に、プロセッサは、命令およびデータを読み取り専用メモリまたはランダム・アクセス・メモリあるいは両方から受け取る。コンピュータの必須要素は、命令にしたがって動作を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つ以上のメモリ・デバイスである。一般に、コンピュータはデータを記憶するための１つ以上の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクも含み、あるいはこのようなデバイスからデータを受け取るかまたはこのようなデバイスにデータを転送するか、あるいは双方を行うように動作可能に結合される。しかしながら、コンピュータはこのようなデバイスを有する必要はない。更に、コンピュータは、他のデバイス、例えば、移動体電話機、パーソナル・ディジタル・アシスタント（ＰＤＡ）、移動体オーディオまたはビデオプレーヤ、ゲーム・コンソール、全地球測位システム（ＧＰＳ）受信機、あるいは携帯用記憶デバイス（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）フラッシュ・ドライブ）、更にはその他多くのデバイスに埋め込むことができる。コンピュータ・プログラム命令およびデータを記憶するのに適したデバイスには、すべての形式の不揮発性メモリ、媒体およびメモリ・デバイスが含まれ、一例として、半導体記憶デバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュ・メモリ・デバイス、磁気ディスク、例えば、内部ハード・ディスクまたはリムーバブル・ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサおよびメモリは、特殊用途ロジック回路によって補充すること、またはこのロジック回路に組み込むこともできる。

[00198] ユーザとの対話処理に対応する(provide for)ため、本明細書において説明した主題の実施形態は、ユーザに情報を表示するためのディスプレイ・デバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、ならびにユーザがコンピュータに入力を供給することができるキーボードおよびポインティング・デバイス、例えば、マウスまたはトラックボールを有するコンピュータ上に実装することができる。ある実施態様では、タッチスクリーンを使用して情報を表示し、そしてユーザからの入力を受け取ることができる。また、他の種類のデバイスを使用して、ユーザとの対話処理に対応することもできる。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックとすること
ができ、そしてユーザからの入力を、音響入力、音声入力、または触覚入力を含む任意の形式で受け取ることができる。加えて、コンピュータは、ユーザが使用するデバイスに文書を送り、そしてこのデバイスから文書を受け取ることによって、例えば、ウェブ・ブラウザから受けた要求に応じて、ユーザのクライアント・デバイス上のウェブ・ブラウザにウェブ・ページを送ることによって、ユーザと対話処理することができる。

[00199] 本明細書において説明した主題の実施形態は、例えば、データ・サーバのよ
うなバック・エンド・コンポーネントを含むか、あるいはミドルウェア・コンポーネント、例えば、アプリケーション・サーバを含むか、あるいはフロント・エンド・コンポーネント、例えば、ユーザが本明細書において説明した主題の実施態様と相互作用することができるグラフィカル・ユーザ・インターフェースまたはウェブ・ブラウザを有するクライアント・コンピュータを含むコンピューティング・システム、あるいは１つ以上のこのようなバックエンド、ミドルウェアまたはフロント・エンド・コンポーネントの任意の組み合わせで実現することができる。任意の形式または媒体のディジタル・データ通信、例えば、通信ネットワークによって、本システムのコンポーネントを相互接続することができる。通信ネットワークの例には、ローカル・エリア・ネットワーク（「ＬＡＮ」）およびワイド・エリア・ネットワーク（「ＷＡＮ」）、相互ネットワーク（例えば、インターネット）、ならびにピア・ツー・ピア・ネットワーク（例えば、アドホック・ピア・ツー・ピア・ネットワーク）が含まれる。例えば、図１のネットワーク２０には、１つ以上のローカル・エリア・ネットワークを含むことができる。

[00200] コンピューティング・システムには、任意の数のクライアントおよびサーバ
含むことができる。クライアントおよびサーバは、通常互いに離れており、そして通信ネットワークを通じて相互作用するのが通例である。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、そして互いにクライアント－サーバ関係を有するコンピュータ・プログラムによって生じる。ある実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアント・デバイスに（例えば、クライアント・デバイスと対話処理するユーザにデータを表示し、そしてこのユーザからユーザ入力を受け取る目的で）送信する。クライアント・デバイスにおいて生成されるデータ（例えば、ユーザ対話処理の結果）を、サーバにおいてクライアント・デバイスから受信することができる。

[00201] 以上、本明細書では特定的な実施形態を参照しながら本開示について説明したが、これらの実施形態は本開示の原理および用途を単に例示するに過ぎないことは理解されてしかるべきである。したがって、添付した請求項によって定められる本開示の主旨および範囲から逸脱することなく、例示的な実施形態に対して多数の変更を行うことができ、他の構成も考案できることは理解されよう。以上に記載した明細書は、当業者が本開示を実践することを可能にするには十分であると考えられる。

Claims (9)

1. 第１画像および第２画像を受け取るステップであって、前記第１画像は第１組織試料を表すバイオマーカ画像であり、前記第２画像は第２組織試料を表すＨ＆Ｅ画像である、ステップと、
   前記第１画像の少なくとも一部を前記第２画像に位置合わせして、位置合わせ画像を形成するステップと、
   前記第１画像について、
   一組の核を検出するステップと、
   前記第１画像における前記一組の核のうちの１つの核に対して、当該核の１または複数のバイオマーカ特徴を計算するステップと、
   前記位置合わせ画像について、
   前記第１画像の画像領域の１または複数の注釈を前記位置合わせ画像の対応する画像領域にマッピングして、前記位置合わせ画像のマッピング領域を生成するステップと、
   前記マッピング領域に対して、前記１または複数の注釈に少なくとも部分的に基づいて１または複数のＨ＆Ｅ特徴を識別するステップと、
   前記第１画像から検出された前記核の前記１または複数のバイオマーカ特徴と前記マッピング領域の前記１または複数のＨ＆Ｅ特徴を融合して、前記第１画像の前記核に対応する１または複数の融合特徴を生成するステップと、
   前記１または複数の融合特徴に基づいて前記第１画像の前記核を分類するステップと、
   を含む方法。
2. 前記マッピング領域の前記１または複数のＨ＆Ｅ特徴を識別するステップは、前記マッピング領域から検出された一組の細胞を分類するステップを含む、請求項１に記載の方法。
3. 前記一組の細胞を分類するステップは、
   前記マッピング領域に対応する領域確率マップを生成するステップと、
   前記領域確率マップに基づいて、前記一組の細胞のうちの１つの細胞を表す１または複数の画素が特定の細胞型に対応する確率を識別するステップと、
   を含む、請求項２に記載の方法。
4. 前記特定の細胞型は、腫瘍細胞、リンパ球、または間質細胞を含む、請求項３に記載の方法。
5. 前記第１画像の前記核を分類するステップは、前記１または複数の融合特徴から導かれた特徴ベクトルに機械学習モデルを適用するステップを含む、請求項１から４のいずれか１項に記載の方法。
6. 前記１または複数の融合特徴は、形態上の特徴、テクスチャ特徴、空間的特徴、またはヒストグラム特徴のうちの少なくとも１つを含む、請求項１から５のいずれか１項に記載の方法。
7. 前記第１組織試料は組織ブロックの１つの組織切片に対応し、前記第２組織試料は前記組織ブロックの別の組織切片から得られ、前記別の組織切片は前記組織切片の隣に位置する、請求項１から６のいずれか１項に記載の方法。
8. １または複数のデータ・プロセッサと、
   前記１または複数のデータ・プロセッサ上で実行されると前記１または複数のデータ・プロセッサに請求項１から７のいずれか１項に記載の方法を実施させる命令を格納した、非一時的コンピュータ読み取り可能記憶媒体と、
   を備えるシステム。
9. １または複数のデータ・プロセッサに請求項１から７のいずれか１項に記載の方法を実施させるように構成された命令を含む、非一時的機械読み取り可能記憶媒体に有形的に実装されたコンピュータ・プログラム。

Images