JP7169986B2 - オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法 - Google Patents

Description

本開示の発明は、乳房組織画像を処理および表示するためのシステムおよび方法、特に、高次元オブジェクトグリッドを用いて、乳房組織画像データ内に存在する高次元（例えば、３Ｄ）構造を表し、次いで、高次元データを、医療従事者に表示されるための合成された画像内に組み込まれ得る、低次元（例えば、２Ｄ）フォーマットバージョンに低減させるステップに関する。

マンモグラフィは、長い間、乳癌および他の異常をスクリーニングするために使用されている。従来、マンモグラムは、Ｘ線フィルム上に形成されていた。より最近では、フラットパネルデジタル撮像機が、マンモグラムをデジタル形態において取得し、それによって、取得された画像データの分析および記憶を促進し、また、他の利点を提供するように導入されている。さらに、著しい注目および技術的発展が、胸部トモシンセシス等の方法を使用して、胸部の３次元画像を取得することに向けられている。旧来のマンモグラフィシステムによって生成される２Ｄ画像とは対照的に、胸部トモシンセシスシステムは、一連の２Ｄ投影画像から３Ｄ画像ボリュームを構成し、各投影画像は、Ｘ線源が検出器にわたって走査されるにつれて、画像検出器に対してＸ線源の異なる角変位で取得される。構成された３Ｄ画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、スライスは、典型的には、撮像検出器と平行な平面上に数学的に再構成される。再構成されたトモシンセシススライスは、ユーザ（例えば、放射線技師または他の医療従事者）が、画像スライスを通してスクロールし、そのスライス内の構造のみを視認することを可能にすることによって、単一スライスの２次元マンモグラフィ撮像に存在する組織重複および構造雑音によって生じる問題を低減または排除する。

トモシンセシスシステム等の撮像システムは、最近、乳癌スクリーニングおよび診断のために開発された。特に、Ｈｏｌｏｇｉｃ，Ｉｎｃ．（ｗｗｗ．ｈｏｌｏｇｉｃ．ｃｏｍ）は、胸部が固定されたままである間または胸部の異なる圧縮下にある間のいずれかにおいて、マンモグラムおよびトモシンセシス画像の一方または両方のタイプを取得する、融合型マルチモードマンモグラフィ／トモシンセシスシステムを開発している。他の企業は、トモシンセシス撮像を含む、システムを導入している。例えば、同一圧縮下でマンモグラムを取得する能力も含むものではない。

随意に、トモシンセシス技術への移行を促進するために、既存の医療専門知識を活用する、システムおよび方法の実施例は、米国特許第７，７６０，９２４号（参照することによってその全体として本明細書に組み込まれる）に説明されている。特に、米国特許第７，７６０，９２４号は、スクリーニングおよび診断を補助するために、随意に、トモシンセシス投影または再構成画像とともに表示され得る、合成２Ｄ画像を生成する方法を説明している。

２Ｄの合成された画像は、異常病変および正常乳房構造等の任意の臨床上重要かつ有意義な情報を含む、３Ｄ再構成スライスの簡潔な表現を提供する一方、関連部分では、従来の２Ｄ画像を表すように設計される。多くの異なるタイプの病変および乳房構造が存在し、これは、異なる特性を有する、異なるタイプの画像オブジェクトとして画定され得る。３Ｄボリュームデータ内で可視の任意の所与の画像オブジェクトに関して、２Ｄの合成された画像上に可能な限り多くの画像特性（例えば、微細石灰化、構造的歪曲等）を維持し、増強させることが重要である。さらに、複数の識別されたオブジェクトを２Ｄの合成された画像上に表すとき、合成された画像は、密集して現れ、視覚的に混乱し得る。故に、乳房画像データをより効果的に処理、合成、および表示する必要性が存在する。

米国特許第７，７６０，９２４号明細書

本開示の発明の一実施形態では、乳房組織画像データを処理するための方法は、患者の乳房組織の画像データを取得するステップと、画像データを処理し、患者の乳房組織内の１つ以上の高次元オブジェクトを描写する、高次元グリッドを生成するステップと、高次元グリッドに描写される、１つ以上の高次元オブジェクトのそれぞれの確率または信頼度を決定するステップと、患者の乳房組織の合成された画像内における表示のために、１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
乳房組織画像データを処理するための方法であって、
患者の乳房組織の画像データを処理し、前記患者の乳房組織内の１つ以上の高次元オブジェクトを描写する高次元グリッドを生成することと、
前記高次元グリッドに描写される前記１つ以上の高次元オブジェクトのそれぞれの信頼度または確率を決定することと、
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成することと
を含む、方法。
（項目２）
前記患者の乳房組織の画像データを処理することは、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することを含み、前記高次元グリッドは、少なくとも部分的に、前記画像スライスのセットに基づいて生成される、項目１に記載の方法。
（項目３）
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成することは、少なくとも部分的に、その個別の決定された信頼度または確率に基づいて、前記１つ以上の高次元オブジェクトのうちの少なくとも１つの１つ以上の側面を修正することを含む、項目１または２に記載の方法。
（項目４）
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンは、少なくとも部分的に、オブジェクト内組み合わせに基づく、項目１－３のいずれかに記載の方法。
（項目５）
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンは、少なくとも部分的に、オブジェクト間組み合わせに基づく、項目１－３のいずれかに記載の方法。
（項目６）
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンは、少なくとも部分的に、オブジェクトと背景を組み合わせることに基づく、項目１－３のいずれかに記載の方法。
（項目７）
前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを前記患者の乳房組織の合成された２次元画像内に表示することをさらに含む、項目１－６のいずれかに記載の方法。
（項目８）
高次元オブジェクトグリッドは、正常および／または異常乳房組織構造を描写する１つ以上のオブジェクトを備える、項目１－７のいずれかに記載の方法。
（項目９）
前記１つ以上のオブジェクトは、乳房実質組織構造全体を集合的に表す複数のオブジェクトを備える、項目８に記載の方法。
（項目１０）
前記１つ以上のオブジェクトはそれぞれ、個別の属性のセットと関連付けられ、各属性は、個別のオブジェクトによって描写される前記乳房組織構造の特性を表す、項目８に記載の方法。
（項目１１）
前記属性のセットは、前記オブジェクトによって描写される個別の乳房組織構造の場所、サイズ、形状、および形態のうちの１つ以上のものを集合的に表す、項目１０に記載の方法。
（項目１２）
前記１つ以上のオブジェクトは、第１のオブジェクトタイプに対応する１つ以上のオブジェクトと、第２のオブジェクトタイプに対応する１つ以上のオブジェクトとを含む、項目８に記載の方法。
（項目１３）
前記第１のオブジェクトタイプは、微細石灰化および塊状物を含む異常乳房病変に対応し、前記第２のオブジェクトタイプは、乳首、胸筋筋肉、および乳房実質組織を含む正常乳房構造に対応する、項目１２に記載の方法。
（項目１４）
前記第１および第２のオブジェクトタイプのそれぞれのためのパターン認識方法を使用して、一方または両方のオブジェクトタイプが、前記患者の乳房組織を描写する前記画像データ内に存在するかどうかを決定することをさらに含む、項目１２または１３に記載の方法。
（項目１５）
前記パターン認識方法は、１つ以上の機械学習アルゴリズムを利用する、項目１４に記載の方法。
（項目１６）
前記高次元グリッド内の前記１つ以上の高次元オブジェクトのそれぞれの確率または信頼度は、少なくとも部分的に、前記１つ以上の高次元オブジェクトのそれぞれに割り当てられた加重に基づいて決定され、前記第１のオブジェクトタイプのオブジェクトに割り当てられた加重は、前記第２のオブジェクトタイプのオブジェクトに割り当てられた加重を上回る、項目１３－１５のいずれかに記載の方法。
（項目１７）
個別の１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成することは、前記第１のオブジェクトタイプに対応するオブジェクトを修正し、それによって、前記第２のオブジェクトタイプに対応するオブジェクトより強調することを含む、項目１６に記載の方法。
（項目１８）
前記１つ以上の高次元オブジェクトが前記表示される合成された画像上で重複する可能性が高いかどうかを決定することをさらに含む、項目１６または１７に記載の方法。
（項目１９）
前記１つ以上の高次元オブジェクトが前記合成された画像上で重複する可能性が高いことが決定される場合、前記重複する高次元オブジェクトの１つ以上の最も臨床上有意な特徴が表示されるように、前記重複する高次元オブジェクトの特徴を修正することをさらに含む、項目１８に記載の方法。
（項目２０）
前記１つ以上の高次元オブジェクトが前記合成された画像上で重複する可能性が高いことが決定される場合、最高加重を割り当てられた前記高次元オブジェクトのみを表示することをさらに含む、項目１８に記載の方法。
（項目２１）
前記１つ以上の高次元オブジェクトが重複する可能性が高いことが決定される場合、
重複する可能性が高い前記１つ以上の高次元オブジェクトのそれぞれの割り当てられた加重の差異を決定することと、
前記決定された差異が、閾値より低い場合、重複する可能性が高い前記１つ以上の高次元オブジェクトを表示することであって、前記１つ以上の高次元オブジェクトの特徴の修正は、より高い加重を割り当てられた前記高次元オブジェクトの少なくとも一部をより低い加重を割り当てられた前記高次元オブジェクトに対して強調することに関する、ことと
をさらに含む、項目１８に記載の方法。
（項目２２）
前記高次元データは、３次元データと等しいまたはより高い次元を備える、項目１－２１のいずれかに記載の方法。
（項目２３）
前記高次元データは、３次元トモシンセシス再構成スライスデータを備え、前記より低い次元のフォーマットバージョンは、２次元の合成された画像データを備える、項目２２に記載の方法。

本開示の発明のこれらおよび他の側面および実施形態は、付随の図と併せて、以下により詳細に説明される。

図面は、本開示の発明の実施形態の設計および有用性を図示するものであって、類似要素は、共通参照番号によって参照される。これらの図面は、必ずしも、正確な縮尺で描かれていない。前述および他の利点および目的がどのように得られたかをより理解するために、付随の図面に図示される実施形態のより具体的説明が、与えられる。これらの図面は、本開示の発明の典型的実施形態のみを描写し、したがって、その範囲を限定するものと見なされるものではない。

図１は、本開示の発明の実施形態による、例示的乳房画像入手および処理システムを通したデータのフローを図示する、ブロック図である。

図２は、３Ｄオブジェクトグリッドと、グリッドのオブジェクトを表示のための２Ｄフォーマットに低減させる、種々のモジュールとを採用する、２Ｄシンセサイザを通したデータのフローを図示する、ブロック図である。

図３は、重複オブジェクトを操作せずに、図２の３Ｄオブジェクトグリッドから形成される第１の合成された画像と、同一３Ｄオブジェクトグリッドから形成されるが、重複オブジェクトの操作を伴う、第２の合成された画像とを図示する。

図４Ａ－４Ｄは、オブジェクトを１つ以上の２Ｄの合成された画像上に組み合わせるための例示的技法を図示する。 図４Ａ－４Ｄは、オブジェクトを１つ以上の２Ｄの合成された画像上に組み合わせるための例示的技法を図示する。 図４Ａ－４Ｄは、オブジェクトを１つ以上の２Ｄの合成された画像上に組み合わせるための例示的技法を図示する。 図４Ａ－４Ｄは、オブジェクトを１つ以上の２Ｄの合成された画像上に組み合わせるための例示的技法を図示する。

図５は、３Ｄオブジェクトグリッドからのオブジェクトを２Ｄの合成された画像上に組み合わせるステップを描写する、例示的フロー図を図示する。

図６は、３Ｄオブジェクトグリッドを使用して１つ以上の２Ｄの合成された画像を生成するステップを描写する、例示的フロー図を図示する。

全ての数値は、本明細書では、明示的に示されるかどうかにかかわらず、用語「約」または「およそ」によって修飾されるものと仮定され、用語「約」および「およそ」は、概して、当業者が列挙される値と均等物である（すなわち、同一機能または結果を有する）と見なすであろう、数の範囲を指す。いくつかの事例では、用語「約」および「およそ」は、最近傍有効数字に丸められる数を含んでもよい。端点による数値範囲の列挙は、その範囲内の全数字を含む（例えば、１～５は、１、１．５、２、２．７５、３、３．８０、４、および５を含む）。

本明細書および添付の請求項において使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に文脈によって明確に示されない限り、複数参照も含む。本明細書および添付の請求項に使用されるように、用語「ｏｒ（または）」は、概して、別様に文脈によって明確に示されない限り、「ａｎｄ／ｏｒ（および／または）」を含む意味で採用される。付随の図において図示される本開示の発明の描写される実施形態を説明する際、具体的専門用語が、説明の明確化および容易化のために採用される。しかしながら、本特許明細書の開示は、そのように選択される具体的専門用語に限定されることを意図せず、各具体的要素は、同様に動作する全ての技術的均等物を含むことを理解されたい。さらに、異なる例証的実施形態の種々の要素および／または特徴は、本開示の範囲および添付の請求項内で可能である場合、相互に組み合わせる、および／または相互に代用され得ることを理解されたい。

本開示の発明の種々の実施形態は、図を参照して以下に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するためだけに意図されることに留意されたい。それらは、本発明の包括的説明または本開示の発明の範囲の限定として意図されるものではなく、添付の請求項およびその均等物によってのみ定義される。加えて、本開示の発明の図示される実施形態は、示される全側面または利点を有する必要はない。例えば、本開示の発明の特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、図示されない場合でも、任意の他の実施形態において実践されることができる。

以下に定義される用語および略語に関して、これらの定義は、異なる定義が請求項または本明細書のいずれかに与えられない限り、本特許明細書および付随の請求項全体を通して適用されるものとする。

「入手画像」は、患者の組織を可視化する際に生成された画像を指す。取得画像は、従来のマンモグラムにおけるように、患者の組織の両側に配置される放射線検出器に衝突する、放射線源からの放射線によって生成されることができる。

「再構成画像」は、複数の取得画像から導出されたデータから生成される画像を指す。再構成画像は、複数の取得画像内に含まれない取得画像をシミュレートする。

「合成画像」は、複数の取得および／または再構成画像から導出されたデータから生成される人工的画像を指す。合成画像は、取得および／または再構成画像からの要素（例えば、オブジェクトおよび領域）を含むが、必ずしも、可視化の間に取得され得る画像に対応しない。合成画像は、構成された分析ツールである。

「Ｍｐ」画像は、胸部の２次元（２Ｄ）投影画像であって、フラットパネル検出器または別の撮像デバイスによって取得されるようなデジタル画像と、表示（例えば、医療従事者に）、記憶（例えば、病院のＰＡＣＳシステムに）、および／または他の使用のためにそれを準備するための従来の処理後の画像との両方を包含する、従来のマンモグラムまたは造影増強マンモグラムである。

「Ｔｐ」画像は、同様に、２次元（２Ｄ）であるが、胸部と撮像Ｘ線の原点（典型的には、Ｘ線管の焦点）との間の個別のトモシンセシス角度において取得され、取得されたままの画像と、表示、記憶、および／または他の使用のために処理された後の画像データを包含する、画像である。

「Ｔｒ」画像は、例えば、米国特許第７，５７７，２８２号、第７，６０６，８０１号、第７，７６０，９２４号、および第８，５７１，２８９号（それらの開示は、参照することによって全体として本明細書に完全に組み込まれる）のうちの１つ以上のものに説明される様式において、トモシンセシス投影画像Ｔｐから再構成される再構成画像のタイプ（またはサブセット）であって、Ｔｒ画像は、ＴｐまたはＭｐ画像を取得するために使用される角度においてのみのではなく、任意の所望の角度における、スライスの投影Ｘ線画像に現れるであろうような胸部のスライスを表す。

「Ｍｓ」画像は、合成画像のタイプ（またはサブセット）であって、特に、頭尾方向（ＣＣ）または内外斜位方向（ＭＬＯ）画像等のマンモグラフィ画像をシミュレートする、合成２Ｄ投影画像を指し、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、またはそれらの組み合わせを使用して構成される。Ｍｓ画像は、医療従事者への表示のために、または病院または別の施設のＰＡＣＳシステムにおける記憶のために提供されてもよい。Ｍｓ画像を生成するために使用され得る方法の実施例は、上記に組み込まれる米国特許第７，７６０，９２４号および第８，５７１，２８９号に説明されている。

Ｔｐ、Ｔｒ、Ｍｓ、およびＭｐ画像データは、表示、さらなる処理、または記憶のために、個別の画像を記述するために十分な何らかの形態における情報を包含することを理解されたい。個別のＭｐ、Ｍｓ、Ｔｐ、およびＴｒ画像は、典型的には、表示に先立って、デジタル形態で提供され、各画像は、画素の２次元アレイにおいて各画素の特性を識別する情報によって定義される。画素値は、典型的には、胸部内の対応するボリュームのＸ線に対する個別の測定、推定、または計算された応答、すなわち、組織のボクセルまたはカラムに関する。好ましい実施形態では、トモシンセシス画像（ＴｒおよびＴｐ）およびマンモグラフィ画像（ＭｓおよびＭｐ）の幾何学形状は、米国特許第７，７０２，１４２号（本開示は、参照することによって全体として本明細書に組み込まれる）に説明されるように、共通座標系に整合される。別様に規定されない限り、そのような座標系整合は、本特許明細書の続く詳細な説明において説明される実施形態に関して実装されると仮定される。

用語「画像の生成」および「画像の伝送」とはそれぞれ、表示のための画像を説明するために十分な情報を生成および伝送することを指す。生成および伝送される情報は、典型的には、デジタル情報である。

エンドユーザに表示される合成された２Ｄ画像（例えば、Ｍｓ画像）が、最も臨床上関連する情報を含むことを確実にするために、乳房組織内の悪性乳房塊状物、腫瘍等の３次元（３Ｄ）オブジェクトを検出および識別することが必要である。本明細書に開示および説明される本発明によると、本情報は、合成された２Ｄ画像内の最も重要な特徴のより正確かつ増強されたレンダリングを作成することに役立つ、高次元グリッド、例えば、３Ｄグリッドを作成するために使用されてもよい。高次元オブジェクトグリッドは、次いで、識別されたオブジェクトに関する最も臨床上有意な情報を１つ以上の合成された２Ｄ画像上で２Ｄフォーマットに折り畳むために使用されてもよい。種々のデータ低減技法が、識別された３Ｄオブジェクトに適用され、最も臨床上有意なオブジェクトが、強調され、あまり有意ではないオブジェクトが、省略および／または強調解除されることを確実にしてもよい。加えて、または代替として、データ低減技法は、特に、２つのオブジェクトが、表示のために競合しており、１つ以上の２Ｄの合成された画像上で顕著であるとき、３Ｄオブジェクトの有意な特徴が、増強される一方、３Ｄオブジェクトのあまり有意ではない特徴が、強調解除されることを確実にするために適用される。したがって、本明細書に開示および説明されるように、３Ｄオブジェクトグリッドは、すなわち、アルゴリズムの構成要素として、高次元データ（例えば、３Ｄトモシンセシス画像データ）を低次元データ（例えば、２Ｄの合成された画像）に低減させるために利用される。

図１は、合成された画像生成、オブジェクト識別、およびディスプレイ技術のそれぞれを組み込む、例示的画像生成およびディスプレイシステム１００内のデータのフローを図示する。図１は、特定の連続順序で、または並行して生じる、あるプロセスを伴う、フロー図の特定の実施形態を図示するが、請求項および本明細書に説明される種々の他の実施形態は、そのように規定されない限り、任意の特定の順序における画像処理ステップの実施に限定されないことを理解されたい。

より具体的には、画像生成およびディスプレイシステム１００は、現在利用可能なシステムのいずれかの個別の３次元および／またはトモシンセシス入手方法を使用して、患者の乳房のＴｐ画像を生成するためのトモシンセシス画像データを入手する、画像入手システム１０１を含む。入手システムが、組み合わせられたトモシンセシス／マンモグラフィシステムである場合、Ｍｐ画像もまた、生成されてもよい。いくつかの専用トモシンセシスシステムまたは組み合わせられたトモシンセシス／マンモグラフィシステムは、旧来のマンモグラム画像（図１では、破線および凡例「Ｍｐ_{ｌｅｇａｃｙ}」によって示される）を受け取り、好ましくは、ＤＩＣＯＭ準拠写真アーカイブおよび通信システム（ＰＡＣＳ）記憶デバイスである、記憶デバイス１０２内に記憶するように適合されてもよい。入手に続いて、トモシンセシス投影画像Ｔｐもまた、記憶デバイス１０２に伝送されてもよい（図１に示されるように）。記憶デバイス１０２はさらに、エンドユーザに対して有意な３Ｄ画像パターンを識別するために使用され得る、既知の３Ｄオブジェクトのライブラリを記憶してもよい。他の実施形態では、別個の専用記憶デバイス（図示せず）が、３Ｄ画像パターンまたはオブジェクトを識別する、既知の３Ｄオブジェクトのライブラリを記憶するために使用されてもよい。

Ｔｐ画像は、上記に組み込まれる特許および出願に開示されるように、入手システム１０１または記憶デバイス１０２のいずれかまたは両方から、Ｔｐ画像を、選択された厚さの選択された配向における、乳房スライスを表す、再構成された画像「スライス」Ｔｒに再構成する、再構成エンジン１０３として構成される、コンピュータシステムに伝送される。

モードフィルタ１０７が、画像入手と画像ディスプレイとの間に配置される。フィルタ１０７は、加えて、個別の画像タイプのある側面を識別およびハイライトするように配列される、画像のタイプ（すなわち、Ｔｐ、Ｍｐ、およびＴｒ画像）毎に、カスタマイズされたフィルタを含んでもよい。このように、各撮像モードは、具体的目的のために、最適方法において調整または構成されることができる。例えば、種々の２Ｄ画像スライスを横断してオブジェクトを認識するためにプログラムされるフィルタが、特定の高次元オブジェクトに属し得る画像パターンを検出するために、適用されてもよい。調整または構成は、画像のタイプに基づいて、自動であってもよい、または、例えば、ディスプレイに結合されるユーザインターフェースを通して、手動入力によって定義されてもよい。図１の図示される実施形態では、モードフィルタ１０７は、個別の撮像モードで最良に表示される、画像の特定の特性をハイライトするように選択される、例えば、オブジェクトを識別する、塊状物または石灰化をハイライトする、３Ｄオブジェクトに構成され得る、ある画像パターンを識別する、または２Ｄの合成された画像（下記に説明される）を作成するために適合される。図１は、１つのみのモードフィルタ１０７を図示するが、任意の数のモードフィルタが、乳房組織内の着目構造を識別するために利用されてもよいことを理解されたい。

撮像およびディスプレイシステム１００はさらに、１つ以上のＴｐ、Ｍｐ、および／またはＴｒ画像の組み合わせを使用して、２Ｄの合成された画像を生成するための再構成エンジン１０３と実質的に並行して動作する、２Ｄ画像シンセサイザ１０４を含む。２Ｄ画像シンセサイザ１０４は、入力画像（例えば、Ｍｐ、Ｔｒ、および／またはＴｐ画像）のセットを取り込み、最も関連する特徴のセットを入力画像のそれぞれから決定し、１つ以上の合成された２Ｄ画像を出力する。合成された２Ｄ画像は、種々のスライスの有意な部分を１つの画像上に集約する、統合され、合成された画像を表す。これは、エンドユーザ（例えば、医療人員、放射線科医等）に、最も臨床上関連する画像データを効率的様式で提供し、有意なデータを有していない場合がある、他の画像上で費やされる時間を短縮する。

合成された２Ｄ画像内でハイライトするための関連画像データのあるタイプは、１つ以上のＭｐ、Ｔｒ、および／またはＴｐ画像を横断して見出される、関連オブジェクトであろう。単に、２Ｄ画像スライスのそれぞれ内の着目画像パターンを査定するのではなく、着目２Ｄ画像パターンのいずれかがより大きい高次元構造に属するかどうかを決定し、該当する場合、識別された２Ｄ画像パターンをより高い次元構造に組み合わせることが有用であり得る。本アプローチは、いくつかの利点を有するが、特に、乳房組織の種々のスライス／深度を横断して高次元構造を識別することによって、エンドユーザは、乳房の種々の２Ｄスライス内で容易に可視ではない場合がある、潜在的に有意な構造の存在に関してより詳しく知らされ得る。

さらに、２つの２Ｄスライス内の類似画像パターン（おそらく、相互に隣接する）を識別し、２Ｄスライスの一方または両方からの画像データをハイライトするかどうかを決定する代わりに、同一高次元構造に属するものとして画像パターンの両方を識別することは、システムが、構造の性質に関するより正確な査定を行い、その結果、有意により貴重である情報をエンドユーザに提供することを可能にし得る。また、高次元構造を識別することによって、構造は、合成された２Ｄ画像上でより正確に描写されることができる。乳房組織の種々の捕捉された２Ｄスライス内の高次元構造を識別するさらに別の利点は、識別されたより高い次元の構造の可能性として考えられるサイズ／範囲を識別するステップに関する。例えば、いったん構造が識別されると、高次元構造に幾分近接する、以前に顕著ではなかった画像パターンが、今度は、同一構造に属するものとして識別され得る。これは、エンドユーザに、高次元構造のサイズ／範囲が増加したことのインジケーションを提供し得る。

この目的を達成するために、２Ｄ画像シンセサイザ１０４は、患者の乳房組織内に存在する１つ以上の高次元構造（例えば、３Ｄオブジェクト）を備える、高次元オブジェクトグリッド１２０（例えば、３Ｄオブジェクトグリッド）を生成する。いくつかの技法が、乳房組織内の種々のオブジェクトを識別する、３Ｄオブジェクトグリッド１２０を構成するために使用されてもよい。本開示は、３Ｄオブジェクトおよび／または構造に限定されず、さらにより高い次元構造を参照し得るが、便宜上、残りの開示は、３Ｄオブジェクトグリッド１２０内にポピュレートされる３Ｄオブジェクトを参照するであろうことを理解されたい。

１つ以上の実施形態では、３Ｄオブジェクトグリッド１２０は、患者の乳房塊状物を表す、３Ｄ（立体）座標空間の形態であって、乳房塊状物に見出される任意のオブジェクトまたは構造の場所、識別、サイズ、範囲、および／または他の特性を識別する。そのようなオブジェクトまたは構造の実施例は、石灰化、有棘病変、良性腫瘍、不規則的塊状物、高密度オブジェクト等を含む。

１つ以上の実施形態では、エンドユーザ（例えば、放射線科医等の医療従事者）は、３Ｄオブジェクトグリッド１２０にアクセスし、それと相互作用することができる。他の実施形態では、３Ｄオブジェクトグリッド１２０は、合成された２Ｄ画像を構成するために、システムプロセッサによってのみ使用され、エンドユーザは、３Ｄオブジェクトグリッド１２０を認知しない、またはそこへのアクセスを有していなくてもよい。

本開示の実施形態による、２Ｄ画像シンセサイザ１０４はまた、３Ｄオブジェクトグリッド１２０内にポピュレートされる高次元データを２Ｄの合成された画像内の表現に好適なより低い次元のフォーマットに低減させるように構成される、データ低減モジュール１２２を含む。データ低減モジュール１２２は、３Ｄオブジェクトグリッド１２０の種々のオブジェクトを評価し、エンドユーザに表示されるべき最終の２Ｄの合成された画像内で増強または強調されるべきオブジェクト（またはオブジェクトの一部）を決定する。例えば、臨床上有意なオブジェクトおよびルーチン背景乳房組織オブジェクトは、重複領域を有し得、その場合、データ低減モジュール１２２は、好ましくは、臨床上有意なオブジェクトをハイライトするために、背景乳房組織の部分を強調解除するように構成される。データ低減モジュール１２２によって採用され得る、種々のデータ低減技法に関するさらなる詳細は、下記に説明される。

合成された２Ｄ画像は、ディスプレイシステム１０５において視認されてもよい。再構成エンジン１０３および２Ｄ画像シンセサイザ１０４は、好ましくは、高速伝送リンクを介して、ディスプレイシステム１０５に接続される。ディスプレイシステム１０５は、標準的入手ワークステーション（例えば、入手システム１０１）または入手システム１０１から物理的に遠隔の標準的（マルチディスプレイ）精査ステーション（図示せず）の一部であってもよい。いくつかの実施形態では、通信ネットワークを介して接続されるディスプレイ、例えば、パーソナルコンピュータ、または、いわゆるタブレット、スマートフォン、もしく他のハンドヘルドデバイスのディスプレイが、使用されてもよい。いずれの場合も、システムのディスプレイ１０５は、好ましくは、並行して、例えば、精査ワークステーションの別個の隣り合わせのモニタ内に個別のＭｓ、Ｍｐ、Ｔｒ、および／またはＴｐ画像を表示可能であるが、本発明は、依然として、画像間をトグルすることによって、単一ディスプレイモニタとともに実装されてもよい。

したがって、限定ではなく、例証目的のために説明される、撮像およびディスプレイシステム１００は、トモシンセシス投影画像Ｔｐ、トモシンセシス再構成画像Ｔｒ、合成されたマンモグラム画像Ｍｓ、および／またはマンモグラム（コントラストマンモグラムを含む）画像Ｍｐ、またはこれらの画像タイプの任意の１つまたは副次的組み合わせを受信し、選択的に表示することが可能である。システム１００は、トモシンセシス画像Ｔｐを画像Ｔｒに変換する（すなわち、再構成する）ためのソフトウェアと、マンモグラム画像Ｍｓを合成するためのソフトウェアと、３Ｄオブジェクトを分解するためのソフトウェアと、特徴マップおよびオブジェクトマップを作成するためのソフトウェアとを採用する。ソース画像内の着目オブジェクトまたは特徴は、１つ以上のアルゴリズムおよび／またはヒューリスティックとともに、オブジェクトマップの適用に基づく、２Ｄの合成された画像内への含有のための「最も関連する」特徴と見なされ得、アルゴリズムは、数値、加重、または閾値を、個別の領域内または特徴間の識別された／検出された着目オブジェクトおよび特徴に基づいて、個別のソース画像のピクセルまたは領域に割り当てる。着目オブジェクトおよび特徴は、例えば、有棘病変、石灰化、および同等物を含んでもよい。

図２は、２Ｄ画像シンセサイザ１０４をさらに詳細に図示する。上記に議論されるように、トモシンセシスデータセット（または「スタック」）２０２（例えば、患者の乳房組織のフィルタ処理および／またはフィルタ未処理Ｍｐ、Ｔｒ、および／またはＴｐ画像）の種々の画像スライス２１８が、２Ｄ画像シンセサイザ１０４に入力され、次いで、処理され、ディスプレイ１０５上に表示されるであろう合成された２Ｄ画像内でハイライトするための画像の部分を決定する。画像スライス２１８は、患者の乳房組織の連続して捕捉された断面であってもよい。または、画像スライス２１８は、既知の間隔で捕捉された患者の乳房組織の断面画像であってもよい。画像スライス２１８を備える、トモシンセシス画像スタック２０２は、２Ｄ画像シンセサイザ１０４に転送されてもよく、これは、（１）１つ以上の２Ｄの合成された画像内への可能性として考えられる含有のために、種々のタイプのオブジェクト（Ｔｒ）を識別すること、および／または（２）識別されたオブジェクトを含有する、画像内の個別のピクセル領域を識別することのために、ソース画像のそれぞれを評価する。

図示される実施形態に示されるように、トモシンセシススタック２０２は、患者の乳房組織の種々の深度／断面で撮影された複数の画像２１８を備える。トモシンセシススタック２０２内の画像２１８のいくつかは、２Ｄ画像パターンを備える。したがって、トモシンセシススタック２０２は、スタックの画像内に種々の画像パターンを含有する、多数の入力画像を備える。

例えば、トモシンセシススタック２０２は、患者の乳房組織の種々の深度／断面で捕捉された１００枚の画像２１８を備えてもよいが、画像２１８の数枚のみが、任意の有意性の情報を含み得る。また、トモシンセシススタック２０２は、画像スライス２１８内のそうでなければ同一ｘ、ｙ場所の異なるｚ－次元（深度）場所で視認されるとき、２Ｄ画像パターンを含有するが、それぞれ乳房組織の有限断面画像を表す、種々の個々の画像にのみに基づいて、３Ｄ構造を決定することは、困難であり得ることに留意されたい。しかしながら、トモシンセシススタック２０２は、３Ｄオブジェクトグリッド１２０を作成するために効果的に利用され得る。いずれの場合も、本特許明細書の目的のために、３Ｄオブジェクトグリッド１２０は、限定ではないが、トモシンセシススタック２０２から作成されることを含む、任意の手段によって構成されると仮定される。

３Ｄオブジェクトグリッド１２０は、患者の乳房塊状物を表す、３Ｄ立体座標空間と見なされ得る。２Ｄ画像パターンを種々の画像スライスに描写するのではなく、３Ｄオブジェクトグリッド１２０は、好ましくは、任意の識別された３Ｄオブジェクトを患者の乳房組織を表す、塊状物全体（またはその一部）内に描写する。３Ｄオブジェクトグリッド１２０は、トモシンセシススタック２０２と比較して、乳房塊状物内の種々のオブジェクトに関するさらなる詳細を提供する。例えば、３Ｄオブジェクトグリッド１２０は、画像スライスが、必ずしも、個別の３Ｄオブジェクトを被覆する全ての断面深度において再構成されていない場合がある、シミュレーション技法を使用して、３Ｄオブジェクトの形状を推測してもよい。

３Ｄオブジェクトグリッド１２０は、図示される実施形態に示されるように、１つ以上のオブジェクトを備えてもよい。これらのオブジェクトは、システムが識別するために訓練されている、事前決定されたオブジェクトであり得ることを理解されたい。しかしながら、必ずしも、任意の異常オブジェクトまたは構造を備えていない、健康な乳房組織においてさえ、標的オブジェクト認識／増強モジュールは、乳房背景オブジェクトを識別してもよい。例えば、全ての乳房線形組織および密度組織構造は、乳房背景オブジェクトとして表示されることができる。他の実施形態では、球状形状、卵形形状等の「健康な」オブジェクトは、単に、１つ以上の標的オブジェクト認識／増強モジュール２１０を通して識別されてもよい。これらの識別された３Ｄオブジェクトは次いで、２Ｄの合成された画像２０６上に表示されてもよい。当然ながら、下記にさらに詳細に議論されるであろうように、個別のオブジェクトを２Ｄの合成された画像上に表示するとき、全ての識別された２Ｄオブジェクトから、より臨床上有意なオブジェクトが、優先および／または増強されてもよい。

１つ以上の実施形態では、２Ｄシンセサイザ１０４は、関連特徴を１つ以上の２Ｄの合成された画像２０６にマージするために、トモシンセシス画像スタック２０２とともに、作成された３Ｄオブジェクトグリッド１２０の両方を利用する。２Ｄの合成された画像に示されるように、３Ｄオブジェクトグリッド１２０内で識別された３Ｄオブジェクトは、２Ｄフォーマットに折り畳まれるが、トモシンセシス画像スタック２０２の個々の画像スライスと比較して、さらなる詳細を提供する。さらに、いくつかのオブジェクトは、トモシンセシス画像スタック２０２に示されるように、ｚ方向に重複するが、それらを別個の３Ｄオブジェクトとして識別することは、システムが、オブジェクトを明確かつ効率的にの両方で描写することを可能にする。単に、旧来の画像認識技法をトモシンセシス画像スタック２０２上で利用することは、そのような正確な合成された２Ｄ画像２０６を提供する場合と必ずしもそうではない場合がある。説明するために、２つの構造のｚ方向に重複が存在する場合、２つの構造は、本質的に、２Ｄの合成された画像２０６上での表示のために、相互に競合している。したがって、両構造の重要な側面は、折衷されてもよい。または、２つの構造のうちの１つのみが、２Ｄの合成された画像２０６内で完全にハイライトされてもよい。または、さらに別のシナリオでは、２Ｄの合成された画像は、重要な構造がエンドユーザにとって完全に検出不可能であるように、両構造を１つの不定形構造として描写してもよい。

３Ｄオブジェクトを３Ｄオブジェクトグリッド１２０内で事前に画定されたタイプを伴う別個のオブジェクトとして識別することは、システムが、構造を２Ｄの合成された画像２０６上でより正確に描写することを可能にし、座標空間内に種々のオブジェクトの重複が存在する場合でも、種々のオブジェクトが同時に描写されることを可能にすることを理解されたい。したがって、３Ｄオブジェクトグリッド１２０を利用することは、より正確かつ視覚的に効果的２Ｄの合成された画像２０６を生産するために、多くの利点を有する。

１つ以上の実施形態では、トモシンセシススタック２０２および３Ｄオブジェクトグリッド１２０からのデータは、１つ以上のモジュールによって処理され、２Ｄの合成された画像２０６を生産する。より具体的には、オブジェクト組み合わせモジュール２１０が、３Ｄオブジェクトグリッド１２０の種々のオブジェクトを識別し、全てのオブジェクトを２Ｄ平面／フォーマット上に折り畳むための最も最適な方法を決定するように構成されてもよい。例えば、オブジェクト組み合わせモジュール２１０は、複数のオブジェクトに関するｘおよびｙ座標を決定し、２Ｄの合成された画像２０６上に表示されるための複数のオブジェクト間に重複が存在するかどうかを決定してもよい。いくつかの実施形態では、オブジェクト組み合わせモジュール２１０はさらに、２Ｄの合成された画像２０６上に表示されるべき識別されたオブジェクトを決定するように構成されてもよい。これは、種々のオブジェクトの識別および個別のオブジェクトの関連付けられた加重を記憶する、訓練（または「学習ライブラリ」タイプ）データベース２１６を通して達成されてもよい。訓練データベースは、システムが、同一タイプのオブジェクトの種々のサンプルを含むように成長するであろう、本データベースから、３Ｄオブジェクトモデルおよび（続いて）検出機構を導出するにつれて、各新しい特許乳房画像データの処理に伴って、より知識豊富になる。

３Ｄオブジェクトが検出された後、次のステップは、２Ｄ画像を合成する際、本同一知識を利用することである。多くの異なるタイプ（またはカテゴリ）の３Ｄオブジェクトが存在し得るため、加重機構が、オブジェクトを合成／データ低減プロセスにおいて組み合わせることに役立つ。例えば、高密度球状オブジェクトは、高密度球状オブジェクトが、石灰化と比較して、より大きい程度まで増強され得るように、石灰化より高く加重されてもよい（図示される実施形態では、それぞれ、０．９５および０．６に加重される）。オブジェクトの加重が、ゼロに近い場合、オブジェクト組み合わせモジュール２１０は、いくつかの実施形態では、オブジェクトが全く表示される必要はないことを決定してもよい。

１つ以上の実施形態では、画像詳細合成モジュール２１２は、２Ｄの合成された画像２０６内で強調されるべき３Ｄオブジェクト内の３Ｄオブジェクトまたは面積を決定するように構成されてもよい。例えば、２つのオブジェクト間に重複が存在する場合、画像詳細合成モジュール２１２は、両オブジェクトが２Ｄの合成された画像上で明確に視認可能であるように、両オブジェクトの一部を強調し、両オブジェクトの他の部分を強調解除してもよい。両オブジェクトの側面を操作することによって、エンドユーザは、両オブジェクトを明確に識別することが可能であり得る。本操作を伴わない場合、両オブジェクトは、１つのオブジェクトが、単に、マスクされ、エンドユーザによって見逃され得るように、単に、相互の上にオーバーレイされ得ることを理解されたい。

例えば、３Ｄオブジェクトグリッド１２０は、ｚ方向に重複する、石灰化面積および有棘病変を含み得る。任意の特別に設計された画像合成を伴わない場合、有棘病変の折り畳まれた２Ｄフォーマットおよび石灰化の折り畳まれた２Ｄフォーマットは、相互の上に表示されるであろう。有棘塊状物がより大きいと仮定すると、有棘塊状物は、エンドユーザに不可視であるように、石灰化を完全に封入し得る。代わりに、画像詳細合成モジュール２１２は、石灰化面積が可視であるように、有棘塊状物の中心部分の輪郭を強調する一方、有棘塊状物の中央部分を強調解除してもよい。本画像操作は、エンドユーザに、２Ｄの合成された画像２０６上での有意なオブジェクトのよりクリアな写真を可能にする。下記に説明される、図３は、本システム特徴をさらに詳細に図示する。

いくつかの実施形態では、画像詳細合成モジュール２１２は、オブジェクトデータベース２１６に基づいて強調／強調解除するためのオブジェクトの部分を決定するルールでプログラムされる、いくつかのアルゴリズムおよび／またはヒューリスティックを備えてもよい。例えば、データベース２１６内の各オブジェクトは、個別のオブジェクトの最も顕著および最も顕著ではない特徴を画定する、メタデータに対応してもよい。本メタデータは、種々のアルゴリズムによって、２Ｄの合成された画像２０６内で強調するためのオブジェクトおよび／またはオブジェクトの一部を決定するために使用されてもよい。別の実施例として、２つの重複オブジェクトの間の加重の差異が、両オブジェクトが表示されるべきかどうかを決定するために計算されてもよい。加重の差異が、所定の閾値より小さい場合、両オブジェクトが、表示されてもよいが、割り当てられた加重は、２つのオブジェクトのうちのいずれを他方より強調すべきかを決定するために使用されてもよい。しかしながら、加重の差異が、所定の閾値より大きい場合、より高い加重に対応するオブジェクトのみが、完全に表示されてもよい。例えば、高密度球状塊状物および石灰化面積が、表示のために競合しており、（図示される実施形態に従って、０．３５の加重差異）、閾値が、０．４に設定される場合、両オブジェクトは、表示されてもよいが、有棘塊状物（または有棘塊状物の一部）は、石灰化面積に対して強調されてもよい。しかしながら、有棘塊状物および良性半球状塊状物が、重複する場合（図示される実施形態に従って、０．６５の加重差異）、高密度球状塊状物のみが、完全に表示されてもよい。他のルールが、システムが、オブジェクトまたはその一部を修正することを可能にするように定義されてもよい。

上記（および図１）に述べられたように、２Ｄ画像シンセサイザ１０４はさらに、データ入力を個別の画像詳細合成モジュール２１２およびオブジェクト組み合わせモジュール２１０から受信し、その中で識別された任意の３Ｄオブジェクトを、２Ｄの合成された画像２０６の中に挿入され得る、低レベル２Ｄフォーマットに低減させるように構成される、データ低減エンジン１２２を含む。特に、本明細書にさらに詳細に説明されるように、データ低減エンジン１２２は、画像詳細合成モジュール２１２、データベース２１６、およびオブジェクト組み合わせモジュール２１０から受信された入力に基づいて、３Ｄオブジェクトグリッド１２０の識別された高次元オブジェクトを２Ｄフォーマットに正確に低減させる。

図３は、３Ｄオブジェクトグリッドが２Ｄの合成された画像を生成するために利用され得る方法の実施例を描写する。図示される実施形態では、３Ｄオブジェクトグリッド３０４は、少なくとも２つの３Ｄオブジェクト、すなわち、有棘塊状物３１０および石灰化面積３１２を含む。データベースを調べるとき、オブジェクト組み合わせモジュールは、両オブジェクトが、２Ｄの合成された画像内に表示するために重要であって、有棘塊状物３１０が石灰化より有意であることを決定し得る。しかしながら、両３Ｄオブジェクト３１０および３１２が、ｚ方向に重複するため、画像は、両オブジェクトが、依然として、２Ｄの合成された画像上に最適に表示されるように、操作される必要があり得る。特に、２Ｄの合成された画像３０６は、本開示に説明される任意の画像操作技法を使用しない、合成された画像を表示する。２Ｄの合成された画像３０６に示されるように、３Ｄオブジェクト３１０および３１２は両方とも、表示されるために競合しており、オブジェクトのいずれも、あまり明確に表示されない。より具体的には、石灰化３１２は、２Ｄの合成された画像３０６内で辛うじて可視である。

対照的に、２Ｄの合成された画像３０８を参照すると、図２に関して説明される技法が、両オブジェクトが２Ｄの合成された画像内で明確に判別可能であるように、強調および強調解除されるべき個別の３Ｄオブジェクトの部分を決定するために利用される。より具体的には、有棘塊状物３１０は、石灰化３１２より有意であるが、有棘塊状物３１０の中心部分は、石灰化面積が明確に可視であるように、若干強調解除される。同様に、中心部分から放射状に広がる直線は、エンドユーザが有棘塊状物のサイズまたは範囲を理解するように、強調されるべきことが決定され得る。有棘塊状物３１０に対応する修正された画像に照らして、石灰化３１２は、両オブジェクトが重複する場合でも、今度は可視である。したがって、図３に示されるように、２Ｄの合成された画像３０８は、２Ｄの合成された画像３０６と比較して、両３Ｄオブジェクト３１０および３１２についてのさらなる詳細を提供する。

図４Ａ－４Ｄは、臨床上有意な情報を保存しながら、３Ｄオブジェクトグリッドの種々のオブジェクトを表示するステップの例示的実施形態を描写する。特に、２Ｄの合成された画像への３Ｄオブジェクトの畳み込みは、臨床上有意な情報を可能な限り多く表示するように協働する、個別のオブジェクト組み合わせモジュール、画像合成モジュール、およびデータ低減モジュールによって達成されてもよい。

図４Ａは、オブジェクト内組み合わせの例示的実施形態を示す。オブジェクト内組み合わせは、（複数のＴｒ画像スライス４０４上で捕捉された）単一オブジェクトを２Ｄの合成された画像上に表すために使用される、技法を指し得る。より具体的には、識別された３Ｄオブジェクトは、４０８ａ、４０８ｂ、および４０８ｃとして、多くの連続Ｔｒ画像スライス内に現れ得る。理論上、これらの画像パターンは、２Ｄの合成された画像上での表現のために、相互に競合する。したがって、オブジェクト内組み合わせは、全ての画像スライスが同一３Ｄオブジェクトに属することを認識し、３Ｄオブジェクトに関する関連情報のみを２Ｄの合成された画像４０６上に示すことを要求する。着目すべきこととして、図４Ａに示されるように、システムは、Ｔｒスタック４０４からの全ての画像パターン４０８ａ、４０８ｂ、および４０８ｃが、同一３Ｄオブジェクトに属することを決定し得、それらが１つのオブジェクト４１０として２Ｄの合成された画像４０６内に現れるように、それらをともに折り畳み得る。１つ以上の実施形態では、平均化、ＭＩＰ（最大強度投影）、フィルタリング等の技法が、オブジェクト内組み合わせのために使用されてもよい。オブジェクト内組み合わせ技法は、画像スライスのいずれかからの貴重な情報を失わずに、３Ｄオブジェクトの構造を保存しながら、貴重な情報を提供しない複数の画像スライスからの競合する情報を最小限にし、および／またはエンドユーザを視覚的に混乱させないことを目的とする。

図４Ｂは、オブジェクト対背景組み合わせの例示的実施形態を図示する。オブジェクト対背景組み合わせは、自然に見える２Ｄの合成された画像を作成するために重要であり得る。本技法の目標は、オブジェクトからの有用な情報とともに、乳房組織を表す有意義な背景情報を維持することである。図示される実施形態では、Ｔｒスタック４１４は、２つのＴｒ画像スライスを備える。第１の画像スライスは、背景画像パターン４１２を備える。第２の画像スライスは、オブジェクト４１１またはオブジェクトの一部を備える。Ｔｒスタック４１４からの情報を２Ｄの合成された画像４１６に畳み込む際、両画像スライスのいくつかの側面が、強調される一方、他の側面は、強調解除される。例えば、２Ｄの合成された画像４１６では、オブジェクト４１１は、保存され、背景４１２もまた、レンダリングされるが、背景４１２の中央部分は、強調解除される。

図４Ｃは、重複を伴わない、オブジェクト間組み合わせの例示的実施形態を図示する。図示される実施形態では、Ｔｒスタック４２４は、２つのＴｒ画像スライスを備える。１つのＴｒ画像スライスは、オブジェクト４２２を備え、他のＴｒ画像スライスは、オブジェクト４２１を備える。図示される実施形態に示されるように、これらのオブジェクトは、ｚ方向に重複しない。したがって、両オブジェクトを２Ｄの合成された画像４２６上に畳み込むとき、両オブジェクト４２１および４２２は、その個別のｘ－ｙ場所に明確に表される。

図４Ｄは、重複を伴う、オブジェクト間組み合わせの例示的実施形態を図示する。本技法は、２つ以上のオブジェクトがある程度まで重複するとき、実施されてもよい。２つのオブジェクトは、同一タイプまたは異なるタイプであってもよい。オブジェクトの重複の場合、階層式アプローチが、他方より優先度を与えられるべきオブジェクトを決定するために使用されてもよい。例えば、より高い加重が、第１のオブジェクトに割り当てられる場合、第１のオブジェクトは、２Ｄの合成されたオブジェクト内で強調されてもよい一方、第２のオブジェクト（または第２のオブジェクトの一部）は、強調解除されてもよい。または、両オブジェクトが、等しくまたはほぼ等しく重要である場合、両オブジェクトは、それらが重複する場合でも、等しく表されてもよい（かつ両オブジェクトの一部は、両オブジェクトが合成された２Ｄ画像内でクリアであるように、強調される／強調解除されてもよい）。

図示される実施形態では、Ｔｒ画像スタック４３４は、２つのＴｒ画像スライスを備える。１つのＴｒ画像スライスは、オブジェクト４３２を備え、他のＴｒ画像スライスは、オブジェクト４３１を備える。図示される実施形態に示されるように、これらのオブジェクトは、ｚ方向に重複する。したがって、オブジェクトを２Ｄの合成された画像４３６上に折り畳むとき、両オブジェクト４３１および４３２が、表されるが、重複して示される。両オブジェクトに割り当てられた加重に応じて、一方のオブジェクトは、ハイライトされ、他方は、強調解除され得る。図示される実施形態では、両オブジェクトは、それらが２つの別個のオブジェクトを表すことが明白である場合でも、幾分等しく表される。他の実施形態では（図示せず）、オブジェクト４３１が、より高い加重／優先順位を割り当てられる場合、オブジェクト４３１は、前景において強調されてもよい一方、オブジェクト４３２は、背景に退けられてもよい。同様に、他の組み合わせ技法も、臨床上有意な情報をエンドユーザに最適に表すために利用されてもよい。

図５は、複数のＴｒ画像からの情報を２Ｄの合成された画像に畳み込むステップの例示的実施形態を描写する。特に、Ｔｒ画像スタック５０４は、図２に示される３Ｄグリッドに類似する３Ｄオブジェクトグリッドを作成するために使用されてもよい。Ｔｒスタック５０４は、２つの石灰化面積５１０および５１２と、有棘塊状物５１４と、球状塊状物５１６とを含む、４つの明確に異なるオブジェクトを図示する。上記に詳細に議論されるように、これらの４つのオブジェクトを別個かつ明確に異なるオブジェクトとして識別することは、システムが、オブジェクトを２Ｄの合成された画像５０６上に全体として正確に描写することを可能にする。図示される実施形態では、有棘塊状物５１４は、最も顕著に示される一方、石灰化および球状塊状物５１６は、それほど強調されない。これは、エンドユーザが、あまり有意ではないオブジェクトで圧倒されることなく、２Ｄの合成された画像の最も臨床上有意な部分を容易に識別することを可能にする。

図６は、本開示の発明の一実施形態に従って行われる画像マージプロセスにおいて実施され得る例示的ステップを図示するために提供される、フロー図６００である。ステップ６０２では、画像データセットが、入手される。画像データセットは、トモシンセシス入手システム、組み合わせトモシンセシス／マンモグラフィシステムによって、または画像ディスプレイデバイスに対してローカルまたは遠隔で位置するかどうかにかかわらず、記憶デバイスから既存の画像データを読み出すことによって入手されてもよい。ステップ６０４では、３Ｄオブジェクトグリッドは、患者の乳房組織を表す３Ｄ座標空間内に存在する、種々のオブジェクトを識別することによって構成されてもよい。ステップ６０６では、３Ｄオブジェクトグリッド内のオブジェクトが、認識され、オブジェクトのそれぞれの相対的加重／優先順位が、決定される。上記に議論されるように、いくつかの実施形態では、３Ｄオブジェクトグリッドの全てのオブジェクトが、いくつかのオブジェクトが他方より強調されて表示されてもよい。他の実施形態では、認識されるオブジェクトのサブセットのみが、完全に表示されてもよい一方、あまり有意ではないオブジェクトは、省略される。

例えば、１つのオブジェクトが、別のオブジェクトと比較して、はるかに臨床上有意であることが決定され得る。または、２つの重複オブジェクトが等しく有意であることが決定され得る。この場合、１つのオブジェクトを別のオブジェクトよりハイライトするのではなく、両オブジェクトを視覚的に描写することを目的とするアルゴリズムが、最適には、利用されてもよい。ステップ６０８では、オブジェクトの相対的加重／優先順位に基づいて、３Ｄオブジェクトは、２Ｄフォーマットに低減され、２Ｄの合成された画像を作成し得る。本低減プロセスは、いくつかの実施形態では、１つのオブジェクトを別オブジェクトよりハイライトし得る。他の実施形態では、低減プロセスは、オブジェクトの輪郭をハイライトしながら、オブジェクトの内部を強調解除し得る。

さらに別の実施形態では、低減プロセスは、有意であると見なされる１つ以上の特徴を強調しながら、同一オブジェクトのあまり有意ではない側面を強調解除し得る。例えば、有棘病変の場合、有棘塊状物の中心から発出する血液供給線を表示することが重要であり得るが、有棘塊状物の中心は、高密度である場合でも、より少ない強調を伴って表示され得る。任意の数のそのような増強技法が、データ低減プロセスにおいて使用されてもよい。ステップ６１０では、合成された２Ｄ画像が、エンドユーザに表示される。

例示的実施形態が説明されたが、前述され、付随の図に描写される実施例は、例証にすぎず、他の実施形態および実施例もまた、添付の請求項の範囲内に包含されることを理解されたい。例えば、付随の図に提供される流れ図は、例示的ステップの例証であるが、全体的画像マージプロセスは、当技術分野において公知の他のデータマージ方法を使用して、種々の様式で達成されてもよい。システムブロック図も同様に、機能的境界を図示する、代表にすぎず、本開示の発明の要件の限定として見なされるものではない。また、種々の変更および修正が、以下の請求項およびその均等物によってのみ定義されるものとする、本開示の発明の範囲から逸脱することなく、描写および／または説明される実施形態（例えば、種々の部品の次元）に行われてもよいことが、当業者に理解されるであろう。故に、明細書および図面は、制限的意味ではなく、例証として見なされるものとする。

Claims (14)

1. 乳房組織画像データを処理するための方法であって、
   患者の乳房組織の画像データを処理し、高次元グリッドを生成することであって、前記患者の乳房組織内の１つ以上の高次元オブジェクトが、前記高次元グリッドに描写されている、ことと、
   前記高次元グリッドに描写されている前記１つ以上の高次元オブジェクトのそれぞれのための強調のレベルを決定することであって、前記高次元グリッド内の前記１つ以上の高次元オブジェクトのそれぞれのための前記強調のレベルは、前記１つ以上の高次元オブジェクトのそれぞれに割り当てられた加重に少なくとも部分的に基づいて決定され、前記１つ以上の高次元オブジェクトに割り当てられた前記加重は、オブジェクトタイプに基づく、ことと、
   前記１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成することと
   を含む、方法。
2. 前記患者の乳房組織の画像データを処理することは、前記患者の乳房組織を集合的に描写する画像スライスのセットを生成することを含み、前記高次元グリッドは、前記画像スライスのセットに少なくとも部分的に基づいて生成される、請求項１に記載の方法。
3. 前記１つ以上の高次元オブジェクトの前記より低い次元のフォーマットバージョンが、前記患者の乳房組織を集合的に描写する画像スライスのセットのうちの１つの画像スライス内の前記１つ以上の高次元オブジェクトと前記画像スライスのセットのうちの別の画像スライス内の前記１つ以上の高次元オブジェクトとの組み合わせに少なくとも部分的に基づく、または、
   前記１つ以上の高次元オブジェクトが、２つ以上の高次元オブジェクトであり、前記２つ以上の高次元オブジェクトの前記より低い次元のフォーマットバージョンが、前記２つ以上の高次元オブジェクトのうちの１つの高次元オブジェクトと前記２つ以上の高次元オブジェクトのうちの別の高次元オブジェクトとの組み合わせに少なくとも部分的に基づく、または、
   前記１つ以上の高次元オブジェクトの前記より低い次元のフォーマットバージョンが、前記１つ以上の高次元オブジェクトと背景を組み合わせることに少なくとも部分的に基づく、請求項１～２のいずれかに記載の方法。
4. 前記１つ以上の高次元オブジェクトの前記より低い次元のフォーマットバージョンを前記患者の乳房組織の合成された２次元画像内に表示することをさらに含む、請求項１～３のいずれかに記載の方法。
5. 前記１つ以上の高次元オブジェクトは、正常および／または異常乳房組織構造を描写する、請求項１～４のいずれかに記載の方法。
6. 前記１つ以上の高次元オブジェクトが、乳房実質組織構造全体を集合的に表す複数のオブジェクトを備える、または、
   前記１つ以上の高次元オブジェクトがそれぞれ、個別の属性のセットと関連付けられ、各属性が、個別の１つ以上の高次元オブジェクトによって描写される前記乳房組織構造の特性を表す、または、
   前記１つ以上の高次元オブジェクトが、第１のオブジェクトタイプに対応する１つ以上のオブジェクトと、第２のオブジェクトタイプに対応する１つ以上のオブジェクトとを含む、請求項１～５のいずれかに記載の方法。
7. 前記属性のセット内の属性は、前記１つ以上の高次元オブジェクトによって描写される個別の乳房組織構造の場所、サイズ、形状、および形態のうちの１つ以上を含む、請求項６に記載の方法。
8. 前記第１のオブジェクトタイプは、微細石灰化および塊状物を含む異常乳房病変に対応し、前記第２のオブジェクトタイプは、乳首、胸筋筋肉、および乳房実質組織を含む正常乳房構造に対応する、請求項６～７のいずれかに記載の方法。
9. 前記第１および第２のオブジェクトタイプのそれぞれのためのパターン認識方法を使用して、一方または両方のオブジェクトタイプが、前記患者の乳房組織を描写する前記画像データ内に存在するかどうかを決定することをさらに含む、請求項６～８のいずれかに記載の方法。
10. 前記パターン認識方法は、１つ以上の機械学習アルゴリズムを利用する、請求項９に記載の方法。
11. 前記第１のオブジェクトタイプのオブジェクトに割り当てられた加重は、前記第２のオブジェクトタイプのオブジェクトに割り当てられた加重を上回る、請求項６～１０のいずれかに記載の方法。
12. 個別の１つ以上の高次元オブジェクトのより低い次元のフォーマットバージョンを生成することは、前記第１のオブジェクトタイプに対応するオブジェクトを修正し、それによって、前記第２のオブジェクトタイプに対応するオブジェクトより強調することを含む、請求項６～１１のいずれかに記載の方法。
13. （ａ）前記１つ以上の高次元オブジェクトの前記より低い次元のフォーマットバージョンを前記患者の乳房組織の合成された２次元画像内に表示すること、および、（ｂ）前記１つ以上の高次元オブジェクトが前記合成された２次元画像上で重複する可能性が高いことが決定される場合、前記重複する高次元オブジェクトの１つ以上の最も臨床上有意な特徴が表示されるように、前記重複する高次元オブジェクトの特徴を修正すること、または、前記１つ以上の高次元オブジェクトが前記合成された２次元画像上で重複する可能性が高いことが決定される場合、最高加重を割り当てられた前記高次元オブジェクトのみを表示することをさらに含む、請求項１２に記載の方法。
14. 第１のオブジェクトタイプのオブジェクトが第２のオブジェクトタイプのオブジェクトと重複する可能性が高いことが決定される場合、
    前記第１のオブジェクトタイプのオブジェクトおよび前記第２のオブジェクトタイプのオブジェクトのそれぞれの割り当てられた加重の差異を決定することと、
    前記決定された差異が閾値より低い場合、前記第１のオブジェクトタイプのオブジェクトおよび前記第２のオブジェクトタイプのオブジェクトを表示することであって、前記１つ以上の高次元オブジェクトの特徴の修正は、より高い加重を割り当てられた前記第１のオブジェクトタイプのオブジェクトの少なくとも一部を、より低い加重を割り当てられた前記第２のオブジェクトタイプのオブジェクトに対して強調することに関する、ことと
    を行うことをさらに含む、請求項１～１２のいずれかに記載の方法。

Images