JP2023182681A - モノスコピック放射線画像と3次元モデルの登録方法およびシステム - Google Patents
モノスコピック放射線画像と3次元モデルの登録方法およびシステム Download PDFInfo
- Publication number
- JP2023182681A JP2023182681A JP2023168381A JP2023168381A JP2023182681A JP 2023182681 A JP2023182681 A JP 2023182681A JP 2023168381 A JP2023168381 A JP 2023168381A JP 2023168381 A JP2023168381 A JP 2023168381A JP 2023182681 A JP2023182681 A JP 2023182681A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- construct
- determining
- shadows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 238000000926 separation method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 15
- 210000003484 anatomy Anatomy 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 241000238631 Hexapoda Species 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 210000000988 bone and bone Anatomy 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005266 casting Methods 0.000 description 4
- 238000005094 computer simulation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000399 orthopedic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 206010070918 Bone deformity Diseases 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/465—Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
【課題】構築物の2次元(2D)画像に示される構築物の基準によって形成される少なくとも4つの個別形状を利用して、既知の3次元構築物の実際の位置およびポーズを決定する。【解決手段】この方法は、構築物の基準に対応する2D画像内の少なくとも4つの基準影を識別するステップを含む。この方法はまた、発見された少なくとも4つの基準影を構築物上のそれらのそれぞれの位置と相関させるステップを含む。この方法は、発見された少なくとも4つの基準影およびそれに対応する構築物の基準間の所定の相互分離距離を介して2D画像に対する画像のソースの焦点を決定することによって、2D画像と構築物との間の空間的関係を決定するステップをさらに含む。この方法はまた、2D画像と構築物との間の空間的関係を決定するステップを含む。【選択図】図1
Description
本出願は、2019年3月12日に出願された「Monoscopic Image Registration Methods and Systems」と題された米国仮出願第62/817185号の優先権を完全にし、主張し、その全体は参照により本明細書に明示的に組み込まれる。この出願はまた、2019年7月24日に出願された「Methods and Systems of Registering a Radiographic Image and a Three-Dimensional Model of an External Fixation Device」と題された国際PCT特許出願番号PCT/US2019/043326に関連しており、その全体が参照により本明細書に明示的に組み込まれる。
本開示は、一般に、画像に描かれた既知の3次元(3D)構築物を利用する画像登録に関する。より具体的には、本開示は、画像に描かれた特定の3D構築物の既知の物理的パラメータ(例えば、少なくとも4つの形状または点の間の分離距離)を利用するモノスコピック画像(例えば、放射線画像)および3次元モデル登録方法およびシステムに関する。
本開示はまた、一般に、複数の非直交放射線写真を使用する変形分析のためのシステムおよび方法に関する。本開示の実施形態は、骨格骨折を含む筋骨格状態を治療することに関する。より具体的には、1つまたは複数の骨のセグメントを所望の位置に固定および配置するための方法およびシステムが開示される。本開示のいくつかの実施形態では、方法およびシステムを使用して、固定装置、骨セグメント、およびモデルの作成に利用された放射線画像に対応する潜在的に少なくとも1つ(例えば、少なくとも2つ)の放射線画像表現の3次元コンピュータモデルを生成する。モデル上での操作を通じて、一実施形態では、骨セグメントの所望の配置および創外固定装置の操作は、装置および/または骨に関連して、固定装置の初期構成または放射線画像の向きに関係なく、そのような所望の配置を達成するために迅速かつ正確に決定される。次に、骨セグメントの所望の配置を作成するために必要な操作を、対応する固定装置および骨セグメントに実施して、筋骨格状態を治療することができる。しかしながら、創外固定装置以外の他の装置をシステムおよび方法とともに利用することができる。
医学では、整形外科的変形の補正には通常、少なくとも一対のX線写真が含まれる。通常、これらのX線写真は、前から後ろ(AP)方向および内側から外側(ML)方向の従来の線に沿って、または他の直交もしくは既知のバンテージポイント(またはバンテージポイント間の既知の違い)に沿って患者を撮影する。慣例に従って、APおよびMLの放射線写真は、患者空間で互いに直交するように撮影または想定される(患者空間は、X軸が右から左に整列し、Y軸が前方から後方に整列し、Z軸は下から上に位置合わせされるものとして定義される)。放射線写真の各ペア内で測定が行われ、変形軸と点に注釈が付けられる。次に、これらの測定値と注釈を使用して、変形の真の3次元表現を再構築し、何らかの手段で変形を操作して状態を修正できるようにする。
しかし、しばしば発生する問題は、放射線写真の不確実性とそれらの相互の空間的関係によるものである。放射線写真は、それらの画像に含まれるアーチファクトの完全な画像ではない。画像に表示されているアーチファクトと実際に画像化されているオブジェクトとの関係は、画像に近いオブジェクトの倍率が遠くにあるオブジェクトよりも小さくなるような遠近法の1つである。さらに、画像のペア間の直交性に関して不確実であるため、真の表現の再構築が困難になる。
結果として、そのような放射線写真のこれらの不確実性は、それらの実際の視点/バンテージポイントに起因して、説明することができる手段が必要である。
さらに、多くの研究分野では、2次元(2D)画像を既知の3Dオブジェクトに登録することがしばしば望まれる。「登録」とは、2次元画像と一致する座標系内で3Dオブジェクトの位置およびポーズを決定できる座標変換を構築することを意味する。例えば、3D座標系の任意の平面が2D画像と同一平面上にある場合、3D座標系は2D画像と一致していると見なすことができる。この座標系内に3Dオブジェクトを登録すると、視聴者の視点を決定できる1つまたは複数の仮想環境を作成でき、画像とオブジェクトをその環境内に適切に配置できる。
医学の分野では、これはインプラント、手術器具、または体組織構造の適切な配置または操作における重要なステップであることがよくある。CTやMRIなどの3Dイメージング技術とは対照的に、イメージングの最も一般的な方法の1つは、基本的なX線写真であり、これには、オペレーティング環境での低コストとリアルタイムのアクセス可能性という利点がある。個々の画像に基づいて、リアルタイム画像に関して既知の3Dオブジェクトまたは身体構造を登録できることが望ましい。
現在、3D構造の特定の組み合わせの複数の画像を利用して登録する方法がある。しかしながら、これらの場合、複数の画像間の空間的関係をある程度確実に知る必要がある。いくつかの現在の立体画像誘導システムは、これを外部で達成することができ、通常、使用されているカメラのペア間の既知の関係に依存している。他のいくつかの現在の方法は、通常、前から後ろ(AP)および内側から外側(ML)放射線写真などの複数の画像を撮影することを要求する。そのような画像間の関係は、上記のように、3D登録でエラーをもたらすそのような画像の撮影に固有の変数の影響を受ける。
具体的な例として、整形外科では、創外固定器として知られている装置を使用して骨の変形を矯正する必要があることがよくある。このような創外固定器は、例えば単純なモノラテラルおよびピンツーバーシステムから、より複雑な円形構築物まで、様々な構成で提供される。そのような骨の変形を正確に修正するために、構築物が患者に取り付けられた後、骨の解剖学的構造と固定器構築物との間の空間的関係を正確に特徴付けなければならない。この特徴付けのプロセスは、2つ以上の2D放射線写真または骨に取り付けられた固定器構築物の3D画像スキャンなどの複数の画像を撮影することから開始することができる。2D放射線写真は簡単で低コストであるため、このような特性を取得するための主要な手段である。したがって、創外固定器または他の既知の3Dエンティティに基づいて複数の2次元画像のそれぞれを正確に登録して、既知の3Dエンティティに対して他の身体構造を正確に配置することが望ましい。
出願人の発明の開示を容易にするために従来の技術の特定の側面が議論されてきたが、出願人はこれらの技術的側面を決して否定せず、それらの発明は1つまたは複数の従来の技術的側面を包含し得ると考えられる。
この仕様では、文書、行為、または知識の項目が参照または議論されている場合、この参照または議論は、文書、行為、もしくは知識の項目、またはそれらの任意の組み合わせが、優先日に一般に利用可能であったこと、一般に知られていること、一般的な知識の一部であること、またはその他の方法で適用される法律規定に基づく先行技術を構成するものであること;あるいは、この仕様が関係する問題を解決する試みに関連することが知られていることを認めるものではない。
本発明は、上記で論じた当技術分野の1つまたは複数の問題および欠陥に対処することができる。しかしながら、本発明は、多くの技術分野における他の問題および欠陥に対処するのに有用であることが証明され得ることが企図されている。したがって、特許請求された発明は、本明細書で論じられている特定の問題または欠陥のいずれかに対処することに限定されると必ずしも解釈されるべきではない。
本開示は、一般に、画像に描かれた既知の3次元(3D)構築物を利用する画像登録方法およびシステムに関する。より具体的には、本開示は、画像に描かれた特定の3D構築物の既知の物理的パラメータ(例えば、少なくとも4つの形状または点の間の分離距離)を利用するモノスコピック画像(例えば、放射線画像)および3次元モデル登録方法およびシステムに関する。
本開示はまた、一般に、未知の(または不正確もしくは誤って識別された)バンテージポイントから撮影された複数の放射線写真(非直交放射線写真など)を使用する変形分析のためのシステムおよび方法に関する。いくつかの実施形態では、システムおよび方法は、各2次元画像(既知の3次元構築物および/または基準形状(およびサイズ)を有する)を個別に登録し、登録された各画像を使用して、変形の一部および/または変形の補正分析および処方決定として3次元モデルを構築する。
本開示のいくつかのそのような実施形態は、骨格骨折を含む筋骨格状態を治療することに関する。より具体的には、1つまたは複数の骨のセグメントを所望の位置に固定および配置するための方法およびシステムが開示される。本開示のいくつかの実施形態では、方法およびシステムを使用して、固定装置、骨セグメント、およびモデルの作成に利用された放射線画像に対応する潜在的に少なくとも1つ(例えば、少なくとも2つ)の放射線画像表現の3次元コンピュータモデルを生成する。モデル上での操作を通じて、一実施形態では、骨セグメントの所望の配置および創外固定装置の操作は、装置および/または骨に関連して、固定装置の初期構成または放射線画像の向き/バンテージポイントに関係なく、そのような所望の配置を達成するために迅速かつ正確に決定される。次に、骨セグメントの所望の配置を作成するために必要な操作を、対応する固定装置および骨セグメントに実施して、筋骨格状態を治療することができる。しかしながら、創外固定装置以外の他の装置をシステムおよび方法とともに利用することができる。
いくつかの実施形態では、本開示は、特定の2次元放射線写真内に含まれる4つの個別形状または点の平面位置および特性を利用して、固定器構築物(または別の既知のオブジェクトの構築物)内に含まれる4つの個別空間座標に相関する方法および関連システムを提供する。この情報を使用して、方法および関連するシステムは、固定構築物(または別の既知のオブジェクトの構築物)と個々の放射線写真のそれぞれとの間の正確な空間的関係を取得する。
いくつかの実施形態では、放射線画像は、撮影されたときにその画像(例えば、フィルム)の上にポーズをとられて配置された3次元オブジェクトの影を含む。その影を落としている画像に対するX線源の見かけの線源の位置と向きは不明である。理想的な世界では、その焦点は、画像自体の中心に無限の距離を置いて配置された点光源になる。理想的な表現では、影は実際の3次元オブジェクトの真の2次元投影になる。2つの理想的な表現があり、それらが共通の軸線に対して直交していることがわかっている場合、2セットの2次元データを直接利用して、3次元オブジェクトと空間でのその位置およびポーズを正確に再構築できる。しかし、プレーンフィルム放射線写真を含む放射線撮影技術の現在の最先端にある技術が射影歪みをもたらすことを考えると、これは一般的に不可能である。さらに、X線源の軌道に真に直交し、かつ共通の軸線を中心に互いに直交して撮影される可能性も、実際の患者が処方された方法で横になる/ポーズをとるように指示される実際のX線装置でこれらの画像を取得するために必要なすべての変数を考慮するとほとんどない。
本開示のシステムおよび方法は、2つの主なエラーの原因、焦点位置およびポーズ、ならびに患者の向きを利用して、一対の放射線写真画像間の意図しない回転(例えば、直交配置からの回転)を最終的に修正するための多くの結論を引き出すことができ、放射線画像内のオブジェクトの真の3次元モデルを構築する。
システムおよび方法は、放射線不透過性のオブジェクトおよび放射線画像に落とされる影を決定することによって、射影歪みを考慮することができる。知られているように、そのようなアーチファクトのエッジは比較的鋭い。システムおよび方法は、これらの比較的鋭いエッジを利用することができる。システムおよび方法は、形状エッジを利用し、影を落としている放射線画像(すなわち、X線)のソースは、実際には、影画像の上のどこかに位置し、ポーズされた点であると結論付けることができる。システムおよび方法はまた、図10に示されるように、オブジェクトが、特定のオブジェクトアーチファクトの影または点の中心とX線源の焦点との間の線を記述するベクトル上にあると結論付けることができる。システムおよび方法は、アーチファクトの形状およびその実際のサイズが既知である場合、影画像と実際のアーチファクトとの間の相対距離、および影画像とX線源との間の距離を決定できるとさらに結論付けることができる。ただし、これだけではX線源の位置およびポーズを決定するのに十分ではない。したがって、システムおよび方法は多数の既知のオブジェクトを利用し、その影が放射線画像にアーチファクトとして存在し、オブジェクトの相対的な形状、サイズ、および他のオブジェクトとの関係がわかっているため、画像に対する装置の見かけの焦点位置またはX線源とポーズを決定することができる。
システムおよび方法は、図10に示されるように、影の中心、オブジェクトの中心、および焦点の位置を通る複数の閉じたベクトルループを使用して、放射線画像空間における既知のオブジェクトの3次元コレクションの位置およびポーズを決定することができる。複数の閉じたベクトルループが決定されると、システムおよび方法は、図10に示すように影画像空間内の既知の3次元オブジェクトのコレクションのための座標変換を定義することができる(すなわち、行次元、列次元、および高さ次元を決定する)。座標系が決定されると、システムおよび方法は、各画像で一貫したアプローチを使用して、複数の放射線画像のそれぞれにおける既知の3次元オブジェクトのコレクションを利用して、複数の画像内の画像の任意のペア間の座標変換を決定することができる。システムおよび方法は、3次元オブジェクトの真の3次元位置およびポーズを構築するときに、非直交のまたは他の方法で回転した画像のペアを補正し、したがって、放射線画像内で行われる他の注釈または測定を正確に記述することができる。
別の態様では、本開示は、オブジェクトの既知の3次元コレクションを利用する方法およびシステムを提供し、その影は2次元のX線による放射線空間に落とされ、2次元の放射線写真空間の上にある投影されたコンピュータモデルの3次元空間におけるその既知のオブジェクトのコレクションの実際の位置およびポーズを決定する。
いくつかの実施形態では、方法およびシステムは、射影歪みを利用して、相対的な倍率を決定し、3次元の投影された空間の再構成を支援することができる。いくつかの実施形態では、方法およびシステムは、既知の共通オブジェクトの分析を介して、複数の放射線画像間の関係を決定することができる。いくつかのそのような実施形態では、方法およびシステムは、修正された相対空間配置で実際の3次元条件付きのモデルを再構築することができる。
いくつかの実施形態では、方法およびシステムは、構築物の2次元(2D)画像に示される構築物の基準によって形成される少なくとも4つの個別形状を利用して、既知の3次元構築物の実際の位置およびポーズを決定する方法を含み得、この方法は、構築物の基準に対応する2D画像内の少なくとも4つの基準影を識別するステップと、発見された少なくとも4つの基準影を構築物上のそれぞれの位置と相関させるステップと、発見された少なくとも4つの基準影およびそれに対応する構築物の基準間の所定の相互分離距離を介して2D画像に対する画像のソースの焦点を決定することにより、2D画像と構築物との間の空間的関係を決定するステップと、2D画像と構築物との間の空間的関係を決定するステップと、を含む。
いくつかの実施形態では、発見された少なくとも4つの基準影を構築物上のそれらのそれぞれの位置と相関させるステップは、発見された少なくとも4つの基準影を上部または下部基準影として識別するステップと、それぞれのサイズに基づいて、発見された少なくとも4つの基準影の前景または背景の順序を決定するステップと、発見された少なくとも4つの基準の左から右または右から左の順序を決定するステップと、発見された少なくとも4つの基準に注釈を付けて、構築物上のそれぞれの注釈付き基準位置と相関させるステップと、を含む。
いくつかの実施形態では、2D画像と構築物との間の空間的関係を決定するステップは、焦点から基準影位置までのベクトルに沿って実際の基準位置を特定するステップと、実際の基準位置を3次元(3D)画像座標に変換するステップと、3D画像座標を介して基準位置間の実際の基準位置ベクトルを定義するステップと、位置ベクトルの適切なペア間のベクトル外積を決定することにより、2D画像に関して3つの離散基準のコレクションの第1の直交座標系を構築するステップと、第1の構築された直交座標系または第1の構築された直交座標系を介して決定された第2の構築された直交座標系を反転させて、構築物を表す任意の座標系に関して2D画像の座標変換を開発するステップと、を含む。
いくつかの実施形態では、発見された少なくとも4つの基準影およびそれに対応する構築物の基準間の所定の相互分離距離を介して2D画像に対する画像のソースの焦点を決定することによって、2D画像と構築物との間の空間的関係を決定するステップが、座標系の3つの平面のうちの1つとして2D画像を利用する直交座標系を確立するステップと、少なくとも4つの基準のそれぞれが存在しなければならない焦点光線に沿った位置を決定するステップと、コスト関数を介して構築物の既知の特性に基づいて少なくとも4つの基準のモデルを制約するステップであって、既知の特性には、1つの光線と4つの基準間距離が含まれず、制約は、画像平面に垂直な平面内にある平面曲線をトレースする三脚モデルを形成する、ステップと、少なくとも4つの基準の3つの基準の第1のグループによって形成される第1の平面が画像平面に沿って位置するように、三脚モデルを再構成するステップと、画像平面と第1の平面との交点を表す第1の線の第1の方程式を決定するステップと、少なくとも4つの基準の3つの基準の第2のグループによって形成される第2の平面が画像平面に沿って位置するように、三脚モデルを再構成するステップと、画像平面と第2の平面との交点を表す第1の線の第2の方程式を決定するステップと、少なくとも第1および第2の線を介して焦点のxおよびy座標を決定するステップと、xおよびy座標ならびにコスト関数を介して焦点のz座標を決定するステップと、を含む。
いくつかの実施形態では、方法およびシステムは、2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの実際の位置およびポーズを決定する方法を含み得、この方法は、2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの2つ以上のデジタル放射線画像を取得するステップと、2つ以上のデジタル放射線画像の2次元放射線空間における既知のオブジェクトのコレクションの影を利用して、2次元放射線空間の上にある投影された3次元空間における既知のオブジェクトのコレクションの実際の位置およびポーズを決定するステップと、を含む。
いくつかの実施形態では、この方法は、投影された3次元空間内の既知のオブジェクトのコレクションの実際の位置およびポーズの3次元モデルを構築するステップをさらに含む。いくつかのそのような実施形態では、2つ以上のデジタル放射線画像の2次元放射線空間における既知のオブジェクトのコレクションの影を利用して、既知のオブジェクトのコレクションの実際の位置およびポーズを決定するステップは、投影された3次元空間を再構築するために、射影歪みを利用して画像の相対的な倍率を決定するステップを含む。いくつかのそのような実施形態では、画像内の既知のオブジェクトのコレクションの共通のオブジェクトの比較を介して、2つ以上のデジタル放射線画像間の関係を決定するステップが含まれる。いくつかのそのような実施形態では、2つ以上のデジタル放射線画像は、補正を必要とする少なくとも1つの解剖学的構造をさらに含み、投影された3次元空間における少なくとも1つの解剖学的構造の実際の位置およびポーズの3次元モデルを構築するステップをさらに含む。
いくつかの実施形態では、本開示は、1つまたは複数の処理回路によって読み取り可能なコンピュータ可読記憶媒体を含み、上記の方法を実行するための1つまたは複数のプロセッサによって実行するための命令を格納するコンピュータプログラム製品を提供する。
本開示では、メモリと、メモリと通信している少なくとも1つのプロセッサと、上記の方法を実行するためにメモリを介して1つまたは複数のプロセッサによって実行可能なプログラム命令と、を含むシステムを提供する。
本開示は、以下の図面と併せて説明するが、これらは、理解を容易にするために必ずしも一定の縮尺で描かれているわけではなく、同じ参照番号は、様々な図面全体にわたって同じまたは同様の要素の指定および意味を保持している。
本発明の態様および特定の特徴、利点、およびその詳細は、添付の図面に示されている非限定的な実施形態を参照して、以下でより完全に説明される。本発明を不必要に詳細に曖昧にしないために、周知の材料、製造ツール、処理技術などの説明は省略されている。しかしながら、詳細な説明および特定の例は、本発明の実施形態を示しているが、例示としてのみ与えられており、限定としてではないことを理解されたい。基礎となる本発明の概念の趣旨および/または範囲内の様々な置換、修正、追加、および/または配置は、本開示から当業者には明らかであろう。
特定の2次元写真内に含まれる4つの個別形状の平面位置および特性を、固定器構築物などの既知の構築物内に含まれる4つの個別空間座標に相関させることに関する方法、システム、および関連するコンピュータプログラム製品については、図1から図9に関連して説明しない。方法、システム、および関連するコンピュータプログラム製品は、そのような情報を利用して、構築物(例えば、固定器構築物)と個々の放射線写真のそれぞれとの間の正確な空間的関係を取得および表示する(ユーザに)ことができる。方法、システム、および関連するコンピュータプログラム製品は、創外固定器構築物(ヘキサポッド構築物など)を参照して本明細書に記載され得るが、方法、システム、および関連するコンピュータプログラム製品は、その少なくとも4つの空間座標/形状(例えば、球またはスフェロイドまたは点)(および1つまたは複数の解剖学的構造を有するその少なくとも1つの2D画像(例えば、放射線写真))の既知の関係を含む任意の3D構築物(別の整形外科用構築物、または非整形外科用構築物)で無題であり得ることに特に留意されたい。さらに、球は、方法、システム、および関連するコンピュータプログラム製品を4つの個別の空間座標および/または形状として説明するために本明細書の説明で利用され得るが、スフェロイドまたは点などであるがこれらに限定されない他の既知の形状は、当業者によって理解されるように、等しく使用され得る。
3次元の空間的関係では、空間内の任意の2つのソリッドオブジェクト間の位置およびポーズの両方を関連付けるために、6つのパラメータが必要になる場合がある。位置は、通常は直交(x,y,z)座標系である中で並進配置と考えることができる。ポーズは、同じ位置座標系のx,yおよび/またはz軸を中心とした一連の回転と考えることができる。これらの6つすべてを合わせて、特定の3次元空間内の自由度(DOF)と呼ばれる。普通の言葉では、In-Out、Left-Right、Up-Down(x,y,z)、Roll、Pitch、およびYaw(r,p,y)である。
最も単純な3次元オブジェクトは、中心位置(x,y,z)と指定された半径(r)を有する球である。1つの球(または回転楕円体など)を使用して、3次元空間でのそのようなオブジェクトの位置(x,y,z)を決定できる。既知の構築物(例えば、ヘキサポッドなどの創外固定器構築物)の位置およびポーズの両方が必要であるため、必要な考慮事項は、どのタイプの3次元オブジェクトを3次元空間で一意に位置決めおよびポーズできるかである。比較的単純なこのようなオブジェクトは四面体として知られており、四面体は、4つの個別の頂点と4つの三角形の面を有する三角錐である。
円形固定器の一般的なタイプは、ヘキサポッドとして知られているものである。これは、両端に球形のジョイントを有する6つの伸縮支柱で接続された2つの平面リングで構成されている。現在、市場に出回っているほとんどのヘキサポッド構築物は、いわゆる6X6構成で構成されており、つまり、各リングの中心軸線を中心に、通常は等間隔であるが必須ではないペアで構成された6つの個別の球形マウント位置がある。数学的に単純なヘキサポッド構築物は、3X3構成として知られているもので、ペアの球形ジョイントが互いに一致し、各リングに3つの一致するペアがある。このような3X3ヘキサポッドは、15個の個別の四面体に分割でき、そのうちの1つを使用して、3次元空間でのヘキサポッド固定器構築物の位置およびポーズを記述することができる。
3点を利用して2次元平面を定義することはできるが、それらを利用して3次元構築物を定義することはできないことに留意されたい。図11および図12に示されるように、固定寸法の三角形(3点)を通る複数の焦点は、2つの接続されていない三角形の同じ影座標を生成することができ、それぞれは、固定構築物(例えば、ヘキサポッド)の2つの平面固定プラットフォーム(例えば、リング)のそれぞれ上の3つの位置を表すことができる。第4の点を使用することにより、本明細書に開示される方法およびシステムのいくつかの実施形態は、既知の寸法の4つの接続された三角形の構築を可能にし、これは、以下でさらに説明するように、単一の焦点の決定を可能にする。しかしながら、いくつかの実施形態では、3次元構築物上の3つの点は、同じ構築物および点の複数のビュー(およびビュー間の既知の関係)とともに、本明細書に開示される方法およびシステムによって利用され得る。ただし、このような3点の実施形態は、4点の実施形態ほど効率的ではない。
4つの既知の点/形状を有するそのような構築物が図1に示され、これは、構築され得る15の可能な四面体のうちの1つを描写している。前述の説明は、6つの基準マーカを有するヘキサポッド構築物でのこの方法の使用に焦点を当てているが、マーカ間の3次元距離が既知であるとすると、4つ以上の基準マーカを任意のタイプの3D構築物(例えば、固定器構築物)に使用できることに留意されたい。具体的には、任意の4つのマーカ(合計6つの可能性がある)を使用して、固定器構築物と2次元放射線画像との間の空間的関係を正確に決定する方法を示す。
6X6ヘキサポッドメカニカル構築物と、より単純な3X3ヘキサポッド構築物の両方がネストされた例示的なヘキサポッド構築物は、AMDTSixFixシステムである。SixFixシステムでは、各リング上のペアであるペアのストラット球形ジョイントには、ペアの球形ジョイントとの位置関係がわかっている追加の球形がある。これらの球形は放射線不透過性であり、その影が2D放射線写真内でアーチファクトになる基準マーカとして知られている。影画像の性質を使用することができる単一の形態に基づいて位置およびある程度のポーズの両方を決定することができる回転楕円体タイプなどの他の形態が想定されるが、これらに限定されない。
6X6メカニカル構築物内にネストされた3X3ヘキサポッドを構築するには、各リング間の空間的関係を決定する必要がある。ベースリングは参照フレームと見なすことができ、プラットフォームリングは移動基準と見なすことができる。支柱とリングとの間の球形ジョイントの位置と支柱の長さがわかれば、ベースとプラットフォームリングとの間の空間的関係を決定できる。ベースとプラットフォームリングとの間の空間的関係は、ベースリングと参照フレームに対するプラットフォームリングの位置およびポーズの拡張表現である変換行列を返す順運動学的ソリューションを介して決定され得る。そのような変換が得られると、各リングに対する基準マーカの位置が、ベースリングおよび参照フレームに関して、そこから得られ得る。これにより、20個の三角形の内面と外面で構成される3X3ヘキサポッドの構築が可能になる。3X3ヘキサポッド構築物の任意の三角形の面は、ベース参照フレームとして扱われ得、残りの三角形の面のいずれかは、ベースに対して変形を有するプラットフォームとして扱われ得、これもまた決定するのが簡単な問題であることに留意されたい。
特定のベース参照フレームを適切に特徴付けるために、2D放射線写真で発見された基準影は、3X3構築物上のそれぞれの位置と相関している必要がある。この相関関係を容易にするために、方法、システム、および関連するコンピュータ可読製品は、少なくとも4つ(場合によっては6つ)の放射線不透過性基準マーカを利用し、そのうちの少なくとも1つは他とは異なる形式であり、これにより、通常、球形マーカの場合は直径が小さくなるが、例えば、単一のより大きな基準を等しく使用することができる。「異なる」基準マーカは、通常、ベースリングまたは上位リングなどの既知の臨床的に関連する位置に、患者の解剖学的構造に取り付けられたときに最も前方の位置に向けられる。そのような潜在的な優先的配向は、例えば、2次元放射線写真にあるすべての基準マーカを識別できるわけではない場合に、基準マーカの識別を容易にし得る。例えば、1つまたは複数の基準マーカは、構築物の他の放射線不透過性要素によって隠されている可能性がある。基準マーカのすべてまたは少なくとも4つが「異なる」マーカが存在する状態で識別できる場合、優先的配向は必要なく、実際、「異なる」基準マーカの優先的配向に関係なく、基準影と固定器構築物内のそれぞれの位置との間の正しい相関関係を作成できることに留意されたい。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、基準影を1つ、2つまたは3つの識別可能なアーチファクトの上部および下部(例えば、上位および下位)のコレクションにグループ化することによって、2D放射線写真で発見された基準影を3X3構築物上のそれらのそれぞれの位置と相関させることができる。次に、影は、識別された基準影のそれぞれのサイズ(倍率)に基づいてなど、前景/背景の順序に分離される場合がある。球形の基準マーカの場合、楕円形の小径(または平均直径、または識別された影の面積など)を利用して、基準影を前景/背景の順序に分離することができる。次に、影を左から右の順序(例えば、内側から外側、または前方から後方)に並べ替えることができる。次に、基準影の絶対倍率を決定、評価、および/または比較して、外れ値または「異なる」基準影を決定することができる。例えば、「異なる」基準影の絶対サイズは、前景/背景の倍率の違いに起因するものと一致していない可能性がある。次に、他の識別された基準影と比較して「異なる」または外れ値の基準影の認識された位置を使用して、基準影に注釈を付けて、構築物(固定器構築物など)上の注釈付き基準位置と相関させることができる。「異なる」基準影が識別されない場合、ソートはデフォルトで優先的配向が使用されたという仮定に戻る可能性があり、可能な番号付けスキームのリストは、優先的配向の順守に従ってランク付けされる可能性がある。次に、そのような可能性のリストは、それらが、例えば、構築物が知られているものとどれほどよく一致するかに基づいて、その後評価され得る。
基準影を構築物上のそれぞれの3次元位置と相関させた後(例えば、絶対的な観点から、または複数の可能性の確率ランキングの観点から)、方法、システム、および関連するコンピュータ可読製品は、2次元放射線写真と構築物との間の空間的関係を決定することができる。空間的関係を特徴付ける方法は、2次元放射線写真に対するX線源の焦点の決定を含むことができる。方法、システム、および関連するコンピュータ可読製品は、相互分離距離が既知である任意の4点を利用して、2次元放射線写真に対するX線源の焦点を決定することができる。例えば、3X3ヘキサポッド構築物(または他の構築物)は、各コレクションが四面体を形成する4つの頂点の15の異なるコレクションに分割され得る。これらの四面体のいずれか1つは、2次元放射線写真に対するX線源の焦点を決定するための方法、システム、および関連するコンピュータ可読製品に十分である。そのため、構築物には4つの基準のみが含まれる場合がある。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、焦点決定の精度を高めるために、複数の四面体を平均化することができる。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、直交座標系を確立することによって焦点位置を特徴付けることができる。直交座標系は、座標系の3つの平面のうちの1つとして2次元放射線画像を利用して確立され得る。その原点は任意である可能性があるため、ここでは、説明/開示の目的で、画像の中心にあると想定する。軸線の配置も任意であるが、ここでも説明/開示の目的で、x軸は2次元放射線写真の水平線に沿って位置し、正の方向は右にあり、y軸は正の方向を上に向けて2次元放射線写真の垂直線に沿って位置し、z軸は、正の方向が画像から視聴者に向かっている2次元放射線写真の平面に垂直に位置する。
直交座標系は、X線源の焦点位置が正のz方向に2次元放射線画像の上にあり、構築物全体が焦点位置と2次元放射線画像との間にあると仮定することによって確立され得る。これらの仮定が当てはまらない場合、2次元放射線画像内の四面体の頂点を表す基準マーカの完全な影が表示され/含まれない/利用できない場合があることに留意されたい。
いくつかの実施形態では、図2に示されるように、単一の四面体を使用する焦点モデルは、頂点a、b、c、dからなる任意の四面体を利用することを含み得、ここで、基準マーカの直径は、a、b、c、およびdと、a-b、a-c、a-d、b-c、b-d、およびc-d間の対応する距離がわかっている。焦点FP(x,y,z)は、四面体の基準a、b、c、およびdと交差し、画像平面上に影A、B、C、およびDを落としている焦点から発する4つの光線(緑色の列)で示されている。画像平面に対する光線の斜めの性質により、これらの影は通常、本質的に楕円形になる。楕円形の影の小径は、影を落としている基準に適用される倍率の関数であることに留意されたい。この事実により、光線FP-Aに沿って、基準マーカが存在しなければならない場所を決定できる。この方法は、他のすべての影B、C、およびDと、それらに関連する基準b、c、およびdにも使用され得る。そのような決定は、画像座標系に対する各楕円形の影A、B、C、およびDの(x,y)中心、ならびにそれらの個々の小径を決定することを含み得る。関連する基準マーカの既知の直径によって分割された影の小径を、拡大率のMA、MB、MC、およびMDとして利用できる。
焦点モデルが構築されると、方法、システム、および関連するコンピュータ可読製品は、既知の特性に基づいてモデルを制約する(例えば、代数的に制約する)ことができる。例えば、方法、システム、および関連するコンピュータ可読製品は、数値最適化で使用して焦点を3次元で返すことができるコスト関数を構築することができる。そのようなコスト関数の例が、図2に示されている。図2に示されるように、例えば、基準位置a、b、c、およびdとそれらに関連する影A、B、C、およびDとの間の既知の関係をFPxyzおよびそれらのそれぞれの倍率MA、MB、MC、およびMDの関数として含む四面体コスト関数を利用することができる。方法、システム、および関連するコンピュータ可読製品には、Dist=[ab ac ad bc bd cd]に含まれる、a、b、c、およびd間の既知の分離距離とのこれらの関係が含まれる場合がある。方法、システム、および関連するコンピュータ可読製品は、複数の解(ミラー等価物など)および/または最適ではない極小解で終わることが回避されるように、そのような連立方程式を解くことができる。例えば、いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、一連のステップで検索トポグラフィを単純化することによってそのようなシナリオを回避することができ、それによって特定の未知数が特定の条件に対して制限または指定される。例えば、3つの未知数を有するシステムを解くのは体積であり、2つの未知数は表面であり、1つの未知数は1次元曲線である。それにより、方法、システム、および関連するコンピュータ可読製品は、検索分野を狭める可能性がある。
いくつかのそのような実施形態では、方法、システム、および関連するコンピュータ可読製品は、特定の構築物が、その関係を考慮して完全に制約されるか、さもなければ動かない可能性があることを認識し得る。例えば、図1および図3に示されるように、方法、システム、および関連するコンピュータ可読製品は、図3Aに記載される関係を考慮して、そのような構築物が完全に制約されるか、さもなければ動かないことを認識し得る。ただし、このような体積最適化は、すでに述べた1つまたは複数の落とし穴の影響を受ける可能性があることに留意されたい。それにより、方法、システム、および関連するコンピュータ可読製品は、単純化された構造の挙動をモデル化/観察するなど、より少ない制約を利用することができる(例えば、特定の制約を取り除く)。例えば、方法、システム、および関連するコンピュータ可読製品は、単一光線FPxyz-Dおよび4つの基準間距離制約を取り除き、例えば、図3Bに示されるように、単純化されたコスト関数に到達するために[ab ac]のみを残すことができる。図4に示されるように、方法、システム、および関連するコンピュータ可読製品は、それによって、平面曲線をトレースする三脚構造を利用または形成することができる。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、曲線が存在する平面を、画像平面に垂直なABC平面として示すことができる。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、三脚またはその四面体の平面を決定することができる。例えば、ABC平面を決定するために、方法、システム、および関連するコンピュータ可読製品は、図5Aおよび図5Bに示されるフェーズまたはステップ1、2、3、4に示されるように、画像平面に三脚を横に置くか、または転置することができる。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、図15に示すように、体積検索ではなく、平面検索のz=0条件のそのような構築物についてFPxyを解くことができる。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、曲線が画像平面と交差する2つのソリューションを決定または識別し得、これは、画像平面とABC平面との交差を表す線の方程式を定式化するために利用される。図15は、特定の寸法例について、三脚および焦点FPと画像平面との2つの交点を示している。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、例えばABC、ABD、ACDおよびBCDなどの異なるベース位置を使用して、特定の四面体(例えば、図1を参照)に対して4つの別個の三脚を構築し得る。各四面体は、画像平面に三脚が横に置かれたり、転置されたりすると、それぞれの平面で平面曲線をトレースするのと同じように動作し、これらはすべて、画像平面に垂直である。図7は、画像平面ケースABDに対するそのようなプロセスの第2のケースを示している。図7に示されるように、ABD平面を定義する平面曲線がトレースされている。図8Aおよび図8Bに示されるように、平面ABCおよび平面ABDの両方の画像平面図に法線をとると、2つの平面の交点は、FP(x,y)と一致し得る。交差する平面の6つの組み合わせすべてが同じFP(x,y)を生成する可能性があることにも留意されたい。例えば、測定値の小さな誤差によってこれらの値がわずかに異なる可能性があるため、方法、システム、および関連するコンピュータ可読製品は、6つの可能な交差すべての平均を利用してそのような誤差を減らすことができる。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、統計的操作/分析を利用して、例えば、残りの交差を平均化することができる外れ値である交差を選択解除することができる。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、図9に示されるコスト関数を介するなどして、既知の/決定されたxおよびy座標を利用することによって、焦点FPのz座標を決定し得る。このようなアプローチは、未知のzが1つしかないため、有利な最適化を含み得る。
特定の2次元放射線画像に対して最適な焦点が決定されると、方法、システム、および関連するコンピュータ可読製品は、2次元放射線写真と固定器構築物との間の空間的関係を決定することができる。例えば、実際の基準位置は、上記で特定されたソリューションを使用して、焦点から基準影位置までのベクトルに沿って配置され得る。次に、これらの位置を3次元画像座標に変換して、各基準位置が2次元放射線画像に対して表されるようにすることができる。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、次元画像座標を使用して、これらの基準位置間の実際の基準位置ベクトルを定義することができる。いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、これらのベクトルの適切なペア間のベクトル外積を決定して、3つの離散基準の任意のコレクションのための直交座標系の構築を提供し得る。これらの座標系のそれぞれは2次元放射線画像に関するものであるため、方法、システム、および関連するコンピュータ可読製品は、基準位置の任意のグループで構築される他の座標系の基礎としてそれらのいずれかを利用することができる。さらに、方法、システム、および関連するコンピュータ可読製品は、これらの結果として得られる座標系のいずれかを反転して、固定器構築物を表す任意の座標系に関して2次元放射線画像の座標変換を開発することができる。
いくつかの実施形態では、方法、システム、および関連するコンピュータ可読製品は、利用可能な場合、複数の画像を利用して、各画像と構築物との関係を決定することができる。構築物は複数の画像の中で静的な既知のエンティティであるため、方法、システム、および関連するコンピュータ可読製品は、複数の画像に共通のアーチファクトのさらなる特徴付けが構築物に対して3次元空間で正確に特徴付けられ得るように、複数の画像間の空間的関係を決定することができる。
次に、図10に関して、2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの実際の位置およびポーズを決定することに関する追加の方法、システム、および関連するコンピュータプログラム製品について説明する。
図10を参照すると、コード距離AB、BC、CAおよびDE、EF、およびFDがすべて既知である既知の形状A、B、C、D、E、Fとして機能する6つの球形放射線不透過性基準マーカをそれらに取り付けた、空間に配置されたベースおよびプラットフォームからなる、ヘキサポッドとして知られる概略形態の例示的な外部変形補正デバイスが示されている。A、B、およびCは、6本の破線のセットによって、それぞれが既知の長さを有するD、E、およびFにさらに接続されている。図10は、3x3構成として知られているものを示し、ベースおよびプラットフォーム上の3つの一致する球形の中心を指す。この例では、Aで示される基準マーカは、すべて同じサイズの残りの基準マーカよりも小さくなるように選択されている。これは、ベースとプラットフォーム、および画像空間でのベースの回転を区別するために行われる。
いくつかの実施形態では、方法およびシステムは、典型的な放射線画像を利用することができ、基準マーカの影を位置付けて、放射線画像内のサイズおよび位置について評価することができる。球形の基準マーカを利用する利点は、それらが常に楕円形の影を落とすことである。いくつかの実施形態では、方法およびシステムは、実際の直径に関連する短軸寸法を利用することができ、これは、画像とX線焦点との間の相対距離、および実際の基準マーカが存在するベクトルに沿った高さに関連し得る。いくつかの実施形態では、方法およびシステムは、画像解像度を利用して、実際のオブジェクトに対する影アーチファクトの初期画像スケールおよび相対サイズを決定することができる。図10に示すように、焦点FP(xyz)Oは、画像の上の空間に浮かぶ任意の点として定義される。次に、いくつかの実施形態では、方法およびシステムは、図10に示すように、B0A->A->B->B1A->BOA、P1A->FP(xyz)->P2A->P1A、およびB2A->C->E->P1A->B2Aなどの閉じたベクトルループを使用して複数の制約を定義することができる。緑のループで示されているように、原点を通る複数の閉じたベクトルループを使用することで問題が十分に抑制されるが、これには、解像度と散乱の制限により、エラーが発生する可能性がある球形オブジェクトの実際の直径に対する影の小径の測定が必要であることに留意されたい。そのため、より多くのループを使用して結果を統計的に改善することができ、多くの閉じたベクトルループを使用できる。相対サイズを利用してベースとプラットフォームのそれぞれについて4つのベクトルループの組み合わせ(赤)、ベースとプラットフォームとの間の4つのベクトルループ(青)、および画像と焦点の間の3つのベクトルループ(緑)を超えるだけで十分であることが決定された。
別のアプローチが図13に示され、画像は、任意に選択された焦点FP(x,y,z)から画像/画像平面に示される影の位置のコレクション(例えば、ヘキサポッドなどの既知の整形外科用構築物の基準によって形成される)に発する光線で表示されている。既知の寸法の2つの三角形(上三角と下三角)(例えば、既知の構築物の基準の位置に対応するその点)は、それぞれ3つの光線(つまり、三角形の点/コーナーごとに1つの光線)に沿って使用/位置決めされる。三角形は2つの個別のアーティクルとして示されているが、画像で5つまたは4つの影アーチファクトしか検出できない場合は、頂点またはエッジを共有できることに留意されたい。利用可能な影のアーティクルおよび任意の焦点FP(x,y,z)へのそれらの関連光線を使用して構築することができる三角形の任意の組み合わせを同様に利用できることにも留意されたい。三角形の適切な向きを決定するために、システムおよび方法は、影のアーティクルの相対的な倍率を評価して、外れ値が先行するか遅れるか(つまり、焦点FP(x,y,z)に近いか、最も近いか、遠いか、最も遠いか)を判断することができる。特定の任意の焦点について、システムおよび方法は、頂点間の既知の分離と頂点間の計算された距離との間の誤差の合計であるコスト関数を決定することができる(特定の任意の焦点FP(x,y,z))。このようなコスト関数を数値ソルバで使用して、特定の構築物に最適な互換性のあるFP(x,y,z)と、投影された幾何学的な意味でそれが落とす影を決定できる。
画像空間におけるノード位置A、B、C、D、E、F、およびOのうちの少なくとも4つを決定した後、いくつかの実施形態では、方法およびシステムは、次に、球形基準のコレクションによって表される既知の3次元オブジェクトに適した座標変換を構築することができる。いくつかのそのような実施形態では、方法およびシステムは、例えば、ABxACが、原点がAにあるABおよびACの両方に垂直なベクトルをもたらすなど、適切なベクトルのペアの外積を決定することによって、適切な座標変換を構築することができる。次に、ベクトルを前のベクトルABまたはACのいずれかと交差させて、この場合はABCによって定義された画像空間のベースを表す直交座標系を決定できる。方法およびシステムは、複数の画像に対して同じ外積方法を使用することができ、結果として、より大きな患者空間内の同じ既知の3次元オブジェクトをすべて記述する複数の座標系が得られる。
それにより、方法およびシステムは、既知のオブジェクトが2つの異なる空間にどのようにあるかを利用して、それらの関係を決定することができ、したがって、逆行列および乗算などの行列操作を使用するそれらの異なる空間の間の座標変換を決定することができる。方法およびシステムのこの機能により、修正する真の3次元条件を決定するために、共通の軸を中心に回転した直交画像を提供する必要がなくなる。
図14に示されるように、本開示の方法およびシステムは、102において、既知の構成(例えば、形状、サイズなど)の3D構築物を示す2DのX線放射線写真画像(またはそのデジタルバージョン)をデジタル的に取得し、その結果、3D構築物の既知の球形基準/要素の影中心など、構築物の4つの識別可能な離散基準/点が画像内で(デジタルおよび/または手動で)識別され、構築物内の各点間の空間的関係は既知である/インプットされている、ステップを含む方法100を実行することができる。次に、104において、方法100は、識別された4つの離散点を基礎として利用して、画像の2D画像平面の上に位置決めされた任意の焦点への4つのベクトルを生成するステップを含み得る。次に、方法100は、106において、3D構築物の既知の分離距離に関して任意の焦点の適合性を評価するコスト関数をデジタル的に確立するステップを含み得る(例えば、上述の1つまたは複数のベクトルループ、2D空間への三脚次元低減、またはスライディングトライアングル法を介して)。次に、108において、方法100は、互換性のある焦点FP(x,y,z)を決定するために、最適化数値ソルバにおける判別式としてコスト関数をデジタル的に使用するステップを含み得る。特定の最適化数値解法ステップは、使用されるアプローチによって異なる可能性があることに留意されたい。最適化された焦点FP(x,y,z)および画像内の既知の離散点を用いて、方法100は、110において、(焦点FP(x,y,z)から)ベクトルに沿った既知の要素の位置をデジタル的に決定するステップを含み得る。3D構築物の要素の3D座標である/3D座標に対応する位置により、画像空間に四面体が配置される。次に、112において、方法100は、四面体の4つの三角形の面のいずれかの任意の2つのエッジを利用して、共通の頂点を有する2つのベクトルをデジタル的に確立するステップを含み得る。次に、方法100は、114において、2つのベクトルの好ましい順序で外積をとることなどによって相互法線をデジタル的に確立するステップ、および相互法線と元の2つのベクトルの優先選択との間の優先順序で外積をとることなどによって画像空間に直交座標系をデジタル的に確立するステップを含み得る。いくつかの実施形態では、方法100は、次に116において、既知の3D四面体の面間の既知の関係を使用して、114からの直交座標系と任意の他の面頂点の組み合わせとの間の変換(例えば、行列)をデジタル的に構築するステップを含み得る。
次に、方法100は、118において、画像内で4つを超える離散点が利用可能である場合、離散点のより大きなグループ内の4つの離散点のすべての組み合わせに対して、102~114(および潜在的に116)を繰り返すステップを含み得る。次に、120において、方法100は、同等の変換(例えば、ステップ116および/または118で生成されたも)のすべてを平均化することなどによって、画像空間内の既知の3D構築物を表す複合座標変換(例えば、行列)をデジタル的に生成するステップを含み得る。次に、方法100は、122において、120の逆の座標変換を介して、既知の3D構築物に関して2D画像変換をデジタル的に生成するステップを含み得る。
次に、方法100は、既知の3D構築物(例えば、2つ以上の画像などの複数の画像)から取得された各2D画像について102~122を繰り返すステップ、および3D構築物に関して複数の画像の3D表現をデジタル的に構築するステップを含み得る。次に、方法100は、既知の3D構築物に関する2D画像の3D表現を利用して、既知の3D構築物と対象の解剖学的構造との関係を決定するために、対応する各2D画像の焦点FP(x,y,z)から発する解剖学的構造の態様を表す、平面と平面、または平面とベクトル、またはベクトル間の最も近い点の相互交差をデジタル的に確立するステップを含み得る。
当業者に明らかであるように、本開示の発明は、ヘキサポッドおよび骨セグメントモデリングの分野を含む、創外固定装置および解剖学的構造コンピュータモデリングの分野において、有意な改善を提供する。さらに、本開示の発明は、放射線画像の歪み補正の分野を含む、放射線画像撮影の分野において重要な改善を提供する。本開示の発明はまた、ヘキサポッド調整処方の分野を含む、創外固定装置調整処方決定の分野において重要な改善を提供する。
当業者は、本発明の態様が、システム、方法、および/またはコンピュータプログラム製品に実現され得ることを認識されよう。いくつかの実施形態では、本発明の態様は、完全にハードウェアで、完全にソフトウェアで(例えば、ファームウェア、常駐ソフトウェア、マイクロコードなどで)、またはソフトウェアとハードウェアの態様の組み合わせで実施することができ、これらはすべて、本明細書では一般に「システム」と呼ばれ、回路(複数可)および/またはモジュール(複数可)を含み得る。
図15は、本発明の1つまたは複数の態様を組み込んで使用するためのコンピュータシステムの一例を示している。コンピュータシステム500は、物品を付加的に製造するために使用されるコンピュータシステム、および/またはAM装置もしくはデバイスによって物品を製造するために使用されるデータを生成するためのコンピュータシステムなどの物品製造および/または修理施設のコンピュータシステムであり得る。図15のコンピュータシステム500は、上記のプロセスを実行するためのプログラムコードなどのプログラムコードを格納および/または実行するのに適しており、バス520を介してメモリ505に直接または間接的に結合された少なくとも1つのプロセッサ502を含む。動作中、プロセッサ(複数可)502は、メモリ505から、プロセッサ(複数可)による実行のための命令を取得することができる。メモリ505は、プログラムコードの実際の実行中に使用されるローカルメモリ、バルクストレージ、およびプログラムコード実行中にバルクストレージからコードを検索しなければならない回数を減らすために少なくともいくつかのプログラムコードの一時ストレージを提供するキャッシュメモリを含み得る。メモリ505の例の非限定的なリストは、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、または前述の任意の適切な組み合わせを含む。メモリ505は、オペレーティングシステム505と、1つまたは複数のコンピュータプログラム506、例えば、回路設計のデジタルレイアウトへの調整を行うなど、本明細書に記載の態様を実行するための1つまたは複数のプログラムを含むことができる。
入力/出力(I/O)デバイス512、515(周辺デバイスなど)は、直接またはI/Oコントローラ510を介してシステムに結合され得る。ネットワークアダプタ508はまた、システムに結合されて、コンピュータシステムが、介在するプライベートまたはパブリックネットワークを介して他のコンピュータシステムに結合されることを可能にすることができる。モデム、ケーブルモデム、およびイーサネットカードは、現在利用可能なタイプのネットワークアダプタ508のほんの一部である。一例では、ネットワークアダプタ508は、本発明の態様を容易にするために、リモートソースからのデータの取得を容易にする。
コンピュータシステム500は、1つまたは複数のデータベースを有するストレージ516(例えば、磁気ディスクドライブ、光ディスクドライブ、テープドライブなどの不揮発性ストレージ領域)に結合され得る。ストレージ516は、内部ストレージデバイス、または接続された、もしくはネットワークアクセス可能なストレージを含み得る。ストレージ516内のコンピュータプログラムは、メモリ505にロードされ、プロセッサ502によって実行され得る。
コンピュータシステム500は、図示よりも少ない構成要素、本明細書に図示されていない追加の構成要素、または図示された構成要素と追加の構成要素とのいくつかの組み合わせを含み得る。コンピュータシステム500は、メインフレーム、サーバ、パーソナルコンピュータ、ワークステーション、ラップトップ、ハンドヘルドコンピュータ、スマートフォン、テーブル、または他のモバイルデバイス、テレフォニーデバイス、ネットワークアプライアンス、仮想化デバイス、ストレージコントローラなどの任意のコンピューティングデバイスを含み得る。
さらに、上記のプロセスは、コンピューティング環境の一部として協調して動作する複数のコンピュータシステム500によって実行され得る。
いくつかの実施形態では、本発明の態様は、コンピュータ可読媒体(複数可)に実現されたコンピュータプログラム製品の形をとることができる。コンピュータ可読媒体(複数可)は、その上にコンピュータ可読プログラムコードを実現することができる。様々なコンピュータ可読媒体(複数可)またはそれらの組み合わせを利用することができる。例えば、コンピュータ可読媒体は、コンピュータ可読記憶媒体(複数可)を含み得、その例は、1つまたは複数の電子、磁気、光学、または半導体システム、装置、またはデバイス、または上記の任意の適切な組み合わせを含む(ただしこれらに限定されない)。コンピュータ可読記憶媒体(複数可)の例には、例えば、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスクまたは大容量記憶装置、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、および/またはEPROMもしくはフラッシュメモリなどの消去可能でプログラム可能な読み取り専用メモリ、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージデバイス、磁気ストレージデバイス(テープデバイスを含む)、または上記の任意の適切な組み合わせが含まれる。コンピュータ可読記憶媒体は、命令実行システム、装置、またはプロセッサなどのデバイスによって、またはそれらに関連して使用するためのプログラムコードを含むまたは格納することができる有形媒体を含むように定義される。したがって、コンピュータ可読媒体に格納されたプログラムコードは、プログラムコードを含む製品(「コンピュータプログラム製品」など)を生成する。
ここで図16を参照すると、一例では、コンピュータプログラム製品600は、例えば、本発明の1つまたは複数の態様を提供および促進するために、コンピュータ可読プログラムコード手段または論理604をその上に格納する1つまたは複数のコンピュータ可読媒体602を含む。
コンピュータ可読媒体に含まれる、またはコンピュータ可読媒体上に格納されるプログラムコードは、コンピュータシステム(その構成要素を含むコンピュータ、コンピュータシステムなど)および/または他のデバイスによって取得および実行されて、コンピュータシステム、その構成要素、および/または他のデバイスを特定の方法で動作/機能させることができる。プログラムコードは、無線、有線、光ファイバ、および/または無線周波数を含む(ただしこれらに限定されない)任意の適切な媒体を使用して送信され得る。本発明の態様を実行、達成、または促進するための操作を実行するためのプログラムコードは、1つまたは複数のプログラミング言語で書くことができる。いくつかの実施形態では、プログラミング言語は、C、C++、C#、Javaなどのオブジェクト指向および/または手続き型プログラミング言語を含む。プログラムコードは、完全にユーザのコンピュータ上で、完全にユーザのコンピュータから離れて、または一部はユーザのコンピュータ上にあり、一部はリモートコンピュータ上にある組み合わせで実行することができる。いくつかの実施形態では、ユーザのコンピュータとリモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)などのネットワークを介して、および/または外部コンピュータを介して(例えば、インターネットサービスプロバイダを使用したインターネットを使用して)通信している。
一例では、プログラムコードは、1つまたは複数のプロセッサによる実行のために取得された1つまたは複数のプログラム命令を含む。コンピュータプログラム命令は、例えば1つまたは複数のコンピュータシステムの1つまたは複数のプロセッサに提供されて、機械を製造し、その結果、プログラム命令は、1つまたは複数のプロセッサによって実行されると、本明細書に記載のフローチャートおよび/またはブロック図に記載されているアクションまたは機能などの本発明の態様を実行、達成、または促進することができる。したがって、本明細書に示され、説明されるフローチャート図および/またはブロック図の各ブロック、またはブロックの組み合わせは、いくつかの実施形態では、コンピュータプログラム命令によって実装され得る。
図を参照して示され説明されたフローチャートおよびブロック図は、本発明の態様によるシステム、方法、および/またはコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、および動作を示している。したがって、これらのフローチャート図および/またはブロック図は、本発明の態様による方法、装置(システム)、および/またはコンピュータプログラム製品のものであり得る。
いくつかの実施形態では、上記のように、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、またはコードの一部を表すことができ、ブロックの指定された動作および/または論理機能を実装するための1つまたは複数の実行可能命令を含む。当業者は、ブロックによって指定または実行される動作/機能が、示されおよび/または説明されたものとは異なる順序で発生するか、あるいは1つまたは複数の他のブロックと同時に、または部分的/完全に同時に発生する可能性があることを理解されよう。実際、連続して表示される2つのブロックは、実質的に同時に実行される場合もあれば、逆の順序で実行される場合もある。さらに、ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図中のブロックの組み合わせは、ブロックまたはブロック図もしくはフローチャート全体で指定された動作/機能を実行する専用のハードウェアベースのシステムによって、またはコンピュータ命令と組み合わせて完全に実装され得る。
上記の説明は、例示を意図するものであり、限定的なものではないことを理解されたい。以下の特許請求の範囲およびその同等物によって定義される本発明の一般的な趣旨および範囲から逸脱することなく、当業者によって、本明細書において多数の変更および修正を行うことができる。例えば、上記の実施形態(および/またはその態様)は、互いに組み合わせて使用され得る。さらに、特定の状況または材料を、それらの範囲から逸脱することなく、様々な実施形態の教示に適合させるために、多くの修正を行うことができる。本明細書に記載の材料の寸法およびタイプは、様々な実施形態のパラメータを定義することを意図しているが、それらは決して限定するものではなく、単なる例示である。上記の説明を検討すると、他の多くの実施形態が当業者には明らかとされよう。したがって、様々な実施形態の範囲は、そのような請求項が権利を与えられる同等物の全範囲とともに、添付の請求項を参照して決定されるべきである。
本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本明細書で使用される場合、単数形「a」、「an」および「the」は、文脈が明らかに他のことを示さない限り、複数形も含むことを意図している。さらに、「備える(comprise)」(ならびに「備える(comprises)」および「備えている(comprising)」などの任意の形式のcomprise)、「有する(have)」(ならびに「有する(has)」および「有している(having)」などの任意の形式のhave)、「含む(include)」(ならびに「含む(includes)」および「含んでいる(including)」などの任意の形式のinclude)、「含む(contain)」(ならびに「含む(contains)」および「含んでいる(containing)」などの任意の形式のcontain)、およびその他の文法上の変形は自由形式の連結動詞であることが理解されよう。結果として、1つまたは複数のステップまたは要素を「含む(comprises)」、「有する(has)」、「含む(includes)」または「含む(contains)」方法または物品は、それらの1つまたは複数のステップまたは要素を所有するが、それらの1つまたは複数のステップまたは要素のみを所有することに限定されない。同様に、1つまたは複数の特徴を「含む(comprises)」、「有する(has)」、「含む(includes)」または「含む(contains)」方法のステップまたは物品の要素は、それらの1つまたは複数の特徴を所有するが、それらの1つまたは複数の特徴のみを有することに限定されない。
本明細書で使用される場合、「含む(comprising)」、「有する(has)」、「含む(including)」、「含む(containing)」、およびそれらの他の文法的変形という用語は、「から構成される(consisting of)」および「本質的に~から構成される(consisting essentially of)」という用語を包含する。
本明細書で使用される場合の「本質的に~から構成される(consisting essentially of)」という句またはその文法的変形は、記載された特徴、整数、ステップまたは構成要素を指定するものと解釈されるべきであるが、1つまたは複数の追加の特徴、整数、ステップ、構成要素またはそれらの群の追加を排除するものではなく、ただし、追加の特徴、整数、ステップ、構成要素、またはそれらのグループが、特許請求された構成物または方法の基本的かつ新規な特性を実質的に変更しない場合に限る。
本明細書で引用されているすべての刊行物は、あたかも個々の刊行物が完全に記載されているかのように、参照により本明細書に組み込まれることが具体的かつ個別に示されているかのように、参照により本明細書に組み込まれる。
参照により組み込まれる主題は、特に明記されていない限り、クレーム制限の代替とは見なされない。
本明細書全体で1つまたは複数の範囲が参照される場合、各範囲は、情報を提示するための省略形であることが意図され、範囲は、同じことが本明細書に完全に記載されているかのように、範囲内の各離散点を包含すると理解される。
本発明のいくつかの態様および実施形態が本明細書に記載され示されているが、代替の態様および実施形態は、同じ目的を達成するために当業者によって影響を受ける可能性がある。したがって、本開示および添付の特許請求の範囲は、本発明の真の趣旨および範囲内にあるようなすべてのそのようなさらなる代替の態様および実施形態を網羅することを意図している。
Claims (13)
- 構築物の2次元(2D)画像に示される前記構築物の基準によって形成される少なくとも4つの個別形状を利用して、既知の3次元構築物の実際の位置およびポーズを決定する方法であって、前記方法は、
前記構築物の前記基準に対応する前記2D画像内の少なくとも4つの基準影を識別するステップと、
前記発見された少なくとも4つの基準影を前記構築物上のそれぞれの位置と相関させるステップと、
前記発見された少なくとも4つの基準影およびそれに対応する前記構築物の前記基準間の所定の相互分離距離を介して前記2D画像に対する前記画像のソースの焦点を決定することにより、前記2D画像と前記構築物との間の空間的関係を決定するステップと、
前記2D画像と前記構築物との間の空間的関係を決定するステップと
を含む、方法。 - 前記発見された少なくとも4つの基準影を前記構築物上のそれらのそれぞれの位置と相関させるステップが、
前記発見された少なくとも4つの基準影を上部または下部基準影として識別するステップと、
それぞれのサイズに基づいて、前記発見された少なくとも4つの基準影の前景または背景の順序を決定するステップと、
前記発見された少なくとも4つの基準の左から右または右から左の順序を決定するステップと、
前記発見された少なくとも4つの基準に注釈を付けて、前記構築物上のそれぞれの注釈付き基準位置と相関させるステップと
を含む、請求項1に記載の方法。 - 前記2D画像と前記構築物との間の空間的関係を決定するステップが、
前記焦点から前記基準影位置までのベクトルに沿って実際の基準位置を特定するステップと、
前記実際の基準位置を3次元(3D)画像座標に変換するステップと、
前記3D画像座標を介して前記基準位置間の実際の基準位置ベクトルを定義するステップと、
前記位置ベクトルの適切なペア間のベクトル外積を決定することにより、前記2D画像に関して3つの離散基準のコレクションの第1の直交座標系を構築するステップと、
前記第1の構築された直交座標系または前記第1の構築された直交座標系を介して決定された第2の構築された直交座標系を反転させて、前記構築物を表す任意の座標系に関して前記2D画像の座標変換を開発するステップと
を含む、請求項1に記載の方法。 - 前記発見された少なくとも4つの基準影およびそれに対応する前記構築物の前記基準間の所定の相互分離距離を介して前記2D画像に対する前記画像のソースの焦点を決定することによって、前記2D画像と前記構築物との間の空間的関係を決定するステップが、
前記座標系の前記3つの平面のうちの1つとして前記2D画像を利用する直交座標系を確立するステップと、
前記少なくとも4つの基準のそれぞれが存在しなければならない前記焦点光線に沿った前記位置を決定するステップと、
コスト関数を介して前記構築物の既知の特性に基づいて前記少なくとも4つの基準のモデルを制約するステップであって、前記既知の特性には、1つの光線と4つの基準間距離が含まれず、前記制約は、前記画像平面に垂直な平面内にある平面曲線をトレースする三脚モデルを形成する、ステップと、
前記少なくとも4つの基準の3つの基準の第1のグループによって形成される第1の平面が画像平面に沿って位置するように、前記三脚モデルを再構成するステップと、
前記画像平面と前記第1の平面との前記交点を表す第1の線の第1の方程式を決定するステップと、
前記少なくとも4つの基準の3つの基準の第2のグループによって形成される第2の平面が前記画像平面に沿って位置するように、前記三脚モデルを再構成するステップと、
前記画像平面と前記第2の平面との前記交点を表す第1の線の第2の方程式を決定するステップと、
少なくとも前記第1および第2の線を介して前記焦点のxおよびy座標を決定するステップと、
前記xおよびy座標ならびにコスト関数を介して前記焦点のz座標を決定するステップと
を含む、請求項1に記載の方法。 - 1つまたは複数の処理回路によって読み取り可能であり、請求項1~4のいずれか一項に記載の方法を実行するための1つまたは複数のプロセッサによって実行するための命令を格納するコンピュータ可読記憶媒体
を備える、コンピュータプログラム製品。 - メモリと、
前記メモリと通信している少なくとも1つのプロセッサと、
請求項1~4のいずれか一項に記載の方法を実行するために前記メモリを介して1つまたは複数のプロセッサによって実行可能なプログラム命令と
を備える、システム。 - 2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの実際の位置およびポーズを決定する方法であって、前記方法は、
前記2次元放射線空間の上にある前記投影された3次元空間内の前記既知のオブジェクトのコレクションの2つ以上のデジタル放射線画像を取得するステップと、
前記2つ以上のデジタル放射線画像の前記2次元放射線空間における前記既知のオブジェクトのコレクションの影を利用して、前記2次元放射線空間の上にある前記投影された3次元空間における前記既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定するステップと
を含む、方法。 - 前記投影された3次元空間内の前記既知のオブジェクトのコレクションの前記実際の位置およびポーズの3次元モデルを構築するステップをさらに含む、請求項7に記載の方法。
- 前記2つ以上のデジタル放射線画像の前記2次元放射線空間における前記既知のオブジェクトのコレクションの影を利用して、前記既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定するステップが、前記投影された3次元空間を再構築するために、射影歪みを利用して前記画像の相対的な倍率を決定するステップを含む、請求項7に記載のシステム。
- 前記画像内の前記既知のオブジェクトのコレクションの共通のオブジェクトの比較を介して前記2つ以上のデジタル放射線画像間の前記関係を決定するステップを含む、請求項9に記載のシステム。
- 前記2つ以上のデジタル放射線画像が、補正を必要とする少なくとも1つの解剖学的構造をさらに含み、前記投影された3次元空間における前記少なくとも1つの解剖学的構造の前記実際の位置およびポーズの3次元モデルを構築するステップをさらに含む、請求項10に記載のシステム。
- 1つまたは複数の処理回路によって読み取り可能であり、2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定する方法を実行するための1つまたは複数のプロセッサによって実行される命令を格納するコンピュータ可読記憶媒体
を備えるコンピュータプログラム製品であって、前記方法は、
前記2次元放射線空間の上にある前記投影された3次元空間内の前記既知のオブジェクトのコレクションの2つ以上のデジタル放射線画像を取得するステップと、
前記2つ以上のデジタル放射線画像の前記2次元放射線空間における前記既知のオブジェクトのコレクションの影を利用して、前記2次元放射線空間の上にある前記投影された3次元空間における前記既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定するステップと、
を含むコンピュータプログラム製品。 - メモリと、
前記メモリと通信している少なくとも1つのプロセッサと、
2次元放射線空間の上にある投影された3次元空間内の既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定する方法を実行するために、前記メモリを介して1つまたは複数のプロセッサによって実行可能なプログラム命令と、
を備えるシステムであって、前記方法は、
前記2次元放射線空間の上にある前記投影された3次元空間内の前記既知のオブジェクトのコレクションの2つ以上のデジタル放射線画像を取得するステップと、
前記2つ以上のデジタル放射線画像の前記2次元放射線空間における前記既知のオブジェクトのコレクションの影を利用して、前記2次元放射線空間の上にある前記投影された3次元空間における前記既知のオブジェクトのコレクションの前記実際の位置およびポーズを決定するステップと、
を備えるシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962817185P | 2019-03-12 | 2019-03-12 | |
US62/817,185 | 2019-03-12 | ||
JP2021554707A JP7359860B2 (ja) | 2019-03-12 | 2020-03-12 | モノスコピック放射線画像と3次元モデルの登録方法およびシステム |
PCT/US2020/022406 WO2020186066A1 (en) | 2019-03-12 | 2020-03-12 | Monoscopic radiographic image and three-dimensional model registration methods and systems |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021554707A Division JP7359860B2 (ja) | 2019-03-12 | 2020-03-12 | モノスコピック放射線画像と3次元モデルの登録方法およびシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023182681A true JP2023182681A (ja) | 2023-12-26 |
Family
ID=72427682
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021554707A Active JP7359860B2 (ja) | 2019-03-12 | 2020-03-12 | モノスコピック放射線画像と3次元モデルの登録方法およびシステム |
JP2023168381A Pending JP2023182681A (ja) | 2019-03-12 | 2023-09-28 | モノスコピック放射線画像と3次元モデルの登録方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021554707A Active JP7359860B2 (ja) | 2019-03-12 | 2020-03-12 | モノスコピック放射線画像と3次元モデルの登録方法およびシステム |
Country Status (8)
Country | Link |
---|---|
US (1) | US12106515B2 (ja) |
EP (1) | EP3939007A4 (ja) |
JP (2) | JP7359860B2 (ja) |
CN (1) | CN113795866A (ja) |
AU (1) | AU2020235624A1 (ja) |
BR (1) | BR112021018091A2 (ja) |
CA (1) | CA3133082A1 (ja) |
WO (1) | WO2020186066A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3133082A1 (en) * | 2019-03-12 | 2020-09-17 | Amdt Holdings, Inc. | Monoscopic radiographic image and three-dimensional model registration methods and systems |
WO2023034620A1 (en) * | 2021-09-02 | 2023-03-09 | Amdt Holdings, Inc. | Two-dimensional image registration methods and systems for three-dimensional object transformation |
CN114782547B (zh) * | 2022-04-13 | 2024-08-20 | 北京爱笔科技有限公司 | 一种三维坐标确定方法及装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996026678A1 (en) | 1995-03-01 | 1996-09-06 | Smith & Nephew, Inc. | Spatial frame |
US5728095A (en) | 1995-03-01 | 1998-03-17 | Smith & Nephew, Inc. | Method of using an orthopaedic fixation device |
US5971984A (en) | 1995-03-01 | 1999-10-26 | Smith & Nephew, Inc. | Method of using an orthopaedic fixation device |
US6075836A (en) * | 1997-07-03 | 2000-06-13 | University Of Rochester | Method of and system for intravenous volume tomographic digital angiography imaging |
US5951475A (en) * | 1997-09-25 | 1999-09-14 | International Business Machines Corporation | Methods and apparatus for registering CT-scan data to multiple fluoroscopic images |
US5891143A (en) | 1997-10-20 | 1999-04-06 | Smith & Nephew, Inc. | Orthopaedic fixation plate |
US6289235B1 (en) * | 1998-03-05 | 2001-09-11 | Wake Forest University | Method and system for creating three-dimensional images using tomosynthetic computed tomography |
US6081577A (en) * | 1998-07-24 | 2000-06-27 | Wake Forest University | Method and system for creating task-dependent three-dimensional images |
US6030386A (en) | 1998-08-10 | 2000-02-29 | Smith & Nephew, Inc. | Six axis external fixator strut |
US6129727A (en) | 1999-03-02 | 2000-10-10 | Smith & Nephew | Orthopaedic spatial frame apparatus |
US6701174B1 (en) | 2000-04-07 | 2004-03-02 | Carnegie Mellon University | Computer-aided bone distraction |
US7449023B2 (en) | 2002-07-15 | 2008-11-11 | Ebi, Llc | Method and apparatus for the external fixation and correction of bone |
US6888924B2 (en) * | 2003-06-25 | 2005-05-03 | General Electric Company | Method, apparatus, and medium for calibration of tomosynthesis system geometry using fiducial markers with non-determined position |
US7366278B2 (en) * | 2004-06-30 | 2008-04-29 | Accuray, Inc. | DRR generation using a non-linear attenuation model |
US7327865B2 (en) * | 2004-06-30 | 2008-02-05 | Accuray, Inc. | Fiducial-less tracking with non-rigid image registration |
US7231076B2 (en) * | 2004-06-30 | 2007-06-12 | Accuray, Inc. | ROI selection in image registration |
US7801271B2 (en) | 2007-12-23 | 2010-09-21 | Oraya Therapeutics, Inc. | Methods and devices for orthovoltage ocular radiotherapy and treatment planning |
WO2010045271A1 (en) * | 2008-10-14 | 2010-04-22 | Joshua Victor Aller | Target and method of detecting, identifying, and determining 3-d pose of the target |
US8457930B2 (en) | 2009-04-15 | 2013-06-04 | James Schroeder | Personalized fit and functional designed medical prostheses and surgical instruments and methods for making |
GB201008281D0 (en) | 2010-05-19 | 2010-06-30 | Nikonovas Arkadijus | Indirect analysis and manipulation of objects |
WO2012007036A1 (en) * | 2010-07-14 | 2012-01-19 | Brainlab Ag | Method and system for determining an imaging direction and calibration of an imaging apparatus |
US9443302B2 (en) * | 2010-08-20 | 2016-09-13 | Amei Technologies, Inc. | Method and system for roentgenography-based modeling |
WO2013116812A1 (en) | 2012-02-03 | 2013-08-08 | Orthohub, Inc. | External fixator deformity correction systems and methods |
EP2660776A1 (en) | 2012-05-01 | 2013-11-06 | Universität Bern | Image distortion correction and robust phantom detection |
WO2014163591A1 (en) | 2013-04-04 | 2014-10-09 | Harma Ahmet | Computer programmable circular external fixator system |
US10192003B2 (en) * | 2014-09-08 | 2019-01-29 | 3M Innovative Properties Company | Method of aligning intra-oral digital 3D models |
WO2016116946A2 (en) | 2015-01-20 | 2016-07-28 | Indian Institute Of Technology, Bombay | A system and method for obtaining 3-dimensional images using conventional 2-dimensional x-ray images |
USRE49930E1 (en) * | 2015-03-26 | 2024-04-23 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
ES2588257B1 (es) | 2015-03-31 | 2017-08-04 | Consejo Superior De Investigaciones Científicas (Csic) | Dispositivo para extraer información tridimensional de imágenes radiográficas de un objeto; procedimiento de calibración de dicho dispositivo; y procedimiento para generar dichas imágenes radiográficas |
CA3014098C (en) | 2016-02-09 | 2024-06-04 | Amdt Holdings, Inc. | External bone fixation systems |
US11589926B2 (en) * | 2017-01-04 | 2023-02-28 | Medivation Ag | Mobile surgical tracking system with an integrated fiducial marker for image guided interventions |
US11317880B2 (en) * | 2017-01-24 | 2022-05-03 | Brainlab Ag | Determining rotational orientation of a deep brain stimulation electrode in a three-dimensional image |
BR112019025107A2 (pt) * | 2017-06-19 | 2020-06-23 | Mohamed R. Mahfouz | Navegação cirúrgica do quadril usando fluoroscopia e sensores de rastreamento |
BR112020003579A2 (pt) * | 2017-08-24 | 2020-09-01 | Amdt Holdings, Inc. | métodos e sistemas para determinar prescrições de ajuste de dispositivos de fixação externa |
BR112021001216A2 (pt) | 2018-07-24 | 2021-04-27 | Amdt Holdings, Inc. | métodos e sistemas de registro de uma imagem radiográfica e um modelo tridimensional de um dispositivo de fixação externo |
CA3133082A1 (en) * | 2019-03-12 | 2020-09-17 | Amdt Holdings, Inc. | Monoscopic radiographic image and three-dimensional model registration methods and systems |
EP4141799A1 (en) * | 2021-08-31 | 2023-03-01 | 1000shapes GmbH | Method for obtaining a ct-like representation and virtual x-ray images in arbitrary views from a two-dimensional x-ray image |
-
2020
- 2020-03-12 CA CA3133082A patent/CA3133082A1/en active Pending
- 2020-03-12 CN CN202080034088.2A patent/CN113795866A/zh active Pending
- 2020-03-12 EP EP20770694.6A patent/EP3939007A4/en active Pending
- 2020-03-12 WO PCT/US2020/022406 patent/WO2020186066A1/en unknown
- 2020-03-12 BR BR112021018091A patent/BR112021018091A2/pt unknown
- 2020-03-12 AU AU2020235624A patent/AU2020235624A1/en active Pending
- 2020-03-12 JP JP2021554707A patent/JP7359860B2/ja active Active
-
2021
- 2021-09-13 US US17/473,148 patent/US12106515B2/en active Active
-
2023
- 2023-09-28 JP JP2023168381A patent/JP2023182681A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CA3133082A1 (en) | 2020-09-17 |
US20220020174A1 (en) | 2022-01-20 |
WO2020186066A1 (en) | 2020-09-17 |
EP3939007A1 (en) | 2022-01-19 |
AU2020235624A1 (en) | 2021-11-04 |
BR112021018091A2 (pt) | 2021-11-23 |
US12106515B2 (en) | 2024-10-01 |
JP7359860B2 (ja) | 2023-10-11 |
EP3939007A4 (en) | 2022-12-28 |
JP2022525449A (ja) | 2022-05-16 |
CN113795866A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111031933B (zh) | 确定外部固定装置的调节处方的方法和系统 | |
US20210166424A1 (en) | Methods and systems of registering a radiographic image and a 3d model of an external fixation device | |
JP2023182681A (ja) | モノスコピック放射線画像と3次元モデルの登録方法およびシステム | |
US11348216B2 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
Kyme et al. | Markerless motion estimation for motion-compensated clinical brain imaging | |
CN104667435A (zh) | 图像处理器、治疗系统和图像处理方法 | |
JP2021053372A (ja) | 整形外科手術で使用するための入力画像の空間定位を判定する技術 | |
Preuhs et al. | Symmetry prior for epipolar consistency | |
EP3378042A1 (en) | Methods and apparatuses for penetrating imaging | |
Gard et al. | Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy | |
JPWO2020023686A5 (ja) | ||
CN117392230A (zh) | Cbct旋转半径的测量方法、装置、设备及存储介质 | |
JP2024535737A (ja) | 3次元オブジェクト変換のための2次元画像登録方法およびシステム | |
JPWO2020186066A5 (ja) | ||
Al-Durgham et al. | Rigorous accuracy assessment for 3D reconstruction using time-series Dual Fluoroscopy (DF) image pairs | |
US20240233103A9 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
French | An augmented reality based patient positioning system with applications to breast radiotherapy | |
Birkfellner | Spatial Transforms | |
JP2022521615A (ja) | 介入装置追跡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241029 |