JP5561458B2

JP5561458B2 - 手術支援システム

Info

Publication number: JP5561458B2
Application number: JP2009062143A
Authority: JP
Inventors: 清二山本; 利久高井; 悦一林本; 昌秋金原; 曜三浦
Original assignee: Hamamatsu University School of Medicine NUC; Pulstec Industrial Co Ltd
Current assignee: Hamamatsu University School of Medicine NUC; Pulstec Industrial Co Ltd
Priority date: 2008-03-18
Filing date: 2009-03-14
Publication date: 2014-07-30
Anticipated expiration: 2029-03-14
Also published as: US8849374B2; WO2009116535A1; US20110125006A1; EP2255744A4; JP2009254805A; EP2255744A1

Description

本発明は、硬性内視鏡により撮像された画像に関する情報を術者等に提供する手術支援システムに関する。

従来から、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）による画像上に表示し、術者を支援する手術ナビゲーション（手術支援情報表示）が行われている。例えば特許文献１には、本発明者らによる手術支援システムが記載されおり、３次元形状測定装置による患者の３次元表面形状と、予め撮像した３次元断層データとを位置合わせする技術が記載されている。また、患者の３次元表面形状を測定する３次元形状測定装置により、手術器具に取り付けられた位置姿勢検出用の標識部（図１の球体１２）を測定して、手術器具の位置姿勢を算出する技術も記載されている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、ＣＴやＭＲＩによる術前画像のどの部分に相当するかを表示するものではない。

もし、内視鏡で撮像している部位（内視鏡のモニタに表示されている術野）が術前のＣＴ等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のＣＴ等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。

このような内視鏡で撮像している部位を画像上に表示することが示されている従来技術として、特許文献２及び３が挙げられる。また、本発明者らによる従来技術として、特願２００７−２２０７７号（未公開）がある。
特許文献２には、手術ナビゲーション装置において、使用中の硬性内視鏡の光軸方向を３次元断層像上に表示する技術が記載されている。
特許文献３には、患者の体内に挿入される内視鏡挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いて、内視鏡で観察している場所を決定し、術前ＣＴ／ＭＲＩに表示する技術が記載されている。
上記特許文献２乃び３では、内視鏡の位置姿勢の検出に、内視鏡に取り付けられた発光素子などのマーカーと、前記マーカーを検出する位置センサとを用いているが、これらのシステムでは３次元断層データと患者の座標系との位置合わせのために、患者に何らかのマーカーを取り付けるか、別途、患者の形状を測定する装置を設ける必要があり、患者に不便を強いたり、システムが複雑になってしまう。
これに対し本発明者らによる従来技術である特願２００７−２２０７７号（未公開）では硬性内視鏡の位置姿勢検出に患者の３次元表面形状を測定する３次元形状測定装置を用いており、患者に不便を強いたり、システムが複雑にならないようにすることができる。
ただし、特願２００７−２２０７７号においては上記特許文献２乃び３と同様、内視鏡の光軸は公称値通りであることを前提としており、内視鏡の光軸の較正については考慮されていない。例えば直視鏡では、内視鏡の光軸が内視鏡鏡筒の中心を通る、すなわち内視鏡光軸と内視鏡鏡筒の中心線のなす角が０度であるという公称値通りであることを前提として内視鏡の光軸情報を表示している。
これまでは、内視鏡はレンズから比較的近い部分のものを見ることが多いため、レンズ位置等の較正については考慮されても内視鏡の光軸の較正については考慮されたことはなかった。例えば特許文献４には、細長いシャフトおよび遠位端レンズを有する内視鏡のレンズ位置および視野を較正する装置が記載されている。しかしながら、内視鏡の視野の調整については、既知の像を内視鏡に表示させて、表示された画像の方を調整するもので、内視鏡の光軸の較正については記載も示唆もされていない。

特開２００７−２０９５３１号公報特開２００１−２９３００６号公報特開２００１−２０４７３８号公報特表２００３−５２８６８８号公報

一般に、内視鏡は、レンズから比較的近い部分のものを見ることが多いので、実際の光軸の公称値からのずれが大きく影響することは少ないが、手術支援システムなどのように、内視鏡の移動のナビゲーションのために光軸を延長した直線を表示する場合は、実際の光軸（実光軸）とナビゲーション画面に表示された光軸方向との差が顕著になってしまう。本発明者らは、手術支援システムを開発する上で、この実際の光軸の公称値からのずれが無視できない程度の量であることを見出した。本発明者らは、多くの内視鏡について光軸位置を調査した結果、視野角１２０度の内視鏡の場合、実際の光軸の公称値からのずれは最大で約６度（視野角の５％）程度あることがわかった。手術は精密な作業であるため、数ｍｍ程度の誤差でも手術に悪影響を及ぼしてしまう可能性がある。

本発明は、上記問題点を解決するためになされたものであり、硬性内視鏡に実際の光軸の公称値からのずれがあっても、実際の光軸位置を予め測定しておき、実際の光軸位置を加味した上で手術ナビゲーションを行う、手術支援システムを提供することを目的とする。

本発明は以下の構成を有する。
患者の３次元表面形状を測定する３次元形状測定手段と、前記患者の体内に挿入する硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムであって、
前記硬性内視鏡は、体内に挿入されない部分に、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有しており、
前記演算手段には、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記演算手段は、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを位置合わせする手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢を算出する手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体と前記記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記硬性内視鏡の光軸を算出する手段と、
前記３次元断層データから患者内の組織壁を算出する手段と、
前記組織壁と前記硬性内視鏡の実光軸との交点を算出する交点算出手段と、
を有し、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の実光軸と、前記組織壁と前記硬性内視鏡の実光軸との交点とを表示する、
手術支援システム。
患者の３次元表面形状を測定する３次元形状測定手段と、前記患者の体内に挿入する硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムであって、
前記硬性内視鏡は、体内に挿入されない部分に、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有しており、
前記演算手段には、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記演算手段は、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを位置合わせする手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢を算出する手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体と前記記憶されている前記硬性内視鏡の光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記硬性内視鏡の実光軸を算出する手段と、
を有し、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の実光軸と、を表示する、
手術支援システム。
患者の３次元表面形状を測定する３次元形状測定手段と、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有している硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムおいて、前記患者の組織壁と前記硬性内視鏡の実光軸との交点を算出する手術支援方法であって、
予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを位置合わせするステップと、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢を算出するステップと、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体と前記記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記硬性内視鏡の実光軸を算出するステップと、
前記３次元断層データから患者内の組織壁を算出するステップと、
前記組織壁と前記硬性内視鏡の実光軸との交点を算出する交点算出ステップと、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の実光軸と、前記組織壁と前記硬性内視鏡の実光軸との交点とを表示するステップ、
を有する手術支援方法。
患者の３次元表面形状を測定する３次元形状測定手段と、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有している硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムおいて、前記患者の組織壁と前記硬性内視鏡の実光軸との交点を算出する手術支援プログラムであって、
予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを位置合わせするステップと、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢を算出するステップと、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体と前記記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記硬性内視鏡の実光軸を算出するステップと、
前記３次元断層データから患者内の組織壁を算出するステップと、
前記組織壁と前記硬性内視鏡の実光軸との交点を算出する交点算出ステップと、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の実光軸と、前記組織壁と前記硬性内視鏡の実光軸との交点とを表示するステップ、
を有する手術支援プログラム。

また、以下の好ましい実施形態がある。
前記手術支援システムは、さらに、前記３次元形状測定手段の計測範囲内で用いられる光軸位置測定装置を有しており、
前記光軸位置測定装置は、前記３次元形状測定手段により測定可能な光軸位置測定用標識体を有し、
前記演算手段は、前記３次元形状測定手段により測定された前記光軸位置測定用標識体と前記位置姿勢検出用標識体とに基づいて前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係を算出して記憶する。
前記光軸位置測定装置は、前記硬性内視鏡の少なくとも先端部を固定する固定手段と、前記硬性内視鏡の光軸方向にあるターゲットとを有し、
前記固定手段及び前記ターゲットに、前記光軸位置測定用標識体がそれぞれ設けられており、
前記３次元形状測定手段で前記光軸位置測定用標識体を測定することにより、前記硬性内視鏡の先端座標、及び、前記ターゲットの座標を測定して、
前記硬性内視鏡の先端座標と、前記ターゲットの座標とから、前記硬性内視鏡の実光軸位置を算出する。
前記交点算出手段は、前記患者内の組織壁をポリゴンデータにして、前記ポリゴンデータを構成する各面と前記硬性内視鏡の実光軸との交点を算出する。
前記表示手段は、前記硬性内視鏡により撮像された画像も併せて表示する。

また、前記硬性内視鏡の実光軸を測定する方法として以下の好ましい実施形態がある。
前記手術支援システムは、さらに、前記３次元形状測定手段の計測範囲内で用いられる光軸位置測定装置を有しており、
前記光軸位置測定装置は、前記硬性内視鏡の少なくとも先端部を固定する固定手段と、前記硬性内視鏡の光軸方向にあるターゲットとを有し、
前記固定手段及び前記ターゲットに前記光軸位置測定用標識体がそれぞれ設けられており、前記固定手段と前記ターゲットとは離れた位置にあり、
前記硬性内視鏡の先端部を前記ターゲット中心に当接させ、前記３次元形状測定手段により前記固定手段、前記ターゲット及び前記硬性内視鏡の標識体を測定し、それぞれの３次元座標を算出する第１位置測定ステップと、
前記硬性内視鏡の先端部を前記ターゲットから離して前記固定手段に固定し、前記硬性内視鏡の視野中心と前記ターゲットの中心とが一致するように前記ターゲットを移動するステップと、
前記３次元形状測定手段により前記ターゲット及び前記硬性内視鏡の標識体を測定し、それぞれの３次元座標を算出する第２位置測定ステップと、
前記第１位置測定ステップ及び前記第２位置測定ステップで測定された、それぞれの前記固定手段、前記ターゲット及び前記硬性内視鏡の標識体の３次元座標に基づいて、前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置を算出し記憶するステップと、を有する。

本発明は上記構成を採用したことにより、硬性内視鏡に実際の光軸の公称値からのずれ（以下、光軸ずれという）があっても、実際の光軸位置を予め測定しておき、実際の光軸位置を加味した上で手術ナビゲーションを行うことができる。すなわち従来技術のように光軸ずれの調整に内視鏡の表示画像を移動調整する方法とは異なり、実際の光軸位置そのものを測定したデータを用いているため、手術ナビゲーション画面に硬性内視鏡の光軸および光軸と体内腔の交点を正確に表示することができる。また実際の光軸位置の測定に、患者の３次元表面形状を測定する３次元形状測定装置をそのまま用いることでシステムが簡単になる。また、手術直前に実際の光軸位置の測定をすることができるので、繰り返し消毒し手術に使用しているうちに手術毎に光軸ずれ量が変化しても、手術直前の実際の光軸位置のデータを用いれば、より高い精度の手術ナビゲーションを行うことができる。
また、実際の光軸（実光軸）の正確な位置を測定することにより、内視鏡画面に光軸があたっている点（真の観察画面の中心）を表示し、合わせてナビゲーション装置の画像（術前ＣＴ等による画像）のどの部位に真の観察画面の中心が位置するのかを正確に表示して手術を支援することができる。

本発明の実施形態に係る手術支援システムの構成を示す図である。硬性内視鏡（直視鏡）の光軸ずれを説明する図である。硬性内視鏡（直視鏡）の光軸ずれを説明する図である。本発明の実施形態に係る手術支援システムでの処理を示すフローチャートである。患者の面（組織壁）を構成する三角形と内視鏡の撮像方向のベクトルとの交点を示した図である。硬性内視鏡の光軸及び交点の表示例を表す図である。光軸位置測定装置の全体構成を表すイメージ図である。硬性内視鏡（直視鏡）の光軸位置測定装置の模式図である。硬性内視鏡（３０度斜視鏡）の光軸位置測定装置の模式図である。硬性内視鏡（７０度斜視鏡）の光軸位置測定装置の模式図である。内視鏡先端部をターゲット中心に当接させた様子を示した図である。

以下、図面とともに本発明に係る手術支援システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。

図１は、本発明に係る手術支援システム１の実施形態を概略的に示す構成図である。手術支援システム１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援システム１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、硬性内視鏡による撮像が行われるものを対象とする。

図１に示すように、手術支援システム１は、硬性内視鏡１１と、標識球１２と、３次元形状測定装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。また、３次元形状測定装置２０の測定範囲内に光軸位置測定装置８０を配置することで、硬性内視鏡１１の標識球１２と実光軸との３次元相対位置関係を測定できる。光軸位置測定の詳細についてはあとで説明する。

硬性内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。硬性内視鏡１１は、患者の生体内に挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構は、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、硬性内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、硬性内視鏡１１の撮像方向Ａとなる。硬性内視鏡１１により撮像された画像の情報は、ケーブルにより硬性内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の硬性内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている硬性内視鏡を用いることができる。

標識球１２は、硬性内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられる３つ以上の定点を定義可能な物体である。標識球１２は、３次元形状測定装置２０によりスキャンされて、スキャンされたデータから表面の複数点の３次元座標を求められ、これらの複数の３次元座標から球体中心座標が求められる。具体的には、標識球１２は、硬性内視鏡１１に対して棒状部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なるようにしているのは、３次元形状測定装置２０によりスキャンされたデータから球体の径を求め、それぞれを区別して検出するためである。

標識球１２が硬性内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と硬性内視鏡１１の先端部からの撮像方向Ａとの位置関係が一定となるように、硬性内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。

なお、硬性内視鏡１１に設けられる３つ以上の定点を定義可能な物体は、硬性内視鏡１１の先端部からの撮像方向に対して定められた相対的な位置関係の位置にあり、３次元形状測定装置２０によりスキャンされたデータから３つ以上の定点座標を区別して求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。

３次元形状測定装置２０は、患者６０に硬性内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を３次元スキャンする装置である。図１に示すように、患者６０の鼻の穴から硬性内視鏡１１を挿入して、硬性内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に３次元形状測定装置２０が設けられる。３次元形状測定装置２０は、ＰＣ４０と接続されており、スキャンした情報をＰＣ４０に送信する。

３次元形状測定装置２０によりスキャンされたデータは、スキャンされたものの表面の複数点の３次元座標（３次元位置情報）を算出するために用いられる。３次元形状測定装置２０としては、例えば、特開２００３−２５４７３２号公報に記載された位相シフト法による装置を用いることができる。これは、キセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影して３次元スキャンするものである。

なお、位相シフト法による３次元形状測定装置であるパルステック工業（株）製のＦｓｃａｎを用いれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で３次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことがないため安全に人体の３次元位置情報を取得できる。

ＣＴ装置３０は、硬性内視鏡１１が挿入される患者６０の３次元断層データを取得するものである。ＣＴ装置３０による患者６０の３次元断層データを第１座標系によるデータとする。

ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の３次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の３次元断層データを、ＰＣ４０に送信する。なお、ＣＴ装置３０は、３次元形状測定装置２０と同じ場所に設置されている必要はなく、通常、３次元形状測定装置２０によるスキャンと、ＣＴ装置３０による３次元断層データの取得とは別々に行われる。なお、ＣＴ画像から３次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。

なお、手術支援システム１では、患者６０の内部を含む３次元形状を示す情報が取得できればよいので、患者形状取得手段として必ずしもＣＴ装置３０に限られず、例えば、ＭＲＩ装置や超音波診断装置を用いてもよい。

ＰＣ４０は、３次元形状測定装置２０によりスキャンされたデータ及びＣＴ装置３０により取得された患者６０の３次元断層データを受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡ベクトル算出部４５と、交点算出部４６と、出力部４７とを備えている。

患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の３次元断層データを受信する手段である。患者形状取得部４１は、受信した患者６０の３次元断層データを、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援システム１では、必ずしも本実施形態のように、患者形状取得手段としてＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援システム１に含まれないＣＴ装置で撮像等された）患者６０の３次元断層データが受信さえされればよい。

撮像画像取得部４２は、３次元形状測定装置２０によりスキャンされ送信されたデータを受信する手段である。撮像画像取得部４２は、受信したデータを表面形状算出部４３及び内視鏡ベクトル算出部４５等に出力する。

表面形状算出部４３は、３次元形状測定装置２０によりスキャンされたデータから、患者６０の表面の３次元形状を表す複数の座標データを算出する表面形状算出手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。表面形状算出部４３により取得される３次元形状を表す複数の座標データは、例えば３次元形状測定装置２０に設定されている座標系における座標データとして算出される。この座標系は、上述した第１座標系とは異なるものであり、この座標系を第２座標系とする。即ち、３次元形状測定装置２０によりスキャンされたデータによる患者６０の３次元形状を表す複数の座標データは、第２座標系におけるデータである。表面形状算出部４３は、算出した患者６０の表面の３次元形状を示すデータを、座標軸一致部４４に出力する。

座標軸一致部４４は、患者形状取得部４１により取得された患者６０の３次元断層データと表面形状算出部４３により算出された患者６０の表面の３次元形状を示すデータとのいずれかまたは両方を座標変換して、第１座標系によるデータと第２座標系によるデータとを座標軸を一致させたデータにする座標軸一致手段である。即ち、座標軸一致部４４は、ＣＴ装置３０による３次元断層データと、３次元形状測定装置２０によりスキャンされたデータから算出された３次元形状を示すデータとを同じ座標系によるデータにして処理できるようにするための手段である。

具体的には、座標軸一致部４４は、ＣＴ装置３０による３次元断層データ、及び３次元形状測定装置２０によりスキャンされたデータから算出された３次元形状を示すデータの双方に共通する患者６０の顔面の位置を一致させることによって座標軸の一致を行う。座標軸の一致の処理は、例えばパターンマッチングの方法を用いることにより行われ、当該処理の結果として第１座標系及び第２座標系の何れか一方の座標系のデータをもう一方の座標系のデータに座標変換する座標変換関数が算出される。座標軸一致部４４は、算出された座標変換関数等を、必要に応じて内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７等に出力する。上記の座標軸を一致させる処理以降は、内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７等において上記の座標変換関数等が、３次元形状を示すデータに適用されることによって、ＣＴ装置３０による３次元断層データと、３次元形状測定装置２０によりスキャンされたデータから算出された３次元形状を示すデータとは同じ座標系で処理される。

内視鏡ベクトル算出部４５は、３次元形状測定装置２０によりスキャンされた標識球１２の複数の座標データから標識球１２の中心座標を算出し、座標軸一致部４４で算出された一致された座標系によるデータにするための座標変換関数により座標変換して、この座標変換された標識球１２の中心座標と予め記憶されている標識球１２の中心と硬性内視鏡１１の先端部からの撮像方向との位置関係とから座標軸一致部４４で算出された一致された座標系による硬性内視鏡１１の撮像方向ベクトルＡを算出する内視鏡ベクトル算出手段である。なお、ここで言う撮像方向ベクトルＡには、ベクトルの起点となる位置も含まれる。即ち、硬性内視鏡１１の撮像方向Ａのベクトルは、どの点からどの方向に撮像が行われるかを示したものである。内視鏡ベクトル算出部４５は、予め、標識球１２の中心と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係を示す情報を記憶している。当該位置関係を示す情報としては、具体的には例えば、同一の座標系における硬性内視鏡１１の先端部の座標と硬性内視鏡１１の光軸（撮像方向ベクトルＡ）が当たるターゲットの座標と標識球１２の中心座標である。内視鏡ベクトル算出部４５は、算出した撮像方向ベクトルＡのデータを、交点算出部４６に出力する。

ここで、硬性内視鏡１１の光軸（撮像方向における撮像中心を示す直線）が、メーカーが公表している公称値通りであれば良いが、実際には公称値からずれている。例えば、視野角１２０度の内視鏡の場合、最大で約６度（視野角の５％）程度の光軸方向の誤差が生じ得る。したがって、公称値通りであることを前提にして撮像方向ベクトルＡを決定してしまうと、実際の内視鏡の視野とナビゲーションされる情報とに齟齬を生じてしまう。したがって、予め記憶しておく標識球１２の中心と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係は実際の光軸位置（撮像方向ベクトルＡ）を標識球１２の中心座標とともに同一の座標系で測定しておく必要がある。

硬性内視鏡１１が直視鏡である場合の、光軸ずれの例を、図２及び図３を用いて説明する。直視鏡であれば、光軸（撮像方向における撮像中心を示す直線）は、鏡筒中心線と一致するはずであるが、実際には様々な要因により少しずれが生じる。図２は対物レンズ等の要因により、鏡筒先端部で角度ずれが生じる例である。図２は、光軸が、鏡筒中心に対してθ度ずれており（図２（Ａ））、そのずれている方向が天頂方向からφ度である（図２（Ｂ））例である。図２の例は、鏡筒の先端面と鏡筒中心との交点から光軸ずれが生じることを前提にしたが、光軸ずれは必ずしもこの点からずれるとは限らず、図３（Ａ）のようにより接眼レンズに近い側でずれ始めることもあるし、図３（Ｂ）のように、光軸（撮像方向における撮像中心を示す直線）が鏡筒の先端面と鏡筒中心との交点を通らないこともある。光軸位置の測定はどのような方法を用いても良いが、後述する、３次元形状測定装置２０を用いた光軸位置測定装置を用いることが好ましい。なお、図２及び図３では、直視鏡の場合について説明したが、斜視鏡や側視鏡でも同様の光軸ずれが生じる得ることは言うまでも無い。

交点算出部４６は、内視鏡ベクトル算出部４５により算出された硬性内視鏡１１の撮像方向ベクトルＡと患者形状取得部４１により取得された３次元形状を示す情報に係る患者６０の内部を構成する面との交点を算出する交点算出手段である。この交点は、ＣＴ装置３０による３次元形状を示す情報における、硬性内視鏡１１が撮像を行っている点（中心点）である。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と構成内視鏡１１の撮像方向ベクトルＡとの交点座標を算出する。交点座標の算出については、より詳細には後述する。交点算出部４６は、算出した交点座標のデータを出力部４７に出力する。

出力部４７は、交点算出部４６により算出された交点座標のデータを、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像データに重畳して、モニタ５０に出力する出力手段である。また、出力部４７は、硬性内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像データを併せて、モニタ５０に出力するようにしてもよい。

モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、硬性内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援システム１の構成である。

引き続いて、手術支援システム１の動作について、図４のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に硬性内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。

まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（Ｓ０１）。このＣＴスキャン撮影は、硬性内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、硬性内視鏡１１が挿入される患者６０の内部を構成する面との３次元形状を示す情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された、患者６０の３次元形状を示す情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（Ｓ０２）。上記が手術前の処理であり、例えば、手術の前日等に行われる。

引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、硬性内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、硬性内視鏡１１を挿入する前に、３次元形状測定装置２０によって、配置された患者６０がスキャンされる（Ｓ０３）。スキャンされたデータは、３次元形状測定装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信されたデータは、撮像画像取得部４２から表面形状算出部４３に出力される。

表面形状算出部４３では、当該データから患者６０の表面である顔面の３次元形状を示すデータが算出される（Ｓ０４）。算出された患者６０の顔面の３次元形状を示すデータは、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の３次元形状を示すデータが、患者形状取得部４１から座標軸一致部４４に出力される。

この時点ではＣＴ装置３０による患者６０の３次元形状を示すデータと、３次元形状測定装置２０によるデータから患者６０の表面である顔面の３次元形状を示すデータとに係るそれぞれの座標系の座標軸は、一致していない。ＣＴ装置３０によるデータと、３次元形状測定装置２０のデータとが位置合わせされていない状態である。

ここで、座標軸一致部４４によって、これら２つのデータにおける顔面の形状がマッチングされることにより座標変換関数が算出され、データが座標変換されて、２つのデータが一致された座標軸におけるデータになる（Ｓ０５）。顔面の形状のマッチングは、上述したようにパターンマッチングの手法により行われる。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。一致した座標軸のデータにするための座標変換関数は、座標軸一致部４４から、内視鏡ベクトル算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されてデータの座標変換等が行われて、これ以降、一致した座標軸のデータを基準として３次元形状に対する情報処理が行われる。上記が手術開始までの処理である。
また、手術開始前までに、後述する光軸位置測定装置により、硬性内視鏡１１の実際の光軸位置を測定して、記憶しておく。

続いて、手術が開始され、術者によって、硬性内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。これは座標軸がずれることを防止するためである。硬性内視鏡１１が患者６０に挿入されてから以降継続して、３次元形状測定装置２０によって、患者６０及び標識球１２がスキャンされる（Ｓ０６）。スキャンされたデータは、３次元形状測定装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信されたデータは、撮像画像取得部４２から内視鏡ベクトル算出部４５に出力される。

続いて、内視鏡ベクトル算出部４５によって、標識球１２の中心の３次元座標が算出される（Ｓ０７）。続いて、内視鏡ベクトル算出部４５によって、算出された標識球１２の中心の３次元座標から、予め記憶していた標識球１２の中心座標と硬性内視鏡１１の撮像方向ベクトルＡとの位置関係を示す情報に基づいて、一致された座標軸におけるデータとして硬性内視鏡１１の撮像方向ベクトルＡが算出される（Ｓ０８）。この際、予め記憶されている、内視鏡ごとの標識球１２の中心座標と実際の光軸位置（撮像方向ベクトルＡ）との位置関係を示す情報を用いて、硬性内視鏡１１の撮像方向ベクトルＡを算出する。

算出された撮像方向ベクトルＡの情報は、内視鏡ベクトル算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の３次元形状を示す情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向ベクトルＡと、患者６０の内部を構成する面との交点が算出される（Ｓ０９）。

交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による患者６０の３次元形状を示す情報が、ポリゴンデータに変換される。なお、ポリゴンデータへの変換は、手術前に行いあらかじめＰＣ４０に格納しておいてもよい。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、硬性内視鏡１１の撮像方向ベクトルＡとの交点が算出される。

この交点の算出について、図５を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、硬性内視鏡１１の撮像方向ベクトルＡの基準となる点（例えば、硬性内視鏡１１の先端の点）をＰＬ、ベクトルをｖｅｃＣとし、媒介変数をγとすると、硬性内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ

ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と硬性内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、硬性内視鏡１１の撮像方向ベクトルＡと患者６０の内部を構成する面との交点とする。

算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（Ｓ１０）。交点の情報は、例えば図６に示されているように、硬性内視鏡１１の光軸と併せて、３次元断層データ及び内視鏡撮像画像上に表示される。術者は表示された画像を参照することにより、硬性内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。

また、硬性内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の硬性内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。

上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。

また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後にＳ０３〜Ｓ１０までの処理を等間隔で繰り返し行うようにすれば、患者６０の頭部が動いてもよい。また、患者６０の頭部を動かした場合に、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうようにしてもよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。

上述したように本実施形態に係る手術支援システム１では、ＣＴ装置３０による患者６０の内部を構成する面及び患者の表面の３次元形状を示す情報と、３次元形状測定装置２０により外部から患者６０をスキャンしたデータとを用いて、硬性内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかを表示することができる。従って、本実施形態に係る手術支援システム１によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本実施形態に係る手術支援システム１によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。従って、本実施形態に係る手術支援システム１を用いれば、安全かつ正確に手術を行うことができる。

また、ＣＴスキャン撮影（Ｓ０１）の際に、患者６０にマーク等をつける必要がなく、通常通りのＣＴスキャン撮影を行えばよいので、簡便である。また、位置合わせ等のために患者６０をピンなどで固定する必要がない。患者６０を手術中に動かしたとしても、容易に位置合わせを行うことができる。上記の手術支援システム１の各構成要素は、比較的安価であり、低コストで実現することができる。

また、本実施形態のように、ＣＴ装置３０による患者６０の３次元情報をポリゴンデータとし交点を求めることとすれば、確実に交点を算出することができ、確実に本発明を実施することができる。

また、硬性内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかの情報に併せて、硬性内視鏡１１により撮像された画像自体も表示することとすれば、術者等が、硬性内視鏡１１で撮像された内容と、内視鏡１１で撮像されている部分が患者６０のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。

以下、図面を用いて光軸位置測定装置について説明する。図７は光軸位置測定装置の概略イメージであり、図８はその模式図である。なお、図７においては、表示の都合上、標識球１２及び棒状部材１３の表示は省略されている。光軸位置測定装置８０は、硬性内視鏡１１の先端部を固定する内視鏡先端部固定手段８１と、硬性内視鏡１１が観察している点を検出するためのターゲット８２と、ターゲット８２に取り付けられたターゲット用標識球８３と、ターゲット８２を所定方向に回動させる回動手段８４とからなる。本実施形態においては、内視鏡先端部固定手段８１は球体であり、３次元形状測定装置２０で計測するための標識球も兼ねている。回動手段８４は、自動でも手動でもどちらでも構わない。

また、ターゲット移動手段８５を有している。このターゲット移動手段８５を調整することにより、ターゲット８２を少なくともターゲット面に平行な２次元方向に微小移動させることができる。後述の通り、硬性内視鏡１１の先端部とターゲット中心とを当接させたり、内視鏡先端部固定手段に固定した硬性内視鏡１１の視野中心とターゲット中心とを一致させる際、ターゲット移動手段８５を用いてターゲット８２を移動させることにより位置合わせを行う。

次に、光軸位置測定装置８０を用いた硬性内視鏡１１の光軸位置の測定手順の一例を説明する。
（手順１）光軸位置測定装置８０を、３次元形状測定装置２０の計測範囲内に設置する。
（手順２）光軸位置測定装置８０に、光軸位置を測定しようとする硬性内視鏡１１をセットする。
（手順３）硬性内視鏡１１の先端部をターゲット８２に当接させ、ターゲット移動手段８５により、硬性内視鏡１１の先端部とターゲット８２の中心とが一致するように調整する。この際、硬性内視鏡１１の鏡筒部は、内視鏡先端部固定手段８１を通るようにする（図１１参照）。一度、ターゲット移動手段８５により、硬性内視鏡１１の先端部とターゲット８２の中心とが一致するように調整したら、ターゲット８２の位置を変えずに、硬性内視鏡１１を引き抜き、硬性内視鏡１１の先端部が内視鏡先端部固定手段８１の端に硬性内視鏡１１の先端部を位置させ硬性内視鏡１１を固定する。
（手順４）ターゲット用標識球８３と内視鏡先端部固定手段８１と内視鏡標識球１２を３次元形状測定装置２０により測定し、それぞれの３次元形状データを抽出してデータ処理することにより、ターゲット８２の中心座標と内視鏡先端部固定手段８１の中心座標および標識球１２の中心座標を算出する。
（手順５）硬性内視鏡１１を手順４の撮影時から動かすことなく硬性内視鏡１１の接眼レンズ側からターゲット８２を観察しながら、硬性内視鏡１１の視野中心とターゲット８２の中心とが一致するまでターゲット移動手段８５によりターゲット８２を移動させる。
（手順６）内視鏡先端部固定手段８１、ターゲット用標識球８３及び標識球１２を３次元形状測定装置２０により測定し、それぞれの３次元形状データを抽出してデータ処理することにより、ターゲット８２の中心座標と内視鏡先端部固定手段８１の中心座標を標識球１２の中心座標と共に算出する。
（手順７）手順４で求められたターゲット８２の中心座標と内視鏡先端部固定手段８１の中心座標、手順７で求められた標識球１２の中心座標、ターゲット８２の中心座標及び内視鏡先端部固定手段８１の中心座標に基づいて、硬性内視鏡１１の光軸位置（実光軸）と標識球１２との３次元相対関係を算出する。
（手順８）算出した、硬性内視鏡１１の光軸位置（硬性内視鏡１１の先端部座標を含む）と標識球１２との３次元相対位置関係を、ＰＣ４０に記憶する。

手順４および手順６におけるターゲット８２の中心座標の算出は次のように行う。予め、ターゲット８２の中心座標とをターゲット用標識球８３の中心座標とを別の座標系で求めてPC４０に記憶しておく。これは、ターゲット８２の中心に球体が頭にあるピンを垂直に取り付け、ターゲット用標識球８３と共に３次元形状測定装置２０で測定して３次元形状データを処理することで求めることができる。すなわち、それぞれの球体の中心座標とターゲット８２の面の平面式をそれぞれの３次元形状データを抽出してデータ処理することで求め、ピンの頭の球体の中心座標とターゲット８２の面の法線ベクトルとから算出される直線の式とターゲット８２の面の平面式とから交点座標をターゲット８２の中心座標として求めればよい。そして、手順４および手順７における３次元形状測定装置２０による測定と測定データの処理で求められた、ターゲット用標識球８３の中心座標と予め記憶されているターゲット用標識球８３の中心座標とから座標変換係数を計算し、算出された座標変換係数により記憶されているターゲット８２の中心座標を座標変換する。これにより３次元形状測定装置２０による測定により得られた３次元形状データと同一の座標系でターゲット８２の中心座標を求めることができる。
手順７における硬性内視鏡１１の光軸位置（実光軸）と標識球１２との３次元相対関係算出は次のように行う。内視鏡先端部固定手段８１の中心座標が硬性内視鏡１１の先端部と同一になるような機構にされていれば、算出した内視鏡先端部固定手段８１の中心座標が硬性内視鏡１１の先端部の座標であり撮像方向ベクトルＡの起点の座標である。しかし、このような機構は困難であり、内視鏡先端部固定手段８１の中心座標と硬性内視鏡１１の先端部の座標にはずれがあるがあるため、このずれの大きさと方向から硬性内視鏡１１の先端部の座標を算出する。ずれの大きさは、硬性内視鏡１１を内視鏡先端部固定手段８１に固定した際に内視鏡先端部固定手段８１の表面から硬性内視鏡１１の先端部までの距離を測定すればよいので簡単に求めることができる。この値は予め測定されてPC４０に記憶されているとする。次にずれの方向は、手順４において算出した内視鏡先端部固定手段８１の中心座標とターゲット８２の中心座標とからこの２つの座標を結ぶベクトルを考えればよい。このベクトルの方向がずれの方向である。よって、このベクトルの方向と記憶されているずれの大きさとから、内視鏡先端部固定手段８１の中心座標から硬性内視鏡１１の先端部へ向かうベクトルの成分が算出され、内視鏡先端部固定手段８１の中心座標にこのベクトル成分を加算することにより、硬性内視鏡１１の先端部の座標が算出される。
算出された硬性内視鏡１１の先端部の座標（撮像方向ベクトルＡの起点の座標）と手順７で算出したターゲット８２の中心座標とを結んだ位置ベクトルが硬性内視鏡１１の光軸位置（撮像方向ベクトルＡ）である。このベクトル成分とベクトルの起点座標である硬性内視鏡１１の先端部の座標とを標識球１２の中心座標とともに取得することが、硬性内視鏡１１の光軸位置と標識球１２との３次元相対関係を取得することである。

前述の例では、硬性内視鏡１１が直視鏡である場合の例を示したが、斜視鏡や側視鏡でも同様に光軸位置測定装置８０により光軸位置が測定可能である。図９は３０度斜視鏡の光軸位置の測定例、図１０は７０度斜視鏡の光軸位置の測定例を示している。これらの図に示されるように硬性内視鏡１１の視野方向（光軸位置）に合わせて回動手段８４を回動させて、ターゲット８２が硬性内視鏡１１の視野内に入るように調整すれば良い。側視鏡の場合でも、硬性内視鏡１１の先端部の対物レンズ部分が、内視鏡先端部固定手段８１から突き出るように硬性内視鏡１１を設置すれば、硬性内視鏡１１の視野を確保することができ、内視鏡先端部固定手段８１に視野を邪魔されることなく、硬性内視鏡１１の光軸位置を測定できる。

上記実施形態は、ターゲット８２を独立に２方向に移動可能とすることにより、図２のθ及びφに相当する光軸ずれがあったときの光軸位置が測定できる例である。この他に、硬性内視鏡１１の鏡筒を移動又は回転させる、内視鏡先端部固定手段８１を移動させる、ターゲット８２とは独立に移動可能な透明板上に設けた別のターゲットをターゲット８２の手前に設ける、などの構成を追加して、より多くの測定点を設けたり、より多くの測定データを取得することにより、図３のΔＸ、ΔＹ、ΔＺに相当する光軸ずれがあっても光軸位置が測定可能なのは言うまでも無い。これらの具体的構成については、例示するまでもなく当業者の通常の創作能力により実現可能なものであり、当然、本発明の範疇に含まれる。

以上、本発明の実施形態の一例を説明したが、本発明はこれに限定されるものではなく、特許請求の範囲に記載された技術的思想の範疇において各種の変更が可能であることは言うまでもない。

１：手術支援システム、１１：硬性内視鏡、１２：標識球、２０：３次元形状測定装置、３０：ＣＴ装置、４０：ＰＣ、４１：患者形状取得部、４２：撮像画像取得部、４３：表面形状算出部、４４：座標軸一致部、４５：内視鏡ベクトル算出部、４６：交点算出部、４７：出力部、５０：モニタ、６０：患者、７０：手術台、８０：光軸位置測定装置、８１：内視鏡先端部固定手段、８２：ターゲット、８３：ターゲット用標識球、８４：回動手段、８５：ターゲット移動手段

Claims

患者の３次元表面形状を測定する３次元形状測定手段と、前記患者の体内に挿入する硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムであって、
前記硬性内視鏡は、体内に挿入されない部分に、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有しており、
前記演算手段には、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実際の光軸である実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記演算手段は、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを一致させた座標軸になるよう位置合わせする手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢として前記位置姿勢検出用標識体の３次元位置を算出する手段と、
前記算出された位置姿勢検出用標識体の３次元位置と記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記一致させた座標軸における前記硬性内視鏡の撮像方向ベクトルを算出する手段と、
前記位置合わせされた３次元断層データから患者内の組織壁を算出する手段と、
前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する交点算出手段と、
を有し、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の撮像方向ベクトルの延長線と、前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点とを表示する、
手術支援システム。
前記手術支援システムは、さらに、前記３次元形状測定手段の計測範囲内で用いられる光軸位置測定装置を有しており、
前記光軸位置測定装置は、前記３次元形状測定手段により測定可能な光軸位置測定用標識体を有し、
前記演算手段は、前記３次元形状測定手段により測定された前記光軸位置測定用標識体と前記位置姿勢検出用標識体とに基づいて前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係を算出して記憶する、
請求項１記載の手術支援システム。
前記光軸位置測定装置は、前記硬性内視鏡の少なくとも先端部を固定する固定手段と、前記硬性内視鏡の光軸方向にあるターゲットとを有し、
前記固定手段及び前記ターゲットに、前記光軸位置測定用標識体がそれぞれ設けられており、
前記３次元形状測定手段で前記光軸位置測定用標識体を測定することにより、前記硬性内視鏡の先端座標、及び、前記ターゲットの座標を測定して、
前記硬性内視鏡の先端座標と、前記ターゲットの座標とから、前記硬性内視鏡の実光軸を算出する、
請求項２記載の手術支援システム。
前記交点算出手段は、前記患者内の組織壁をポリゴンデータにして、前記ポリゴンデータを構成する各面と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する、
請求項１〜３いずれか記載の手術支援システム。
前記表示手段は、前記硬性内視鏡により撮像された画像も併せて表示する、
請求項１〜４いずれか記載の手術支援システム。
患者の３次元表面形状を測定する３次元形状測定手段と、前記患者の体内に挿入する硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムであって、
前記硬性内視鏡は、体内に挿入されない部分に、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有しており、
前記演算手段には、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実際の光軸である実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記演算手段は、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを一致させた座標軸になるよう位置合わせする手段と、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢として前記位置姿勢検出用標識体の３次元位置を算出する手段と、
前記算出された位置姿勢検出用標識体の３次元位置と記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記一致させた座標軸における前記硬性内視鏡の撮像方向ベクトルを算出する手段と、
を有し、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の撮像方向ベクトルの延長線と、を表示する、
手術支援システム。
患者の３次元表面形状を測定する３次元形状測定手段と、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有している硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムおいて、前記患者の組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する手術支援方法であって、
前記演算手段に、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実際の光軸である実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記演算手段が、前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを一致させた座標軸になるよう位置合わせするステップと、
前記演算手段が、前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢として前記位置姿勢検出用標識体の３次元位置を算出するステップと、
前記演算手段が、前記算出された位置姿勢検出用標識体の３次元位置と記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記一致させた座標軸における前記硬性内視鏡の撮像方向ベクトルを算出するステップと、
前記演算手段が、前記３次元断層データから患者内の組織壁を算出するステップと、
前記演算手段が、前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する交点算出ステップと、
前記演算手段が、前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の撮像方向ベクトルの延長線と、前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点とを表示するステップ、
を有する手術支援方法。
前記手術支援システムは、さらに、前記３次元形状測定手段の計測範囲内で用いられる光軸位置測定装置を有しており、
前記光軸位置測定装置は、前記硬性内視鏡の少なくとも先端部を固定する固定手段と、前記硬性内視鏡の光軸方向にあるターゲットとを有し、
前記固定手段及び前記ターゲットに光軸位置測定用標識体がそれぞれ設けられており、前記固定手段と前記ターゲットとは離れた位置にあり、
前記３次元形状測定手段が、前記硬性内視鏡の先端部を前記ターゲット中心に当接された状態での、前記固定手段、前記ターゲット及び前記硬性内視鏡の標識体を測定し、それぞれの３次元座標を算出する第１位置測定ステップと、
前記３次元形状測定手段が、前記硬性内視鏡の先端部を前記ターゲットから離して前記固定手段に固定させた状態で、前記硬性内視鏡の視野中心と前記ターゲットの中心とが一致した状態での、前記ターゲット及び前記硬性内視鏡の標識体を測定し、それぞれの３次元座標を算出する第２位置測定ステップと、
前記演算手段が、前記第１位置測定ステップ及び前記第２位置測定ステップで測定された、それぞれの前記固定手段、前記ターゲット及び前記硬性内視鏡の標識体の３次元座標に基づいて、前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置を算出し記憶するステップと、
を有する請求項７記載の手術支援方法。
患者の３次元表面形状を測定する３次元形状測定手段と、前記３次元形状測定手段で測定可能な位置姿勢検出用標識体を有している硬性内視鏡と、演算手段と、表示手段と、を有する手術支援システムおいて、前記患者の組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する、前記演算手段で実行される手術支援プログラムであって、
前記演算手段に、予め撮像された前記患者の３次元断層データ、及び、予め測定された前記硬性内視鏡の実際の光軸である実光軸と前記位置姿勢検出用標識体との３次元相対位置関係が記憶されており、
前記３次元断層データと前記３次元形状測定手段により測定された前記患者の３次元表面形状とを一致させた座標軸になるよう位置合わせするステップと、
前記３次元形状測定手段により測定された前記位置姿勢検出用標識体に基づいて前記硬性内視鏡の位置及び姿勢として前記位置姿勢検出用標識体の３次元位置を算出するステップと、
前記算出された位置姿勢検出用標識体と記憶されている前記硬性内視鏡の実光軸と前記位置姿勢検出用標識体との３次元相対位置関係に基づいて前記一致させた座標軸における前記硬性内視鏡の撮像方向ベクトルを算出するステップと、
前記３次元断層データから患者内の組織壁を算出するステップと、
前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点を算出する交点算出ステップと、
前記表示手段に、少なくとも、位置合わせされた前記３次元断層データと、前記硬性内視鏡の撮像方向ベクトルの延長線と、前記組織壁と前記硬性内視鏡の撮像方向ベクトルの延長線との交点とを表示するステップ、
を有する手術支援プログラム。