JP3557246B2 - Microscope image remote observation device and microscope image remote observation method - Google Patents

Microscope image remote observation device and microscope image remote observation method Download PDF

Info

Publication number
JP3557246B2
JP3557246B2 JP12635794A JP12635794A JP3557246B2 JP 3557246 B2 JP3557246 B2 JP 3557246B2 JP 12635794 A JP12635794 A JP 12635794A JP 12635794 A JP12635794 A JP 12635794A JP 3557246 B2 JP3557246 B2 JP 3557246B2
Authority
JP
Japan
Prior art keywords
image
magnification
microscope
still
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12635794A
Other languages
Japanese (ja)
Other versions
JPH07333522A (en
Inventor
清文 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP12635794A priority Critical patent/JP3557246B2/en
Publication of JPH07333522A publication Critical patent/JPH07333522A/en
Application granted granted Critical
Publication of JP3557246B2 publication Critical patent/JP3557246B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Microscoopes, Condenser (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

【０００１】
【産業上の利用分野】
本発明は病院等の現場に設置してある顕微鏡を、遠方のセンタ（大学病院等）より遠隔操作してその顕微鏡画像をセンタにて受けて観察する顕微鏡画像遠隔観察装置に関するものである。
【０００２】
【従来の技術】
コンピュータ制御によりステージ位置や対物レンズの倍率を可変制御でき、そして、焦点調整できるようにした光学式電動型顕微鏡装置がある。この顕微鏡装置は遠隔地より通信回線で結び、操作指令情報を伝送することでステージ位置や対物レンズの倍率を可変制御でき、また、焦点調整できるので、この顕微鏡装置にテレビカメラなどの撮像装置を取り付けて標本像を撮像し、これを伝送路を介して伝送することで、遠隔操作しながら得られた標本像の観察を遠方において居ながらにして行える顕微鏡遠隔観察システムが構築できる。
【０００３】
ところで、医療現場では患者から採取した生体組織を観察して診断を行うことが多いが、これには病理医による診断が必要となる。しかし、中央の大病院には病理医が常駐していても、地方の病院などでは病理医が在席していないケースも多々ある。また、権威に診断を仰ぐ必要のあるケースなども生じるが、そのような場合に、中央（センタ；病理医や権威の常駐する大病院や大学、研究機関など）と現場（地方病院や中小病院など）との間を通信回線で結び、顕微鏡遠隔観察システムを設置してこの顕微鏡遠隔観察システムにより生体組織の顕微鏡画像を観察して診断を下すと云ったことが行われる。
【０００４】
このように病理医のいない病院と、病理医のいる病院とを通信回線で接続し、病理医のいない病院にある顕微鏡を、病理医のいる病院から遠隔操作し、得られた顕微鏡画像を病理医のもとに伝送し、診断に供するというシステムが従来より知られているが、具体的には特開平４‐３０７０２８号公報、特開平５‐１１１０２９号公報に示されるようなものである。
【０００５】
しかし、これらのシステムでは、いずれも現在顕微鏡で覗いている画像を静止画として伝送する方式であり、それのみを表示する方式であることから、顕微鏡の拡大率を増倍してゆくと注目領域の画像は得ることができるものの、その周囲の状況は顕微鏡視野から外れてしまうために、観察できず、従って注目している領域の画像のみの表示となってしまい、その周辺を観察することができなかった。病理診断する場合、見つけた注目領域の状態はもとより、周辺状況も含めて観察し、それらの状況から総合的に判断して初めて正確な診断が可能になる。従って、標本の画像を注目領域についてのみ観察できるような従来のシステムでは、機能として不十分である。
【０００６】
また、これらいずれの従来システムも、伝送される画像は静止画であり、リアルタイムでの観察が困難であった。これは画像の場合、データ容量が多いことと、伝送路のデータ伝送速度が画像をリアルタイムで伝送できる程、高速でないことに起因する。そのため、静止画として送らざるを得ないことによる。しかも、静止画の場合、動画のように顕微鏡がとらえた像をリアルタイムに表示するという訳にいかない。そのため、ピントの調整等が必要な場合に、画像入力し直し、再度伝送することになり、操作性が悪いと云う欠点が残る。
【０００７】
そこで、動画像を観察できるようにするシステムが必要となる。動画像観察の要請に応えることのできるシステムとして、特開昭６４‐２０４４９号公報に開示された技術がある。この公報に開示されたシステムは注目領域を動画として表示することができるので、顕微鏡がとらえた像をリアルタイムに表示して観察を進めることができ、また、ピントの調整等が必要な場合にも画像がリアルタイム像であるので操作し易い。
【０００８】
しかし、注目領域の画像をリアルタイムに表示して観察できるものの、診断に必要な注目領域の周辺画像を参照できるようなシステムには、依然、なっていない。
【０００９】
この公報に開示されたシステムは注目領域を動画として表示し、標本の全体を静止画として表示することができるシステムではある。しかしながら、この技術は動画像と並列に、標本の全体を静止画として表示するものの、標本の全体を示す静止画は現在の注目領域が標本上のどこであるかを観察者に知らせるマップ程度の意味合いしかなく、注目領域の周辺を、診断の参考になる程度に詳細に観察するには余りにも不十分な精細度の像である。故に、システムとしては不十分であり、診断に必要な注目領域およびその周辺画像を合わせて提供できるシステムが必要である。
【００１０】
【発明が解決しようとする課題】
遠隔地の現場（病院）とセンタとを通信回線で繋ぎ、現場にある顕微鏡を、センタより遠隔操作して顕微鏡画像をセンタに送り、センタではこの顕微鏡画像を観察して診断に供すると云ったシステムが従来よりあり、このようなシステムとして特開平４‐３０７０２８号公報、特開平５‐１１１０２９号公報に示されるような観察画像として静止画を用いるシステムと、特開昭６４‐２０４４９号公報に開示されるような動画が観察できるシステムとが知られている。
【００１１】
そして、静止画を使用するシステムでは、顕微鏡の拡大率を増倍してゆくと注目領域の画像は得ることができるが、その周囲の状況は顕微鏡視野から外れてしまうために、観察できず、従って注目している領域の画像のみの表示となってしまい、その周辺を観察することができないという不便があり、更にはリアルタイムでの観察が困難であるために、例えば、ピントの調整等が必要となるような場合に、更新された画像が表示してから１歩遅れてその調整を遠隔操作により行うことになり、操作性が悪いと云う欠点が残る。
【００１２】
そこで、動画像を観察できると共に、注目画像とその周辺画像を合わせて観察できるようにするシステムが必要となる。しかし、動画像を観察できる上記従来のシステムでは注目領域を動画として表示することができるものの、相変わらず注目領域の周辺画像を観察できる構成とはなっていない。すなわち、注目領域を動画として表示し、標本の全体を静止画として表示するものの、この静止画は現在の注目領域が標本上のどこであるかを観察者に知らせるマップ程度の意味合いしかなく、注目領域の周辺を、診断の参考になる程度に詳細に観察するには余りにも不十分な精細度の像である。
【００１３】
そこで、本発明の目的とするところは、注目領域を動画像として表示し、この動画像に関連する像を静止画として表示することにより、操作性の良い顕微鏡画像遠隔観察装置を提供することにある。
【００１４】
【課題を解決するための手段】
請求項１記載の発明は、顕微鏡と、前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、前記撮像手段からの出力画像信号を送信する送信側と、前記送信側から送信された前記出力画像を受信する受信側とを有し、受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、前記受信側は、前記撮像手段から出力され前記送信側から送信される低倍率に対応する静止画像信号を受けて、低倍率の静止観察画像として表示するための第１の表示手段と、前記送信側から送信される高倍率に対応する動画像を受け、この高倍率の動画像を前記第１の倍率の静止観察画像と同時に表示するための第２の表示手段と、を有することを特徴としている。
【００１５】
請求項２記載の発明は、ステージ移動および対物レンズ倍率が制御可能な顕微鏡と、前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、前記撮像手段からの出力画像信号を送信する送信手段とを有する送信側と、前記送信側から送信された前記出力画像信号を受信する受信側とを有し、受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、前記受信側は、前記撮像手段から出力され前記送信側から送信される低倍対物レンズに対応する静止画像信号を受けて低倍率画像として格納するための記憶手段と、前記記憶手段に格納された前記低倍率静止画像を表示するための第１の表示手段と、前記選択された静止画像の所定の領域を指示する指示手段と、前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のステージ位置とレンズの倍率を制御する制御信号を送信側に伝送する制御信号伝送手段と、前記制御信号に応じた位置と倍率の動画像信号を前記送信側から受信し、高倍率動画像として前記低倍率観察画像と同時に表示するための第２の表示手段と、を有することを特徴としている。
【００１６】
請求項３記載の発明は、対物レンズ倍率が制御可能な顕微鏡と、前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、前記撮像手段からの出力画像信号を送信する送信手段とを有する送信側と、前記送信側から送信された前記出力画像信号を受信する受信側とを有し、受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、前記受信側は、前記撮像手段から出力され前記送信側から送信される静止画像信号を受けて格納するための記憶手段と、前記記憶手段に格納された静止画像から所定の静止画像を選択する選択手段と、前記選択手段によって選択された静止画像を表示するための第１の表示手段と、前記選択された静止画像の所定の領域を指示する指示手段と、前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のレンズ倍率を制御する制御信号を送信側に伝送する制御信号伝送手段と、前記制御信号に応じた位置と倍率の動画像信号を前記送信側から受信し、動画像として前記選択された静止画像と同時に表示するための第２の表示手段とを有し、前記選択手段は前記動画像の倍率より小さく、かつ、最も近い倍率を有する静止画像を選択することを特徴としている。
請求項８記載の発明は、送信側においてステージ移動および使用する対物レンズ倍率が制御可能な顕微鏡によって生成した観察像を撮像して画像信号に変換し、この画像信号を送信側から受信側へ伝送し、受信側において前記観察像を観察する顕微鏡画像の遠隔観察方法において、前記受信側は、前記送信側で撮像されて伝送される低倍率の第１の対物レンズに対応する静止画像信号を受けて表示するとともに、この静止画像の一部を拡大する高倍率の第２の対物レンズの動画像を前記送信側から受けて前記低倍率の静止観察画像と同時に表示することを特徴としている。
【００１７】
【作用】
第１の構成の場合、送信側から送信された顕微鏡の画像のうち、静止画像信号を受信側では記憶手段に格納し、この格納された静止画像から選択手段により所定の静止画像を選択すると、この選択された静止画像を第１の表示手段に表示する。そして、更に受信側では前記送信手段から送信される動画像を第２の表示手段に動画像として表示する。
【００１８】
従って、以上の構成によれば、動画像とともに、選択された静止画像を併せて表示手段に表示して観察することが可能となり、これによって、動画と所望の静止画を同時に観察できるので、静止画を動画像より低い倍率の画像としておくことで、注目領域の画像は動画像で観察でき、注目領域を含むその周辺領域の画像は静止画で観察することにより、周辺の状況を把握しながら標本の観察ができるようになって、理想的な観察が可能になり、しかも、操作性にも優れると云った効果を有する顕微鏡画像遠隔観察装置を提供できる。
【００１９】
また、第２の構成においては、顕微鏡はステージ移動およびレンズ倍率が制御可能なものを用いており、送信側から送信された顕微鏡の画像のうち、静止画像信号を受信側では記憶手段に格納し、この格納された静止画像から選択手段により所定の静止画像を選択すると、この選択された静止画像を第１の表示手段に表示する。そして、更に受信側では前記送信手段から送信される動画像を第２の表示手段に動画像として表示する。
【００２０】
そして、指示手段により前記選択された静止画像の所定の領域を指示すると、制御信号伝送手段は前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のステージ位置とレンズの倍率を制御する制御信号を送信側に伝送し、送信側ではこの伝送された制御信号をもとに、顕微鏡のステージ移動およびレンズ倍率の制御が実施される。その結果、撮像手段から得られる画像は前記制御信号に応じた顕微鏡ステージ位置と倍率の動画像信号となり、これが受信側へと送信されることから、第２の表示手段にはこの前記送信側から受信した前記制御信号に対応の顕微鏡ステージ位置と倍率の動画像が表示される。
【００２１】
従って、以上の第２の構成によれば、第１の構成の効果に加えて、選択手段によって選択された所定の静止画像とともに、この静止画像の所定の領域の拡大された動画像を表示するので、静止画像で動画像の周辺領域を観察することができると云った効果を有する顕微鏡画像遠隔観察装置を提供できる。
【００２２】
また、第３の構成においては、顕微鏡はレンズ倍率が制御可能なものを用いており、送信側から送信された顕微鏡の画像のうち、静止画像信号を受信側では記憶手段に格納し、この格納された静止画像から選択手段により所定の静止画像を選択すると、この選択された静止画像を第１の表示手段に表示する。そして、また受信側では前記送信手段から送信される動画像を第２の表示手段に動画像として表示する。
【００２３】
そして、指示手段により前記選択された静止画像の所定の領域を指示すると、制御信号伝送手段は前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のレンズの倍率を制御する制御信号を送信側に伝送し、送信側ではこの伝送された制御信号をもとに、顕微鏡のレンズ倍率の制御が実施される。その結果、撮像手段から得られる画像は前記制御信号に応じた顕微鏡倍率の動画像信号となり、これが受信側へと送信されることから、第２の表示手段にはこの前記送信側から受信した前記制御信号に対応の顕微鏡倍率の動画像が表示される。
【００２４】
従って、以上の第３の構成によれば、第１の構成の効果に加えて、選択手段によって動画像の領域を含んだ最も大きい倍率の静止画が自動的に選択、表示されることになるので、さらに操作性の向上を図ることができると云った効果を有する顕微鏡画像遠隔観察装置を提供できる。
【００２５】
【実施例】
以下、本発明の実施例について、図面を参照して説明する。本発明では、顕微鏡画像の観察時に、モニタに標本全体像または低倍率画像と拡大像の２枚の画像を表示するようにする（このとき、参照のために上記以外の複数の画像を表示することも、可能とする）。本発明では、標本全体像または低倍率画像（画像Ａ）はすでに取り込まれた静止画像であり、拡大像（画像Ｂ）は動画像である。画像Ａ上には画像Ｂがどの部分の映像であるかを示す矩形マーカを表示する。
【００２６】
画像Ｂを動画または静止画として記録するときには、そのときの顕微鏡ステージの座標の記録され、画像Ａ上の、同一座標の部分と関連付けられるようにする。画像Ｂを再生するときには、画像Ａの上で示されている、画像Ｂに相当する部分の矩形マーカを選択すれば済むようにする。
【００２７】
このようにすることによって、従来十分でなかった、全体像上での拡大像の観察、記録を行えるように、観察経過対応に静止画像、動画像を再生することを可能にする。
【００２８】
以下、詳細を説明する
（第１実施例）
この実施例は、少なくともステージを自動制御することのできる顕微鏡と、顕微鏡標本像を撮像するための撮像手段と、撮像された画像情報を受け、画像を表示、記録、伝送し、また顕微鏡を制御するための制御手段を送信側と受信側が有し、動画像及び静止画像を表示する表示手段を少なくとも受信側が有し、動画像情報および静止画像情報を送信側の制御手段から受信側の制御手段に伝送する通信手段によって接続された、顕微鏡遠隔観察記録システムにおいて、表示された顕微鏡標本の全体像または低倍率像の静止画像上で、拡大像の表示範囲を示す領域を、マウス等のポインテンィングデバイスの操作で受信側の操作者が動かすことによって、画像上に示された表示領域の位置へ顕微鏡のステージを動かすことができ、その時の動画像を受信側に表示させることができ、表示中の動画像、表示動画像と同じ顕微鏡像の静止画像を、受信側で記録・保存することができ、すでに記録された低倍率静止画像または動画像上で表示領域を指定した、拡大像の静止画像または動画像を記録するときに、顕微鏡標本の観察部位の座標によって、低倍率画像と拡大像とを関連付け、再生時にこの関連付けを追って、静止画像と動画像、また静止画像同士、動画像同士による画像再生を可能とするシステムであり、以下、詳細を説明する。
【００２９】
図１に第１実施例のシステムのハードウェア構成をブロック図で示す。図において、１０１は画像送信側の制御部、１０２は画像送信側の表示部、１０３は撮像部、１０４は顕微鏡、１０５は画像送信側の通信部でこれらは画像送信側システムを構成している。
【００３０】
また、１０６は画像受信側の制御部、１０７は画像受信側の表示部、１０８は通信部であり、これらはセンタ側システムを構成している。
【００３１】
ここで、上記撮像部１０３は、顕微鏡１０４の画像を撮像してビデオ信号化して出力するものであり、制御部１０１は受信した指令に基づいて顕微鏡１０４の遠隔操作を行ったり、撮像部１０３の出力するビデオ信号を画像データ化し、これを圧縮して圧縮画像データとして出力したり、静止画として低い圧縮率で圧縮して出力したりする等の制御を司るものであり、表示部１０２はこの制御部１０１の出力する圧縮画像データをビデオ信号化してモニタするモニタ装置である。モニタするために圧縮画像データをビデオ信号化する必要があるが、これはモニタ装置側に持たせても良いし、制御部１０１側に持たせても良い。
【００３２】
通信部１０５は通信網を介してセンタ側と通信するための装置であり、制御部１０１の出力する圧縮画像データをセンタ側に送信すると共に、センタ側からの命令を受信して制御部１０１に渡す機能を有する。
【００３３】
上記撮像部１０３としては標準のカラーテレビジョン放送方式の一つであるＮＴＳＣ方式用、高品位テレビジョン方式の一つであるＨＤＴＶ用などのビデオカメラ、表示部１０２および１０７としてはブラウン管式あるいは液晶ディスプレイ式、プラズマディスプレイ式、投射式等のＴＶモニタ、通信部１０５および１０８としては、ＩＳＤＮ（サービス総合ディジタル網）、光ファイバ通信網、衛星通信網などを用いたディジタル通信方式の送受信装置を用いることができる。
【００３４】
また、画像送信側に設置する顕微鏡１０４は、標本を載置するステージの移動を駆動操作用のモータにより、Ｘ軸およびＹ軸方向に制御することができ、画像送信側の制御部１０１からの命令に従って、ステージをＸ軸およびＹ軸方向に移動させることができる。
【００３５】
センタ側システムを構成する画像受信側の制御部１０６は画像の取り込みの制御や、取り込んだ画像の外部記憶装置への記憶、圧縮画像データの伸長処理と、この伸長された静止画の画面表示、伸長処理された動画の画面表示、静止画上での指定領域が動画の全画面となるような拡大率に顕微鏡画像の拡大率に制御する制御命令を発生して通信部８に送り出す機能、静止画の切り替え命令を発生する機能、外部記憶装置に記憶された画像の再生機能等を有する。
【００３６】
画像受信側の表示部１０７はこの制御部１０６により伸長された静止画や動画を表示したり、外部記憶装置から読み出されて再生された画像を表示する等の画像表示用のモニタであり、通信部１０８は通信網を介して受信した画像データを制御部１０６に送ったり、制御部１０６からの命令を通信網を介して画像送信側に送ったりするための送受信装置である。
【００３７】
通信網としてはＩＳＤＮ（サービス総合ディジタル網のＩＮＳネット１５００，ＩＮＳネット６４，Ｂ‐ＩＳＤＮなど）を用いる。
【００３８】
画像送信側の制御部１０１と画像受信側端末１０６は通信部１０５および１０８で接続され、遠隔観察中は同期操作によって同じ画像が常に表示される。
【００３９】
顕微鏡１０４は上述したように標本を載置したステージの位置を、制御部１０１の制御によって制御されるが、また、顕微鏡によってはそれ以外の部分、例えば、対物レンズや絞り等も制御部１０１によって制御される。
【００４０】
顕微鏡標本の画像は撮像部１０３に入力され、制御部１０１を介して表示部１０２へ表示される。また通信部１０５および１０８を介してセンタ側制御部１０６にもその画像データは伝送され、センタ側の表示部１０７に表示される。このとき伝送される画像データは、通信部の伝送速度によるが、一般に圧縮されている。
【００４１】
受信側で観察したい画像を指示することが可能であり、そのための命令が、受信側端末１０６から画像送信側の制御部１０１へと伝送される。その命令によって、前述のように送信側制御部１０１が顕微鏡１０４を制御する。
【００４２】
図２に制御部１０１，１０６の構成の詳細を示す。
【００４３】
制御部１０１，１０６としてはパーソナルコンピュータまたはワークステーション等とその周辺機器から構成できる。図２において、２０１はＣＰＵであり、各種制御や演算処理等を実施するもので、本システムで必要とする各種制御の中枢を担う。２０２はメインのメモリであり、ＣＰＵ２０１が実行するプログラムを格納したり、プログラム実行にあたり必要なデータの一時保持等に使用される。
【００４４】
２０３はフレームメモリであり、表示部１０２，１０７に表示するための少なくとも一画面分のデータを保持するためのものである。フレームメモリ２０３にはＣＰＵ２０１により表示画面の画像データが書き込まれる。
【００４５】
２０４は通信制御装置であり、外部とのデータ授受を行うためのものであって、例えば、シリアル通信を実施してデータ授受を行う。２０５は大容量の外部記憶装置であり、ハードディスクや光磁気ディスクなどが用いられる。この外部記憶装置２０５はＣＰＵ２０１によりアクセスされ、前記静止画や動画のデータが逐次記憶される。これら静止画や動画のデータはその時の顕微鏡ステージの位置データや顕微鏡拡大率、静止画と動画の対応関係の情報、画像の受信時刻情報等、後刻、対応関係を再現しながらトレースをするにあたり、必要となる各種情報と共に格納されるようにしてある。これらの情報はＣＰＵ２０１により作成され、画像データと共に外部記憶装置２０５にファイルされる。
【００４６】
２０６はキーボードであり、ＣＰＵ２０１に対してデータやコマンドを入力するためのものである。また、２０７はマウスであり、ＣＰＵ２０１に対して表示部２０８の表示画面上の所望の座標位置の情報を入力するためのものであって、ＣＰＵ２０１はこのマウス２０７により与えられる座標位置情報をもとに、画面上にマーカ（印し）を描いたり、そのマーカの示す領域が全体図となるような拡大率になるように顕微鏡に対する拡大率制御の命令を与えたり、その領域が画面に入るように顕微鏡のステージの位置制御命令を与えたりする機能を有する。
【００４７】
また、画像送信側の場合、受信した命令を顕微鏡に与えて必要な制御を行い、顕微鏡のステージ位置情報や、対物レンズの情報等を取り込んで画像受信側に送ると云った機能も持たせてある。また、画像送信側の場合、撮像部１０３の撮像したビデオ信号を動画で送る場合は高圧縮率で画像を圧縮し、静止画で送る場合は低圧縮率で画像を圧縮して通信制御装置に出力し、画像受信側の場合、この圧縮処理された画像データを顕微鏡のステージ位置情報や、対物レンズの情報等を含めて外部記憶装置２０５に逐次記憶し、また、圧縮画像データを伸長処理して静止画と動画を対比して観察できるように同時に表示部１０７に表示させるように画面構成してフレームメモリ２０３上に表示データを描画すると云った機能を有する。フレームメモリ２０３上に表示データは表示部１０７の走査に同期して順次走査して読出し、表示部１０７がアナログ信号入力による画像表示方式の場合はビデオ信号化して表示部１０７与え、ディジタル信号入力による画像表示方式の場合はそのまま表示部１０７与えて画像表示に供する。
【００４８】
つぎに上記構成の本装置の作用を説明する。
【００４９】
このような構成において、画像送信側では、顕微鏡１０４の画像は撮像部１０３により撮像され、画像信号として出力される。この画像信号はディジタルデータ化され、制御部１０１へ送られる。撮像部１０３から制御部１０１へ送られた画像データは、制御部１０１を構成要素であるフレームメモリ２０３に入力される。
【００５０】
画像送信側では、ＣＰＵ２０１の制御のもとに、フレームメモリ２０３の画像データが読出されてモニタ装置２０８（＝表示部１０２）へ与えられ、ここに表示される。
【００５１】
さらにフレームメモリ２０３に入力されたデータは、制御部１０１内のＣＰＵ２０１の制御のもとに、外部記憶装置２０５からメインメモリ２０２へ読み込まれ、メインメモリ２０２からフレームメモリ２０３へと入力されることもある。このときの画像は、すでに観察に供され、記憶装置２０５に記録された画像である。モニタ装置２０８は画像の表示とパーソナルコンピュータのディスプレイの役割を兼ねる。
【００５２】
画像送信側では、さらにフレームメモリ２０３に入力されたデータは、制御部１０１内のＣＰＵ２０１の制御のもとに、外部記憶装置２０５に記憶させる一方、画像圧縮処理をして通信制御装置２０４に送り出す。そして、通信制御装置２０４はこれをシリアルデータ化して通信部１０５を通し、相手側つまり、画像受信側の装置へと送り出す。
【００５３】
図３にモニタ装置２０８上に表示された顕微鏡画像と、顕微鏡ステージ上の標本の関係を示す。この画像はセンタ側の表示部１０７に表示させる像であるが、画像送信側においても同じものが表示されるようにすることもできる。
【００５４】
図３において、４０１はモニタ装置であり、４０２はモニタ装置４０１の画面の左半分の表示領域に表示された低倍率像、４０３はモニタ装置４０１の画面の右半分の表示領域に表示された高倍率・拡大像である。低倍率像４０２は静止画像（画像Ａ）であり、高倍率・拡大像４０３は動画像（画像Ｂ）である。また、４０４は画像Ｂの位置および領域を示す矩形のマーカである。４０５は顕微鏡ステージであり、４０６はこの顕微鏡ステージ４０５上の顕微鏡標本、４０７は顕微鏡標本４０６の観察位置をそれぞれ示す。
【００５５】
なお、表示される画像の数は、低倍率像４０２である画像Ａおよび高倍率・拡大像４０３である画像Ｂだけでなく、以前に記録された複数の画像を表示することも可能とする。
【００５６】
低倍率像４０２はすでにファイルとして記録された静止画像であり、高倍率・拡大像４０３は現在顕微鏡１０４に取り付けられた撮像部（ＴＶカメラ）１０３から入力されている動画像である。ここで、低倍率像４０２の静止画を取り込んだときの対物レンズの倍率に比べ、高倍率・拡大像４０３の動画像を取り込んでいる対物レンズの倍率はより高倍である。通常は静止画像の画面上で所望の領域に所望の大きさの枠（矩形マーカ４０４）をマウス２０７などのポインティングデバイスで入力することで、制御部を構成するＣＰＵ２０１が表示中の静止画像上のこの枠の大きさに見合う拡大率で高倍率・拡大像の表示領域を埋めるだけの高倍率・拡大像４０３が得られるような顕微鏡１０４の対物レンズの倍率を選ぶように、自動制御する構成としてある。
【００５７】
また、矩形マーカ４０４の位置をマウス２０７などのポインティングデバイスで移動させることができ、これにより、矩形マーカ４０４の位置が観察領域になるようにステージをＸ軸Ｙ軸移動する制御データを発生して顕微鏡を自動制御する機能を持たせてある。
【００５８】
従って、矩形マーカ４０４は、高倍率・拡大像４０３として入力されている画像の低倍率像４０２上での画像領域を表わし、また、現在表示されている画像の位置をあらわすことになる。すなわち、矩形マーカ４０４の枠の内部が４０３に表示されている動画像と等しい領域である。
【００５９】
このように、本システムでは、静止画上に矩形マーカ４０４を表示することによりその領域の高倍率・拡大像を動画としてリアルタイムに表示して観察でき、矩形マーカ４０４の位置をマウス２０７によって移動操作することにより、その動きに合わせて高倍率・拡大像４０３として表示される動画も移動して操作性良く観察を進めることができるようにしている。そして、矩形マーカ４０４のマウス操作による移動は、移動後の低倍率像（画像Ａ）４０２上の座標から顕微鏡ステージの座標へと変換される。そして、そのステージ座標へ顕微鏡ステージ４０５を動かすように制御手段１０１から顕微鏡１０４へ命令が送られる。その結果、顕微鏡標本４０６上の観察位置４０７の位置が動く。その時、撮像部１０３によって撮像された動画像が、高倍率・拡大像（画像Ｂ）４０３である。
【００６０】
画像送信側と画像受信側の通信中の関係を図４に示す。
【００６１】
通信中の操作は、基本的には受信側が行う。よって、受信側から送信側へと制御命令が送られる。制御命令は顕微鏡ステージの移動、画像の保存、倍率の変換などがある。顕微鏡ステージの移動は図３で説明したように低倍率像上において拡大像の位置を示す矩形マーカ４０４の位置をマウスで動かす操作を行うことによって行われる。この間、画像送信側から画像受信側へは顕微鏡１０４の標本像を撮像部１０３で取り込んだ画像データが送られ続ける。
【００６２】
本システムにおけるセンタ側（画像受信側）での操作全体の流れを、図６のフローチャートに示す。
【００６３】
センタ側（画像受信側）においては、まず初めに標本の全体像が取り込まれる（Ｓ１０１）。すなわち、顕微鏡画像の送信側である画像送信側システムにおいて顕微鏡装着の撮像装置により取り込まれた標本全体像は画像受信側であるセンタ側へと伝送される。センタ側においては、標本の全体像を取り込むと次にこの全体像を図３の静止画像（画像Ａ）４０２として画像受信側のモニタ（表示部）に表示する（Ｓ１０２）。
【００６４】
次にセンタ側においては、観察する顕微鏡像の対物レンズの倍率を入力する（Ｓ１０３）。これにより、この入力された倍率は当該倍率制御のための制御情報としてセンタ側から画像送信側へと送られる。画像送信側にある遠隔操作顕微鏡１０４にはレンズ切り替えを自動で行う機能が備わっており、この切り替え制御はセンタ側から送られてきた制御情報に基づいて画像送信側の制御部１０１が実施する。
【００６５】
すなわち、制御情報を受けた画像送信側の制御部１０１はこの制御情報が対物レンズの倍率の指定情報であることを認識してその倍率となるように、遠隔操作顕微鏡１０４の対物レンズの切り替え駆動部を制御する。
【００６６】
このようにして制御情報を受けた画像送信側の制御部１０１の制御のもとに自動的に遠隔操作顕微鏡１０４のレンズ倍率切り替え制御が行われる。
【００６７】
画像送信側の撮像部（カメラ）１０３でとらえた標本の顕微鏡像が伝送されて受信されており、これは顕微鏡の倍率が調整済みとなれば拡大像に相当することになり、従って、センタ側（画像受信側）においては、画像送信側から伝送されたこの拡大像を高倍率・拡大像（画像Ｂ）４０３として表示する（Ｓ１０４）。
【００６８】
センタ側においては、顕微鏡像を観察するためにオペレータ（この場合は病理医など）がマウス２０７を操作して静止画像（画像Ａ）４０２上の矩形マーカ４０４の表示位置を動かして標本上の所望の部分の拡大像が表示されるように表示位置調整操作しているので、センタ側においては、静止画像（画像Ａ）４０２上で矩形マーカ４０４を動かしているマウス２０７の位置を検出する（Ｓ１０５）。
【００６９】
マウス２０７の位置を検出すると次にこのマウス２０７の位置情報を元にして顕微鏡１０４のステージのとるべき座標位置を計算する。すなわち、マウス２０７の位置により静止画像（画像Ａ）４０２上の矩形マーカ４０４の位置（観察指定領域）が決められるので、当該矩形マーカ４０４の位置に相当する領域の画像が観察できるように、顕微鏡１０４のステージ座標を計算する（Ｓ１０６）。そして、ステージ座標が求まると、その求めたステージ座標を画像送信側に伝送する（Ｓ１０７）。画像送信側では、受け取ったステージ座標対応に顕微鏡ステージを移動させる。
【００７０】
つぎにセンタ側においては、静止画像の取り込みの指示の有無を判断した上で静止画取り込み（現在の拡大像である画像Ｂ（動画）をフリーズして、これを静止画の画像データとして画像送信側より伝送させる）処理、または、低倍率画像へ戻る処理に移る（現在の拡大像である画像Ｂ（動画）を取り出すもととなった静止画像（画像Ａ）が拡大像である画像Ｂ（動画）であったときの静止画像を静止画像として取り出す処理に移る）（Ｓ１０８）。
【００７１】
すなわち、Ｓ１０８〜Ｓ１１０ではそれぞれ静止画取り込み、または、低倍率画像へ戻り、終了か否かの選択をする。それぞれの処理の選択は画面上のメニューの選択によって行われる。これらの処理のいずれをも選択しなかった場合には、動画観察を続行する状態になり、この場合には受信した動画像の記録、すなわち、外部記憶装置２０５への保存を行う（Ｓ１１１）。この記録は観察中は自動的に行われ、動画像データとともにその時の顕微鏡ステージ座標も合わせて記録される。
【００７２】
Ｓ１１２〜Ｓ１１４は静止画像を取り込むときの処理である。すなわち、Ｓ１０８において静止画像取り込みであった場合には、まず初めに動画像表示をフリーズする（Ｓ１１２）。このとき、画像送信側システムでは静止画像を取り込み、保存している。そして、静止画像が送信側から受信側へと伝送され、受信側でそのデータを保存する（Ｓ１１３）。このとき、受信し、保存するデータは画像のみではなく、その時のステージ座標等低倍率像と拡大像のリンクを管理するためのデータも含まれる。
【００７３】
取り込んだ画像、すなわち、今まで動画像として観察していた倍率の静止画像を、新たな低倍率像（画像Ａ）として表示する（Ｓ１１４）。以上の操作の後、Ｓ１０３に戻り、新たな拡大像の観察を続ける。
【００７４】
低倍率像の観察に戻るときは、Ｓ１０９で低倍率像の観察を選択する。すると、センタ側システムにおいては画像Ｂを現在の低倍率像に切り替える（Ｓ１１５）。ただし、現在の低倍率像がはじめの拡大像であれば、切り替えは行わない。そして次にその画像の低倍率静止画像を再生・表示し（Ｓ１１６）、Ｓ１０３以下の処理に戻る。これにより、高倍率の動画像観察状態から低倍率の動画像観察に移行して観察を続けることができる。
【００７５】
以上がセンタ側システムを中心とする観察時でのシステムの操作と動作例を順を追って説明したものである。
【００７６】
このような動作を行わせるには、画像送信側システムの制御部１０１とセンタ側（画像受信側）システムの制御部１０６につぎのような処理機能を持たせれば良い。図７は動画像受信中の画像受信側の処理を、図８は同じく動画像受信中の画像送信側の処理を示すフローチャートであり、前者（図７）はセンタ側システムの制御部１０６の、そして、後者（図８）は画像送信側システムの制御部１０１の処理および制御機能に対応する。
【００７７】
順を追って説明する。
【００７８】
センタ側（画像受信側）の制御部１０６では通信回線を介して、画像送信側からの動画像データを受信する（Ｓ２０１）。このとき、受信するものは圧縮処理された動画像デ−タと、動画像入力時の顕微鏡ステージの座標データである。
【００７９】
センタ側の制御部１０６では、この受信した動画像データと座標データは制御部１０６の内蔵する外部記憶装置２０５に保存する（Ｓ２０２）。
【００８０】
受信した動画像データは画像圧縮処理されているので、制御部１０６ではＣＰＵ２０１によりこの圧縮されている動画像データを伸長処理し、制御部１０６を構成する図２のフレームメモリ２０３へ転送する（Ｓ２０３）。
【００８１】
つぎにセンタ側の制御部１０６ではＣＰＵ２０１によりＳ２０４で伸長した画像データをフレームメモリ２０３に書き込み、さらにテレビ走査（掃引）に同期させながらフレームメモリ２０３からこれを読出してビデオ信号化した後、ビデオ出力からモニタ装置２０８（＝表示部１０７）に与えて当該モニタ装置２０８に表示させる。
【００８２】
表示を行うとつぎにマウス２０７およびキーボード２０６からの入力を取り込む（Ｓ２０５）。これらの入力は制御部１０６のＣＰＵ２０１の制御によって、顕微鏡ステージの移動、静止画像取込命令、観察の終了命令などとして処理される。
【００８３】
取り込んだ情報からマウス２０７の移動があったことが判明した場合には（Ｓ２０６）、Ｓ２０７，Ｓ２０８の処理を行う。ここでマウスが移動すると、マウスの移動方向とその移動量対応に静止画像上の矩形４０４を画面上で移動させる（Ｓ２０７）。これにより、図３で説明したように、拡大領域を示す矩形マーカ４０４が静止画像（画像Ａ）上で移動する。
【００８４】
つぎにセンタ側の制御部１０６は低倍率静止画像（画像Ａ）４０２上での矩形マーカ４０４の座標をステージ座標へと変換処理し、これをこの座標へのステージ移動命令として通信制御装置２０４から通信部１０８を介して画像送信側システムに伝達する（Ｓ２０８）。そして、画面上のメニューの選択によって終了が指示されなければＳ２０１からの処理に戻り、終了が指示されていれば処理を終了する（Ｓ２１３）。
【００８５】
Ｓ２１０〜Ｓ２１２は静止画像を取り込むときの処理である。すなわち、センタ側の制御部１０６は静止画取込命令があった場合（Ｓ１０９）、静止画取込命令を画像送信側に伝える（Ｓ２１０）。そして、静止画像データの受信待ちとなる（Ｓ２１１）。画像送信側から静止画像データが送られて来ると、この送られて来た画像データを通信制御装置２０４を介して取り込み、ＣＰＵ２０１の制御のもとに外部記憶装置２０５に書き込む（Ｓ２１２）。
【００８６】
このようにして、指定したマクロ領域の像を静止画像として、そして、このマクロ領域上での所望のミクロ領域（注目領域）の拡大像（高倍率像）を動画像として表示することと、マウス操作等による注目領域の設定と移動、現在の注目領域をマクロ領域としてさらにそのマクロ領域中の所望のミクロ領域を観察するための倍率切り替え、これらの画像収集、マクロ領域画像とこのマクロ領域上のミクロ領域画像の関係等の情報収集を実施できる。
【００８７】
次に画像送信側システムの制御部１０１の処理および制御機能を説明する。画像送信側の制御部１０１では顕微鏡１０４にセットされたテレビカメラによる撮像部１０３から出力される画像データ（顕微鏡画像の画像データ）を、自己の内蔵するフレームメモリ２０３へ取り込む（Ｓ３０１）。
【００８８】
また、一方、この画像データを圧縮処理して自己の内蔵する外部記憶装置２０５に保存する（Ｓ３０２）。このとき保存するのは、画像データだけでなく、この画像を取り込んだ際の顕微鏡ステージ座標も含まれるものとする。
【００８９】
フレームメモリ２０３上の画像データはテレビ走査に同期して、読み出されてビデオ信号化され、画像送信側システムのモニタ装置（＝表示部１０２）に表示される（Ｓ３０３）。
【００９０】
画像送信側の制御部１０１は画像圧縮処理したこの画像データを、自己の内蔵する通信制御装置２０４を介して通信部１０５に出力し、画像受信側であるセンタ側へと送信する（Ｓ３０４）。この結果、送信するデータは、保存したものと同様、圧縮されているのでデータ量が少なくて済み、従って、伝送時間を短くできる。また、送信するのは画像データとステージ座標のデータである。
【００９１】
次に画像送信側の制御部１０１は画像受信側であるセンタ側からの命令の受信の有無を調べ（Ｓ３０５）、センタ側から命令があった時にはＳ３０６，Ｓ３０８で命令の種類による処理の選択をする。
【００９２】
まず、センタ側から受けた命令が顕微鏡ステージの移動命令であった場合には、制御部１０１はＳ３０６からＳ３０７の処理に移る。このＳ３０７の処理では、移動命令とともにセンタ側システムから送られて来たステージ座標へと、顕微鏡１０４のステージを移動させるべく駆動制御する。
【００９３】
センタ側システムから受けた命令がステージ移動でなかった場合は、制御部１０１は受けた命令が静止画像取込命令か否かを判断する（Ｓ３０８）。その結果、静止画像取込命令であった時は、撮像部１０３から制御部１０１内蔵のフレームメモリ２０３への画像入力を中止する（Ｓ３０９）。
【００９４】
このとき、制御部１０１内蔵のフレームメモリ２０３上には、入力中止直前の画像データが残っていることになる。画像送信側の制御部１０１はこのフレームメモリ２０３上のデータを自己内蔵の外部記憶装置２０５に書き込む（Ｓ３１０）。そして、この画像データをセンタ側システムへ伝送すべく制御する（Ｓ３１１）。このときの外部記憶装置２０５に書き込む画像データは非圧縮であるか、圧縮処理されたものであっても、動画像の圧縮よりも圧縮率が低く画質の良いものである。
【００９５】
それぞれの処理が終了した後に、画像送信側の制御部１０１は処理を終了させるか否かを決める（Ｓ３１２）。終了しなければ、はじめに戻り、撮像部１０３からの画像入力を続ける。終了であれば、ここで画像送信側システムの処理を終わる。
【００９６】
図９（ａ）にこのとき記録された静止画像４０２・動画像４０３の関係を示す。
【００９７】
図９（ａ）を説明すると、低倍率像（静止画像）４０２上の矩形マーカ４０４で、動画像４０３として得る拡大像（注目領域）の場所が示される。この拡大像の動画ファイル（例えば、１秒あたり３０コマ分）は、低倍率静止画像４０２または隣接する他のコマの動画像４０３とリンクしており、低倍率像４０２上に表示される矩形マーカ４０４の情報によってその画像の位置が示される。
【００９８】
静止画像４０２、および動画像４０３の各フレーム（コマ）はそれぞれの顕微鏡ステージ座標データを持っている。このデータは画像ファイル内に記録されている。画像ファイル内に記録されるデータの構成は図１１に示す如きであり、画像ファイルはヘッダと画像データ部分の領域からなる。ヘッダには静止画の場合、拡大画像矩形領域座標、拡大動画像ファイル名、動画の場合、低倍率静止画像、同倍率静止画像の情報が入る。
【００９９】
本システムにおいては、低倍率画像上でマウス２０７の位置情報に基づいて表示されるマウスカーソルを矩形マーカ４０４内の領域に移動させてマウス２０７の操作ボタンをクリックすると、矩形マーカ４０４内を全領域とする拡大像を呼び出すことができる。ある倍率で観察した動画像ファイルは、以下の３種類の条件で終了する。
【０１００】
その条件とは、（ｉ） 静止画像取込のためにフリーズしたとき、（ｉｉ） 低倍率画像での観察に戻ったとき、（ｉｉｉ） より高倍率の拡大像での観察に移ったときの３種類である。
【０１０１】
高倍率の拡大像での観察から低倍率の拡大像に移る場合、すなわち、動画像を高倍率の像からそれより低倍率の像に戻す時は、現在の静止画像より低倍率の静止画を画像ファイルから呼び出せばよい。また、図９（ａ）の４０３ｈに示すように、動画像中に矩形マーカ４０４を指定することで、拡大像からさらにその中の指定領域の拡大像を得ることも可能である。
【０１０２】
静止画像を取り込んだときは、そのときの動画像と静止画ファイルがリンクしており、静止画像からさらに拡大した高倍率の画像があれば、その画像もまた静止画像とリンクされる。動画像の観察から直接、高倍率への拡大を行ったときには、動画像同士がリンクされる。
【０１０３】
以上のような動画像ファイルおよび静止画像ファイルのリンクによって、観察中の記録が残される。また、このリンクを辿ることによって、観察の手順を再現することができる。
【０１０４】
また、図９（ｂ）のように、低倍率静止画像４０２と、その拡大動画像４０３上で指定した静止画像、あるいは低倍率動画像と、その静止画から拡大指定した動画像を関連付ける。この関連付けによって、静止画のみ、あるいは動画のみ、による低倍率画像から拡大像へ、また逆に低倍率像へと画像のリンクを追った再生すなわち、観察の変遷をトレースができる。
【０１０５】
つぎに、リンクの方法の詳細を説明する。
【０１０６】
図１０にリンク情報を記録したデータファイルのデータ構成を示す。
【０１０７】
データファイルのデータ構成は図１０に示すように、一つのレコードは画像ファイル名と、その画像の低倍率像ファイルの情報、その画像から拡大した動画像または静止画像ファイルの情報、同倍率のリンクしているファイル、すなわち静止画像ファイルに対する動画像、または動画像に対する静止画像の情報からなる。
【０１０８】
それぞれの画像に対する情報は、“ファイル名”、“静止画・動画の区別”、拡大像に対しては“拡大像の位置する矩形領域の座標”からなる。
【０１０９】
例えば、図９（ｂ）における動画Ｂであれば、低倍率画像は静止画Ａ、同倍率の画像は静止画Ｃ、拡大像として動画Ｄが記録される。また、動画Ｂ上での動画Ｄの領域を示す矩形は両画像データのステージ座標から計算される。
【０１１０】
画像再生時には、このリンクデータファイルをアクセスすることによって、低倍率像から拡大像への観察の流れを追うことができ（トレース機能）、また遡ってゆく、つまり、逆に辿ってゆくこともできる。
【０１１１】
現在表示中の画像の観察を止め、既に取り込まれ、観察している低倍率画像を表示するには、モニタ装置（表示部）に操作メニューを表示し、この操作メニュー上で低倍率像の表示を指定すれば良い。すると、図６のフローチャートＳ１１５，Ｓ１１６のように、モニタ装置上での画像表示が切り替わる。
【０１１２】
また、画像再生時のメニュー選択で、静止画のみの表示を選択すると、図９（ｂ）で示したような静止画同士の関連付けを追って、静止画のみの再生を行う。このときは図１０のデータファイルの中で、表示画像の低倍率像を表示するときは低倍率静止画像を検索し、拡大像静止画像を表示するときは同様に拡大静止画像を検索して、表示する。
【０１１３】
つぎに再生時の軌跡表示機能（トレース機能）について説明する。再生時の軌跡表示機能とは低倍率画像上に設定した注目領域をどの位置を辿って観察していったか観察ルートを示す軌跡を表示するものである。
【０１１４】
その表示画面の例を図５に示す。図５に示すように、低倍率画像上に拡大動画像を観察したときの軌跡を表示する。
【０１１５】
低倍率画像上に描かれた軌跡は、以下のようにして求める。
【０１１６】
まず図１０のデータファイルを検索し、表示中の低倍率画像に対する、拡大動画像ファイルを検索する。次にその動画像ファイルから、各フレーム毎のステージ座標を検索する。このステージ座標と、低倍率画像のステージ座標から、画像上での観察位置の座標を求め、求めた座標をプロットして軌跡を描くようにする。
【０１１７】
以上、説明したように、第１実施例は、与えられる操作情報対応にステージ移動およびレンズ倍率の可変制御が可能な遠隔操作顕微鏡と、この顕微鏡でとらえた標本像を逐次撮像し、画像情報として出力する撮像手段と、この撮像手段により撮像された画像情報を所定の標準圧縮率で画像圧縮処理して出力すると共に、静止画取り込みの指令を受けるとその時点で得られる１画面分の画像情報については標準圧縮率より低い圧縮率で画像圧縮処理し出力する画像送信側制御手段と、この画像送信側制御手段に対する静止画取り込みの指令および前記遠隔操作顕微鏡に対する操作情報の授受および前記撮像手段により撮像された画像情報を伝送する通信手段と、画像受信側に設けられ、静止画取り込みの指令および少なくとも静止画面上の任意領域の指定と静止画取得の指示を与えるための操作手段と、画像受信側に設けられ、画像を表示するための表示手段と、受信した画像情報を個別に逐次記録する画像情報記憶再生手段と、静止画取得の指示が発生されると前記記憶再生手段の記憶した当該変更前の最新静止画像もしくは受信される最新静止画像を取り込んで復元し、前記表示手段に表示するための静止画表示機能、前記通信手段を介して受信される画像情報を復元し、前記表示手段に画像（動画像）表示するための動画表示機能、前記操作手段により指示される前記静止画表示機能による画像（静止画）上の任意領域対応の位置に撮像画像の中心位置を移動するためのステージ移動用の操作情報と前記静止画表示機能による画像（静止画）上の任意領域が前記動画像の表示領域に当て嵌まる（フィットする）ようなレンズ倍率を与えるための操作情報とを発生して通信手段に与える機能とを有する制御手段とより構成したものであり、静止画上に設定した所望領域の画像を動画像として表示し、静止画像と動画像を観察できるようにすると共に、動画像は静止画像の一部領域の像とするよう顕微鏡を制御することから、静止画像は低拡大率の顕微鏡像となってこれにより、動画像の周辺領域を含めた観察が可能になり、また、動画像は静止画像の一部領域が顕微鏡全視野内に収まるように拡大率を高めて得た像であることから、注目領域の拡大像として観察できるようになるものである。
【０１１８】
しかも、画像送信側制御手段は、撮像手段により撮像された画像情報を所定の標準圧縮率で画像圧縮処理して出力すると共に、静止画取り込みの指令を受けるとその時点で得られる１画面分の画像情報については標準圧縮率より低い圧縮率で画像圧縮処理し出力するから、拡大像である注目領域の画像のさらにまた細部を詳しく観察する必要が生じた時に、静止画取り込みの指令を与えることで、この時点における変更前の拡大像を静止画像とし、この静止画像中の所望の領域を指定することでその領域の拡大像を動画像として観察できるもので、従って、操作性が良く、注目領域とその周辺の状態を関連付けて観察を進めることができるようになるものである。
【０１１９】
また、本実施例では、動画像と静止画像とを関連付けて記録することにより、診断の経過を容易にトレースすることができると云った効果が得られるようになり、また、静止画同士を関連付けて記録するようにすれば、静止画だけで診断経過を観察することができるようになる。そして、静止画同士を関連付けて記録することにより、診断経過を早くレビューできるようになると云った効果も得られる。更には、動画像の各フレームに、顕微鏡ステージの座標を記録しておくことにより、静止画像上に動画で観察した軌跡を表示させることが可能となり、これによれば、観察部分の確認が容易となると云う効果が得られる。
【０１２０】
また、撮像手段により撮像された画像情報を所定の標準圧縮率で画像圧縮処理して出力すると共に、静止画取り込みの指令を受けるとその時点で得られる１画面分の画像情報については標準圧縮率より低い圧縮率で画像圧縮処理し出力する送信側制御手段と、この送信側制御手段に対する静止画取り込みの指令および前記遠隔操作顕微鏡に対する操作情報の授受および前記撮像手段により撮像された画像情報を伝送する通信手段と、
受信側に設けられ、静止画取り込みの指令および少なくとも静止画面上の任意領域の指定と静止画取得の指示を与えるための操作手段と、受信側に設けられ、画像を表示するための表示手段と、受信した画像情報を標本全体像における座標位置対応の画像位置情報および対応する静止画とその静止画中の対応領域情報とともに個別に逐次記録する画像情報記憶再生手段と、静止画取得の指示が発生されると前記記憶再生手段の記憶した当該変更前の最新静止画像もしくは受信される最新静止画像を取り込んで復元し、前記表示手段に表示するための静止画表示機能（第１の画像表示機能）、前記通信手段を介して受信される画像情報を復元し、前記表示手段に画像（動画像）表示するための動画表示機能（第２の画像表示機能）、前記操作手段により指示される静止画表示機能（第１の画像表示機能）による画像（静止画）上の任意領域対応の位置に撮像画像の中心位置を移動するためのステージ移動用の操作情報と前記静止画表示機能（第１の画像表示機能）による画像（静止画）上の任意領域が前記第２の所定画素数に収まる画素構成の動画像となるに要する対物レンズ倍率を与えるための操作情報とを発生して通信手段に与える機能、画像情報記憶再生手段に記憶されている静止画とその静止画中の注目領域の動画とを得て、前記表示手段に対応表示する再生制御機能とを有する制御手段とより構成するようにすると、静止画上に設定した所望領域の画像を動画像として表示し、静止画像と動画像を観察できるようにすると共に、動画像は静止画像の一部領域の像とするよう顕微鏡を制御することから、静止画像は低拡大率の顕微鏡像となってこれにより、動画像の周辺領域を含めた観察が可能になり、また、動画像は静止画像の一部領域が顕微鏡全視野内に収まるように拡大率を高めて得た像であることから、注目領域の拡大像として観察できるようになる。
【０１２１】
しかも、送信側制御手段は、撮像手段により撮像された画像情報を所定の標準圧縮率で画像圧縮処理して出力すると共に、静止画取り込みの指令を受けるとその時点で得られる１画面分の画像情報については標準圧縮率より低い圧縮率で画像圧縮処理し出力するから、拡大像である注目領域の画像のさらにまた細部を詳しく観察する必要が生じた時に、静止画取り込みの指令を与えることで、この時点における変更前の拡大像を静止画像とし、この静止画像中の所望の領域を指定することでその領域の拡大像を動画像として観察できる。
【０１２２】
従って、操作性が良く、注目領域とその周辺の状態を関連付けて観察を進めることができるようになる。
【０１２３】
そして、更には画像記憶再生手段には遠隔操作時点での静止画とその静止画中の指定領域の動画を記憶させてあることにより、遠隔操作時点での表示手段に表示される静止画と動画を対応付けて再生表示することができる。そのため、後日の再観察の際には遠隔操作時点での状況を注目領域とその周辺領域の関係を含めて、わかり易く再現できると共に、また、ベテランが標本観察する状況をそのまま再現できるので、初学者などに対する教育実習効果も得られるようになる。
【０１２４】
ここで、第１実施例ではＮＴＳＣ方式等のような標準テレビ方式のカメラを用いて顕微鏡像を撮像し、ディジタル通信回線であるＩＳＤＮ（サービス総合ディジタル網）を利用してセンタ側に伝送して観察する方式であるが、本発明は静止画は注目領域の周辺の状況を観察し、注目領域はその注目領域が全視野となるような倍率に対物レンズの倍率を切り替え制御し、その倍率での顕微鏡像をカメラで撮像して拡大像（動画像）としてセンタ側に送るようにしたものであり、顕微鏡像の画像データをディジタル通信回線を利用してセンタ側に伝送して観察する方式であるために、精細画像を動画として伝送することは現状では難しい面が残されている。そこで、拡大像（動画像）は画質は落ちるがデータ量を小さくできるように圧縮率を高くして伝送することによりリアルタイムで動画像を伝送し、静止画は１枚だけ送るので多少時間を要しても構わないものとして画質重視を第１とした低圧縮率（もしくは非圧縮）で伝送するようにしたものである。
【０１２５】
しかし、画像は顕微鏡による標本観察において極めて重要であり、カメラで撮像して得た画像の画質を最大限維持した画像データを伝送したいところである。そこで、データ伝送速度のより高速な通信網である例えば、ＩＳＤＮのＩＮＳネット１５００等を使用できるシステムであれば、一層画質のよいテレビカメラを使用し、かつ、画質をできるだけ維持して画像伝送することが可能になる。
【０１２６】
つぎにこのような高速伝送可能な通信網を使用し、高画質画像を伝送してより良い画像の観察を可能にする実施例を第２実施例として説明する。
【０１２７】
（第２実施例）
本システムでは通信回線はＮＴＴ（日本電信電話株式会社）のサービスするディジタル通信網である例えばＩＮＳネット１５００を使用し、また、顕微鏡像を撮像する撮像部としてＮＴＳＣ方式のカメラとＨＤＴＶ（高品位テレビ）方式のカメラの双方を使用できるようにする。そして、ＮＴＳＣ方式のカメラによる画像を拡大像（動画像）として用い、ＨＤＴＶ方式のカメラによる像を静止画として使用するようにし、できるだけリアルタイムで高画質像を伝送できるようにする。
【０１２８】
拡大像（動画像）は標本の注目領域を拡大したものであり、より精細に観察するために用いるものであるが、拡大像であるために、画面上の精細度はＮＴＳＣ方式の画像でも十分である。一方、静止画像は拡大像（動画像）より倍率の低い画面を表示するものであるから、ＮＴＳＣ方式の画像では細部が余り良く分からない。そこで、ＨＤＴＶ用のカメラで撮像した画像を静止画用として利用する構成とする。
【０１２９】
ディジタル通信網であるＩＮＳネット１５００を使用した場合、ＮＴＳＣ方式の画像品位を保てる程度の画像データを４０分の１程度に圧縮して得たデータ容量の画像ならば、動画像としてリアルタイム伝送することができる。そして、４０分の１程度の圧縮ならば、伸長した場合に、元の画質に十分再現できる。
【０１３０】
一方、ＨＤＴＶ画像もその品位を保てる程度の画像データを基準に、それを２０分の１程度に圧縮処理した場合のデータ量を１．６秒程度の時間で伝送することができ、静止画像伝送の待ち時間としては、十分実用的な範囲である。そして、２０分の１程度の圧縮ならば、伸長した場合に、元の画質を再現できる。
【０１３１】
そこで本実施例では通信網としてＩＮＳネット１５００を使用し、画像送信側の顕微鏡像を得るための撮像部として、ＨＤＴＶ方式のカメラとＮＴＳＣ方式のカメラを使用し、ＨＤＴＶ方式の画像を静止画像として使用し、ＮＴＳＣ方式の画像を動画像として使用する構成とする。
【０１３２】
本実施例のハードウェア構成を、図１２にブロック図で示す。
【０１３３】
基本構成としては、第１実施例と変りない。図１２において、３０１は画像送信側の制御部であるＰＣ（パーソナルコンピュータ）であり、３０２は顕微鏡画像を表示するモニタ装置、３０３はポインティングデバイスであるマウス、３０４はキーボードである。３０５は撮像手段となるＨＤＴＶ用のカメラ、３０６は当該ＨＤＴＶ用のカメラ３０５のコントロールユニット（ＣＣＵ）、３０７は撮像手段となるＮＴＳＣ用のカメラ、３０８は当該ＮＴＳＣ用のカメラ３０７のコントロールユニット（ＣＣＵ）である。
【０１３４】
顕微鏡３０９はステージおよび対物レンズのレボルバをモータにより駆動移動制御することができ、従って、ステージのＸ軸、Ｙ軸方向移動制御と対物レンズの切り替え制御を行うことができる。
【０１３５】
ＮＴＳＣ用のカメラ３０７とＨＤＴＶ用のカメラ３０５は共に顕微鏡３０９の標本像を写すように顕微鏡３０９に接続されている。顕微鏡標本像を、２系統の撮像手段であるＮＴＳＣ用のカメラ３０７と、ＨＤＴＶ用のカメラ３０５で得られる画像出力のどちらをＰＣ３０１に取り込み、画像表示と画像伝送に供するかは、ＰＣ３０１からのカメラ切替命令による。ＰＣ３０１はまた、顕微鏡３０９ステージおよび対物レンズのレボルバを制御する。
【０１３６】
画像受信側の制御部であるＰＣ（パーソナルコンピュータ）３１１と画像送信側を結んでいる通信回線はＮＴＴ（日本電信電話株式会社）のサービスするディジタル通信網であるＩＮＳネット１５００である。この回線によって伝送された画像は画像受信側のモニタ装置（＝表示部）３１２に表示される。画像受信側の操作は画像受信側の制御部であるＰＣ３１１に接続されたマウス３１２とキーボード３１３によって行われる。
【０１３７】
ＩＮＳネット１５００を通信回線として用いれば、ＮＴＳＣ方式の画像品位を保てる程度の画像データを４０分の１程度に圧縮して得たデータ容量の画像ならば、動画像としてリアルタイム伝送することができる。
【０１３８】
一方、ＨＤＴＶ画像もその品位を保てる程度の画像データを基準に、それを２０分の１程度に圧縮処理した場合のデータ量を１．６秒程度の時間で伝送することができ、静止画像伝送の待ち時間としては、十分実用的な範囲である。
【０１３９】
そこで本実施例ではＨＤＴＶ方式の画像を静止画像として使用し、ＮＴＳＣ方式の画像を動画像として使用する構成とする。
【０１４０】
このステムの処理内容は、実施例１の場合とほとんど変わりはない。異なる点は、画像入力を行うカメラの切り替えのみである。
【０１４１】
図１３は画像送信側の処理で、第１実施例と異なる部分、すなわち、静止画像取込処理（図８のＳ３０９〜Ｓ３１１）に対応する部分のフローチャートである。
【０１４２】
図１３の処理を説明すると、まずＳ４０１で、画像入力をＮＴＳＣ方式のカメラから、ＨＤＴＶ（高品位テレビ）のカメラへと切り替える。この時点でフレームメモリにはＮＴＳＣサイズの画像でなく、ＨＤＴＶの画像が入力される。
【０１４３】
Ｓ４０２からＳ４０４までは、図８のＳ３０９からＳ３１１の処理に該当する。
【０１４４】
Ｓ４０２ではＨＤＴＶカメラからフレームメモリへの入力を停止する。Ｓ４０３ではこのフリーズしたＨＤＴＶによる静止画像を外部記憶装置に書き込む。そしてＳ４０４では、静止画像データを画像受信側へ伝送する。
【０１４５】
静止画像の取り込と伝送が終わったら、Ｓ４０５で、カメラの入力をＨＤＴＶの側からＮＴＳＣの側へ戻す。
【０１４６】
以上の第２実施例は、通信回線としてはＮＴＴのサービスする高速なディジタル通信網である例えばＩＮＳネット１５００を使用し、また、顕微鏡像を撮像する撮像部としてＮＴＳＣ方式のカメラとＨＤＴＶ（高品位テレビ）方式のカメラの双方を使用できるようにすると共に、ＮＴＳＣ方式のカメラによる画像を拡大像（動画像）として用い、ＨＤＴＶ方式のカメラによる像を静止画として使用するようにして、できるだけリアルタイムで高画質像を伝送できるようにしたものであった。
【０１４７】
しかし、これは伝送する画像データの量が多いので、ＩＮＳネット１５００より伝送速度の遅いＩＮＳネット６４上では実用的でない。しかも、ＩＮＳネット６４上で使用できる従来のシステムは静止画を用いる方式であり、静止画像上で、顕微鏡の対物レンズを変えて拡大像を取り込む領域を指定すると、画像受信側は画像が送信されてくるまで、どのような画像が送られてくるか、全くわからなかった。
【０１４８】
従って、ＩＮＳネット６４上で動作可能であり、これらの欠点を解消して低倍率像の静止画と高倍率像の動画の同時観察を可能にするシステムの実施例を第３実施例としてつぎに説明する。
【０１４９】
ＩＮＳネット６４上での伝送速度は公衆網に比べれば遥かに速いが、データ量の多い高画質画像データを動画像レベルで伝送するには荷が重い。そこで、第２実施例のシステムにおける画像データの画素数を減らして画像のデータ量を少なくし、これを動画用とし、高画質データは静止画で送るようにすることで解決するようにした実施例を第３実施例として説明する。
【０１５０】
（第３実施例）
図１４に第３実施例のハードウェアの構成を示す。
【０１５１】
画像送信側の制御部であるパーソナル・コンピュータ（ＰＣ）１３０１は顕微鏡１３０６により得られる顕微鏡画像の撮像部であるカメラ１３０５から入力された画像をモニタ１３０２に表示する。またパーソナル・コンピュータ１３０１は画像受信側からの命令により顕微鏡１３０６を制御し、ステージ移動、対物レンズ切り替え、ピント、絞り調節制御などができる。画像受信側のパーソナル・コンピュータ１３１０と画像送信側パーソナル・コンピュータ１３０１は、画像送信側・画像受信側それぞれの通信部（ＤＳＵ）１３０７と１３０８でＮＴＴのサービスするディジタル網であるＩＮＳネット６４の回線１３０９と接続している。
【０１５２】
画像受信側のモニタ（表示部）１３１１には画像送信側から送られてきた顕微鏡静止画像又は動画像が表示される。
【０１５３】
操作は画像送信側ではキーボード１３０３とマウス１３０４を、また、画像受信側ではキーボード１３１２とマウス１３１３を使い、画像受信側のパーソナル・コンピュータからはこの操作入力に応じて画像取込命令と顕微鏡制御命令が送信側へ送られる。
【０１５４】
ＩＮＳネット６４の伝送速度では、診断に耐えるような高画質の動画像をリアルタイムで伝送することはできない。そこで、ＩＮＳネット６４上で使用するシステムとしては、従来より静止画を用いる顕微鏡遠隔観察システムが実用化されている。静止画伝送のシステムでは、静止画像上で、顕微鏡の対物レンズを変えて拡大像を取り込む領域を指定すると、画像受信側は画像が送信されてくるまで、どのような画像が送られてくるか、全くわからなかった。
【０１５５】
しかし低解像度の画像であれば、ＩＮＳネット６４の回線でも動画像の伝送が可能であり、高画質の静止画を伝送する前に、動画像で観察部分の確認を画像受信側でできれば、送られてきた画像を見て、ピント等の問題があって取り直しになるようなことはない。
【０１５６】
本実施例で拡大静止画像を取り込むときの手順を以下に示す。
【０１５７】
図１５は画像受信側の処理である。
【０１５８】
Ｓ５０１で、拡大静止画像を取り込むときの対物レンズの倍率を指定する。これは、画像受信側の制御部にキーボードやマウスにより操作入力を与える事で行う。Ｓ５０２ではモニタに表示されている画像上に、取込領域を示す矩形マーカを表示する。
【０１５９】
このときの矩形マーカの大きさは、Ｓ５０１で指定した画像の倍率と、表示画像の倍率との比によって決められる。例えば対物レンズ１０倍で取り込んだ静止画像上で４０倍の取り込み指定をすれば、
取り込み指定倍率／静止画像倍率＝１／４
となり、画像の４分の１のサイズの矩形マーカが表示されることになる。この矩形マーカの位置は画像受信側でマウスによって動かすことができる。この矩形マーカが次に取り込む画像の位置を示す取込領域枠となる。
【０１６０】
Ｓ５０３では動画像の受信を開始し、Ｓ５０４で画像送信側から伝送されてくる動画像データを受信する。この動画像は、この第３の実施例のシステムでは静止画像に比べて、サイズ（構成画素数）が半分以下となるように設定してある。例えば、縦横の画素数がそれぞれ半分に設定してあったとすれば、そのデータ量は非圧縮状態にある１フレームの画像データのデータ量に対して、
０．５×０．５＝０．２５
となり、１／４のデータ量である。また、画像送信側での動画像データの圧縮率は高く設定する。このように、画像送信側ではその動画像データは圧縮率を高くして送信するのに加え、画像サイズを小さくしているので、１フレーム当たりのデータ量は動画伝送が可能となる量に抑えることができる。
【０１６１】
Ｓ５０５では、マウスおよびキーボードからの入力を取得する。これらの、画像受信側システムの操作者による操作は、顕微鏡制御または画像取込命令であり、それぞれ画像送信側にその命令が伝送される。
【０１６２】
画像受信側の制御部では、まずＳ５０６で、ステージ移動命令か否かの判断をする。ステージ移動はマウスを動かすことによって、行われる。マウスが動かされている場合には画像受信側の制御部では、Ｓ５０７でマウスの移動にあわせ、静止画像上の矩形マーカの表示を移動させる。そしてＳ５０８では、矩形マーカの移動した部分の画像が伝送されるように、ステージ移動命令を画像送信側に送る。
【０１６３】
Ｓ５０９では画像受信側の制御部は顕微鏡操作の命令の判断をする。顕微鏡操作とはピント合わせ、絞りの調節等である。これらの命令が入力された場合には画像受信側の制御部は、Ｓ５１０でその命令を画像送信側に伝送する。
【０１６４】
Ｓ５１１は静止画像を取り込むか否かの判断である。ここで表示されている動画像を見て、取り込みを行わないと判断すれば、Ｓ５０４に戻り、動画像の受信を続ける。
【０１６５】
静止画像の取り込を実行するならば、まずＳ５１２で動画像の受信を終了させる。続いてＳ５１３で、取込時のパラメータを入力する。パラメータとしては画像データのサイズ（構成画素数）および圧縮率がある。
【０１６６】
Ｓ５１４で、画像受信側の制御部は、取り込みパラメータとともに、静止画像取込命令を画像送信側に送る。
【０１６７】
Ｓ５１５で画像受信側の制御部は、画像が送られてくるまで、受信待ちに入り、Ｓ５１６で静止画像を受信し、ハードディスク等の外部記録装置に記録・保存する。そして、Ｓ５１７でその画像をモニタ装置に表示して、画像取込処理は終了する。
【０１６８】
図１６は画像送信側の処理である。
【０１６９】
画像送信側の制御部はＳ６０１で画像受信側からの静止画取り込み命令を受けると静止画取り込みと伝送の実施をする。この静止画取り込み命令には対物レンズの倍率がパラメータとして含まれており、指示にあわせて対物レンズの倍率を変更する。画像送信側の制御部はＳ６０２で、受信側端末のモニタと同様に、静止画像上に取り込み領域の矩形マーカを表示する。
【０１７０】
そして、画像送信側の制御部はＳ６０３で、画像受信側への動画送信を開始する。このときの画像サイズは静止画取り込み時よりも小さい。通常、ＮＴＳＣ方式のカメラからの得られる画像データの画素構成は、例えば、縦横６４０×４８０ドットであるが、このときは半分の３２０×２４０ドットで入力する。
【０１７１】
Ｓ６０４で動画像のデータを送信し、Ｓ６０５で画像送信側からの命令を待つ。画像送信側からの命令が、ステージの移動であれば、Ｓ６０６の分岐処理で、Ｓ６０７へと移る。Ｓ６０７では送信側モニタに表示されている静止画像上の動画像表示領域を示す矩形マーカの位置を変更する。そしてＳ６０８で顕微鏡ステージを指定された座標に移動させる。
【０１７２】
ステップＳ６０６での判定結果がＮＯであった場合、すなわち、命令がステージの移動でなかった場合にはＳ６０９でその他の顕微鏡操作命令か否かを判断する。その結果、ＹＥＳであれば（その他の顕微鏡操作命令であれば）、Ｓ６１０で命令に合わせ顕微鏡を制御する。このときの命令はピントの調節、絞り、コンデンサの調節などである。
【０１７３】
Ｓ６１１では静止画像を取り込むか否かの判断をする。センタ側（画像受信側）から取り込み命令が出ていなければ、Ｓ６０４に戻って、動画像の送信を続ける。
【０１７４】
取り込み命令が出たときは、画像送信側の制御部はＳ６１２で動画像送信を終了させる。
【０１７５】
次に画像送信側の制御部はＳ６１３で、取り込みパラメータとともに、取り込み実行命令を再度受ける。Ｓ６１４でその取り込みパラメータ、すなわち画像圧縮率、画像サイズを設定する。
【０１７６】
Ｓ６１５で設定したパラメータに従って静止画像を取り込み、Ｓ６１６で静止画像をモニタ装置（＝表示部）に表示する。そしてＳ６１７で静止画像を画像受信側の制御部（ＰＣ）へと伝送する。
【０１７７】
このように、第３実施例は第２実施例のシステムにおける画像データの画素数を減らして画像のデータ量を少なくし、これを動画用とし、高画質データは静止画で送るようにすることで伝送速度の問題を解決するようにし、これによって、ＩＮＳネット６４上でも動作可能であり、低倍率像の静止画と高倍率像の動画の同時観察を可能にするという効果が得られる。
【０１７８】
本発明を纏めると、つぎの通りである。
【０１７９】
［１］． 少なくともステージを自動制御することのできる顕微鏡と、顕微鏡標本像を撮像するための撮像手段と、撮像された画像情報を受け、画像を表示、記録、伝送し、また顕微鏡を制御するための制御手段を送信側と受信側が有し、動画像及び静止画像を表示する表示手段を少なくとも受信側が有し、動画像情報および静止画像情報を送信側の制御手段から受信側の制御手段に伝送する通信手段によって接続された、顕微鏡遠隔観察記録システムにおいて、表示された顕微鏡標本の全体像または低倍率像の静止画像上で、拡大像の表示範囲を示す領域を、マウス等の操作で受信側の操作者が動かすことによって、画像上に示された表示領域の位置へ顕微鏡のステージを動かすことができ、その時の動画像を受信側に表示させることができ、表示中の動画像、表示動画像と同じ顕微鏡像の静止画像を、受信側で記録・保存することができ、すでに記録された低倍率静止画像または動画像上で表示領域を指定した、拡大像の静止画像または動画像を記録するときに、顕微鏡標本の観察部位の座標によって、低倍率画像と拡大像とを関連付け、再生時にこの関連付けを追って、静止画像と動画像、また静止画像同士、動画像同士による画像再生を可能としたシステムとした。
【０１８０】
画像送信側・画像受信側の制御手段としては、パーソナルコンピュータ、ワークステーション等が用いられる。表示手段としてはＴＶモニタ、あるいはＣＲＴディスプレイが用いられる。
【０１８１】
表示手段は少なくとも遠隔操作側である画像受信側システムには必要不可欠である。画像送信側システムの操作者が画像受信側システム同様に顕微鏡像を見る必要がある場合は、画像送信側システムにも表示手段が必要となる。
【０１８２】
撮像手段としては、ＴＶカメラが用いられる。
【０１８３】
通信手段としてはＩＳＤＮ（ＩＮＳネット６４、ＩＮＳネット１５００、Ｂ‐ＩＳＤＮ）、専用回線、光ファイバー、衛星通信などが用いられる。
【０１８４】
そして、このような構成において、画像送信側の制御手段と画像受信側の制御手段は通信手段および通信回線で接続され、画像送信側に設けられる顕微鏡は画像送信側の制御手段によって、標本の乗るステージのＸＹ位置を駆動移動制御される。顕微鏡標本の画像は顕微鏡に取り付けられた撮像手段によって、画像送信側の制御手段に入力される。入力された画像データは画像送信側の通信手段および画像受信側の通信手段を介して画像受信側の制御手段に伝送され、画像受信側の表示手段に表示される。
【０１８５】
画像受信側で観察したい位置へ顕微鏡を移動させることが可能であり、そのための命令が、画像受信側の制御手段から送信側制御手段へと伝送される。その命令に従って、画像送信側の制御手段が顕微鏡を制御する。
【０１８６】
そのため、効果として低倍率画像と、それを拡大した高倍率画像を同時に表示することによって、両者の比較が簡単に行えるようになり、観察が、より行い易くなる。また、動画像および静止画同士の観察上の繋がりが記録される。そのため、観察の流れが再現できるようになる。
【０１８７】
遠隔操作による顕微鏡の顕微鏡画像を撮像手段により撮像して動画像として送り、この動画像をモニタしながら注目領域を観察するシステムにおいては、目的の画像が表示できたとしても、それが標本全体像上でのどこの像であるかは全体像上の現在の観察位置のマーク表示を行うことで従来システムにおいても分かるようにはなっていたが、高倍率画像の周辺の状態がどのようになっているかを把握できるような画像表示ができない。そのため、より高倍率の対物レンズでの観察中は、標本中の座標位置のみはわかるが、観察部位の周辺の画像を見ることはできなかった。またその観察経過を記録し、低倍率から高倍率へと倍率をあげていく観察の流れを後から追うことはできなかった。
【０１８８】
そこで、このシステムのように拡大倍率の高い顕微鏡像を動画として与え、これより拡大倍率の低い像を静止画として与えてそれぞれ表示し、静止画と動画を対比して観察できるようにすると共に、この低倍率画像による静止画上で、領域を指定してその指定領域の画像を顕微鏡でとらえ、高倍率画像として動画表示するようにしたことにより、注目領域とその周辺の状態をそれぞれ観察することができるようになる。また、静止画像と動画像とを関連付けて記憶することにより、観察経過を記録し、低倍率から高倍率へと倍率をあげていく観察の流れを後から追うことができるようになる。
【０１８９】
［２］． 上記［１］において、表示され記録される画像の解像度、画素数が静止画像と、動画像とで異なること、または静止画像同士、動画像同士でも異なることを可能とするシステムとした。
【０１９０】
具体的には、顕微鏡像を撮像する撮像装置として、画素数の異なる２種類以上のカメラを用い、制御手段には顕微鏡画像を得るカメラの選択切り替えを行える機能を持たせてある。
【０１９１】
または、画像送信側の制御手段に、撮像手段から入力された画像データの画素数を変更して記録し、伝送する機能を持たせる。
【０１９２】
これによれば、画素数の異なる２種類以上のカメラを用いた場合、［１］の作用に加え、更にはつぎのような作用がある。すなわち、画像の大きさを変えるために、制御手段には顕微鏡画像を入力するカメラの切り替えを行う機能を持たせてある。そして、動画像を伝送する場合は画素数の少ない方のカメラの画像を取り込み、これを送出し、静止画像を伝送する場合は画素数の多い方のカメラの画像を取り込み、これを送出する。
【０１９３】
画像送信側の制御手段において画素数を変更させる場合には、入力時に制御手段がその構成画素サイズを変更処理する。そして、動画像を伝送する場合は画素数を少なくして送出し、静止画像を伝送する場合は画素数を多くして送出する。
【０１９４】
従来のシステムでは画像の取込時に、画像の解像度は常に一定であったため、転送速度を速くしたい場合や、画質を高めたい場合などでは画像の圧縮率を変更することによってのみ可能であった。
【０１９５】
しかし、このシステムによれば、動画像のみの観察では得られない、高画質の顕微鏡画像を、静止画によってみることができるようになるという効果が得られる。そして、観察する画像に対して、観察過程における画像の重要度に応じて、解像度を変更することを可能となる。
【０１９６】
［３］． 更には上記［１］および［２］において、通信手段の伝送速度が、診断可能な画質の動画像伝送に十分な速度を持たない場合に、静止画像を得るための補助手段として、静止画像取り込み前にその部分の動画像を伝送して、静止画像の確認をできるようにするシステムとした。
【０１９７】
静止画タイプの顕微鏡遠隔観察システムでは、低倍率の静止画像上で、高倍率の画像の取り込み位置を指定するが、このとき観察側では、画像取込が終了し、伝送されてくるまではどのような画像が送られてくるかわからないという欠点があり、これを解決する手段はいままではなかった。
【０１９８】
一方、本発明システムでは、標本全体像または低倍率画像はすでに取り込まれた静止画像であり、拡大像はこれから静止画を取り込む位置の動画像としてある。そのため、静止画像を受けてから取り込む静止画像の位置、ピント、照明（コンデンサ、カメラの露出等）に問題があると知ってもそれ以後にこれらを調整しなければならず、施行錯誤となって操作性が悪い。そこで事前に受信側で新たに取り込む静止画像の位置、ピント、照明などを決定できるようにする必要がある。
【０１９９】
本システムでは、静止画像取り込み前にその部分の動画像を伝送して、静止画像の確認をできるようにしたことにより、低倍率の静止画像の画像がどのような状態になるかを事前に知ることができるようになる。静止画像は１枚送れば継続して利用できる画像であるから、度動画像より高画質の像となるように圧縮率等を低くしたり、画素数を多く保つ等、画像データの容量を大きくするのが普通であるから、勢い画像伝送量も多くなり、伝送時間がかかる。そのため、静止画像の状態が事前に確認できれば、顕微鏡のピント調整など、必要な調整を予め施してから伝送することができるようになり、無駄が抑制される。
【０２００】
［４］． また、［２］において、静止画像を得るための撮像手段としてＨＤＴＶ方式のカメラを用い、動画像を得るための撮像手段としてＮＴＳＣ方式のカメラを用いたシステムとした。
【０２０１】
従来のシステムでは画像の取込時に、画像の解像度は常に一定であったため、転送速度を速くしたい場合や、画質を高めたい場合などでは画像の圧縮率を変更することによってのみ可能であった。
【０２０２】
しかしながら、［４］の構成とすることにより、［１］の作用に加え、制御手段は、画像を入力する撮像手段をＮＴＳＣ方式のカメラとＨＤＴＶ方式のカメラのどちらかに選択することができる。
【０２０３】
そのため、効果としては静止画像、動画像それぞれの同一容量の通信手段を使ったときの、最大画素数の差をカメラを変えることによって埋めることができる。また、観察する画像に対して、観察過程における画像の重要度に応じて、解像度を変更することを可能とし、また、通信回線の伝送速度によって、高解像度では動画像の伝送が不可能な場合に、静止画を高解像度、動画を低解像度に切り替えることを可能とする。
【０２０４】
［５］． ［２］において、静止画像を得るための撮像手段と動画像を得るための撮像手段として同じ解像度カメラを用いながら、制御手段へと画像を取り込むときに画像のサイズを変更することができるシステムとした。
【０２０５】
従来のシステムでは画像の取込時に、画像の解像度は常に一定であったため、転送速度を速くしたい場合や、画質を高めたい場合などでは画像の圧縮率を変更することによってのみ可能であった。しかし、これではデータ量が多すぎたり、画質が劣化し過ぎたりして問題である。
【０２０６】
そこで、観察する画像に対して、観察過程における画像の重要度に応じて、解像度を変更することを可能とする必要があり、また、通信回線の伝送速度によって、高解像度では動画像の伝送が不可能な場合に、静止画を高解像度、動画を低解像度に切り替えることを可能とする必要が生じる。
【０２０７】
この構成によれば、画像取込時に、撮像手段から制御手段内のフレームメモリに入力される画像のサイズを、カメラ本来の画素数と別の値にすることにより、その効果として、［４］と同等の効果を、カメラを１台しか使用せずに実現することができる。そのため、ＨＤＴＶやＮＴＳＣの画素数にとらわれずに画像のサイズを自由に決定できるようになる。
【０２０８】
［６］． ［３］における通信手段をＩＮＳネット６４とし、撮像手段としてＮＴＳＣ方式のカメラを用いたシステムとした。
【０２０９】
この構成によれば、画像送信側の制御手段と画像受信側の制御手段とを、ＩＮＳネット６４で結び画像データを送信側から受信側へと伝送するので、その効果としては、従来の基本的な静止画像顕微鏡遠隔システムと、ほぼ同じ構成で、動画を利用することができるようなるものである。
【０２１０】
［７］． ［３］において、通信手段がＩＮＳネット１５００であり、撮像手段として［４］または［５］と同構成のものを用いたシステムとした。
【０２１１】
画像送信側の制御手段と画像受信側の制御手段とを、ＩＮＳネット１５００で結び、画像データを画像送信側から画像受信側へと伝送する構成としたから、その効果としてはＩＮＳネット１５００を用いることによって、［６］の構成と比較して、高精細の静止画像を無理なく送ることができるようになり、また、圧縮率の低い、従って、画質の良い動画像を伝送して動画像表示することができるようになる。
【０２１２】
［８］． ［１］において観察後に、記録された画像を再生するときに、低倍率画像に拡大動画像観察中のステージ移動の軌跡を表示させることができるシステムとした。
【０２１３】
これによれば、低倍率画像上で、拡大像による観察を行った領域を示すことにより、実際に観察した領域とそうでない領域がはっきりとわかるようになる。また、観察後の画像再生時に、低倍率画像上の領域を拡大画像で観察した経緯がわかるようになる。
【０２１４】
なお、本発明は上述した実施例に限定されるものではなく、その要旨を変更しない範囲内で適宜変形して実施し得るものである。例えば、上記実施例では、ポインティングデバイスとしてマウスを使用したが、トラックボールやジョイスティックを使用することもでき、また、タッチペンなどを使用する方式とすることも可能である。
【０２１５】
【発明の効果】
以上、本発明によれば、動画像とともに、選択された静止画像を併せて表示手段に表示して観察することが可能となり、これによって、動画と所望の静止画を同時に観察できるので、静止画を動画像より低い倍率の画像としておくことで、注目領域の画像は動画像で観察でき、注目領域を含むその周辺領域の画像は静止画で観察することにより、周辺の状況を把握しながら標本の観察ができるようになって、理想的な観察が可能になり、しかも、操作性にも優れると云った効果を有する顕微鏡画像遠隔観察装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１実施例の全体構成を示すブロック図。
【図２】図１のシステムにおける制御部１０１，１０６の構成例を示すブロック図。
【図３】本発明の実施例を説明するための図であって、モニタ装置２０８上に表示された顕微鏡画像と、顕微鏡ステージ上の標本の関係を示す図。
【図４】本発明の実施例を説明するための図であって、画像送信側と画像受信側の通信中の関係を示す図。
【図５】本発明の実施例を説明するための図であって、再生時の軌跡表示機能（トレース機能）について説明するための図。
【図６】本発明の実施例を説明するための図であって、第１実施例におけるセンタ側（画像受信側）での操作全体の流れを説明するフローチャート。
【図７】本発明の実施例を説明するための図であって、第１実施例における動画像受信中の画像受信側の処理を説明するフローチャート。
【図８】本発明の実施例を説明するための図であって、第１実施例における動画像受信中の画像送信側の処理を説明するフローチャート。
【図９】本発明の実施例を説明するための図であって、静止画像４０２と動画像４０３の関係、および低倍率静止画像４０２と、その拡大動画像４０３上で指定した静止画像、あるいは低倍率動画像と、その静止画から拡大指定した動画像を関連を示す図。
【図１０】本発明の実施例を説明するための図であって、リンク情報を記録したデータファイルのデータ構成を示す図。
【図１１】本発明の実施例を説明するための図であって、画像ファイルの構成例を示す図。
【図１２】本発明の第２実施例の全体構成を示すブロック図。
【図１３】本発明の第２実施例を説明するための図であって、画像送信側の処理における第１実施例と異なる部分（静止画像取込処理；図８のＳ３０９〜Ｓ３１１）に対応する部分のフローチャートを示す図。
【図１４】本発明の第３実施例を説明するための図であって、第３実施例のハードウェアの構成を示すブロック図。
【図１５】本発明の第３実施例を説明するための図であって、第３実施例における画像受信側の処理を説明するためのフローチャート。
【図１６】本発明の第３実施例を説明するための図であって、第３実施例における画像送信側の処理を説明するためのフローチャート。
【符号の説明】
１０１，１０６…制御部（パーソナルコンピュータ，ワークステーション）
１０２，１０７…表示部
１０５，１０８…通信部
２０１…ＣＰＵ
２０２…メモリ
２０３…フレームメモリ
２０４…通信制御装置
２０５…外部記憶装置（ハードディスク、光磁気ディスクなど）
２０６，３０４…キーボード
２０７，３０３…マウス
３０１…ＰＣ（パーソナルコンピュータ）
３０２…モニタ装置
３０５…ＨＤＴＶ用のカメラ
３０６…ＨＤＴＶ用のカメラ３０５のコントロールユニット（ＣＣＵ）
３０７…ＮＴＳＣ用のカメラ
３０８…ＮＴＳＣ用のカメラ３０７のコントロールユニット（ＣＣＵ）
３０９…顕微鏡
４０１…モニタ
４０２…低倍率像、静止画像（画像Ａ）
４０３…高倍率・拡大像、動画像（画像Ｂ）
４０４…画像Ｂの位置を示す矩形のマーカ
４０５…顕微鏡ステージ
４０６…顕微鏡標本
４０７…観察位置[0001]
[Industrial applications]
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a microscope image remote observation apparatus for remotely operating a microscope installed at a site such as a hospital from a distant center (a university hospital or the like) and receiving and observing the microscope image at the center.
[0002]
[Prior art]
2. Description of the Related Art There is an optical motorized microscope apparatus that can variably control a stage position and a magnification of an objective lens by computer control and can also adjust a focus. This microscope device can be variably controlled by controlling the stage position and the magnification of the objective lens by transmitting operation command information from a remote location and transmitting operation command information, and the focus can be adjusted. By mounting and capturing a sample image and transmitting the sample image via a transmission path, a microscope remote observation system capable of observing a sample image obtained by remote control while staying at a distance can be constructed.
[0003]
By the way, in a medical practice, a diagnosis is often made by observing a living tissue collected from a patient, but this requires a diagnosis by a pathologist. However, there are many cases where a pathologist is resident at a large central hospital but not at a local hospital. In some cases, it is necessary to consult with an authority. In such cases, the center (center; a large hospital, university, research institution, etc. where a pathologist or authority resides) and the field (local hospital, small or medium hospital) And the like, a communication line is connected, a microscope remote observation system is installed, and a microscope image of a living tissue is observed by the microscope remote observation system to make a diagnosis.
[0004]
In this way, the hospital without the pathologist and the hospital with the pathologist are connected by a communication line, the microscope in the hospital without the pathologist is remotely operated from the hospital with the pathologist, and the obtained microscope image is subjected to pathology. Conventionally, a system for transmitting the information to a doctor and providing it for diagnosis has been conventionally known. Specifically, such a system is disclosed in Japanese Patent Application Laid-Open Nos. Hei 4-307028 and Hei 5-111029.
[0005]
However, all of these systems transmit the image currently viewed through the microscope as a still image and display only that image, so if the magnification of the microscope is increased, the area of interest will increase. Although it is possible to obtain the image of, the surrounding situation is out of the field of view of the microscope and cannot be observed, so that only the image of the area of interest is displayed, and the surrounding area can be observed. could not. When performing pathological diagnosis, accurate diagnosis is possible only after observing not only the state of the region of interest found but also surrounding conditions and comprehensively judging from those conditions. Therefore, a conventional system in which an image of a specimen can be observed only in a region of interest is insufficient as a function.
[0006]
In each of these conventional systems, the transmitted image is a still image, and it is difficult to observe the image in real time. This is due to the large data capacity of the image and the fact that the data transmission speed of the transmission path is not high enough to transmit the image in real time. Therefore, it must be sent as a still image. Moreover, in the case of a still image, it is not possible to display an image captured by the microscope in real time like a moving image. Therefore, when the focus adjustment or the like is necessary, the image is input again and transmitted again, so that there remains a disadvantage that the operability is poor.
[0007]
Therefore, a system that enables observation of a moving image is required. As a system capable of responding to a request for moving image observation, there is a technique disclosed in Japanese Patent Application Laid-Open No. 64-20449. The system disclosed in this publication can display a region of interest as a moving image, so that the image captured by the microscope can be displayed in real time for observation, and also when focus adjustment or the like is necessary. The operation is easy because the image is a real-time image.
[0008]
However, although the image of the attention area can be displayed and observed in real time, a system that can refer to a peripheral image of the attention area necessary for diagnosis has not been developed yet.
[0009]
The system disclosed in this publication is a system capable of displaying a region of interest as a moving image and displaying the entire specimen as a still image. However, although this technique displays the entire sample as a still image in parallel with the moving image, the still image showing the entire sample has a map-like meaning that informs the observer where the current region of interest is on the sample. However, it is an image with a definition that is too inadequate to observe the periphery of the attention area in detail enough to be a reference for diagnosis. Therefore, the system is inadequate, and a system that can provide a region of interest necessary for diagnosis and its peripheral image together is required.
[0010]
[Problems to be solved by the invention]
It is said that a remote site (hospital) and the center are connected by a communication line, a microscope at the site is remotely operated from the center, and a microscope image is sent to the center, and the microscope is observed and used for diagnosis. Conventionally, there are systems using a still image as an observation image as disclosed in JP-A-4-307028 and JP-A-5-1111029, and in JP-A-64-20449. There is known a system capable of observing a moving image as disclosed.
[0011]
Then, in a system using a still image, an image of a region of interest can be obtained as the magnification of the microscope is increased, but the surrounding state is out of the field of view of the microscope, so that observation cannot be performed. Therefore, only the image of the region of interest is displayed, and there is an inconvenience that the surrounding area cannot be observed, and further, it is difficult to perform real-time observation. In such a case, the adjustment is performed by a remote operation one step behind the display of the updated image, and the disadvantage of poor operability remains.
[0012]
Therefore, a system is required that enables observation of a moving image and observation of a target image and its peripheral image together. However, the above-described conventional system capable of observing a moving image can display a region of interest as a moving image, but does not have a configuration in which a peripheral image of the region of interest can be observed as before. In other words, the attention area is displayed as a moving image, and the entire specimen is displayed as a still image. However, this still image has only the meaning of a map that informs the observer where the current attention area is on the sample, and the attention area Is an image with a definition that is too inadequate for observing the surroundings in detail enough to be useful for diagnosis.
[0013]
Therefore, an object of the present invention is to provide a microscope image remote observation device with good operability by displaying a region of interest as a moving image and displaying an image related to the moving image as a still image. is there.
[0014]
[Means for Solving the Problems]
The invention according to claim 1, wherein the microscope, an imaging unit that captures an observation image generated by the microscope, converts the image into an electric signal, and outputs the electric signal, a transmission side that transmits an output image signal from the imaging unit, A receiving side that receives the output image transmitted from the transmitting side, and a microscope image remote observation device that observes the output image at the receiving side, wherein the receiving side is output from the imaging unit and is transmitted from the transmitting side. A first display unit for receiving a still image signal corresponding to the transmitted low magnification and displaying it as a low magnification still observation image, and a moving image corresponding to the high magnification transmitted from the transmitting side; Second display means for displaying the high-magnification moving image at the same time as the first magnification still observation image.
[0015]
According to a second aspect of the present invention, there is provided a microscope capable of controlling a stage movement and an objective lens magnification, an imaging unit which captures an observation image generated by the microscope, converts the image into an electric signal, and outputs the electric signal, and an output from the imaging unit. A transmitting side having transmitting means for transmitting an image signal, and a receiving side receiving the output image signal transmitted from the transmitting side, and a microscope image remote observation device for observing the output image on the receiving side. A receiving unit that receives a still image signal corresponding to the low-magnification objective lens output from the imaging unit and transmitted from the transmitting unit, and stores the signal as a low-magnification image; First display means for displaying the low-magnification still image, instruction means for instructing a predetermined area of the selected still image, and area designated by the instruction means A control signal transmitting means for transmitting a control signal for controlling a stage position and a lens magnification of the microscope on the transmitting side to the transmitting side according to a position and a size, and a moving image signal having a position and a magnification corresponding to the control signal. Second display means for receiving from the transmitting side and displaying the high-magnification moving image simultaneously with the low-magnification observation image.
[0016]
According to a third aspect of the present invention, there is provided a microscope capable of controlling the magnification of an objective lens, an imaging unit that captures an observation image generated by the microscope, converts the observation image into an electric signal and outputs the electric signal, and outputs an output image signal from the imaging unit. A microscopic image remote observation device having a transmitting side having a transmitting unit for transmitting, and a receiving side receiving the output image signal transmitted from the transmitting side, and observing the output image at the receiving side; A storage unit for receiving and storing a still image signal output from the imaging unit and transmitted from the transmission side, and a selection unit for selecting a predetermined still image from the still images stored in the storage unit First display means for displaying the still image selected by the selection means, instruction means for indicating a predetermined area of the selected still image, and instruction by the instruction means Control signal transmission means for transmitting a control signal for controlling the lens magnification of the microscope on the transmission side to the transmission side in accordance with the position and size of the selected area, and a moving image signal having a position and magnification corresponding to the control signal. A second display unit for receiving from the transmitting side and displaying the selected still image as a moving image simultaneously with the selected still image, wherein the selecting unit is smaller than the magnification of the moving image, and Is characterized by selecting a still image to be stored.
According to an eighth aspect of the present invention, an observation image generated by a microscope in which the stage can be moved and a magnification of an objective lens to be used can be controlled on the transmission side is converted into an image signal, and the image signal is transmitted from the transmission side to the reception side. In a remote observation method of a microscope image for observing the observation image on a receiving side, the receiving side receives a still image signal corresponding to a low-magnification first objective lens captured and transmitted on the transmitting side. The moving image of the second objective lens having a high magnification for enlarging a part of the still image is received from the transmission side and displayed simultaneously with the low-magnification still observation image.
[0017]
[Action]
In the case of the first configuration, among the images of the microscope transmitted from the transmission side, the still image signal is stored in the storage unit on the reception side, and when a predetermined still image is selected from the stored still image by the selection unit, The selected still image is displayed on the first display means. Then, the receiving side displays the moving image transmitted from the transmitting means as a moving image on the second display means.
[0018]
Therefore, according to the above configuration, it is possible to display and observe the selected still image together with the moving image on the display means, and thereby it is possible to simultaneously observe the moving image and the desired still image. By setting the image as an image of a lower magnification than the moving image, the image of the attention area can be observed as a moving image, and the image of the surrounding area including the attention area is observed as a still image, so that the surrounding situation can be grasped. It is possible to provide a remote observation apparatus for microscope images that enables observation of a sample, enables ideal observation, and has an effect of being excellent in operability.
[0019]
In the second configuration, the microscope uses a microscope capable of controlling the stage movement and the lens magnification. Of the images of the microscope transmitted from the transmitting side, the still image signal is stored in the storage unit on the receiving side. When a predetermined still image is selected from the stored still images by the selection means, the selected still image is displayed on the first display means. Then, the receiving side displays the moving image transmitted from the transmitting means as a moving image on the second display means.
[0020]
When a predetermined area of the selected still image is designated by the instruction means, the control signal transmission means transmits the stage position and the lens of the microscope on the transmission side in accordance with the position and size of the area designated by the instruction means. A control signal for controlling the magnification is transmitted to the transmission side, and the transmission side controls the stage movement of the microscope and the control of the lens magnification based on the transmitted control signal. As a result, the image obtained from the imaging unit becomes a moving image signal of the microscope stage position and magnification according to the control signal, and this is transmitted to the receiving side. A moving image of the microscope stage position and magnification corresponding to the received control signal is displayed.
[0021]
Therefore, according to the above-described second configuration, in addition to the effect of the first configuration, a predetermined still image selected by the selection unit and a moving image in which a predetermined area of the still image is enlarged are displayed. Therefore, it is possible to provide a microscope image remote observation apparatus having an effect that a peripheral area of a moving image can be observed with a still image.
[0022]
In the third configuration, the microscope uses a lens whose lens magnification can be controlled, and among the images of the microscope transmitted from the transmission side, the still image signal is stored in the storage unit on the reception side. When a predetermined still image is selected from the selected still images by the selection means, the selected still image is displayed on the first display means. Then, the receiving side displays the moving image transmitted from the transmitting means on the second display means as a moving image.
[0023]
Then, when a predetermined area of the selected still image is designated by the instruction means, the control signal transmission means changes the magnification of the lens of the microscope on the transmission side according to the position and size of the area designated by the instruction means. The control signal to be controlled is transmitted to the transmission side, and the transmission side controls the lens magnification of the microscope based on the transmitted control signal. As a result, the image obtained from the imaging unit becomes a moving image signal of a microscope magnification corresponding to the control signal, and this is transmitted to the receiving side. Therefore, the second display unit receives the image received from the transmitting side. A moving image at a microscope magnification corresponding to the control signal is displayed.
[0024]
Therefore, according to the third configuration described above, in addition to the effect of the first configuration, the still image having the largest magnification including the moving image area is automatically selected and displayed by the selection unit. Therefore, it is possible to provide a microscope image remote observation apparatus having an effect that operability can be further improved.
[0025]
【Example】
Hereinafter, embodiments of the present invention will be described with reference to the drawings. According to the present invention, when observing a microscope image, the monitor displays an entire image of the specimen or two images of a low-magnification image and an enlarged image (at this time, a plurality of images other than the above are displayed for reference). It is also possible). In the present invention, the whole specimen image or the low-magnification image (image A) is a still image that has already been captured, and the enlarged image (image B) is a moving image. On the image A, a rectangular marker indicating which portion of the image B is a video is displayed.
[0026]
When the image B is recorded as a moving image or a still image, the coordinates of the microscope stage at that time are recorded so as to be associated with the same coordinate portion on the image A. When the image B is reproduced, it is sufficient to select a rectangular marker corresponding to the image B shown on the image A.
[0027]
By doing so, it is possible to reproduce a still image and a moving image corresponding to the observation progress so that the enlarged image can be observed and recorded on the entire image, which has been insufficient conventionally.
[0028]
The details are described below.
(First embodiment)
In this embodiment, at least a microscope capable of automatically controlling a stage, an imaging unit for capturing a microscope specimen image, receiving captured image information, displaying, recording, transmitting, and controlling the microscope The transmitting side and the receiving side have control means for performing the operation, and at least the receiving side has display means for displaying a moving image and a still image, and the moving image information and the still image information are transmitted from the transmitting side controlling means to the receiving side controlling means. In a remote observation and recording system for microscopes connected by communication means for transmitting to a microscope, a region indicating a display range of an enlarged image on a whole image of a displayed microscope specimen or a still image of a low-magnification image is displayed by a pointer such as a mouse. By moving the receiving side operator by operating the scanning device, the microscope stage can be moved to the position of the display area shown on the image, and the moving image at that time Can be displayed on the receiving side, and a still image of the same microscopic image as the moving image being displayed and the displayed moving image can be recorded and saved on the receiving side, and a low-magnification still image or moving image that has already been recorded When recording a still image or a moving image of an enlarged image with the display area specified above, the low-magnification image and the enlarged image are associated with each other by the coordinates of the observation site of the microscope specimen. And a moving image, a still image, and a moving image can be reproduced. The details will be described below.
[0029]
FIG. 1 is a block diagram showing the hardware configuration of the system according to the first embodiment. In the figure, 101 is a control unit on the image transmission side, 102 is a display unit on the image transmission side, 103 is an imaging unit, 104 is a microscope, 105 is a communication unit on the image transmission side, and these constitute an image transmission side system. .
[0030]
Reference numeral 106 denotes a control unit on the image receiving side, 107 denotes a display unit on the image receiving side, and 108 denotes a communication unit, and these constitute a center-side system.
[0031]
Here, the imaging unit 103 captures an image of the microscope 104, converts the image into a video signal, and outputs the video signal. The control unit 101 performs remote operation of the microscope 104 based on the received instruction, The video signal to be output is converted into image data, which is compressed and output as compressed image data, or is compressed as a still image and output at a low compression ratio. This is a monitor device that converts the compressed image data output from the control unit 101 into a video signal and monitors the video signal. For monitoring, it is necessary to convert the compressed image data into a video signal, which may be provided on the monitor device side or on the control unit 101 side.
[0032]
The communication unit 105 is a device for communicating with the center side via a communication network. The communication unit 105 transmits the compressed image data output from the control unit 101 to the center side, receives a command from the center side, and sends the compressed image data to the control unit 101. Has the function of passing.
[0033]
The imaging unit 103 is a video camera for the NTSC system, which is one of the standard color television broadcasting systems, and the HDTV, which is one of the high-definition television systems. The display units 102 and 107 are CRT or liquid crystal displays. As a TV monitor of a display type, a plasma display type, a projection type or the like, and a communication unit 105 or 108, a digital communication type transmitting / receiving device using an ISDN (Integrated Services Digital Network), an optical fiber communication network, a satellite communication network, or the like is used. be able to.
[0034]
Further, the microscope 104 installed on the image transmission side can control the movement of the stage on which the sample is placed in the X-axis and Y-axis directions by a drive operation motor. According to the command, the stage can be moved in the X-axis and Y-axis directions.
[0035]
The control unit 106 on the image receiving side constituting the center system controls image capture, stores the captured image in an external storage device, decompresses the compressed image data, displays the decompressed still image on the screen, Screen display of a moving image subjected to decompression processing, a function to generate a control command to control the magnification ratio of a microscope image to a magnification ratio such that a designated area on a still image becomes the entire screen of the moving image and send it to the communication unit 8, It has a function of issuing an image switching command, a function of reproducing an image stored in an external storage device, and the like.
[0036]
A display unit 107 on the image receiving side is a monitor for displaying images such as displaying a still image or a moving image expanded by the control unit 106, or displaying an image read and played back from an external storage device. The communication unit 108 is a transmission / reception device for transmitting image data received via a communication network to the control unit 106 and transmitting a command from the control unit 106 to an image transmission side via the communication network.
[0037]
As a communication network, ISDN (INS network 1500, INS net 64, B-ISDN, etc. of a comprehensive service digital network) is used.
[0038]
The control unit 101 on the image transmitting side and the image receiving terminal 106 are connected by the communication units 105 and 108, and during remote observation, the same image is always displayed by a synchronous operation.
[0039]
As described above, the position of the stage on which the sample is placed on the microscope 104 is controlled by the control of the control unit 101, and other parts, for example, the objective lens and the diaphragm are also controlled by the control unit 101 depending on the microscope. Controlled.
[0040]
The image of the microscope specimen is input to the imaging unit 103 and displayed on the display unit 102 via the control unit 101. The image data is also transmitted to the center-side control unit 106 via the communication units 105 and 108, and is displayed on the center-side display unit 107. The image data transmitted at this time is generally compressed depending on the transmission speed of the communication unit.
[0041]
It is possible to specify an image to be observed on the receiving side, and a command for that is transmitted from the receiving terminal 106 to the control unit 101 on the image transmitting side. In accordance with the command, the transmission-side control unit 101 controls the microscope 104 as described above.
[0042]
FIG. 2 shows details of the configuration of the control units 101 and 106.
[0043]
The control units 101 and 106 can be composed of a personal computer or a workstation or the like and its peripheral devices. In FIG. 2, reference numeral 201 denotes a CPU which performs various controls and arithmetic processing, and plays a central role in various controls required in the present system. Reference numeral 202 denotes a main memory, which is used for storing a program to be executed by the CPU 201 and for temporarily storing data necessary for executing the program.
[0044]
Reference numeral 203 denotes a frame memory for holding at least one screen of data to be displayed on the display units 102 and 107. The image data of the display screen is written in the frame memory 203 by the CPU 201.
[0045]
Reference numeral 204 denotes a communication control device for exchanging data with the outside, for example, performing serial communication to exchange data. Reference numeral 205 denotes a large-capacity external storage device, such as a hard disk or a magneto-optical disk. The external storage device 205 is accessed by the CPU 201, and the data of the still image and the moving image is sequentially stored. The data of these still images and moving images is used to trace the position data of the microscope stage at that time, the magnification of the microscope, information on the correspondence between the still image and the moving image, information on the reception time of the image, etc. It is stored together with various necessary information. These pieces of information are created by the CPU 201 and filed in the external storage device 205 together with the image data.
[0046]
Reference numeral 206 denotes a keyboard for inputting data and commands to the CPU 201. Reference numeral 207 denotes a mouse for inputting information on a desired coordinate position on the display screen of the display unit 208 to the CPU 201. The CPU 201 uses the coordinate position information given by the mouse 207 as a reference. To draw a marker (mark) on the screen, to give an instruction to control the magnification to the microscope so that the area indicated by the marker has the magnification shown in the overall view, or to make the area enter the screen. And a function of giving a command to control the position of the microscope stage.
[0047]
Further, in the case of the image transmitting side, a function is provided in which a received command is given to the microscope to perform necessary control, stage position information of the microscope, information of the objective lens, and the like are taken and sent to the image receiving side. is there. In the case of the image transmission side, when transmitting a video signal captured by the imaging unit 103 as a moving image, the image is compressed at a high compression ratio, and when transmitting the video signal as a still image, the image is compressed at a low compression ratio. In the case of the image receiving side, the compressed image data is sequentially stored in the external storage device 205, including the stage position information of the microscope and the information of the objective lens, and the compressed image data is expanded. A screen is configured to simultaneously display a still image and a moving image on the display unit 107 so that they can be compared and observed, and a function of drawing display data on the frame memory 203 is provided. The display data is sequentially scanned and read out from the frame memory 203 in synchronization with the scanning of the display unit 107. When the display unit 107 is an image display system using an analog signal input, the display data is converted into a video signal and supplied to the display unit 107. In the case of the image display method, the image is directly provided to the display unit 107 to be used for image display.
[0048]
Next, the operation of the present apparatus having the above configuration will be described.
[0049]
In such a configuration, on the image transmitting side, the image of the microscope 104 is captured by the imaging unit 103 and output as an image signal. This image signal is converted into digital data and sent to the control unit 101. The image data sent from the imaging unit 103 to the control unit 101 is input to a frame memory 203 which is a component of the control unit 101.
[0050]
On the image transmission side, under the control of the CPU 201, the image data in the frame memory 203 is read out, given to the monitor device 208 (= display unit 102), and displayed here.
[0051]
Further, the data input to the frame memory 203 may be read from the external storage device 205 to the main memory 202 under the control of the CPU 201 in the control unit 101, and may be input from the main memory 202 to the frame memory 203. is there. The image at this time is an image already provided for observation and recorded in the storage device 205. The monitor device 208 also serves as a display of an image and a display of a personal computer.
[0052]
On the image transmission side, the data input to the frame memory 203 is stored in the external storage device 205 under the control of the CPU 201 in the control unit 101, and is subjected to image compression processing and sent to the communication control device 204. . Then, the communication control device 204 converts the serial data into serial data, and transmits the serial data to the other party, that is, the image receiving side device.
[0053]
FIG. 3 shows the relationship between the microscope image displayed on the monitor device 208 and the specimen on the microscope stage. This image is an image displayed on the display unit 107 on the center side, but the same image may be displayed on the image transmitting side.
[0054]
In FIG. 3, reference numeral 401 denotes a monitor device; 402, a low-magnification image displayed in a left half display area of the screen of the monitor device 401; 403, a high-magnification image displayed in a right half display area of the screen of the monitor device 401; It is a magnification and an enlarged image. The low magnification image 402 is a still image (image A), and the high magnification / enlarged image 403 is a moving image (image B). Reference numeral 404 denotes a rectangular marker indicating the position and area of the image B. Reference numeral 405 denotes a microscope stage, 406 denotes a microscope specimen on the microscope stage 405, and 407 denotes an observation position of the microscope specimen 406.
[0055]
The number of images to be displayed is such that not only the image A as the low-magnification image 402 and the image B as the high-magnification / enlarged image 403 but also a plurality of previously recorded images can be displayed.
[0056]
The low-magnification image 402 is a still image already recorded as a file, and the high-magnification / enlarged image 403 is a moving image currently input from the imaging unit (TV camera) 103 attached to the microscope 104. Here, the magnification of the objective lens that captures the moving image of the high-magnification image 403 is higher than the magnification of the objective lens when the still image of the low-magnification image 402 is captured. Normally, by inputting a frame (rectangular marker 404) of a desired size into a desired area on a screen of a still image with a pointing device such as the mouse 207, the CPU 201 constituting the control unit displays the image on the still image being displayed. The configuration is such that the magnification of the objective lens of the microscope 104 is automatically controlled so that a high-magnification / magnified image 403 sufficient to fill the display area of the high-magnification / magnified image with a magnification corresponding to the size of the frame is selected. is there.
[0057]
In addition, the position of the rectangular marker 404 can be moved by a pointing device such as the mouse 207, thereby generating control data for moving the stage along the X and Y axes so that the position of the rectangular marker 404 is in the observation area. It has a function to automatically control the microscope.
[0058]
Therefore, the rectangular marker 404 indicates an image area on the low-magnification image 402 of the image input as the high-magnification / enlarged image 403, and indicates the position of the currently displayed image. That is, the inside of the frame of the rectangular marker 404 is an area equal to the moving image displayed in 403.
[0059]
As described above, in the present system, by displaying the rectangular marker 404 on the still image, a high-magnification / enlarged image of the area can be displayed and observed in real time as a moving image, and the position of the rectangular marker 404 can be moved by the mouse 207. By doing so, the moving image displayed as the high-magnification / enlarged image 403 is also moved according to the movement, so that observation can be performed with good operability. Then, the movement of the rectangular marker 404 by the mouse operation is converted from the coordinates on the low-magnification image (image A) 402 after the movement to the coordinates of the microscope stage. Then, a command is sent from the control means 101 to the microscope 104 to move the microscope stage 405 to the stage coordinates. As a result, the position of the observation position 407 on the microscope specimen 406 moves. At this time, the moving image captured by the imaging unit 103 is a high-magnification / enlarged image (image B) 403.
[0060]
FIG. 4 shows the relationship during communication between the image transmitting side and the image receiving side.
[0061]
The operation during communication is basically performed by the receiving side. Therefore, a control command is sent from the receiving side to the transmitting side. The control commands include movement of the microscope stage, storage of images, conversion of magnification, and the like. The movement of the microscope stage is performed by moving the position of the rectangular marker 404 indicating the position of the enlarged image on the low-magnification image with the mouse as described with reference to FIG. During this time, image data obtained by capturing the specimen image of the microscope 104 by the imaging unit 103 is continuously transmitted from the image transmitting side to the image receiving side.
[0062]
FIG. 6 is a flowchart showing the entire operation flow on the center side (image receiving side) in the present system.
[0063]
On the center side (image receiving side), first, the whole image of the specimen is captured (S101). That is, the whole image of the sample captured by the imaging device mounted on the microscope in the image transmission side system which is the transmission side of the microscope image is transmitted to the center side which is the image reception side. On the center side, after capturing the whole image of the specimen, the whole image is displayed on the monitor (display unit) on the image receiving side as the still image (image A) 402 in FIG. 3 (S102).
[0064]
Next, on the center side, the magnification of the objective lens of the microscope image to be observed is input (S103). As a result, the input magnification is transmitted from the center to the image transmission side as control information for the magnification control. The remote control microscope 104 on the image transmitting side has a function of automatically performing lens switching, and this switching control is performed by the control unit 101 on the image transmitting side based on control information sent from the center side.
[0065]
That is, the control unit 101 on the image transmitting side that has received the control information recognizes that the control information is the designation information of the magnification of the objective lens, and switches the objective lens of the remote control microscope 104 so that the magnification becomes the magnification. Control the part.
[0066]
In this way, the lens magnification switching control of the remote control microscope 104 is automatically performed under the control of the control unit 101 on the image transmitting side that has received the control information.
[0067]
The microscope image of the sample captured by the imaging unit (camera) 103 on the image transmission side is transmitted and received, and this corresponds to an enlarged image when the magnification of the microscope has been adjusted. On the (image receiving side), the enlarged image transmitted from the image transmitting side is displayed as a high-magnification / enlarged image (image B) 403 (S104).
[0068]
On the center side, an operator (in this case, a pathologist) operates the mouse 207 to move the display position of the rectangular marker 404 on the still image (image A) 402 to observe the microscope image, and Since the display position adjustment operation is performed so that the enlarged image of the portion is displayed, the position of the mouse 207 moving the rectangular marker 404 on the still image (image A) 402 is detected on the center side (S105). ).
[0069]
When the position of the mouse 207 is detected, the coordinate position to be taken by the stage of the microscope 104 is calculated based on the position information of the mouse 207. That is, since the position (observation designated area) of the rectangular marker 404 on the still image (image A) 402 is determined by the position of the mouse 207, the microscope is operated so that the image of the area corresponding to the position of the rectangular marker 404 can be observed. The stage coordinates of 104 are calculated (S106). Then, when the stage coordinates are obtained, the obtained stage coordinates are transmitted to the image transmission side (S107). On the image transmission side, the microscope stage is moved according to the received stage coordinates.
[0070]
Next, the center side determines whether or not there is an instruction to capture a still image, and then captures a still image (freezes the current enlarged image B (moving image) and transmits this as image data of a still image) Side) or processing to return to the low-magnification image (the still image (image A) from which the current enlarged image B (moving image) is extracted is the enlarged image B (image A)). The process proceeds to a process of extracting a still image when the moving image was a moving image) as a still image) (S108).
[0071]
That is, in steps S108 to S110, a still image is captured, or the process returns to the low-magnification image, and selection is made as to whether or not to end. Selection of each process is performed by selecting a menu on the screen. If none of these processes is selected, a state where the moving image observation is continued is performed. In this case, the received moving image is recorded, that is, stored in the external storage device 205 (S111). This recording is automatically performed during the observation, and the microscope stage coordinates at that time are recorded together with the moving image data.
[0072]
S112 to S114 are processing when a still image is captured. That is, when the still image is captured in S108, first, the moving image display is frozen (S112). At this time, the image transmission side system captures and stores the still image. Then, the still image is transmitted from the transmission side to the reception side, and the data is stored on the reception side (S113). At this time, the data received and stored includes not only the image but also data for managing the link between the low-magnification image such as the stage coordinates at that time and the enlarged image.
[0073]
The captured image, that is, the still image of the magnification that has been observed as a moving image is displayed as a new low-magnification image (image A) (S114). After the above operation, the process returns to S103, and observation of a new enlarged image is continued.
[0074]
When returning to the observation of the low magnification image, the observation of the low magnification image is selected in S109. Then, the center side system switches the image B to the current low magnification image (S115). However, if the current low magnification image is the first enlarged image, no switching is performed. Then, a low-magnification still image of the image is reproduced and displayed (S116), and the process returns to S103 and subsequent steps. Thereby, the observation can be continued by shifting from the high magnification moving image observation state to the low magnification moving image observation.
[0075]
The above is the description of the operation and operation example of the system at the time of observation centering on the center side system in order.
[0076]
In order to perform such an operation, the control unit 101 of the image transmission side system and the control unit 106 of the center side (image reception side) system may have the following processing functions. FIG. 7 is a flowchart showing processing on the image receiving side during the reception of a moving image, and FIG. 8 is a flowchart showing processing on the image transmitting side also during the reception of a moving image. The former (FIG. 7) The latter (FIG. 8) corresponds to the processing and control function of the control unit 101 of the image transmitting system.
[0077]
It will be described step by step.
[0078]
The control unit 106 on the center side (image receiving side) receives moving image data from the image transmitting side via the communication line (S201). At this time, what is received is the compressed moving image data and the coordinate data of the microscope stage when the moving image is input.
[0079]
The control unit 106 on the center side stores the received moving image data and coordinate data in the external storage device 205 built in the control unit 106 (S202).
[0080]
Since the received moving image data has been subjected to image compression processing, the control unit 106 decompresses the compressed moving image data by the CPU 201 and transfers it to the frame memory 203 of FIG. ).
[0081]
Next, the control unit 106 on the center side writes the image data decompressed in S204 by the CPU 201 into the frame memory 203, reads the image data from the frame memory 203 in synchronization with television scanning (sweep), and converts the image data into a video signal. Is given to the monitor device 208 (= display unit 107) to be displayed on the monitor device 208.
[0082]
After the display, the input from the mouse 207 and the keyboard 206 is taken in (S205). These inputs are processed by the control of the CPU 201 of the control unit 106 as a movement of the microscope stage, a still image capturing instruction, an observation end instruction, and the like.
[0083]
If it is determined that the mouse 207 has moved from the acquired information (S206), the processing of S207 and S208 is performed. Here, when the mouse moves, the rectangle 404 on the still image is moved on the screen according to the moving direction of the mouse and the amount of the movement (S207). Accordingly, as described with reference to FIG. 3, the rectangular marker 404 indicating the enlarged area moves on the still image (image A).
[0084]
Next, the control unit 106 on the center side converts the coordinates of the rectangular marker 404 on the low-magnification still image (image A) 402 into stage coordinates, and uses this as a stage movement command to the coordinates from the communication control unit 204. The image is transmitted to the image transmission side system via the communication unit 108 (S208). If the end is not instructed by selecting the menu on the screen, the process returns to S201, and if the end is instructed, the process is ended (S213).
[0085]
S210 to S212 are processing when a still image is captured. That is, when there is a still image capture command (S109), the control unit 106 on the center side transmits the still image capture command to the image transmission side (S210). Then, the reception of the still image data is waited (S211). When still image data is sent from the image transmission side, the sent image data is fetched via the communication control device 204 and written into the external storage device 205 under the control of the CPU 201 (S212).
[0086]
In this way, the image of the designated macro area is displayed as a still image, and the enlarged image (high-magnification image) of the desired micro area (attention area) on this macro area is displayed as a moving image. Setting and moving of the attention area by operation, etc., switching the magnification for observing a desired micro area in the macro area using the current attention area as a macro area, collecting these images, and capturing the macro area image and this macro area It is possible to collect information such as the relationship between micro region images.
[0087]
Next, processing and control functions of the control unit 101 of the image transmission side system will be described. The control unit 101 on the image transmission side loads the image data (image data of the microscope image) output from the imaging unit 103 by the television camera set in the microscope 104 into the built-in frame memory 203 (S301).
[0088]
On the other hand, the image data is compressed and stored in its own external storage device 205 (S302). At this time, it is assumed that not only the image data but also the microscope stage coordinates at the time of capturing this image are stored.
[0089]
The image data on the frame memory 203 is read out and converted into a video signal in synchronization with the television scanning, and displayed on the monitor device (= display unit 102) of the image transmission side system (S303).
[0090]
The control unit 101 on the image transmitting side outputs the image data subjected to the image compression processing to the communication unit 105 via the built-in communication control device 204, and transmits the image data to the center, which is the image receiving side (S304). As a result, the data to be transmitted is compressed, like the stored data, so that the data amount can be reduced, and the transmission time can be shortened. What is transmitted is image data and data of stage coordinates.
[0091]
Next, the control unit 101 on the image transmitting side checks whether or not a command has been received from the center, which is the image receiving side (S305). When there is a command from the center, the control unit 101 selects processing according to the type of command in S306 and S308. I do.
[0092]
First, if the command received from the center is a command to move the microscope stage, the control unit 101 proceeds to the processing from S306 to S307. In the process of S307, drive control is performed to move the stage of the microscope 104 to the stage coordinates sent from the center side system together with the movement command.
[0093]
If the command received from the center system is not the stage movement, the control unit 101 determines whether the received command is a still image capture command (S308). As a result, if the instruction is a still image capture command, the image input from the imaging unit 103 to the frame memory 203 built in the control unit 101 is stopped (S309).
[0094]
At this time, the image data immediately before the stop of the input remains on the frame memory 203 built in the control unit 101. The control unit 101 on the image transmission side writes the data on the frame memory 203 into the external storage device 205 built therein (S310). Then, control is performed to transmit this image data to the center-side system (S311). At this time, even if the image data written to the external storage device 205 is uncompressed or has been subjected to a compression process, the compression rate is lower than that of the moving image and the image quality is better.
[0095]
After each process is completed, the control unit 101 on the image transmission side determines whether to end the process (S312). If not finished, the process returns to the beginning, and the image input from the imaging unit 103 is continued. If completed, the processing of the image transmission side system ends here.
[0096]
FIG. 9A shows the relationship between the still image 402 and the moving image 403 recorded at this time.
[0097]
Referring to FIG. 9A, a rectangular marker 404 on a low-magnification image (still image) 402 indicates the location of an enlarged image (region of interest) to be obtained as a moving image 403. The enlarged moving image file (for example, 30 frames per second) is linked to the low-magnification still image 402 or the moving image 403 of another adjacent frame, and is a rectangular marker displayed on the low-magnification image 402. The information 404 indicates the position of the image.
[0098]
Each frame (frame) of the still image 402 and the moving image 403 has its own microscope stage coordinate data. This data is recorded in the image file. The configuration of data recorded in the image file is as shown in FIG. 11, and the image file includes a header and an area of an image data portion. In the case of a still image, information of an enlarged image rectangular area coordinate, an enlarged moving image file name, and in the case of a moving image, information of a low-magnification still image and a same-magnification still image are entered in the header.
[0099]
In this system, when the mouse cursor displayed on the low magnification image based on the position information of the mouse 207 is moved to the area within the rectangular marker 404 and the operation button of the mouse 207 is clicked, the entire area within the rectangular marker 404 is displayed. Can be called. A moving image file observed at a certain magnification ends under the following three conditions.
[0100]
The conditions are as follows: (i) when frozen for capturing a still image, (ii) when returning to observation with a low-magnification image, and (iii) when moving to observation with a higher-magnification image. There are three types.
[0101]
When moving from a high-magnification magnified image to a low-magnification magnified image, that is, when returning a moving image from a high-magnification image to a lower-magnification image, a still image with a lower magnification than the current still image is used. It can be called from an image file. Further, as shown by 403h in FIG. 9A, by specifying the rectangular marker 404 in the moving image, it is possible to further obtain an enlarged image of a designated area from the enlarged image.
[0102]
When a still image is captured, the moving image and the still image file at that time are linked, and if there is an image with a higher magnification that is further enlarged from the still image, that image is also linked to the still image. When the enlargement to a high magnification is performed directly from the observation of the moving image, the moving images are linked to each other.
[0103]
The above-described link between the moving image file and the still image file leaves a record during observation. By following this link, the observation procedure can be reproduced.
[0104]
Also, as shown in FIG. 9B, the low-magnification still image 402 is associated with the still image specified on the enlarged moving image 403 or the low-magnification moving image and the moving image specified to be enlarged from the still image. By this association, it is possible to trace the reproduction of an image from a low-magnification image using only a still image or only a moving image to an enlarged image, and conversely to a low-magnification image, that is, trace the transition of observation.
[0105]
Next, the linking method will be described in detail.
[0106]
FIG. 10 shows a data configuration of a data file in which link information is recorded.
[0107]
As shown in FIG. 10, the data structure of the data file is such that one record is an image file name, information of a low-magnification image file of the image, information of a moving image or a still image file enlarged from the image, and a link of the same magnification. File, that is, information on a moving image for a still image file or information on a still image for a moving image.
[0108]
Information for each image is composed of “file name”, “distinguish between still image and moving image”, and for an enlarged image, “coordinates of a rectangular area where the enlarged image is located”.
[0109]
For example, in the case of a moving image B in FIG. 9B, a still image A is recorded as a low-magnification image, a still image C is recorded as an image of the same magnification, and a moving image D is recorded as an enlarged image. A rectangle indicating the area of the moving image D on the moving image B is calculated from the stage coordinates of both image data.
[0110]
At the time of image reproduction, by accessing this link data file, it is possible to follow the flow of observation from a low-magnification image to an enlarged image (trace function), and to go back, that is, trace back. .
[0111]
To stop the observation of the currently displayed image and display the already captured and observed low-magnification image, display the operation menu on the monitor (display unit), and display the low-magnification image on this operation menu. Should be specified. Then, as in the flowcharts S115 and S116 in FIG. 6, the image display on the monitor device is switched.
[0112]
Further, when the display of only the still image is selected in the menu selection at the time of the image reproduction, the reproduction of only the still image is performed following the association between the still images as shown in FIG. 9B. In this case, in the data file of FIG. 10, when displaying a low-magnification image of a display image, a low-magnification still image is searched. When displaying a magnified image still image, an enlarged still image is similarly searched. indicate.
[0113]
Next, the trajectory display function (trace function) during reproduction will be described. The trajectory display function at the time of reproduction is to display a trajectory indicating an observation route indicating a position where the attention area set on the low-magnification image is followed and observed.
[0114]
FIG. 5 shows an example of the display screen. As shown in FIG. 5, a locus when the enlarged moving image is observed on the low magnification image is displayed.
[0115]
The locus drawn on the low-magnification image is obtained as follows.
[0116]
First, the data file in FIG. 10 is searched, and an enlarged moving image file for the displayed low-magnification image is searched. Next, the stage coordinates of each frame are searched from the moving image file. The coordinates of the observation position on the image are obtained from the stage coordinates and the stage coordinates of the low-magnification image, and the obtained coordinates are plotted to draw a locus.
[0117]
As described above, according to the first embodiment, the remote operation microscope capable of variably controlling the stage movement and the lens magnification in accordance with the given operation information, and sequentially taking the sample images captured by the microscope, as image information Image capturing means for outputting, image information captured by the image capturing means at a predetermined standard compression rate and output, and image information for one screen obtained at the time when a still image capturing instruction is received The image transmission side control means for compressing and outputting the image at a compression rate lower than the standard compression rate, and a command for capturing a still image to the image transmission side control means, the transmission and reception of operation information to the remote operation microscope, and the imaging means Communication means for transmitting the captured image information; and a command for capturing a still image provided on the image receiving side and at least an arbitrary command on the still screen. Operating means for designating a region and giving an instruction to obtain a still image; display means provided on the image receiving side for displaying images; and image information storage and reproducing means for individually and sequentially recording the received image information. A still image display function for taking in and restoring the latest still image before the change or the latest still image received by the storage / reproducing means when the instruction to acquire a still image is generated, and displaying it on the display means. A moving image display function for restoring image information received via the communication means and displaying an image (moving image) on the display means, and an image (still image) by the still image display function instructed by the operation means. The operation information for moving the stage for moving the center position of the captured image to the position corresponding to the arbitrary area above and the arbitrary area on the image (still image) by the still image display function are the display area of the moving image. And control means having a function of generating operation information for giving a lens magnification that fits (fit) to the communication means and giving the information to the communication means. Is displayed as a moving image so that the still image and the moving image can be observed, and the microscope is controlled so that the moving image is an image of a partial area of the still image. As a result, observation including the peripheral region of the moving image becomes possible, and the moving image is an image obtained by increasing the magnification so that a partial region of the still image falls within the entire field of view of the microscope. Therefore, it can be observed as an enlarged image of the attention area.
[0118]
In addition, the image transmitting side control means performs image compression processing on the image information captured by the image capturing means at a predetermined standard compression ratio and outputs the image information. For image information, image compression processing is performed at a compression rate lower than the standard compression rate and output. Therefore, when it becomes necessary to observe the details of the image of the attention area, which is an enlarged image, in detail, it is necessary to give a command to capture a still image. Thus, the enlarged image before the change at this time is a still image, and by specifying a desired region in the still image, the enlarged image of that region can be observed as a moving image. The observation can be proceeded by associating the area with the state of the surrounding area.
[0119]
Further, in this embodiment, by recording a moving image and a still image in association with each other, it is possible to obtain an effect that the progress of the diagnosis can be easily traced. If it is recorded, the diagnosis progress can be observed only with a still image. By recording the still images in association with each other, the effect of being able to review the progress of the diagnosis quickly is also obtained. Furthermore, by recording the coordinates of the microscope stage in each frame of the moving image, it is possible to display the trajectory observed in the moving image on the still image, which makes it easy to confirm the observed portion. Is obtained.
[0120]
The image information captured by the image capturing means is subjected to image compression processing at a predetermined standard compression ratio and output. When a still image capture instruction is received, the image information for one screen obtained at that time is subjected to the standard compression ratio. Transmitting side control means for performing image compression processing and outputting at a lower compression ratio, transmitting a still image command to the transmitting side control means, transmitting and receiving operation information to and from the remote operation microscope, and transmitting image information captured by the imaging means Communication means,
Operating means provided on the receiving side, for giving a still image capturing command and at least designation of an arbitrary area on the still screen and instruction for obtaining a still image, and displaying means provided on the receiving side for displaying an image Image information storage and playback means for individually and sequentially recording the received image information together with the image position information corresponding to the coordinate position in the whole sample image and the corresponding still image and the corresponding area information in the still image; When it is generated, a still image display function (first image display function) for taking in and restoring the latest still image before the change or the latest still image received by the storage / reproducing means stored before the change, and displaying it on the display means. A) a moving image display function (second image display function) for restoring image information received via the communication means and displaying an image (moving image) on the display means; Operation information for moving the stage for moving the center position of the captured image to a position corresponding to an arbitrary area on an image (still image) by the still image display function (first image display function) designated by Operation information for providing an objective lens magnification required for a moving image having a pixel configuration in which an arbitrary region on an image (still image) by the display function (first image display function) falls within the second predetermined number of pixels. A control having a function of generating and giving to the communication means, a reproduction control function of obtaining a still image stored in the image information storage / reproduction means and a moving image of a region of interest in the still image, and displaying the moving image corresponding to the display means In this case, the image of the desired area set on the still image is displayed as a moving image so that the still image and the moving image can be observed, and the moving image is an image of a partial area of the still image. As By controlling the microscope, the still image becomes a microscope image with a low magnification, which enables observation including the peripheral region of the moving image. Since the image is obtained by increasing the magnification so as to be within the entire field of view, the image can be observed as an enlarged image of the attention area.
[0121]
In addition, the transmission-side control unit performs image compression processing on the image information captured by the imaging unit at a predetermined standard compression ratio and outputs the image information. Information is compressed and output at a compression rate lower than the standard compression rate, so when it becomes necessary to observe the details of the image of the area of interest, which is an enlarged image, in detail, it is possible to give a command to capture a still image. By setting the enlarged image before the change at this point in time as a still image and designating a desired region in the still image, the enlarged image of the region can be observed as a moving image.
[0122]
Therefore, the operability is good, and the observation can be advanced by associating the attention area with the surrounding state.
[0123]
Further, since the still image at the time of the remote operation and the moving image of the designated area in the still image are stored in the image storage / reproduction means, the still image and the moving image displayed on the display means at the time of the remote operation are stored. Can be reproduced and displayed in association with each other. Therefore, in the case of re-observation at a later date, the situation at the time of remote operation can be reproduced in an easy-to-understand manner, including the relationship between the attention area and the surrounding area, and the situation observed by veterans can be reproduced as it is. The effect of educational training on such things can be obtained.
[0124]
Here, in the first embodiment, a microscope image is taken using a camera of a standard television system such as the NTSC system, and transmitted to the center side using a digital communication line ISDN (Integrated Services Digital Network). According to the present invention, a still image observes the situation around the region of interest, and the region of interest switches and controls the magnification of the objective lens so that the region of interest covers the entire field of view. The microscope image is captured by a camera and sent to the center as an enlarged image (moving image). The image data of the microscope image is transmitted to the center using a digital communication line and observed. For this reason, it is currently difficult to transmit a fine image as a moving image. Therefore, the quality of the enlarged image (moving image) is reduced, but the moving image is transmitted in real time by transmitting at a high compression ratio so that the data amount can be reduced, and only a single still image is sent, so some time is required. The transmission may be performed at a low compression ratio (or non-compression) with the emphasis on image quality being the first priority.
[0125]
However, an image is extremely important in observation of a sample with a microscope, and it is desired to transmit image data in which the image quality of an image obtained by imaging with a camera is maintained at a maximum. Therefore, if a system that can use a communication network having a higher data transmission rate, such as the INS net 1500 of ISDN, is used, a television camera with higher image quality is used, and image transmission is performed while maintaining the image quality as much as possible. It becomes possible.
[0126]
Next, an embodiment in which a high-quality image is transmitted using such a communication network capable of high-speed transmission to enable better image observation will be described as a second embodiment.
[0127]
(Second embodiment)
In this system, the communication line uses, for example, INS Net 1500, which is a digital communication network provided by NTT (Nippon Telegraph and Telephone Corporation). An NTSC camera and HDTV (high-definition television) are used as an image pickup unit for picking up a microscope image. ) Type camera can be used. Then, an image from the NTSC camera is used as an enlarged image (moving image), an image from the HDTV camera is used as a still image, and a high-quality image can be transmitted in real time as much as possible.
[0128]
The enlarged image (moving image) is an enlarged image of the region of interest of the specimen, and is used for more detailed observation. However, since it is an enlarged image, the definition on the screen is sufficient even for an NTSC image. It is. On the other hand, since a still image displays a screen with a lower magnification than an enlarged image (moving image), the details of the NTSC image cannot be understood very well. Thus, a configuration is adopted in which an image captured by an HDTV camera is used as a still image.
[0129]
When using the INS network 1500, which is a digital communication network, if the image data has the data capacity obtained by compressing the image data enough to maintain the image quality of the NTSC system to about 1/40, it must be transmitted in real time as a moving image. Can be. If the compression is about 1/40, the original image quality can be sufficiently reproduced when expanded.
[0130]
On the other hand, HDTV images can be transmitted in about 1.6 seconds in the amount of data obtained by compressing them to about 1/20 based on image data that can maintain the quality, and still image transmission. Is a sufficiently practical range. If the compression is about 1/20, the original image quality can be reproduced when expanded.
[0131]
Therefore, in this embodiment, the INS network 1500 is used as a communication network, an HDTV camera and an NTSC camera are used as an imaging unit for obtaining a microscope image on the image transmission side, and an HDTV image is used as a still image. And an NTSC image is used as a moving image.
[0132]
FIG. 12 is a block diagram showing the hardware configuration of this embodiment.
[0133]
The basic configuration is the same as that of the first embodiment. In FIG. 12, reference numeral 301 denotes a PC (personal computer) as a control unit on the image transmission side; 302, a monitor device for displaying a microscope image; 303, a mouse as a pointing device; and 304, a keyboard. Reference numeral 305 denotes an HDTV camera serving as an imaging unit, 306 denotes a control unit (CCU) of the HDTV camera 305, 307 denotes an NTSC camera as an imaging unit, and 308 denotes a control unit (CCU) of the NTSC camera 307. ).
[0134]
The microscope 309 can control the drive and movement of the stage and the revolver of the objective lens by a motor, and thus can control the movement of the stage in the X-axis and Y-axis directions and the switching control of the objective lens.
[0135]
The camera 307 for NTSC and the camera 305 for HDTV are both connected to the microscope 309 so as to capture a sample image of the microscope 309. Which one of the image output obtained by the NTSC camera 307 or the HDTV camera 305, which is a two-system imaging means, and which is used for image display and image transmission is determined by the camera from the PC 301. Depending on the switching instruction. The PC 301 also controls the microscope 309 stage and the revolver of the objective lens.
[0136]
The communication line connecting the PC (Personal Computer) 311 which is a control unit on the image receiving side and the image transmitting side is an INS net 1500 which is a digital communication network provided by NTT (Nippon Telegraph and Telephone Corporation). The image transmitted by this line is displayed on a monitor (= display unit) 312 on the image receiving side. The operation on the image receiving side is performed by a mouse 312 and a keyboard 313 connected to the PC 311 which is a control unit on the image receiving side.
[0137]
If the INS net 1500 is used as a communication line, an image having a data capacity obtained by compressing image data sufficient to maintain NTSC image quality to about 1/40 can be transmitted in real time as a moving image.
[0138]
On the other hand, HDTV images can be transmitted in about 1.6 seconds in the amount of data obtained by compressing them to about 1/20 based on image data that can maintain the quality, and still image transmission. Is a sufficiently practical range.
[0139]
Therefore, in the present embodiment, a configuration is adopted in which an HDTV image is used as a still image and an NTSC image is used as a moving image.
[0140]
The processing contents of this stem are almost the same as those in the first embodiment. The only difference is the switching of the camera that performs image input.
[0141]
FIG. 13 is a flowchart of the process on the image transmission side, which is different from the first embodiment, that is, the portion corresponding to the still image capturing process (S309 to S311 in FIG. 8).
[0142]
13, the image input is switched from the NTSC camera to the HDTV (high definition television) camera in S401. At this point, an HDTV image, not an NTSC image, is input to the frame memory.
[0143]
Steps S402 to S404 correspond to the processing of steps S309 to S311 in FIG.
[0144]
In S402, the input from the HDTV camera to the frame memory is stopped. In step S403, the frozen HDTV still image is written to the external storage device. Then, in S404, the still image data is transmitted to the image receiving side.
[0145]
When the capture and transmission of the still image have been completed, the input of the camera is returned from the HDTV side to the NTSC side in S405.
[0146]
The second embodiment uses, for example, an INS network 1500 which is a high-speed digital communication network provided by NTT as a communication line, and uses an NTSC camera and an HDTV (high-definition) as an imaging unit for capturing a microscope image. (TV) camera, and the image from the NTSC camera is used as an enlarged image (moving image), and the image from the HDTV camera is used as a still image. It was designed to transmit high quality images.
[0147]
However, this is not practical on the INS net 64, which has a lower transmission speed than the INS net 1500, because the amount of image data to be transmitted is large. In addition, the conventional system that can be used on the INS network 64 is a system that uses a still image. When an area for capturing an enlarged image is changed on the still image by changing the objective lens of the microscope, the image is transmitted to the image receiving side. I had no idea what images would be sent until it came.
[0148]
Therefore, an embodiment of a system which can operate on the INS net 64 and eliminates these drawbacks and enables simultaneous observation of a still image of a low-magnification image and a moving image of a high-magnification image as a third embodiment will be described next. explain.
[0149]
Although the transmission speed on the INS network 64 is much higher than that of the public network, transmitting high-quality image data with a large data amount at a moving image level is heavy. Therefore, in the system of the second embodiment, the number of pixels of the image data is reduced to reduce the data amount of the image, and this is used for a moving image, and the high-quality data is transmitted as a still image. An example will be described as a third embodiment.
[0150]
(Third embodiment)
FIG. 14 shows a hardware configuration of the third embodiment.
[0151]
A personal computer (PC) 1301 as a control unit on the image transmission side displays an image input from a camera 1305 as an imaging unit of a microscope image obtained by the microscope 1306 on a monitor 1302. The personal computer 1301 controls the microscope 1306 in accordance with a command from the image receiving side, and can perform stage movement, objective lens switching, focusing, aperture adjustment control, and the like. A personal computer 1310 on the image receiving side and a personal computer 1301 on the image transmitting side are connected to a communication unit (DSU) 1307 and 1308 on the image transmitting side and the image receiving side, respectively. Is connected to
[0152]
On the monitor (display unit) 1311 on the image receiving side, a microscope still image or moving image sent from the image transmitting side is displayed.
[0153]
The operation is performed by using the keyboard 1303 and the mouse 1304 on the image transmission side, and using the keyboard 1312 and the mouse 1313 on the image reception side. Is sent to the sender.
[0154]
At the transmission speed of the INS network 64, it is not possible to transmit a high-quality moving image that can withstand diagnosis in real time. Therefore, as a system used on the INS network 64, a microscope remote observation system using a still image has been practically used. In a still image transmission system, if you change the objective lens of the microscope and specify the area to capture the enlarged image on the still image, the image receiving side will see what kind of image will be sent until the image is sent I didn't know at all.
[0155]
However, if the image has a low resolution, the moving image can be transmitted through the INS network 64 line. If the image receiving side can confirm the observation part in the moving image before transmitting the high-quality still image, the image is transmitted. Looking at the image that has been acquired, there is no problem such as focusing and there is no need to retake.
[0156]
The procedure for capturing an enlarged still image in the present embodiment will be described below.
[0157]
FIG. 15 shows processing on the image receiving side.
[0158]
In step S501, the magnification of the objective lens when capturing an enlarged still image is designated. This is performed by giving an operation input to the control unit on the image receiving side using a keyboard or a mouse. In step S502, a rectangular marker indicating the capture area is displayed on the image displayed on the monitor.
[0159]
The size of the rectangular marker at this time is determined by the ratio between the magnification of the image specified in S501 and the magnification of the display image. For example, if you specify a 40x capture on a still image captured with a 10x objective lens,
Capture specified magnification / still image magnification = 1/4
Thus, a rectangular marker having a quarter size of the image is displayed. The position of this rectangular marker can be moved by the mouse on the image receiving side. This rectangular marker becomes a capture area frame indicating the position of the image to be captured next.
[0160]
In step S503, reception of a moving image is started, and in step S504, moving image data transmitted from the image transmitting side is received. In the system of the third embodiment, the size (the number of constituent pixels) of this moving image is set to be half or less than that of a still image. For example, if the number of pixels in the vertical and horizontal directions is set to half each, the data amount is equal to the data amount of one frame of image data in an uncompressed state.
0.5 × 0.5 = 0.25
And the data amount is 1/4. Also, the compression ratio of the moving image data on the image transmission side is set high. As described above, on the image transmitting side, the moving image data is transmitted with a high compression ratio and the image size is reduced, so that the data amount per frame is reduced to an amount that enables moving image transmission. be able to.
[0161]
In S505, the input from the mouse and the keyboard is obtained. These operations by the operator of the image receiving side system are microscope control or image capture commands, and the commands are transmitted to the image transmitting side.
[0162]
The control unit on the image receiving side first determines in S506 whether or not the command is a stage movement command. The stage is moved by moving the mouse. When the mouse is moved, the control unit on the image receiving side moves the display of the rectangular marker on the still image in accordance with the movement of the mouse in S507. In step S508, a stage movement command is sent to the image transmitting side so that the image of the moved portion of the rectangular marker is transmitted.
[0163]
In step S509, the control unit on the image receiving side determines a microscope operation command. The microscope operation includes focusing, adjusting the aperture, and the like. When these commands are input, the control unit on the image receiving side transmits the commands to the image transmitting side in S510.
[0164]
In step S511, it is determined whether to capture a still image. Here, if it is determined that the capturing is not performed by viewing the displayed moving image, the process returns to S504, and the reception of the moving image is continued.
[0165]
If a still image is to be captured, the reception of the moving image is terminated in step S512. Subsequently, in S513, the parameters at the time of capture are input. The parameters include the size of the image data (the number of constituent pixels) and the compression ratio.
[0166]
In step S514, the control unit on the image receiving side sends a still image capturing instruction to the image transmitting side together with the capturing parameters.
[0167]
In step S515, the control unit on the image receiving side waits for reception of the image until the image is transmitted. In step S516, the control unit receives the still image, and records and stores the image in an external recording device such as a hard disk. Then, the image is displayed on the monitor device in S517, and the image capturing process ends.
[0168]
FIG. 16 shows processing on the image transmission side.
[0169]
When the control unit on the image transmitting side receives a still image capturing instruction from the image receiving side in S601, it performs still image capturing and transmission. The command for taking in a still image includes the magnification of the objective lens as a parameter, and changes the magnification of the objective lens according to the instruction. In step S602, the control unit on the image transmission side displays a rectangular marker of the capture area on the still image, similarly to the monitor of the reception side terminal.
[0170]
Then, in step S603, the control unit on the image transmitting side starts transmitting a moving image to the image receiving side. The image size at this time is smaller than that at the time of capturing a still image. Normally, the pixel configuration of image data obtained from an NTSC camera is, for example, 640 × 480 dots in the vertical and horizontal directions.
[0171]
In step S604, the moving image data is transmitted, and in step S605, a command from the image transmission side is waited for. If the instruction from the image transmission side is to move the stage, the process moves to S607 in the branching process of S606. In S607, the position of the rectangular marker indicating the moving image display area on the still image displayed on the transmitting monitor is changed. In step S608, the microscope stage is moved to the designated coordinates.
[0172]
If the decision result in the step S606 is NO, that is, if the command is not the movement of the stage, it is determined in a step S609 whether or not the command is another microscope operation command. As a result, if YES (if any other microscope operation command), the microscope is controlled in accordance with the command in S610. Commands at this time are adjustment of focus, aperture, adjustment of a capacitor, and the like.
[0173]
In S611, it is determined whether or not to capture a still image. If the capture command has not been issued from the center side (image receiving side), the process returns to S604 to continue transmitting the moving image.
[0174]
When the capture command is issued, the control unit on the image transmission side ends the moving image transmission in S612.
[0175]
Next, in step S613, the control unit on the image transmission side receives the capture execution instruction again together with the capture parameter. In step S614, the capture parameters, that is, the image compression ratio and the image size are set.
[0176]
A still image is captured according to the parameters set in S615, and the still image is displayed on the monitor device (= display unit) in S616. In step S617, the still image is transmitted to the control unit (PC) on the image receiving side.
[0177]
As described above, in the third embodiment, the number of pixels of image data in the system of the second embodiment is reduced to reduce the amount of image data, which is used for moving images, and high-quality data is transmitted as still images. In order to solve the problem of the transmission speed, it is possible to operate even on the INS network 64, and it is possible to obtain the effect of enabling the simultaneous observation of the still image of the low magnification image and the moving image of the high magnification image.
[0178]
The present invention is summarized as follows.
[0179]
[1]. At least a microscope capable of automatically controlling a stage, an imaging unit for capturing a microscope specimen image, and a control unit for receiving captured image information, displaying, recording, transmitting an image, and controlling the microscope Communication means for transmitting and receiving moving image information and still image information from the control means on the transmission side to the control means on the reception side, wherein the transmission side and the reception side have a display unit for displaying a moving image and a still image. In the remote observation recording system for microscopes connected by the above, the area showing the display range of the enlarged image on the whole image of the displayed microscope specimen or the still image of the low-magnification image is operated by the operation of the mouse or the like on the receiving side. Can move the microscope stage to the position of the display area shown on the image, and the moving image at that time can be displayed on the receiving side. A still image of the same microscope image as the moving image and display moving image can be recorded and saved on the receiving side, and a low-magnification still image that has already been recorded or an enlarged still image that specifies the display area on the moving image Or, when recording a moving image, the low-magnification image and the enlarged image are associated with each other by the coordinates of the observation site of the microscope specimen. The system enables image reproduction.
[0180]
A personal computer, a workstation, or the like is used as control means on the image transmitting side and the image receiving side. A TV monitor or a CRT display is used as the display means.
[0181]
The display means is indispensable at least for the image receiving side system which is the remote operation side. When the operator of the image transmitting side system needs to view a microscope image similarly to the image receiving side system, the image transmitting side system also needs a display means.
[0182]
A TV camera is used as the imaging means.
[0183]
As the communication means, ISDN (INS net 64, INS net 1500, B-ISDN), a dedicated line, an optical fiber, satellite communication, or the like is used.
[0184]
In such a configuration, the control unit on the image transmission side and the control unit on the image reception side are connected by a communication unit and a communication line, and the microscope provided on the image transmission side is mounted on the sample by the control unit on the image transmission side. The XY position of the stage is driven and moved. The image of the microscope specimen is input to the control unit on the image transmission side by the imaging unit attached to the microscope. The input image data is transmitted to the control unit on the image receiving side via the communication unit on the image transmitting side and the communication unit on the image receiving side, and displayed on the display unit on the image receiving side.
[0185]
The microscope can be moved to a position to be observed on the image receiving side, and an instruction for that is transmitted from the control unit on the image receiving side to the transmitting side control unit. In accordance with the command, the control means on the image transmission side controls the microscope.
[0186]
Therefore, by simultaneously displaying the low-magnification image and the high-magnification image obtained by enlarging the low-magnification image, the two can be easily compared with each other, and observation can be performed more easily. In addition, the observational connection between the moving image and the still image is recorded. Therefore, the flow of observation can be reproduced.
[0187]
In a system that captures a microscope image of a microscope by remote control using an imaging unit and sends it as a moving image, and monitors the moving image to observe a region of interest, even if a target image can be displayed, it is still an image of the entire specimen. By displaying the mark of the current observation position on the whole image, it is now possible to know where the image is on in the conventional system, but what is the state of the surroundings of the high-magnification image? Images cannot be displayed so that the user can understand whether the Therefore, during observation with a higher-magnification objective lens, only the coordinate position in the specimen is known, but an image around the observation site cannot be seen. In addition, the progress of the observation was recorded, and it was not possible to follow the flow of the observation in which the magnification was increased from low magnification to high magnification.
[0188]
Thus, as in this system, a microscope image with a high magnification is given as a moving image, and an image with a lower magnification is given as a still image and displayed, so that the still image and the moving image can be compared and observed. By observing the region of interest and its surroundings by specifying an area on the low-magnification image and capturing the image of the specified area with a microscope and displaying the moving image as a high-magnification image Will be able to Further, by storing the still image and the moving image in association with each other, the observation progress is recorded, and the flow of the observation in which the magnification is increased from a low magnification to a high magnification can be followed later.
[0189]
[2]. In the above [1], there is provided a system that enables the resolution and the number of pixels of an image to be displayed and recorded to be different between a still image and a moving image, or between still images and between moving images.
[0190]
More specifically, two or more types of cameras having different numbers of pixels are used as an image pickup device for picking up a microscope image, and the control means has a function of selecting and switching a camera for obtaining a microscope image.
[0191]
Alternatively, the control unit on the image transmitting side has a function of changing the number of pixels of the image data input from the imaging unit, recording the data, and transmitting the data.
[0192]
According to this, when two or more types of cameras having different numbers of pixels are used, in addition to the operation of [1], the following operation is further obtained. That is, in order to change the size of the image, the control means is provided with a function of switching a camera for inputting a microscope image. Then, when transmitting a moving image, the image of the camera with the smaller number of pixels is captured and transmitted. When transmitting a still image, the image of the camera with the larger number of pixels is captured and transmitted.
[0193]
When the number of pixels is changed by the control unit on the image transmitting side, the control unit changes the constituent pixel size at the time of input. When transmitting a moving image, the number of pixels is reduced, and when transmitting a still image, the number of pixels is increased.
[0194]
In a conventional system, the resolution of an image is always constant at the time of capturing an image. Therefore, when it is desired to increase the transfer speed or to increase the image quality, it is possible only by changing the compression ratio of the image.
[0195]
However, according to this system, there is obtained an effect that a high-quality microscope image, which cannot be obtained by observation of only a moving image, can be viewed as a still image. Then, the resolution of the image to be observed can be changed according to the importance of the image in the observation process.
[0196]
[3]. Further, in the above [1] and [2], when the transmission speed of the communication means is not high enough to transmit a moving image having a diagnosable image quality, a still image capturing Previously, the system was designed to transmit the moving image of that part and check the still image.
[0197]
In the still image type remote observation system for microscopes, the position where a high-magnification image is captured is specified on a low-magnification still image. There is a drawback that it is difficult to know whether or not a proper image will be sent, and there has been no means to solve this.
[0198]
On the other hand, in the system of the present invention, the whole sample image or the low-magnification image is a still image that has already been captured, and the enlarged image is a moving image at a position where a still image is to be captured. Therefore, even if it is known that there is a problem in the position, focus, and illumination (condenser, camera exposure, etc.) of the still image to be captured after receiving the still image, these must be adjusted after that, which is an execution error. Poor operability. Therefore, it is necessary that the position, focus, illumination, and the like of a still image to be newly captured can be determined in advance on the receiving side.
[0199]
In this system, before capturing a still image, the moving image of that part is transmitted so that the still image can be checked, so that the state of the low-magnification still image can be known in advance Will be able to do it. Since a still image is an image that can be used continuously by sending one image, the capacity of image data is increased by lowering the compression ratio or the like or maintaining a large number of pixels so that the image has higher image quality than the moving image. In general, the amount of image transmission increases and transmission time is required. Therefore, if the state of the still image can be confirmed in advance, transmission can be performed after necessary adjustments such as focus adjustment of the microscope have been performed in advance, and waste can be suppressed.
[0200]
[4]. Further, in [2], a system using an HDTV camera as an imaging unit for obtaining a still image and using an NTSC camera as an imaging unit for obtaining a moving image is provided.
[0201]
In a conventional system, the resolution of an image is always constant at the time of capturing an image. Therefore, when the transfer speed is to be increased or when the image quality is to be increased, it is possible only by changing the compression ratio of the image.
[0202]
However, with the configuration of [4], in addition to the operation of [1], the control unit can select the imaging unit for inputting an image to either an NTSC camera or an HDTV camera.
[0203]
Therefore, as an effect, the difference in the maximum number of pixels when the communication means having the same capacity for each of the still image and the moving image is used can be filled by changing the camera. In addition, it is possible to change the resolution of the image to be observed according to the importance of the image in the observation process, and if the transmission speed of the communication line makes it impossible to transmit moving images at high resolution In addition, it is possible to switch a still image to a high resolution and a moving image to a low resolution.
[0204]
[5]. [2] The system according to [2], wherein the size of the image can be changed when capturing the image into the control unit while using the same resolution camera as the imaging unit for obtaining a still image and the imaging unit for obtaining a moving image. did.
[0205]
In a conventional system, the resolution of an image is always constant at the time of capturing an image. Therefore, when the transfer speed is to be increased or when the image quality is to be increased, it is possible only by changing the compression ratio of the image. However, this is a problem because the data amount is too large or the image quality is too deteriorated.
[0206]
Therefore, it is necessary to make it possible to change the resolution of the image to be observed in accordance with the importance of the image in the observation process. If this is not possible, it will be necessary to be able to switch between high resolution still images and low resolution moving images.
[0207]
According to this configuration, the size of the image input from the imaging unit to the frame memory in the control unit at the time of image capture is set to a value different from the original number of pixels of the camera. The same effect as described above can be realized without using only one camera. Therefore, the size of the image can be freely determined regardless of the number of pixels of HDTV or NTSC.
[0208]
[6]. The communication means in [3] was an INS net 64, and a system using an NTSC camera as an image pickup means.
[0209]
According to this configuration, the control means on the image transmission side and the control means on the image reception side are connected via the INS network 64 and the image data is transmitted from the transmission side to the reception side. It has almost the same configuration as a simple still image microscope remote system, and can use moving images.
[0210]
[7]. In [3], a system is used in which the communication means is the INS net 1500 and the imaging means has the same configuration as [4] or [5].
[0211]
Since the control means on the image transmission side and the control means on the image reception side are connected by the INS net 1500 and the image data is transmitted from the image transmission side to the image reception side, the INS net 1500 is used as an effect. As a result, compared with the configuration of [6], it becomes possible to send a high-definition still image without difficulty, and to transmit a moving image with a low compression rate and hence a high image quality to display a moving image. Will be able to
[0212]
[8]. In [1], when the recorded image is reproduced after the observation, the system can display the locus of the stage movement during the observation of the enlarged moving image on the low magnification image.
[0213]
According to this, the region observed by the magnified image is shown on the low magnification image, so that the region actually observed and the region not observed can be clearly understood. In addition, when the image is reproduced after the observation, it is possible to understand how the area on the low-magnification image is observed with the enlarged image.
[0214]
It should be noted that the present invention is not limited to the above-described embodiment, but can be implemented with appropriate modifications within a scope that does not change the gist of the present invention. For example, in the above embodiment, a mouse is used as a pointing device, but a trackball or a joystick may be used, or a method using a touch pen or the like may be used.
[0215]
【The invention's effect】
As described above, according to the present invention, it is possible to display and observe a selected still image together with a moving image on a display unit, and thereby it is possible to simultaneously observe a moving image and a desired still image. The image of the region of interest can be observed as a moving image by setting the image at a lower magnification than that of the moving image, and the image of the surrounding region including the region of interest can be observed as a still image, allowing the sample to be grasped while grasping the surrounding situation. Can be observed, ideal observation can be performed, and further, a microscope image remote observation apparatus having an effect of being excellent in operability can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration example of control units 101 and 106 in the system of FIG.
FIG. 3 is a diagram for explaining the embodiment of the present invention, and is a diagram showing a relationship between a microscope image displayed on a monitor device 208 and a sample on a microscope stage.
FIG. 4 is a diagram for explaining the embodiment of the present invention, and is a diagram showing a relationship during communication between an image transmitting side and an image receiving side.
FIG. 5 is a diagram for explaining the embodiment of the present invention, and is a diagram for explaining a trajectory display function (trace function) during reproduction.
FIG. 6 is a diagram for explaining the embodiment of the present invention, and is a flowchart for explaining the overall operation flow on the center side (image receiving side) in the first embodiment;
FIG. 7 is a diagram for explaining the embodiment of the present invention, and is a flowchart for explaining processing on the image receiving side during reception of a moving image in the first embodiment.
FIG. 8 is a view for explaining the embodiment of the present invention, and is a flowchart for explaining processing on the image transmitting side during reception of a moving image in the first embodiment;
FIG. 9 is a diagram for explaining an embodiment of the present invention, in which a relationship between a still image 402 and a moving image 403, a low-magnification still image 402, and a still image specified on the enlarged moving image 403, or FIG. 4 is a diagram showing the relationship between a low-magnification moving image and a moving image specified to be enlarged from the still image.
FIG. 10 is a diagram for explaining the embodiment of the present invention, showing a data structure of a data file in which link information is recorded.
FIG. 11 is a diagram for explaining the embodiment of the present invention, and is a diagram showing a configuration example of an image file.
FIG. 12 is a block diagram showing the overall configuration of a second embodiment of the present invention.
FIG. 13 is a diagram for explaining the second embodiment of the present invention, and corresponds to a portion (still image capturing process; S309 to S311 in FIG. 8) of the process on the image transmission side different from the first embodiment. The figure which shows the flowchart of the part which performs.
FIG. 14 is a diagram for explaining a third embodiment of the present invention, and is a block diagram showing a hardware configuration of the third embodiment;
FIG. 15 is a diagram for explaining the third embodiment of the present invention, and is a flowchart for explaining the process on the image receiving side in the third embodiment;
FIG. 16 is a view for explaining the third embodiment of the present invention, and is a flowchart for explaining processing on the image transmission side in the third embodiment;
[Explanation of symbols]
101, 106 ... control unit (personal computer, workstation)
102, 107 ... display unit
105, 108: Communication unit
201 ... CPU
202 ... Memory
203: Frame memory
204: Communication control device
205: External storage device (hard disk, magneto-optical disk, etc.)
206, 304 ... keyboard
207, 303 ... mouse
301 ... PC (personal computer)
302 monitor device
305 ... HDTV camera
306: Control unit (CCU) of camera 305 for HDTV
307 ... NTSC camera
308: Control unit (CCU) of camera 307 for NTSC
309 ... Microscope
401 monitor
402: low magnification image, still image (image A)
403: High magnification / enlarged image, moving image (image B)
404: rectangular marker indicating the position of image B
405 ... Microscope stage
406 ... microscope specimen
407 ... observation position

Claims (8)

顕微鏡と、
前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、
前記撮像手段からの出力画像信号を送信する送信側と、
前記送信側から送信された前記出力画像を受信する受信側とを有し、
受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、
前記受信側は、
前記撮像手段から出力され前記送信側から送信される低倍率に対応する静止画像信号を受けて、低倍率の静止観察画像として表示するための第１の表示手段と、
前記送信側から送信される高倍率に対応する動画像を受け、この高倍率の動画像を前記低倍率の静止観察画像と同時に表示するための第２の表示手段と、を有することを特徴とする顕微鏡画像遠隔観察装置。A microscope,
Imaging means for capturing an observation image generated by the microscope, converting the image into an electric signal, and outputting the signal;
A transmitting side for transmitting an output image signal from the imaging unit;
And a receiving side for receiving the output image transmitted from the transmitting side,
In a microscope image remote observation device that observes the output image on a receiving side,
The receiving side,
A first display unit for receiving a still image signal corresponding to a low magnification output from the imaging unit and transmitted from the transmission side and displaying it as a low-magnification still observation image ;
A second display unit for receiving a moving image corresponding to a high magnification transmitted from the transmitting side and displaying the high-magnification moving image simultaneously with the low-magnification still observation image. Microscope image remote observation device. ステージ移動および対物レンズ倍率が制御可能な顕微鏡と、
前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、
前記撮像手段からの出力画像信号を送信する送信手段とを有する送信側と、
前記送信側から送信された前記出力画像信号を受信する受信側とを有し、
受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、
前記受信側は、
前記撮像手段から出力され前記送信側から送信される低倍対物レンズに対応する静止画像信号を受けて低倍率画像として格納するための記憶手段と、
前記記憶手段に格納された前記低倍率静止画像を表示するための第１の表示手段と
前記選択された静止画像の所定の領域を指示する指示手段と、
前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のステージ位置とレンズの倍率を制御する制御信号を送信側に伝送する制御信号伝送手段と、
前記制御信号に応じた位置と倍率の動画像信号を前記送信側から受信し、高倍率動画像として前記低倍率観察画像と同時に表示するための第２の表示手段と、を有することを特徴とする顕微鏡画像遠隔観察装置。A microscope with controllable stage movement and objective lens magnification,
Imaging means for capturing an observation image generated by the microscope, converting the image into an electric signal, and outputting the signal;
A transmission side having a transmission unit that transmits an output image signal from the imaging unit,
A receiving side for receiving the output image signal transmitted from the transmitting side,
In a microscope image remote observation device that observes the output image on a receiving side,
The receiving side,
A storage unit for receiving a still image signal corresponding to the low-magnification objective lens output from the imaging unit and transmitted from the transmission side and storing it as a low-magnification image ,
First display means for displaying the low-magnification still image stored in the storage means, and instructing means for instructing a predetermined area of the selected still image;
Control signal transmitting means for transmitting a control signal for controlling a stage position and a lens magnification of the microscope on the transmitting side to the transmitting side according to the position and size of the area designated by the indicating means,
A second display unit for receiving a moving image signal of a position and a magnification according to the control signal from the transmitting side and displaying the moving image signal at the same time as the low magnification observation image as a high magnification moving image. Microscope image remote observation device. 対物レンズ倍率が制御可能な顕微鏡と、
前記顕微鏡が生成する観察像を撮像し、電気信号に変換して出力する撮像手段と、
前記撮像手段からの出力画像信号を送信する送信手段とを有する送信側と、
前記送信側から送信された前記出力画像信号を受信する受信側とを有し、
受信側において前記出力画像を観察する顕微鏡画像遠隔観察装置において、
前記受信側は、
前記撮像手段から出力され前記送信側から送信される静止画像信号を受けて格納するための記憶手段と、
前記記憶手段に格納された静止画像から所定の静止画像を選択する選択手段と、
前記選択手段によって選択された静止画像を表示するための第１の表示手段と、
前記選択された静止画像の所定の領域を指示する指示手段と、
前記指示手段によって指示された領域の位置と大きさに応じて前記送信側の顕微鏡のレンズ倍率を制御する制御信号を送信側に伝送する制御信号伝送手段と、
前記制御信号に応じた位置と倍率の動画像信号を前記送信側から受信し、動画像として前記選択された静止画像と同時に表示するための第２の表示手段とを有し、
前記選択手段は前記動画像の倍率より小さく、かつ、最も近い倍率を有する静止画像を選択することを特徴とする顕微鏡画像遠隔観察装置。A microscope with a controllable objective lens magnification,
Imaging means for capturing an observation image generated by the microscope, converting the image into an electric signal, and outputting the signal;
A transmission side having a transmission unit that transmits an output image signal from the imaging unit,
A receiving side for receiving the output image signal transmitted from the transmitting side,
In a microscope image remote observation device that observes the output image on a receiving side,
The receiving side,
Storage means for receiving and storing a still image signal output from the imaging means and transmitted from the transmission side,
Selecting means for selecting a predetermined still image from the still images stored in the storage means,
First display means for displaying the still image selected by the selection means,
Indicating means for indicating a predetermined area of the selected still image,
Control signal transmission means for transmitting a control signal for controlling the lens magnification of the microscope on the transmission side to the transmission side according to the position and size of the area designated by the instruction means,
A second display means for receiving a moving image signal of a position and a magnification according to the control signal from the transmitting side and displaying the selected still image as a moving image simultaneously with the selected still image ,
The microscope image remote observation apparatus, wherein the selecting means selects a still image having a magnification smaller than and closest to a magnification of the moving image. 前記送信側は前記撮像手段から動画像の出力画像信号を送信する場合、動画像の画素数を静止画像の画素数より少なくして送信することを特徴とする請求項１，２，３記載の顕微鏡画像遠隔観察装置。4. The transmitting apparatus according to claim 1, wherein the transmitting side transmits the output image signal of the moving image from the imaging unit with the number of pixels of the moving image being smaller than the number of pixels of the still image. Microscope image remote observation device. 前記送信側は動画像と静止画像の圧縮率を設定できることを特徴とする請求項１，２，３記載の顕微鏡画像遠隔観察装置。4. The microscope image remote observation device according to claim 1, wherein the transmission side can set a compression ratio of a moving image and a still image. 前記撮像手段には、動画像を出力する低画素カメラと、静止画像を出力する高画素カメラとを用いることを特徴とする請求項１，２，３記載の顕微鏡画像遠隔観察装置。4. The microscope image remote observation apparatus according to claim 1, wherein the imaging unit uses a low pixel camera that outputs a moving image and a high pixel camera that outputs a still image. 前記撮像手段は、１台のカメラからなり、前記カメラにて動画像と静止画像を異なる画素数で出力できることを特徴とする請求項１，２，３記載の顕微鏡画像遠隔観察装置。4. The microscope image remote observation apparatus according to claim 1, wherein the imaging unit includes a single camera, and the camera can output a moving image and a still image with different numbers of pixels. 送信側においてステージ移動および使用する対物レンズ倍率が制御可能な顕微鏡によって生成した観察像を撮像して画像信号に変換し、この画像信号を送信側から受信側へ伝送し、受信側において前記観察像を観察する顕微鏡画像の遠隔観察方法において、The observation image generated by the microscope in which the stage can be moved on the transmission side and the objective lens magnification to be used is controllable is converted into an image signal, and this image signal is transmitted from the transmission side to the reception side. In a remote observation method of a microscope image for observing
前記受信側は、前記送信側で撮像されて伝送される低倍率の第１の対物レンズに対応する静止画像信号を受けて表示するとともに、この静止画像の一部を拡大する高倍率の第２の対物レンズの動画像を前記送信側から受けて前記低倍率の静止観察画像と同時に表示することを特徴とする顕微鏡画像の遠隔観察方法。  The receiving side receives and displays a still image signal corresponding to the low-magnification first objective lens which is imaged and transmitted by the transmitting side, and displays a high-magnification second image for enlarging a part of the still image. Wherein the moving image of the objective lens is received from the transmitting side and displayed simultaneously with the low-magnification still observation image.
JP12635794A 1994-06-08 1994-06-08 Microscope image remote observation device and microscope image remote observation method Expired - Fee Related JP3557246B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12635794A JP3557246B2 (en) 1994-06-08 1994-06-08 Microscope image remote observation device and microscope image remote observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12635794A JP3557246B2 (en) 1994-06-08 1994-06-08 Microscope image remote observation device and microscope image remote observation method

Publications (2)

Publication Number Publication Date
JPH07333522A JPH07333522A (en) 1995-12-22
JP3557246B2 true JP3557246B2 (en) 2004-08-25

Family

ID=14933186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12635794A Expired - Fee Related JP3557246B2 (en) 1994-06-08 1994-06-08 Microscope image remote observation device and microscope image remote observation method

Country Status (1)

Country Link
JP (1) JP3557246B2 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970053255A (en) * 1995-12-27 1997-07-31 김광호 Image processor of electron microscope and its usage
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
DE69841245D1 (en) * 1997-03-03 2009-11-26 Olympus America Inc Method and device for generating a virtual slide for a microscope
JPH11136487A (en) * 1997-10-30 1999-05-21 Mitsubishi Electric Corp Image communication system
JP2001091840A (en) * 1999-09-20 2001-04-06 Olympus Optical Co Ltd Microscope system
CA2436043C (en) 2002-02-22 2006-01-10 Bacus Research Laboratories, Inc. Focusable virtual microscopy apparatus and method
JP4812272B2 (en) * 2004-09-03 2011-11-09 オリンパス株式会社 Observation method and observation apparatus
US7792338B2 (en) 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
US7804642B2 (en) 2005-05-16 2010-09-28 Olympus Corporation Scanning examination apparatus
JP4878913B2 (en) 2006-05-24 2012-02-15 オリンパス株式会社 Microscope system, microscope image synthesis method, and program
JP4878914B2 (en) * 2006-05-24 2012-02-15 オリンパス株式会社 Microscope system, microscope control method, and program
JP2008107645A (en) * 2006-10-26 2008-05-08 Fuji Electric Holdings Co Ltd Image display device
JP2009042462A (en) * 2007-08-08 2009-02-26 Nikon Corp Microscope apparatus, observation method, and observed image processing method
JP5126675B2 (en) * 2007-09-04 2013-01-23 日本精工株式会社 Manipulator system
JP4981648B2 (en) * 2007-12-20 2012-07-25 キヤノン株式会社 Image processing apparatus and control method thereof
JP5059637B2 (en) * 2008-01-18 2012-10-24 オリンパス株式会社 Microscope imaging device
US8583406B2 (en) 2008-11-06 2013-11-12 Hoya Lens Manufacturing Philippines Inc. Visual simulator for spectacle lens, visual simulation method for spectacle lens, and computer readable recording medium recording computer readable visual simulation program for spectacle lens
JP5532726B2 (en) * 2009-07-31 2014-06-25 ソニー株式会社 Recording medium manufacturing method, recording medium, and reproducing apparatus for recording medium
JP5589366B2 (en) * 2009-11-27 2014-09-17 ソニー株式会社 Information processing apparatus, information processing method, and program thereof
JP5889559B2 (en) 2011-07-13 2016-03-22 ソニー株式会社 Information processing method and information processing system
JP6137113B2 (en) * 2014-10-24 2017-05-31 ソニー株式会社 Display device, display method, and program
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
DE102017108016A1 (en) * 2017-04-13 2018-10-18 Carl Zeiss Microscopy Gmbh Microscope system and method for operating a microscope system
JP6587078B2 (en) * 2018-06-27 2019-10-09 ソニー株式会社 Information processing method and information processing apparatus
DE102018127076A1 (en) 2018-10-30 2020-04-30 Leica Instruments (Singapore) Pte. Ltd. Microscope system for imaging a sample area and corresponding method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0293083A3 (en) * 1987-04-30 1990-07-18 Corabi International Telemetrics, Inc. Remote transmission diagnostic system
JP3282191B2 (en) * 1991-10-18 2002-05-13 株式会社ニコン Image transmission method and image transmission device
JP3321198B2 (en) * 1992-06-22 2002-09-03 オリンパス光学工業株式会社 Microscope still image observation system
JP3325064B2 (en) * 1993-01-22 2002-09-17 オリンパス光学工業株式会社 Microscope remote observation system and its control method

Also Published As

Publication number Publication date
JPH07333522A (en) 1995-12-22

Similar Documents

Publication Publication Date Title
JP3557246B2 (en) Microscope image remote observation device and microscope image remote observation method
JP4937457B2 (en) Microscope control apparatus, microscope control system, microscope control method, program, and recording medium
JP2000516784A (en) Image transmission remote object inspection device
JP4878913B2 (en) Microscope system, microscope image synthesis method, and program
JP4434376B2 (en) Microscope image transfer system
JP4637337B2 (en) Microscope image observation system and control method thereof
WO1999013360A2 (en) Digital telepathology imaging system with bandwidth optimization and virtual focussing
JP3018733B2 (en) Still image transmission device
JP3321197B2 (en) Microscope still image transmission system
JP3448847B2 (en) Microscope still image observation system
US20140063072A1 (en) Information processing apparatus, information processing method, and information processing program
JP3325064B2 (en) Microscope remote observation system and its control method
JP2016038542A (en) Image processing method and image processing apparatus
JP3698737B2 (en) Microscope remote observation system and remote observation method
JPH09117417A (en) Phthologic image telediagnosis system
JP3704529B2 (en) Microscope observation system and display method of microscope image
JPH10274741A (en) Specimen remote observation system
JPH05241075A (en) Microscope system
JP3432851B2 (en) Microscope remote observation system
JPH09120031A (en) Image pickup device and microscope image transmission system
KR20000057920A (en) Microscope image transmitting system, method of processing microscope images, and recording medium for use in processing microscope images
JP2002122792A (en) Method and equipment for matching temporal resolution in lateral direction of microscope image
JP3366352B2 (en) Microscope system
JPH0651208A (en) Image remote observation system
JPH11119108A (en) Remote observing system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040517

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees