KR20130015146A - 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 - Google Patents

의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 Download PDF

Info

Publication number
KR20130015146A
KR20130015146A KR20110076993A KR20110076993A KR20130015146A KR 20130015146 A KR20130015146 A KR 20130015146A KR 20110076993 A KR20110076993 A KR 20110076993A KR 20110076993 A KR20110076993 A KR 20110076993A KR 20130015146 A KR20130015146 A KR 20130015146A
Authority
KR
South Korea
Prior art keywords
image
medical
surface information
extracting
information
Prior art date
Application number
KR20110076993A
Other languages
English (en)
Inventor
박동렬
김연호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20110076993A priority Critical patent/KR20130015146A/ko
Priority to JP2012167110A priority patent/JP6395995B2/ja
Priority to EP20120178673 priority patent/EP2554137A3/en
Priority to US13/564,051 priority patent/US20130035583A1/en
Priority to CN201210272789.7A priority patent/CN102908158B/zh
Publication of KR20130015146A publication Critical patent/KR20130015146A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/506—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

의료 영상 촬영 장치들을 이용하여 촬영된 의료 영상들을 서로 매핑함으로써 의료 영상들이 정합된 합성 영상을 생성한다. 이와 같은 합성 영상은 환자의 진단이나, 또는 로봇 수술이 진행되는 동안 영상 유도에 이용될 수 있다.

Description

의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템{Method and Apparatus for processing medical image, Robotic surgery system using image guidance}
의료 영상을 처리하는 방법 및 장치에 관한 발명이다. 그리고, 영상 유도를 이용한 로봇 수술 시스템에 관한 발명이다.
로봇 수술은 개복 수술과 달리, 의사가 환자의 몸 속 수술 부위를 직접 눈으로 볼 수 없고 모니터에 표시된 화면만을 통해 수술 부위를 파악할 수 있다. 로봇 수술을 집도하는 의사는 수술 전 CT(computed tomography), MRI(magnetic resonance imaging), 초음파 영상 등을 통해 수술 부위를 파악하여 수술하였으나, 이는 의사의 경험에 많이 의존하게 된다는 한계가 있다. 또한, 수술 부위 영상을 획득하기 위해 복강경(laparoscope)을 환자 몸 속에 삽입하여 표시된 몸 속의 실제 영상을 보면서 로봇 수술을 진행하는 방법도 시도된 바 있다. 하지만, 수술 부위에 대하여 복강경과 같은 내시경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 수술 부위에 대한 정확한 위치, 형태 등을 정확하게 파악하기 어렵다.
본 발명의 적어도 하나의 실시예가 이루고자 하는 기술적 과제는 의료 영상을 처리하는 방법 및 장치를 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다. 나아가서, 처리된 의료 영상에 기초하여 영상 유도를 이용한 로봇 수술 시스템을 제공하는데 있다. 본 실시예가 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따르면, 의료 영상 처리 방법은 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 단계; 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 단계; 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 단계; 및 상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 생성하는 단계를 포함한다.
다른 일 측면에 따르면, 상기 의료 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또 다른 일 측면에 따르면, 의료 영상 처리 장치는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 영상 획득부; 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 표면 정보 추출부; 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 영상 매핑부; 및 상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 합성 영상 생성부를 포함한다.
또 다른 일 측면에 따르면, 수술 부위에 대한 영상을 유도하여 수술용 로봇에 의한 로봇 수술을 수행하는 로봇 수술 시스템에 있어서, 피검체 내 소정 장기에 대해 의료 영상을 촬영하는 내시경 장치; 상기 소정 장기에 대해 의료 영상을 촬영하는, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상 (MRI) 장치 및 및 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나를 포함하는 비내시경 장치; 상기 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 상기 의료 영상들을 획득하고, 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하고, 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하고, 상기 매핑 결과에 기초하여 상기 의료 영상들이 정합된 합성 영상을 생성하는 의료 영상 처리 장치; 상기 생성된 합성 영상을 표시하는 표시 장치; 및 사용자 입력에 따라 로봇 수술을 수행하는 수술용 로봇을 포함한다.
상기된 바에 따르면, 인공적인 마커(marker)를 사용하지 않고 의료 영상들에 포함된 정보들에만 기초하여 실시간으로 의료 영상들을 정합함으로써, 영상 정합시 마커의 사용에 의한 번거로움, 불편함 등을 줄일 수 있다. 특히, 로봇 수술에서 금속 성분의 마커와 수술용 로봇의 간섭에 의한 영상 정합의 정확도 감소를 줄일 수 있다.
그리고, 실시간으로 내시경 영상 및 비내시경 영상이 정합된 합성 영상을 생성함으로써, 의사에게 보다 정확한 환자의 진단 영상이 제공되거나, 로봇 수술 시스템에서 보다 정확한 영상 유도를 수행할 수 있다. 또한, 로봇 수술의 경우 이와 같이 수술 부위에 대한 정확한 의료 영상이 제공됨으로써 수술해야 할 부위와 보존해야 할 부위를 정확하게 파악할 수 있어 수술 성능이 향상될 수 있다. 나아가서, 추후에 로봇 수술이 자동화될 경우 로봇을 정확하게 제어할 수 있는 정보가 제공될 수 있다.
도 1a는 본 발명의 일 실시예예 따른 로봇 수술 시스템의 구성도이다.
도 1b는 본 발명의 일 실시예예 따른 로봇 수술 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 방광에 대한 내시경 장치와 초음파 장치의 상대적인 위치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치의 구성도이다.
도 4는 본 발명의 일 실시예예 따른 제 1 추출부에서 제 1 표면 모델이 생성된 후 제 1 표면 정보가 추출되는 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예예 따른 제 2 추출부에서 제 2 표면 모델이 생성된 후 제 2 표면 정보가 추출되는 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 도 1b의 로봇 수술 시스템에서 내시경 장치와 초음파 장치의 배치만을 따로 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 합성 영상 생성부에서 합성 영상을 생성할 때 이용되는 3차원 초음파 영상에 포함된 정보의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 합성 영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 의료 영상을 처리하는 방법의 흐름도이다.
도 10은 도 9의 의료 영상을 처리하는 방법의 상세 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 제 1 표면 정보를 추출하는 과정의 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 제 2 표면 정보를 추출하는 과정의 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명하도록 하겠다.
도 1a는 본 발명의 일 실시예예 따른 로봇 수술 시스템(1)의 구성도이다. 도 1을 참고하면, 로봇 수술 시스템(1)은 제 1 의료 영상 촬영 장치(11), 제 2 의료 영상 촬영 장치(21), 의료 영상 처리 장치(30), 수술용 로봇(40) 및 표시 장치(50)로 구성된다. 도 1a에서는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예에 관련된 하드웨어 구성요소(hardware component)들만을 기술하기로 한다. 다만, 도 1a에 도시된 하드웨어 구성요소들 외에 다른 범용적인 하드웨어 구성요소들이 포함될 수 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 1a를 참고하면, 로봇 수술 시스템(1)은 제 1 및 2 의료 영상 촬영 장치(11, 21)만을 구비하는 것으로 도시되었으나, 이에 한정되지 않고 본 실시예는 이외에도 적어도 하나의 추가적인 의료 영상 촬영 장치를 구비할 수 있다.
의료 영상 촬영 장치의 종류에는, 내시경 장치, 초음파(ultrasound) 장치, 컴퓨터 단층촬영(computed tomography, CT) 장치, 자기공명영상 (magnetic resonance imaging, MRI) 장치, 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 등 다양한 종류가 있다. 이하에서, 내시경 영상을 촬영하는 의료 영상 촬영 장치 외의, 의료 영상 촬영 장치는 비내시경(non-endoscopic) 장치라 하겠다. 즉, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상(MRI) 장치, 양전자 방사 단층 촬영(PET) 장치는 비내시경 장치이다.
이하에서는 설명의 편의를 위하여, 본 실시예에 따른 로봇 수술 시스템(1)의 제 1 의료 영상 촬영 장치(11)는 복강경(laparoscope) 장치와 같은 내시경 장치에 해당되고, 제 2 의료 영상 촬영 장치(21)는 직장 삽입형 초음파(TRUS, trans-rectal ultrasound) 장치와 같은 초음파 장치에 해당되는 것으로 설명하겠으나, 본 실시예는 이에 한정되지 않는다. 즉, 제 1 및 2 의료 영상 촬영 장치(11, 21) 각각은 상기 내시경 장치, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상(MRI) 장치, 양전자 방사 단층 촬영(PET) 장치 등과 같은 의료 영상 촬영 장치들 중 어느 것이라도 가능하다.
도 1b는 본 발명의 일 실시예예 따른 로봇 수술 시스템(100)의 구성도이다. 도 1b을 참고하면, 로봇 수술 시스템(100)은 앞서 설명한 바와 같이, 내시경 장치(10), 초음파 장치(20), 의료 영상 처리 장치(30), 수술용 로봇(40) 및 표시 장치(50)로 구성된다.
도 1b에서도 도 1a와 마찬가지로 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예에 관련된 하드웨어 구성요소(hardware component)들만을 기술하기로 한다.
로봇 수술 시스템(100)은 환자의 몸에 뚫린 작은 구멍들에 수술용 로봇(40)의 팔을 집어넣고, 환자의 몸 밖에서 의사가 수술용 로봇(40)의 움직임을 제어하여 환자를 수술하는 시스템이다.
최근에는, 미국의 인튜이티브 서지컬(intuitive surgical) 사의 다빈치 (da Vinci?)가 이와 같은 수술용 로봇(40)으로 일반적으로 많이 사용되고 있다. 보다 상세하게 설명하면, 다빈치(da Vinci?)는 환자의 몸 안에 직접 삽입되는 로봇으로써, 의사의 손처럼 움직일 수 있어 마치 의사가 직접 수술 부위에 수술하는 것과 같이 수술하는 로봇이다. 본 실시예에서는, 단지 설명의 편의를 위하여 수술용 로봇(40)으로 다빈치를 예로 들었을 뿐, 수술용 로봇(40)은 환자의 몸 속에서 로봇의 움직임을 통해 수술하는 다른 장치들에 해당될 수도 있다.
로봇 수술 시스템(100)에서 의사가 수술용 로봇(40)을 이용하여 수술하고자 할 때, 의사는 표시 장치(50)에 표시된 환자의 몸 속의 의료 영상을 참고하여 수술을 진행한다. 즉, 로봇 수술 시스템(100)에서 의사는 환자의 몸 속에 특수 렌즈를 삽입하여 육안으로 보이지 않는 신경, 혈관, 장기(organ)에 대한 영상을 통해 시야를 확보한 후 수술을 진행한다.
로봇 수술 시스템(100)에서는 개복 수술과 달리, 의사가 환자의 몸 속 수술 부위를 직접 눈으로 볼 수 없고 표시 장치(50)에 표시된 화면만을 통해 수술 부위를 파악할 수 있기 때문에, 수술 부위에 대한 정확한 영상이 요구된다.
특히, 로봇 수술은 수술 중 주변 신경과 혈관에 손상을 입힐 경우 심한 부작용과 합병증이 생길 수 있는 전립선암, 직장암, 식도암, 방광암 수술 등에 일반적으로 많이 사용되므로, 수술 부위에 대한 정교하고 세밀한 영상이 표시 장치(50)에 표시되는 것이 중요하다.
종래에는, 수술 전 CT(computed tomography), MRI(magnetic resonance imaging), 초음파(ultrasound), 양전자 방사 단층 촬영(PET) 영상 등을 의사에게 보여줌으로써, 진단 영상을 기억하는 의사의 두뇌에서 현재 수술해야할 부위를 떠올려 수술하는 방법을 사용하였다. 하지만, 이는 의사의 경험에 많이 의존하게 되므로, 정확한 수술이 어려웠다.
또한, 종래의 로봇 수술의 경우, 복강경(laparoscope)을 환자 몸 속에 삽입하여 표시된 몸 속의 실제 영상을 보면서 로봇 수술을 진행하기도 하였다. 하지만, 수술 부위에 대하여 복강경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이다. 그러므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 복강경으로 수술 부위에 대한 실제 영상을 획득하기 어려웠다. 특히, 전립선 수술의 경우가 그러하였다.
전립선 수술을 설명하면, 전립선은 수술 부위가 협소하고 요도와 연결되어 있다. 그리고, 전립선이 제거될 때 전립선 근처의 신경 혈관 다발(neurovascular bundle)은 보존되어야 한다. 왜냐하면, 이 신경 혈관 다발은 소변 기능, 성 기능 등에 중요한 역할을 하기 때문이다. 하지만, 복강경은 외부 표면의 조직에 대한 영상만을 제공하므로, 복강경만으로는 전립선의 위치, 형태 등을 정교하고 세밀하게 파악하는데 다소 어려움이 있다.
이러한 기존의 방법을 개선하기 위하여 종래에는, 직장 삽입형 초음파(TRUS, trans-rectal ultrasound) 장치를 이용하였으나, 수술 부위의 실제 영상이 아닌, 초음파 영상이라는 한계가 있었다.
또한, 종래에는, 광학 방식 혹은 자기장 방식의 마커(marker)를 이용하여 직장 삽입형 초음파 장치의 위치와 방향을 실시간으로 검출함으로써, 3차원 초음파 영상을 획득하고 이를 수술에 사용하였다. 그러나, 자기장 방식을 이용할 경우 수술 로봇과 같은 금속성 물질과 자기장 간섭으로 인해 마커의 위치 측정이 부정확해질 수 있었다. 그리고, 광학 방식을 이용할 경우에는, 위치 측정 시 수술용 로봇의 활동 범위와 겹쳐 수술용 로봇의 움직임에 제약을 주게 되었다.
나아가서, 종래에는 수술 로봇 이외의 탠덤(tandom) 로봇을 이용하여 직장 삽입형 초음파 장치를 회전시키고 이로부터 3D 전립선 영상을 획득하는 방법도 사용되었다. 하지만, 이 방법은 가외의 로봇을 사용해야 하므로, 탠덤 로봇에 의한 간섭 때문에 수술 로봇의 이동이 제한될 수 있었다. 그리고, 수술 로봇과 탠덤 로봇과의 위치를 보정해야 하므로, 실제 수술 시 초음파 영상을 온전히 이용할 수 없었다.
즉, 상기된 바와 같이, 로봇 수술을 수행할 때, 특히 전립선에 대한 로봇 수술 등과 같이 주변 신경과 혈관에 손상을 입히지 않아야 하는 로봇 수술을 수행할 때, 종래에는 수술 부위에 대한 정확한 영상을 얻기 어렵고, 환자의 안전에 문제가 있다는 한계가 있었다.
하지만, 본 실시예에 따른 로봇 수술 시스템(100)에서는 서로 다른 복수의 의료 영상 촬영 장치들로 촬영된 서로 다른 의료 영상들이 실시간으로 정합된 합성 영상을 이용함으로써, 장기에 가려진 수술 부위 또는 장기 내부에 위치한 수술 부위에 대해서도 정확한 영상이 제공될 수 있다. 따라서, 본 실시예에 따르면, 로봇 수술의 성능이나 환자의 안전을 보장할 수 있다.
다만, 본 실시예에서는 로봇 수술 시스템(100)하에서 로봇 수술을 수행하는 의사를 위한 의료 영상을 제공하는 것, 즉 의료 영상 유도(medical image guidance)에 대해 설명하겠으나, 본 실시예의 의료 영상 처리 장치(30)에서 생성된 합성 영상은 반드시 로봇 수술 시스템(100)에서만 제공되는 것으로 한정되지 않는다. 즉, 본 실시예에서 제공되는 의료 영상은 로봇 수술이 아닌, 환자를 단순히 진찰 또는 진단하기 위한 다른 시스템에서도 마찬가지로 제공될 수 있다.
이하에서는, 본 실시예에 따른 로봇 수술 시스템(100)에서 의료 영상을 처리하는 과정에 대해 상세히 설명하도록 하겠다.
여기서, 본 실시예에 따른 수술 부위는 설명의 편의를 위하여 전립선인 경우를 예로 들겠다. 그리고, 앞서 예로 든 바와 같이 수술 부위가 전립선인 경우, 본 실시예에 따른 의료 영상 처리 과정은 전립선 주변에 위치해 있는 특정 장기인 방광을 이용하는 것으로 설명하겠다. 즉, 이와 같은 특정 장기는 수술용 로봇(40)에 의해 치료될 수술 부위의 장기 또는 수술 부위 주변의 다른 장기일 수 있다.
나아가서, 당해 기술분야에서 통상의 지식을 가진 자라면 본 실시예는 수술 부위가 환자의 다른 부위이거나, 다른 장기를 이용하여 의료 영상 처리가 수행될 수 있음을 이해할 수 있다.
다시 도 1b를 참고하면, 로봇 수술 시스템(100)하에서 내시경 장치(10)는 환자의 장기, 예를 들어 방광에 대한 내시경 영상을 획득한다. 따라서, 내시경 영상에는 방광 및 그 주변에 대한 영상이 포함된다. 본 실시예에서 내시경 장치(10)는 복강경 장치에 해당될 수 있으나, 이에 한정되지 않는다.
그리고, 초음파 장치(20)는 환자의 방광 및 그 주변에 대한 초음파 영상을 획득한다. 따라서, 초음파 영상에는 방광 및 그 내외부 주변에 대한 영상이 포함된다. 즉, 초음파 영상에는 내시경 영상과 달리, 방광 내부의 조직에 관한 정보도 포함될 수 있다. 본 실시예에서 초음파 장치(20)는 직장 삽입형 초음파 장치에 해당될 수 있으나, 이에 한정되지 않는다.
도 1b에서, 내시경 장치(10)와 초음파 장치(20)는 서로 다른 위치들에서 의료 영상들을 촬영한다. 즉, 로봇 수술 시스템(100)에서는 내시경 장치(10)와 초음파 장치(20)의 움직임 및 위치가 각각 제어됨으로써 의료 영상들이 촬영된다. 이 때, 로봇 수술 시스템(100)은 제어 중인 내시경 장치(10)와 초음파 장치(20) 각각의 촬영 위치, 예를 들어 로봇 수술 테이블 상에서의 가상적 좌표 등을 로봇 수술 시스템(100)상의 저장부(미도시)에 계속하여 저장한다.
도 2는 본 발명의 일 실시예에 따른 방광에 대한 내시경 장치(10)와 초음파 장치(20)의 상대적인 위치를 도시한 도면이다. 도 2를 참고하면, 내시경 장치(10)가 복강경 장치인 경우, 방광을 기준으로 상대적으로 방광의 위쪽에서 내시경 영상을 획득한다. 그리고, 초음파 장치(20)가 직장 삽입형 초음파 장치인 경우, 방광을 기준으로 상대적으로 방광의 아래쪽에서 초음파 영상을 획득한다. 하지만, 이와 같은 내시경 장치(10) 및 초음파 장치(20) 각각의 위치는 예시적인 것으로써, 로봇 수술 환경에 따라 변경될 수 있다.
다시 도 1b을 참고하면, 의료 영상 처리 장치(30)는 내시경 장치(10) 및 초음파 장치(20)로부터 획득된 내시경 영상 및 초음파 영상을 정합함으로써, 합성 영상을 생성한다. 본 실시예에 따른 의료 영상 처리 장치(30)의 동작 및 기능에 대해 보다 상세하게 설명하면 다음과 같다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치(30)의 구성도이다. 도 3을 참고하면, 의료 영상 처리 장치(30)는 검출부(31), 영상 획득부(32), 표면 정보 추출부(33), 영상 매핑부(34) 및 합성 영상 생성부(35)를 포함한다. 그리고, 영상 획득부(32)는 내시경 영상 획득부(321) 및 비내시경(non-endoscopic) 영상 획득부(322)를 포함하고, 표면 정보 추출부(33)는 제 1 추출부(331) 및 제 2 추출부(332)를 포함하고, 영상 매핑부(34)는 비교부(341) 및 위치 매핑부(342)를 포함한다.
이와 같은 의료 영상 처리 장치(30)는 프로세서에 해당될 수 있다. 이 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로프로세서와 이 마이크로프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
검출부(31)는 합성 영상을 생성하고자 할 때, 앞서 설명한 로봇 수술 시스템(100)상의 저장부(미도시)에 저장된 의료 영상 촬영 장치들 각각의 현재의 위치를 검출한다.
영상 획득부(32)는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 장기에 대한 의료 영상들, 즉 내시경 영상 및 비내시경 영상을 획득한다.
표면 정보 추출부(33)는 획득된 의료 영상들 각각으로부터 획득된 의료 영상들 각각에 포함된 장기의 표면 정보를 각각 추출한다. 특히, 표면 정보 추출부(33)는 획득된 의료 영상들 각각에서 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 정보를 표면 정보로써 추출한다.
영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다. 특히, 표면 정보 추출부(33)는 추출된 각각의 표면 정보들을 이용하여 의료 영상 촬영 장치들 각각의 위치를 매칭시킴으로써 의료 영상들을 매핑한다.
보다 상세하게, 이하부터는 우선 내시경 영상을 처리하는 과정에 대해 설명하고, 다음으로 초음파 영상, CT(computed tomography) 영상, MR(magnetic resonance) 영상과 같은 비내시경 영상을 처리하는 과정에 대해 자세히 설명하도록 하겠다.
내시경 영상 획득부(321)는 내시경 장치(도 1b의 10)를 이용하여 촬영된 내시경 영상을 획득한다.
제 1 추출부(331)는 내시경 장치(도 1b의 10)에 의해 촬영된 내시경 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다. 즉, 본 실시예에서 제 1 추출부(331)는 내시경 영상에 나타난 방광에 대한 제 1 표면 정보를 추출한다.
그 방법으로써, 제 1 추출부(331)는 방광 및 주변의 외부 조직과 내시경 장치(도 1b의 10)와의 거리 정보를 획득함으로써 시차공간 영상(disparity space image)을 생성한다. 일 실시예에 따르면, 제 1 추출부(331)는 2개의 스테레오 카메라(stereoscopic camera)들이 구비된 내시경 장치(도 1b의 10)를 이용하여 시차공간 영상을 획득할 수 있다. 이 때, 다른 일 실시예에 따르면, 제 1 추출부(331)는 구조광 및 패턴광 중 적어도 하나를 조사하는 프로젝터(projector)를 더 구비한 내시경 장치(도 1b의 10)를 이용함으로써 시차공간 영상을 생성할 수 있다. 이 경우, 내시경 영상 획득부(321)는 방광 및 주변의 외부 조직으로부터 반사된 구조광 또는 패턴광에 관한 정보도 함께 획득할 수 있다. 즉, 제 1 추출부(331)는 획득된 구조광 또는 패턴광에 관한 정보를 이용하여 내시경 장치(도 1b의 10)로부터 방광 및 주변의 외부 조직까지의 거리를 계산할 수 있다. 이 때, 제 1 추출부(331)는 계산된 거리에 기초하여 시차공간 영상과 같은 거리 영상을 생성할 수 있다.
그 다음에 제 1 추출부(331)는 획득된 거리 정보, 즉 계산된 거리 또는 생성된 거리 영상을 이용함으로써 내시경 영상에 대응되는 3차원의 제 1 표면 모델을 생성한다.
마지막으로, 제 1 추출부(331)는 이와 같이 생성된 제 1 표면 모델로부터 방광의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다.
도 4는 본 발명의 일 실시예에 따른 제 1 추출부(도 3의 331)에서 제 1 표면 모델이 생성된 후 제 1 표면 정보가 추출되는 과정을 도시한 도면이다.
도 4의 401 영상은 내시경 장치(도 1b의 10)에서 획득된 내시경 영상으로써, 실제 방광 및 그 주변에 구조광 또는 패턴광을 조사한 영상이다.
도 4의 402 영상은 시차공간 영상(disparity space image)으로써 구조광(structured light) 및 패턴광(patterned light) 중 적어도 하나를 이용하여 생성된 일종의 거리 영상에 해당된다. 하지만, 앞서 설명한 바와 같이, 제 1 추출부(도 3의 331)는 구조광 및 패턴광을 이용하지 않고 시차공간 영상을 생성할 수도 있다.
도 4의 403 영상은 상기와 같은 과정을 통해 제 1 추출부(도 3의 331)에서 생성된 제 1 표면 모델이다. 제 1 추출부(도 3의 331)는 403 영상의 제 1 표면 모델로부터 방광 표면의 형태 및 위치에 관한 제 1 표면 정보(404)를 추출한다.
다시 도 3을 참고하면, 비내시경 영상 획득부(322)는 초음파 장치(도 1b의 20) 등과 같은 비내시경 장치를 이용하여 촬영된 비내시경 영상을 획득한다.
제 2 추출부(332)는 비내시경 장치에 의해 촬영된 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다. 즉, 본 실시예에서 제 2 추출부(332)는 비내시경 영상에 나타난 방광에 대한 제 2 표면 정보를 추출한다.
그 방법으로써, 우선 제 2 추출부(332)는 비내시경 장치에 의해 촬영된 비내시경 영상으로부터 방광의 표면을 나타내는 경계선에 대한 정보를 획득한다. 이 때, 경계선에 대한 정보는 비내시경 영상에 대해 라인 검출(line detection) 및 에지 검출(edge detection) 중 적어도 하나를 적용함으로써 획득한다.
비내시경 영상이 초음파 영상인 경우, 초음파 특성상 초음파가 장기의 표면 조직에 대해서 높은 에코발생도(high echogenicity)를 갖는 성질을 이용한다. 즉, 제 2 추출부(332)는 장기의 표면 조직이 초음파 영상에서 상대적으로 밝은 선으로 나타나는 성질을 이용함으로써 경계선에 대한 정보를 획득한다.
비내시경 영상이 MR 영상인 경우, 제 2 추출부(332)는 조직의 분자 구성비 차이에 의한 MR 영상에서의 영상 명도차가 발생되는 점에 기초하여 라인 검출(line detection) 또는 에지 검출(edge detection)을 이용함으로써 경계선에 대한 정보를 획득한다.
마찬가지로, 비내시경 영상이 CT 영상인 경우, 제 2 추출부(332)는 조직의 밀도 차이에 의한 CT 영상에서의 영상 명도차가 발생되는 점에 기초하여 라인 검출(line detection) 또는 에지 검출(edge detection)을 이용함으로써 경계선에 대한 정보를 획득한다.
이후에, 제 2 추출부(332)는 획득된 경계선 정보를 이용하여 장기(방광)의 표면에 대응되는 3차원의 제 2 표면 모델을 생성한다. 이 때, 제 2 추출부(332)는 획득된 경계선 정보들에 기초하여 경계선들을 3차원적으로 렌더링함으로써 3차원의 제 2 표면 모델을 생성할 수 있다.
마지막으로, 제 2 추출부(332)는 이와 같이 생성된 제 2 표면 모델로부터 방광의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다.
도 5는 본 발명의 일 실시예예 따른 제 2 추출부(도 3의 332)에서 제 2 표면 모델이 생성된 후 제 2 표면 정보가 추출되는 과정을 도시한 도면이다.
도 5를 참고하면, 초음파 영상(501)으로부터 제 2 표면 정보(505)가 추출되는 과정, MR 영상(502)으로부터 제 2 표면 정보(505)가 추출되는 과정 및 CT 영상(503)으로부터 제 2 표면 정보(505)가 추출되는 과정이 도시되어 있다. 로봇 수술 시스템(도 1b의 100)의 환경에서 어떤 의료 영상 촬영 장치를 이용하였는지에 따라 제 2 추출부(도 3의 332)는 각각의 과정 중 그에 대응되는 과정에 따라 제 2 표면 정보(505)를 추출한다.
초음파 영상(501)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 초음파 영상의 특성을 이용하여 방광의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)를 생성한다.
MR 영상(502)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 MR 영상의 특성을 이용하여 직장의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)를 생성한다.
CT 영상(503)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 CT 영상의 특성을 이용하여 직장의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)을 생성한다.
제 2 추출부(도 3의 332)는 제 2 표면 모델(504)에 나타난 경계선 정보에 기초하여 장기의 표면의 형태 및 위치 중 적어도 하나를 나타내는 제 2 표면 정보(505)를 추출한다.
즉, 로봇 수술 시스템(도 1b의 100)의 환경에서 어떤 의료 영상 촬영 장치를 이용하였는지에 따라 제 2 추출부(도 3의 332)는 초음파 영상(501), MR 영상(502) 및 CT 영상(503)에 대한 각각의 과정 중 해당되는 과정에 따라 제 2 표면 정보(505)를 추출한다.
다시 도 3을 참고하면, 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.
영상 매핑부(34)는 추출된 제 1 표면 정보 및 제 2 표면 정보를 이용하여 의료 영상 촬영 장치들 각각의 위치를 매칭(matching)시킴으로써 의료 영상들을 매핑한다. 앞서 살펴본 도 1b와 같이, 내시경 장치(도 1b의 10) 및 초음파 장치(도 1b의 20)를 이용하는 경우, 표면 정보들을 이용하여 내시경 장치(도 1b의 10)의 위치 및 초음파 장치(도 1b의 20)의 위치를 매칭시킴으로써 내시경 영상 및 초음파 영상을 매핑한다.
매핑 과정에 대해 보다 상세하게 설명하면, 영상 매핑부(34)는 앞서 설명한 바와 같이, 비교부(341) 및 위치 매칭부(342)를 포함한다.
비교부(341)는 추출된 각각의 표면 정보들을 비교한다. 즉, 비교부(341)는 제 1 표면 정보와 제 2 표면 정보를 비교한다. 그 이유는, 추출된 제 1 표면 정보 및 제 2 표면 정보는 장기(방광)의 동일한 부위의 표면에 대한 정보들이기 때문이다. 따라서, 비교부(341)는 추출된 제 1 표면 정보 및 제 2 표면 정보가 장기의 동일한 부위의 표면을 대해 어떻게 대응되는지를 비교한다. 이 때, 비교부(341)는 공지의 알고리즘인 ICP (Iterative Closest Point) 알고리즘 등을 이용하여 비교할 수 있다.
위치 매칭부(342)는 비교 결과에 기초하여 앞서 검출부(31)에서 검출된 의료 영상 장치들의 위치들을 매칭시킨다.
결국, 영상 매핑부(34)는 이와 같은 과정에 의한 매칭 결과에 기초하여 의료 영상들을 매핑한다.
도 6은 본 발명의 일 실시예에 따른 도 1b의 로봇 수술 시스템(도 1b의 100)에서 내시경 장치(10)와 초음파 장치(20)의 배치만을 따로 도시한 도면이다. 도 6을 참고하면, 내시경 장치(10)는 복강경 장치에 해당되고, 초음파 장치(20)는 직장 삽입형 초음파 장치에 해당된다.
로봇 수술 시스템(도 1b의 100)상에서 내시경 장치(10)의 가상적 위치는 Xcamera 좌표계를 따른다. 그리고, 초음파 장치(20)의 가상적 위치는 XUS 좌표계를 따른다. 즉, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치는 서로 다른 좌표계를 이용하고 있으므로, 서로의 위치는 독립적이다.
하지만, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치는 동일한 기준에 의해 매칭(matching)될 수 있다. 이를 위하여, 본 실시예에 따르면, 영상 매핑부(34)는 기준으로써, 추출된 제 1 표면 정보 및 제 2 표면 정보를 이용한다. 보다 상세하게 설명하면, 제 1 표면 정보 및 제 2 표면 정보는 장기(방광)의 동일한 부위의 표면에 대한 정보들이다. 그러므로, 내시경 영상으로부터 추출된 제 1 표면 정보와 초음파 영상으로부터 추출된 제 2 표면 정보를 기준으로 Xcamera 좌표계와 XUS 좌표계를 매칭시킬 수 있다. 그 결과, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치 또한, 매칭될 수 있다.
다시 도 3을 참고하면, 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다. 생성된 합성 영상은 장기 및 그 주변에 관한 3차원 의료 영상일 수 있다. 보다 상세하게는, 생성된 합성 영상은 내시경 장치(도 1b의 10)에 의해 촬영된 영상에 포함된 장기 및 주변에 대한 외부 조직의 영상과, 비내시경 장치(도 1b의 20)에 의해 촬영된 영상에 포함된 장기 및 주변에 대한 내외부 조직의 영상이 3차원적으로 동시에 표현된 영상이다. 합성 영상은 일종의 증강 영상에 해당될 수 있다.
합성 영상 생성부(35)에서 생성된 합성 영상은 결국, 내시경 영상과 비내시경 영상 각각에서 나타난 장기의 위치가 동일하도록 합성되어 생성되는 것이다.
내시경 영상은 그 자체로 장기 및 그 주변의 실제의 3차원 영상에 해당된다. 그러나, 내시경 영상은 장기 내외부의 조직의 형태 및 위치 등의 정보를 알기 어렵다.
일반적으로, 이와 같은 비내시경 영상은 장기를 단면으로 촬영한 영상들의 집합에 해당될 수 있다. 하지만, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 장기 및 주변의 내외부의 조직의 형태 및 위치 등에 대한 일종의 투시 정보를 포함하고 있다. 따라서, 획득된 비내시경 영상에는 장기의 외부 조직뿐만 아니라, 내부 조직의 형태 및 위치 등에 대한 정보도 함께 포함되어 있다. 따라서, 내시경 영상과 비내시경 영상이 합성될 경우, 실제 장기 및 주변의 내외부에 있는 조직들에 대한 정보를 정확하게 알 수 있고, 이것이 의사에게 제공됨으로서 의사는 보다 정교하고 세밀한 수술을 진행할 수 있게 된다.
여기서, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 그 영상을 촬영하는 의료 영상 촬영 장치(도 1a의 11, 21)의 종류에 따라 2차원 영상일 수 있고, 또는 3차원 영상일 수 있다. 만약, 획득된 비내시경 영상이 도 5와 같이 복수의 2차원적인 비내시경 영상들인 경우, 합성 영상 생성부(35)는 볼륨 렌더링(volume rendering) 등의 이미 알려진 방법들을 통해 2차원 비내시경 영상들을 3차원 비내시경 영상으로 생성한 후 합성에 이용할 수 있다.
도 7은 본 발명의 일 실시예에 따라 합성 영상 생성부(35)에서 합성 영상을 생성할 때 이용되는 3차원 초음파 영상에 포함된 정보의 예를 도시한 도면이다. 도 7은 직장 삽입형 초음파 장치를 사용한 경우의 예시에 관한 도면이다. 도 7을 참고하면, 초음파 영상은 앞서 설명한 바와 같이, 방광과 같은 장기의 내외부의 조직의 형태 및 위치 등에 대한 일종의 투시 정보를 포함하고 있다. 따라서, 3차원 초음파 영상에는 방광 외부 표면(701)의 형태 및 위치, 방광 내부의 전립선(702)의 위치, 방광 주변의 신경 다발(703)의 위치가 3차원적으로 표현되어 있다. 여기서, 방광 외부 표면(701)의 형태 및 위치는 제 2 표면 정보에 포함된 정보이다. 비록, 도 7이 3차원 초음파 영상은 아니지만, 당업자라면 3차원 초음파 영상을 통해 이와 같은 정보들(701, 702, 703의 정보)이 포함되어 있다는 것을 알 수 있다.
다시 도 3을 참고하면, 합성 영상 생성부(35)는 이와 같은 내시경 영상 및 비내시경 영상을 정합함으로써 합성 영상을 생성한다.
다시 도 1a 및 1b을 참고하면, 표시 장치(50)는 합성 영상 생성부(35)에서 생성된 합성 영상을 표시한다. 로봇 수술 시스템(1 및 100)은 표시 장치(50)를 통해 로봇 수술을 진행하는 의사에게 이와 같은 합성 영상을 제공함으로써 영상 유도(image guadiance)를 한다. 표시 장치(50)는 사용자에게 정보를 보고하기 위하여 시각 정보를 표시하기 위한 장치, 예를 들어, 일반적인 모니터, LCD 화면, LED 화면, 눈금 표시 장치 등을 포함한다.
한편, 다시 도 3을 참고하면, 위치 매칭부(342)에서 제 1 표면 정보 및 제 2 표면 정보를 이용하여 내시경 장치(도 1b의 10)의 위치와 초음파 장치(도 1b의 20)의 위치가 실시간으로 계속하여 매칭되는 한, 서로 다른 위치의 서로 다른 장치에서 획득된, 동일한 장기에 대한 서로 다른 영상들은 계속적으로 매핑될 수 있다. 따라서, 합성 영상 생성부(35)는 내시경 영상과 초음파 영상을 계속적으로 정합하여 합성 영상을 연속적으로 생성함으로써, 표시 장치(50)는 내시경 장치(도 1b의 10) 및 초음파 장치(도 1b의 20)의 이동에 관계없이 실시간으로 합성 영상을 표시할 수 있다.
일 실시예에 따르면, 표시 장치(50)는 생성된 합성 영상 그대로 표시할 수 있으나, 로봇 수술 시스템(1 및 100)의 사용환경에 따라 합성 영상에 포함된 영상 정보 중 일부의 관심 영역만이 표시되도록 제어될 수 있다. 즉, 내시경 영상과 비내시경 영상이 합성된 경우, 표시 장치(50)에는 비내시경 영상에 포함된 일부 관심 영역인 전립선(801)의 위치, 신경 다발(802)의 위치만이 표시되도록 제어될 수 있다. 나아가서, 만약 전립선(801) 및 신경 다발(802)의 위치에 대한 정보가 전처리된 경우, 표시 장치(50)는 로봇 수술 시스템(1 및 100)의 사용환경에 따라 합성 영상에 특정 부위가 전립선(801) 및 신경 다발(802)에 해당된다는 정보를 함께 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 합성 영상을 도시한 도면이다. 도 8을 참고하면, 합성 영상은 방광 및 주변의 내시경 영상에, 초음파 영상의 전립선 및 신경 다발과 같은 방광 내외부의 조직 위치에 대한 정보가 합성된 것을 도시한 도면이다. 즉, 합성 영상은 내시경 영상 전체와 초음파 영상 전체가 함께 합성될 수 있으나, 도 8에 도시된 바와 같이 내시경 영상 전체와 초음파 영상에 포함된 일부 정보, 예를 들어 전립선 및 신경 다발과 같은 방광 내외부의 조직 위치에 대한 정보만이 합성될 수 있다.
도 9는 본 발명의 일 실시예에 따른 의료 영상을 처리하는 방법의 흐름도이다. 도 9을 참고하면, 본 실시예에 따른 의료 영상 처리 방법은 도 1a, 1b 및 도 3에 도시된 로봇 수술 시스템(1 및 100), 의료 영상 처리 장치(30)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 상기 도면들에 관하여 기술된 내용은 본 실시예에 따른 의료 영상 처리 방법에도 적용된다.
901 단계에서 영상 획득부(32)는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 장기에 대한 의료 영상들을 획득한다.
902 단계에서 표면 정보 추출부(33)는 획득된 의료 영상들 각각으로부터 획득된 의료 영상들 각각에 포함된 장기의 표면 정보를 각각 추출한다.
903 단계에서 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.
904 단계에서 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다.
도 10은 도 9의 의료 영상을 처리하는 방법의 상세 흐름도이다. 마찬가지로, 이하 생략된 내용이라 하더라도 도 1a, 1b 및 도 3에 관하여 기술된 내용은 본 실시예에 따른 의료 영상 처리 방법에도 적용된다.
1001 단계에서 내시경 영상 획득부(321)는 내시경 장치(도 1b의 10)를 이용하여 촬영된 내시경 영상을 획득한다.
1002 단계에서 제 1 추출부(331)는 내시경 장치(도 1b의 10)에 의해 촬영된 내시경 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다.
1003 단계에서 비내시경 영상 획득부(322)는 초음파 장치(도 1b의 20) 등과 같은 비내시경 장치를 이용하여 촬영된 비내시경 영상을 획득한다.
1004 단계에서 제 2 추출부(332)는 비내시경 장치에 의해 촬영된 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다.
여기서, 1001 단계와 1003 단계의 시작은 동시에 병렬적으로 진행되거나, 또는 어느 하나의 단계가 먼저 시작되어 진행될 수 있다. 즉, 1001 단계 및 1002 단계의 진행과 1003 단계 및 1004 단계의 진행은 서로 영향이 없이 독립적으로 진행될 수 있다.
1005 단계에서 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.
1006 단계에서 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다.
도 11은 본 발명의 일 실시예에 따른 제 1 표면 정보를 추출하는 과정의 흐름도이다.
1101 단계에서 제 1 추출부(331)는 장기 및 주변에 대한 외부 조직과 내시경 장치(도 1b의 10)와의 거리 정보를 획득한다.
1102 단계에서 제 1 추출부(331)는 획득된 거리 정보를 이용하여 내시경 영상에 대응되는 3차원의 제 1 표면 모델을 생성한다.
1103 단계에서 제 1 추출부(331)는 생성된 제 1 표면 모델로부터 제 1 표면 정보를 추출한다.
도 12는 본 발명의 일 실시예에 따른 제 2 표면 정보를 추출하는 과정의 흐름도이다.
1201 단계에서 제 2 추출부(332)는 비내시경 장치(도 1b의 20)에 의해 촬영된 영상으로부터 장기의 표면을 나타내는 경계선에 대한 정보를 획득한다.
1202 단계에서 제 2 추출부(332)는 획득된 경계선 정보을 이용하여 장기의 표면에 대응되는 3차원의 제 2 표면 모델을 생성한다.
1203 단계에서 제 2 추출부(332)는 생성된 제 2 표면 모델로부터 제 2 표면 정보를 추출한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 로봇 수술 시스템 11: 제 1 의료 영상 촬영 장치
21: 제 2 의료 영상 촬영 장치 30: 의료 영상 처리 장치
40: 수술용 로봇 50: 표시 장치
10: 내시경 장치 20: 초음파 장치
31: 검출부 32: 영상 획득부
33: 표면 정보 추출부 34: 영상 매핑부
35: 합성 영상 생성부 321: 내시경 영상 획득부
322: 비내시경 영상 획득부 331: 제 1 추출부
332: 제 2 추출부 341: 비교부
342: 위치 매핑부

Claims (26)

  1. 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 단계;
    상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 단계;
    상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 단계; 및
    상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 생성하는 단계를 포함하는 의료 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 추출하는 단계는 상기 획득된 의료 영상들 각각에서 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 정보를 상기 표면 정보로써 추출하는 방법.
  3. 제 1 항에 있어서,
    상기 매핑하는 단계는
    상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상 촬영 장치들 각각의 위치를 매칭시킴으로써 상기 의료 영상들을 매핑하는 방법.
  4. 제 1 항에 있어서,
    상기 의료 영상 촬영 장치들 각각의 위치를 검출하는 단계를 더 포함하고,
    상기 매핑하는 단계는
    상기 추출된 각각의 표면 정보들을 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 검출된 상기 의료 영상 장치들의 위치들을 매칭시키는 단계를 포함하고,
    상기 매핑하는 단계는 상기 매칭 결과에 기초하여 상기 의료 영상들을 매핑하는 방법.
  5. 제 4 항에 있어서,
    상기 비교하는 단계는
    상기 추출된 각각의 표면 정보들이 상기 소정 장기의 동일한 부위의 표면에 대해 어떻게 대응되는지를 비교하는 방법.
  6. 제 1 항에 있어서,
    상기 복수의 의료 영상 촬영 장치들은 내시경 장치와, 초음파 장치, 컴퓨터 단층촬영(computed tomography, CT) 장치, 자기공명영상 (magnetic resonance imaging, MRI) 장치 및 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나를 포함하는 비내시경(non-endoscopic) 장치를 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 생성된 합성 영상은
    상기 내시경 장치에 의해 촬영된 영상에 포함된 상기 소정 장기 및 주변에 대한 외부 조직의 영상과, 상기 비내시경 장치에 의해 촬영된 영상에 포함된 상기 소정 장기 및 상기 주변에 대한 내외부 조직의 영상이 3차원적으로 동시에 표현된 영상인 방법.
  8. 제 6 항에 있어서,
    상기 추출하는 단계는
    상기 내시경 장치에 의해 촬영된 내시경 영상으로부터 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출하는 단계; 및
    상기 비내시경 장치에 의해 촬영된 영상으로부터 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 제 1 표면 정보를 추출하는 단계는
    상기 소정 장기 및 주변에 대한 외부 조직과 상기 내시경 장치와의 거리 정보를 획득하는 단계; 및
    상기 획득된 거리 정보를 이용하여 상기 내시경 영상에 대응되는 3차원의 제 1 표면 모델을 생성하는 단계를 포함하고,
    상기 생성된 제 1 표면 모델로부터 상기 제 1 표면 정보를 추출하는 방법.
  10. 제 8 항에 있어서,
    상기 제 2 표면 정보를 추출하는 단계는
    상기 비내시경 장치에 의해 촬영된 영상으로부터 상기 소정 장기의 표면을 나타내는 경계선에 대한 정보를 획득하는 단계; 및
    상기 획득된 경계선 정보을 이용하여 상기 소정 장기의 표면에 대응되는 3차원의 제 2 표면 모델을 생성하는 단계를 포함하고,
    상기 생성된 제 2 표면 모델로부터 상기 제 2 표면 정보를 추출하는 방법.
  11. 제 10 항에 있어서,
    상기 경계선 정보를 획득하는 단계는
    상기 비내시경 장치에 의해 촬영된 영상에 대해 라인 검출(line detection) 및 에지 검출(edge detection) 중 적어도 하나를 적용함으로써 상기 경계선을 획득하는 방법.
  12. 제 1 항에 있어서,
    상기 소정 장기는 수술용 로봇에 의해 치료될 수술 부위 또는 상기 수술 부위 주변의 장기인 방법.
  13. 제 1 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 영상 획득부;
    상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 표면 정보 추출부;
    상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 영상 매핑부; 및
    상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 생성하는 합성 영상 생성부를 포함하는 의료 영상 처리 장치.
  15. 제 14 항에 있어서,
    상기 표면 정보 추출부는
    상기 획득된 의료 영상들 각각에서 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 정보를 상기 표면 정보로써 추출하는 장치.
  16. 제 14 항에 있어서,
    상기 영상 매핑부는
    상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상 촬영 장치들 각각의 위치를 매칭시킴으로써 상기 의료 영상들을 매핑하는 장치.
  17. 제 14 항에 있어서,
    상기 의료 영상 촬영 장치들 각각의 위치를 검출하는 검출부를 더 포함하고,
    상기 영상 매핑부는
    상기 추출된 각각의 표면 정보들을 비교하는 비교부; 및
    상기 비교 결과에 기초하여 상기 검출된 상기 의료 영상 장치들의 위치들을 매칭시키는 위치 매칭부를 포함하는 장치.
  18. 제 14 항에 있어서,
    상기 복수의 의료 영상 촬영 장치들은 내시경 장치와, 초음파 장치, 컴퓨터 단층촬영(computed tomography, CT) 장치, 자기공명영상 (magnetic resonance imaging, MRI) 장치 및 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나를 포함하는 비내시경(non-endoscopic) 장치를 포함하는 장치.
  19. 제 18 항에 있어서,
    상기 생성된 합성 영상은
    상기 내시경 장치에 의해 촬영된 영상에 포함된 상기 소정 장기 및 주변에 대한 외부 조직의 영상과, 상기 비내시경 장치에 의해 촬영된 영상에 포함된 상기 소정 장기 및 상기 주변에 대한 내외부 조직의 영상이 3차원적으로 동시에 표현된 영상인 장치.
  20. 제 18 항에 있어서,
    상기 표면 정보 추출부는
    상기 내시경 장치에 의해 촬영된 내시경 영상으로부터 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출하는 제 1 추출부; 및
    상기 비내시경 장치에 의해 촬영된 영상으로부터 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출하는 제 2 추출부를 포함하는 장치.
  21. 제 18 항에 있어서,
    상기 내시경 장치는 복강경(laparoscope) 장치이고, 상기 비내시경 장치가 상기 초음파 장치를 포함하는 경우 상기 초음파 장치는 직장 삽입형 초음파(TRUS, trans-rectal ultrasound) 장치인 장치.
  22. 제 14 항에 있어서,
    상기 소정 장기는 수술용 로봇에 의해 치료될 수술 부위 또는 상기 수술 부위 주변의 장기인 장치.
  23. 수술 부위에 대한 영상을 유도하여 수술용 로봇에 의한 로봇 수술을 수행하는 로봇 수술 시스템에 있어서,
    피검체 내 소정 장기에 대해 의료 영상을 촬영하는 내시경 장치;
    상기 소정 장기에 대해 의료 영상을 촬영하는, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상 (MRI) 장치 및 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나를 포함하는 비내시경 장치;
    상기 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 상기 의료 영상들을 획득하고, 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하고, 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하고, 상기 매핑 결과에 기초하여 상기 의료 영상들이 정합된 합성 영상을 생성하는 의료 영상 처리 장치;
    상기 생성된 합성 영상을 표시하는 표시 장치; 및
    사용자 입력에 따라 로봇 수술을 수행하는 수술용 로봇을 포함하는 시스템.
  24. 제 23 항에 있어서,
    상기 의료 영상 처리 장치는
    상기 획득된 의료 영상들 각각에서 상기 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 정보를 상기 표면 정보로써 추출하는 시스템.
  25. 제 23 항에 있어서,
    상기 의료 영상 처리 장치는
    상기 추출된 각각의 표면 정보들을 이용하여 상기 내시경 장치 및 비내시경 장치 각각의 위치를 매칭시킴으로써 상기 의료 영상들을 매핑하는 시스템.
  26. 제 23 항에 있어서,
    상기 소정 장기는 상기 수술용 로봇에 의해 치료될 수술 부위 또는 상기 수술 부위 주변의 장기인 시스템.
KR20110076993A 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 KR20130015146A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20110076993A KR20130015146A (ko) 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
JP2012167110A JP6395995B2 (ja) 2011-08-02 2012-07-27 医療映像処理方法及び装置
EP20120178673 EP2554137A3 (en) 2011-08-02 2012-07-31 Method and apparatus for processing medical image, and robotic surgery system using image guidance
US13/564,051 US20130035583A1 (en) 2011-08-02 2012-08-01 Method and apparatus for processing medical image, and robotic surgery system using image guidance
CN201210272789.7A CN102908158B (zh) 2011-08-02 2012-08-02 处理医学影像的方法和装置、及影像引导机器人手术系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20110076993A KR20130015146A (ko) 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템

Publications (1)

Publication Number Publication Date
KR20130015146A true KR20130015146A (ko) 2013-02-13

Family

ID=47002530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110076993A KR20130015146A (ko) 2011-08-02 2011-08-02 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템

Country Status (5)

Country Link
US (1) US20130035583A1 (ko)
EP (1) EP2554137A3 (ko)
JP (1) JP6395995B2 (ko)
KR (1) KR20130015146A (ko)
CN (1) CN102908158B (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105101A (ko) * 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20150000259A (ko) * 2013-06-24 2015-01-02 현대중공업 주식회사 인체 장기 3차원 영상 표시 시스템
KR20190079870A (ko) 2017-12-28 2019-07-08 서울대학교산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법
KR20190099999A (ko) * 2018-02-20 2019-08-28 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치
KR20200108124A (ko) 2019-03-06 2020-09-17 서울대학교산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
KR20210086789A (ko) * 2019-12-30 2021-07-09 서울대학교산학협력단 Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US11304771B2 (en) 2014-03-28 2022-04-19 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR102549662B1 (ko) * 2022-09-14 2023-06-30 주식회사 뉴로소나 초음파 뇌 조사를 위한 조사정보 표시방법

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
AU2014231341B2 (en) 2013-03-15 2019-06-06 Synaptive Medical Inc. System and method for dynamic validation, correction of registration for surgical navigation
US9600138B2 (en) 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CA2918879A1 (en) 2013-07-24 2015-01-29 Centre For Surgical Invention & Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
EP3094272B1 (en) 2014-01-15 2021-04-21 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
US9713649B2 (en) 2014-01-24 2017-07-25 The Cleveland Clinic Foundation PSMA-targeting imaging agents
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
KR20160138502A (ko) * 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
WO2015149043A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging and printing of surgical implants
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
EP3134022B1 (en) 2014-04-24 2018-01-10 KB Medical SA Surgical instrument holder for use with a robotic surgical system
WO2016008880A1 (en) 2014-07-14 2016-01-21 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
US9582916B2 (en) 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
KR102278893B1 (ko) * 2014-11-28 2021-07-19 삼성전자주식회사 의료영상처리장치 및 이를 이용한 의료영상정합방법
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US9595120B2 (en) 2015-04-27 2017-03-14 Siemens Healthcare Gmbh Method and system for medical image synthesis across image domain or modality using iterative sparse representation propagation
CN107924459B (zh) * 2015-06-24 2021-08-27 埃达技术股份有限公司 用于肾结石去除程序的交互式3d镜放置和测量的方法和系统
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
JP6894431B2 (ja) 2015-08-31 2021-06-30 ケービー メディカル エスアー ロボット外科用システム及び方法
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CN105306573B (zh) * 2015-11-03 2019-07-23 浙江格林蓝德信息技术有限公司 医学影像原始数据调度方法和医学影像传输系统
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518B1 (en) 2016-04-11 2024-10-23 Globus Medical, Inc Surgical tool systems
KR101767005B1 (ko) 2016-05-26 2017-08-09 성균관대학교산학협력단 표면정합을 이용한 영상정합방법 및 영상정합장치
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
WO2019088008A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
EP3492032B1 (en) 2017-11-09 2023-01-04 Globus Medical, Inc. Surgical robotic systems for bending surgical rods
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
US10482600B2 (en) 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
US20200015904A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
WO2020113565A1 (zh) * 2018-12-07 2020-06-11 深圳先进技术研究院 一种胰胆管的多模态成像系统
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12064189B2 (en) 2019-12-13 2024-08-20 Globus Medical, Inc. Navigated instrument for use in robotic guided surgery
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US12070276B2 (en) 2020-06-09 2024-08-27 Globus Medical Inc. Surgical object tracking in visible light via fiducial seeding and synthetic image registration
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US12076091B2 (en) 2020-10-27 2024-09-03 Globus Medical, Inc. Robotic navigational system
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
US20220218431A1 (en) 2021-01-08 2022-07-14 Globus Medical, Inc. System and method for ligament balancing with robotic assistance
KR102513394B1 (ko) * 2021-05-10 2023-03-23 주식회사 씨앤에이아이 Gan을 이용한 합성 내시경 이미지 생성 장치 및 방법
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
US12103480B2 (en) 2022-03-18 2024-10-01 Globus Medical Inc. Omni-wheel cable pusher
US12048493B2 (en) 2022-03-31 2024-07-30 Globus Medical, Inc. Camera tracking system identifying phantom markers during computer assisted surgery navigation

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP4054104B2 (ja) * 1998-04-10 2008-02-27 オリンパス株式会社 内視鏡画像処理装置
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
JP2002017729A (ja) * 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) * 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340544B4 (de) * 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
US20050085717A1 (en) * 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
KR20080051184A (ko) * 2005-09-22 2008-06-10 쓰리엠 이노베이티브 프로퍼티즈 컴파니 3차원 이미징에서의 아티팩트 완화
CN100498839C (zh) * 2006-03-08 2009-06-10 杭州电子科技大学 一种多模态医学体数据三维可视化方法
JP4745131B2 (ja) * 2006-05-29 2011-08-10 株式会社日立製作所 通信カード
EP2081494B1 (en) * 2006-11-16 2018-07-11 Vanderbilt University System and method of compensating for organ deformation
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8428690B2 (en) * 2007-05-16 2013-04-23 General Electric Company Intracardiac echocardiography image reconstruction in combination with position tracking system
US8052604B2 (en) * 2007-07-31 2011-11-08 Mirabilis Medica Inc. Methods and apparatus for engagement and coupling of an intracavitory imaging and high intensity focused ultrasound probe
US8320711B2 (en) * 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
JP2010088699A (ja) * 2008-10-09 2010-04-22 National Center For Child Health & Development 医療画像処理システム
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
CN101567051B (zh) * 2009-06-03 2012-08-22 复旦大学 一种基于特征点的图像配准方法
WO2011063266A2 (en) * 2009-11-19 2011-05-26 The Johns Hopkins University Low-cost image-guided navigation and intervention systems using cooperative sets of local sensors
JP2013530028A (ja) * 2010-05-04 2013-07-25 パスファインダー セラピューティクス，インコーポレイテッド 擬似特徴を使用する腹部表面マッチングのためのシステムおよび方法
US20130170726A1 (en) * 2010-09-24 2013-07-04 The Research Foundation Of State University Of New York Registration of scanned objects obtained from different orientations
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
JP6059261B2 (ja) * 2012-03-08 2017-01-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140105101A (ko) * 2013-02-21 2014-09-01 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
KR20150000259A (ko) * 2013-06-24 2015-01-02 현대중공업 주식회사 인체 장기 3차원 영상 표시 시스템
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US11304771B2 (en) 2014-03-28 2022-04-19 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR20190079870A (ko) 2017-12-28 2019-07-08 서울대학교산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법
KR20190099999A (ko) * 2018-02-20 2019-08-28 (주)휴톰 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
WO2019164271A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 가상신체모델 생성 방법 및 장치
KR20200108124A (ko) 2019-03-06 2020-09-17 서울대학교산학협력단 최소 침습 수술을 위한 수술로봇 시스템 및 상기 수술로봇 시스템의 구동방법
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
KR20210086789A (ko) * 2019-12-30 2021-07-09 서울대학교산학협력단 Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법
KR102549662B1 (ko) * 2022-09-14 2023-06-30 주식회사 뉴로소나 초음파 뇌 조사를 위한 조사정보 표시방법
WO2024058497A1 (ko) * 2022-09-14 2024-03-21 주식회사 뉴로소나 초음파 뇌 치료를 위한 치료정보 표시방법

Also Published As

Publication number Publication date
EP2554137A3 (en) 2015-04-29
EP2554137A2 (en) 2013-02-06
JP6395995B2 (ja) 2018-09-26
US20130035583A1 (en) 2013-02-07
CN102908158B (zh) 2016-06-01
JP2013031660A (ja) 2013-02-14
CN102908158A (zh) 2013-02-06

Similar Documents

Publication Publication Date Title
JP6395995B2 (ja) 医療映像処理方法及び装置
US11883118B2 (en) Using augmented reality in surgical navigation
US20220192611A1 (en) Medical device approaches
US9498132B2 (en) Visualization of anatomical data by augmented reality
JP6404713B2 (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
US20110105895A1 (en) Guided surgery
JP6972163B2 (ja) 奥行き知覚を高める仮想陰影
CN103025227B (zh) 图像处理设备、方法
CN108140242A (zh) 视频摄像机与医学成像的配准
WO2005092198A1 (en) System for guiding a medical instrument in a patient body
JPH11104072A (ja) 医療支援システム
KR101993384B1 (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
US20220117674A1 (en) Automatic segmentation and registration system and method
CN115375595A (zh) 图像融合方法、装置、系统、计算机设备和存储介质
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
EP3788981B1 (en) Systems for providing surgical guidance
CN111658141B (zh) 一种胃切除术端口位置导航系统、装置及存储介质
De Paolis et al. An augmented reality application for the enhancement of surgical decisions
EP4431042A1 (en) Medical support device, and operation method and operation program of medical support device
CN117355257A (zh) 荧光镜扫描视频的体积过滤器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003429; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180817

Effective date: 20190930

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)