KR102509659B1

KR102509659B1 - 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법

Info

Publication number: KR102509659B1
Application number: KR1020190003537A
Authority: KR
Inventors: 김항기; 김기홍; 이기석
Original assignee: 한국전자통신연구원
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2023-03-15
Also published as: KR20200092489A; US20200226827A1

Abstract

딥러닝을 이용한 골격 모델 생성 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 딥러닝을 이용한 골격 모델 생성 방법은 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치의 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법에 있어서, 학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하는 단계; 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하는 단계; 상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합하여 3차원 전신 골격 모델을 생성하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법 {APPARATUS AND METHOD FOR GENERATING 3-DIMENSIONAL FULL BODY SKELETON MODEL USING DEEP LEARNING}

본 발명은 딥러닝 기술 및 3D 모델 구축 기술에 관한 것으로, 보다 상세하게는 딥러닝을 이용하여 골격 모델을 생성하는 기술에 관한 것이다.

사용자의 전신 골격을 3D 모델로 구축하면 골격의 형태를 분석하여 질환을 분석하는 데에 있어서 국소부위의 단순 2D 영상을 보고 진단하는 것보다 정확성을 높일 수 있다. 또한, 사용자의 전신 골격 3D 모델 분석은 질환 치료 시 사전 치료 계획을 세우는 데에 있어서 정확성을 높일 수 있으며, 해당 골격 모델의 물리적 시뮬레이션을 통하여 향후 질환 가능성에 대한 예측의 정확성을 높이는 데에도 도움이 된다.

의료 장비를 이용하여 신체의 전신 골격 3D 모델을 구성하는 방법에는 여러 가지가 있다. CT/MRI 장비, X-Ray 장비, 의형 스캔장비, 체성분측정장비(InBody 장비등) 등의 장비가 그 예이다.

그 중 가장 정확하고, 믿을만 하다고 할 수 있는 방식은 CT/MRI(Computed Tomography/Magnetic Resonance Imaging) 를 통하여 획득한 데이터를 기반으로 3D 골격 모델을 구성하는 방법이라고 할 수 있다. 하지만, 해당 기술은 다른 장비에 비해서 상대적으로 획득 비용이 높으며, 촬영 장비 준비, 촬영 시간 등에 대한 소요량이 크다. CT의 경우 방사선 피폭량이 많아서, 질환 진단에 필요한 부위만 국소적으로 촬영하는 경우가 많고, 전신을 촬영하는 경우는 많지 않다. 또한 MRI의 경우 장기 부위는 잘 추출되나 골격 부위는 상대적으로 정확성이 떨어지는 데이터를 만들어 낸다.

외형 스캔 장비를 이용하는 경우 상대적으로 가격이 저렴하고, 방사능 노출의 문제가 없으며, 촬영 시간 등이 짧은 반면에 정확한 신체 측정을 위해 몸에 붙는 의복 착용을 해야하는 제한이 있으며, 이렇게 하더라도 외형 3D 데이터는 구축할 수 있으나 내부의 뼈를 기반으로 하는 3D 골격 모델을 구축하기에는 제한 사항이 있어 정확도가 많이 떨어지게 된다. 외형을 기반으로 내부의 골격을 통계적 방식으로 추정하는 방식도 사용할 수 있으나, 이러한 방식 역시 추정에 따른 오류를 피할 수 없다.

가장 단순한 방식으로 체성분을 분석하여 내부 3D 골격 구조를 추정하는 방식이 있으나, 이는 외형 스캔 장비를 이용한 골격 추정보다 정확도가 더 낮아지므로 활용도가 떨어진다.

이와 같은 문제로 인하여 기존에 활용하는 CT/MRI등을 이용할 경우 전신 3D 모델 구축을 활용하기에는 많은 어려움이 따른다. 만약 사용자의 3D 모델 변화 추이를 관찰하기 위하여 주기적으로 촬영, 3D 모델링할 경우 위에서 설명한 방사능, 비용 등의 문제가 더욱 높아지게 되어 활용도가 떨어진다.

한편, 한국등록특허 제 10-1921988호“환자의 3차원 골격 모델을 생성하는 방법”는 환자의 특정 부위에 해당하는 각각의 골격 데이터를 분석하고 통계 모델을 참조하여 환자의 3차원 골격 모델을 생성하는 방법에 관하여 개시하고 있다.

본 발명은 3차원 전신 골격 모델을 구축하기 위한 비용을 절약하고, 골격 추정의 정확도를 높이는 것을 목적으로 한다.

또한, 본 발명은 3차원 전신 골격 모델을 이용한 질병 진단의 정확성을 높이고, 질환 치료에 대하여 사전 치료 계획을 세우는데 정확도를 높이는 것을 목적으로 한다.

또한, 본 발명은 3차원 전신 골격 모델의 물리적 시뮬레이션을 통해 향후 질환 가능성을 예측 정확도를 높이는 것을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치는 하나 이상의 프로세서; 메모리 및 하나 이상의 프로그램을 포함하고, 상기 하나 이상의 프로그램은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서에 의해 실행되고, 상기 하나 이상의 프로세서는 상기 하나 이상의 프로그램을 실행하여, 학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하고, 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하고, 상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합하여 3차원 전신 골격 모델을 생성할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하여, 기설정된 영역내의 집합을 상기 특징점으로 학습할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 상기 하나 이상의 프로세서는 통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시킬 수 있다.

이 때, 상기 사용자의 2차원 X-Ray 이미지는 상기 사용자의 신체 부위들 중 기정의된 신체 부위를 적어도 하나 이상의 방향 및 자세로 X-ray를 통해 촬영된 것일 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델을 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성할 수 있다.

이 때, 상기 하나 이상의 프로세서는 상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법은 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치의 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법에 있어서, 학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하는 단계; 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하는 단계 및상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합하여 3차원 전신 골격 모델을 생성하는 단계를 포함한다.

이 때, 상기 학습용 데이터를 생성하는 단계는 상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 상기 학습용 데이터를 생성하는 단계는 상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하여, 기설정된 영역내의 집합을 상기 특징점으로 학습할 수 있다.

이 때, 상기 학습용 데이터를 생성하는 단계는 상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 상기 학습용 데이터를 생성하는 단계는 통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시킬 수 있다.

이 때, 상기 분석하는 단계는 상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성할 수 있다.

이 때, 상기 정합하는 단계는 상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산할 수 있다.

이 때, 상기 정합하는 단계는 상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델을 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성할 수 있다.

이 때, 상기 정합하는 단계는 상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산할 수 있다.

본 발명은 3차원 전신 골격 모델을 구축하기 위한 비용을 절약하고, 골격 추정의 정확도를 높일 수 있다.

또한, 본 발명은 3차원 전신 골격 모델을 이용한 질병 진단의 정확성을 높이고, 질환 치료에 대하여 사전 치료 계획을 세우는데 정확도를 높일 수 있다.

또한, 본 발명은 3차원 전신 골격 모델의 물리적 시뮬레이션을 통해 향후 질환 가능성을 예측 정확도를 높일 수 있다.

도 1은 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 학습용 데이터 생성부의 일 예를 세부적으로 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 학습용 데이터 생성에 필요한 데이터를 나타낸 도면이다.
도 4는 도 1에 도시된 전신 골격 모델 생성부의 일 예를 세부적으로 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법을 나타낸 동작흐름도이다.
도 6은 도 5에 도시된 학습용 데이터 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 7은 도 5에 도시된 전신 골격 모델 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법은 X-Ray 장비에서 획득한 데이터를 이용하여 3차원 전신 골격 모델을 생성할 수 있다. X-Ray 데이터는 CT/MRI보다 정확도는 떨어지지만 상대적으로 작은 획득 비용이 들고, CT보다 방사능에 노출되는 양이 작으며, MRI보다 골격을 추출하는 데에 유리한 점이 있다. 외형스캐너의 단순 골격 추정이 아닌 몇장으로 된 골격 X-Ray 영상을 이용하여 추정함으로써 단순 추정보다 정확도를 높일 수 있다.

본 발명은 X-Ray 데이터를 이용하여 3D 골격의 국소 부위 모델(골반, 척추, 대퇴골, 종아리, 흉곽 등)을 생성할 수 있고, 국소 부위 모델을 이용하여 전신 골격 모델 생성할 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치를 나타낸 블록도이다. 도 2는 도 1에 도시된 학습용 데이터 생성부의 일 예를 세부적으로 나타낸 블록도이다. 도 3은 본 발명의 일실시예에 따른 학습용 데이터 생성에 필요한 데이터를 나타낸 도면이다. 도 4는 도 1에 도시된 전신 골격 모델 생성부의 일 예를 세부적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치는 학습용 데이터 생성부(110), 국소 부위 골격 모델 정합부(120) 및 전신 골격 모델 생성부(130)를 포함한다.

학습용 데이터 생성부(110)는 학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성할 수 있다.

이 때, 학습용 데이터 생성부(110)는 상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 학습용 데이터 생성부(110)는 상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하여, 기설정된 영역내의 집합을 상기 특징점으로 학습할 수 있다.

예를 들어, 학습용 데이터 생성부(110)는 이미지를 인식하고, 인식된 객체의 영역을 표현하기 위한 Bounding Box 처리하는 기술(예: Yolo, RetinaNet, SSD 등)을 이용하여 특징점 및 외곽선을 추출할 수 있다.

이 때, 학습용 데이터 생성부(110)는 특징점 위치를 학습하기 위한 주위 영역을 포함하는 Bounding Box를 지정하고, 지정된 집합을 학습 데이터로 간주하고 학습을 수행할 수 있다. 특징점은 Point형태로 주어지므로, 해당 Bounding Box의 Center가 특징점으로 설정될 수도 있고, 4개의 모서리가 특징점으로 설정될 수도 있다.

이 때, 학습용 데이터 생성부(110)는 여러 개의 Bounding Box를 지정해 두고, 그 Bounding Box의 조합을 통하여 (예를 들어, 인접한 4개의 Bounding Box를 특징점 위치가 4개의 Box 가 인접한 모서리를 가리키게 한 후 4개를 별개로 학습할 수도 있다. 인식할 때는 4개의 인식된 Box의 4 모서리의 평균값을 특징점으로 간주할 수 있다.)

이 때, 학습용 데이터 생성부(110)는 최근 딥러닝의 Segmentation 기술 (예: Mask RCNN, Semantic Segmentation, DeepLab, Polygon-RNN 등)을 이용하여 Boundary 추출을 수행할 수 있다.

이 때, 학습용 데이터 생성부(110)는 인식하기 위한 영역을 Boundary로 지정하고, 이들의 집합을 학습 데이터로 간주하고 학습시킬 수 있다. 이 때 Boundary는 계층적 구조를 두어 학습될 수도 있다. (예를 들어, 대퇴골의 경우, 대퇴골 전체를 하나의 Boundary로 인식한 후, Femoral Head영역을 Sub-Boundary영역으로 인식하는 방식으로 학습하여 인식 범위를 단계적으로 축소 가능하다.)

이 때, 학습용 데이터 생성부(110)는 2D X-Ray 데이터 집합을 구축할 수 있다.

이 때, 학습용 데이터 생성부(110)는 학습용 데이터(X-Ray영상, Annotation 표시 등) 집합을 이용해서 학습을 하고, 학습된 결과로 학습용 데이터(Weight 등)를 생성할 수 있된다.

먼저 2D 데이터 집합은 기본적으로 전신 Bi-Planar X-Ray영상(예: EOS imaging 등)이 첫번째 후보가 될 수 있다. 해당 데이터는 전신을 촬영하며, 정면과 측면의 수직 방향으로 미리 정렬된 영상 데이터를 획득하므로 전신 3D 모델을 구축하기 위한 정보 및 분석이 쉬워진다. 하지만 이러한 장비를 구축하는 데에는 필요한 공간, 비용이 높아 일반 병원에서는 구비하기 힘들다. 따라서 해당 데이터를 이용하여 획득한 영상 역시 많지 않으며, 또한 공개된 데이터도 부족하다. 따라서 일반적으로 질환 진단을 위하여 정면(PA, AP) 혹은 측면(Lateral) 등 다양한 방향으로 흉부, 무릎, 골반 등 다양한 부위를 편 자세, 굽힌 자세 등 다양한 자세로 촬영한 X-Ray 데이터를 많이 사용한다.

본 발명에서는 이러한 다양한 종류의 데이터를 함께 학습용 데이터로 활용하며, 각 부위별로 학습에 사용될 특징점의 종류, 위치 혹은 외곽선(Boundary)의 형태를 미리 정의해 두고 각 개별 학습용 X-Ray 영상에서 해당 부위가 나타나면 미리 정의된 내용에 따라서 표시될 수 있다. (이 때, 표시는 처음부터 미리 해 두는 방법도 가능하지만, 수고를 덜기 위하여 미리 학습된 데이터(Weight 등)를 이용하여 해당 개별 학습 데이터(X-Ray영상 등)의 특징점 혹은 Boundary를 자동 추출하고, 오차가 있는 부분을 조정하는 방식의 반자동 형태로 표시 작업이 가능하다.)

이 때, 학습용 데이터 생성부(110)는 X-Ray 영상에 특징점 혹은 Boundary영역을 지정하여 학습용 데이터로 만드는 작업은 의학적 지식이 필요하여 일반인들이 임의로 지정할 경우 많은 오류를 수반할 수 있으므로 전문가에 의해 생성된 참고 데이터가 필요할 수도 있다.

본 발명에서는 이들 데이터를 학습용 후보로 가져올 수 있다. 다만 원하는 형태의 특징점 혹은 Boundary 표시가 되어 있지 않은 경우가 많으므로 추가적인 작업이 필요할 수 있다. 이렇게 공개된 자료를 활용하거나 사용자의 동의를 얻어 사용자의 X-Ray데이터를 학습용으로 사용할 수도 있으나 개인 정보를 침해하지 않는 조건 하에 엄격하게 자료를 관리해야 한다.

이 때, 학습용 데이터 생성부(110)는 상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성할 수 있다.

도 3을 참조하면, 본 발명에서는 이러한 학습용 2D X-Ray 데이터 부족현상을 극복하기 위하여 디지털 재구성된 방사선 이미지에 상응하는 DRR(Digitally Reconstructed Radiograph) 데이터를 추가로 활용할 수 있다.

이 때, 학습용 데이터 생성부(110)는 딥러닝 학습을 위한 원본 데이터의 수가 부족할 경우, 그와 성격이 유사한 데이터를 함께 학습 데이터로 활용하여 성능을 개선할 수 있다. DRR이 그러한 유사 데이터로 간주한다.

이 때, 학습용 데이터 생성부(110)는 DRR에 상응하는 CT/MRI데이터 혹은 3D 메쉬 모델을 기반으로 유사 X-Ray 영상을 생성할 수 있다.

이 때, 학습용 데이터 생성부(110)는 CT/MRI 데이터에서 바로 DRR 데이터를 생성할 수도 있고, CT/MRI에서 3D 모델을 도출 후 그 모델을 통해서 DRR 영상을 생성할 수도 있다.

이 때, 학습용 데이터 생성부(110)는 DRR 생성 시 다양한 카메라 방향을 이용하여 생성하며, 3D 모델의 경우 뒤에 설명할 통계적 형상모델(Statistical Shape Model, SSM)을 이용하여 파라메터 변형을 통해 다양한 변형을 주고 DRR을 생성할 수 있다. CT/MRI, 3D 메쉬 모델은 반드시 전신 데이터일 필요는 없다. 국소 부위의 CT/MRI, 3D 메쉬 모델의 경우에도 이 때, 학습용 데이터 생성부(110)는 국소 부위 X-Ray 데이터를 DRR로 생성할 수 있으며, 이를 학습용 데이터로 활용할 수 있다.

또한, 학습용 데이터 생성부(110)는 통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시킬 수 있다.

이 때, 학습용 데이터 생성부(110)는 학습용 2D X-Ray 데이터를 이용해서 학습용 데이터(Weight 등) 뿐 아니라 3D 골격 모델의 생성을 위한 통계적 형상 모델(Statistical Shape Model, SSM)의 구축이 필요할 수 있다.

이 때, 학습용 데이터 생성부(110)는 골격의 통계적 형상 모델은 골격 3D 데이터를 기반으로 통계적 분석을 수행하고, 분석 결과로 도출된 평균 형상 3D 모델에 대해 PCA 파라미터 조절을 통하여 변형함으로써 다양한 사용자의 골격 데이터 형상을 표현할 수 있다.

이 때, 학습용 데이터 생성부(110)는 이러한 통계적 형상 모델을 위해서는 통계 분석을 위한 다양한 형태의 부위별 3D 골격 모델 데이터를 생성할 수 있다.

이 때, 학습용 데이터 생성부(110)는 전신 CT/MRI데이터를 통하여 3D 모델 집합을 구축할 수 있다.

이 때, 학습용 데이터 생성부(110)는 사용자의 신체 부위의 각 부위별(예: 대퇴골, 골반, 척추 등)로 통계적 형상 모델을 생성할 수 있다.

이 때, 학습용 데이터 생성부(110)는 최소한 한 개 이상의 전신 골격 3D 모델은 필요할 수 있다.

이 때, 학습용 데이터 생성부(110)는 차후 사용자 3D 골격 모델을 구축할 때, 사용자의 전신 X-Ray가 없어서 국소부위만 구축하게 되면 미리 구축된 전신 골격 3D 모델(2개 이상일 경우 해당 골격 모델의 통계적 형상 모델 SSM을 구축해 둔다.)을 이용할 수도 있다.

도 2를 참조하면, 학습용 데이터 생성부(110)는 특징점 설정부(111), 특징점 학습부(112) 및 데이터 학습부(113)를 포함할 수 있다.

특징점 설정부(111)는 상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하고, 특징점 학습부(112)가 기설정된 영역내의 집합을 상기 특징점으로 학습할 수 있다.

이 때, 특징점 설정부(111)는 상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 특징점 학습부(112)가 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하고, 데이터 학습부(113)가 상기 학습용 데이터를 생성할 수 있다.

데이터 학습부(113)는 상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 데이터 학습부(113)는 통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시킬 수 있다.

학습용 데이터는 2차원 X-Ray 이미지에서 각 부위를 인식하고 Segementation을 위해 Deep Learning을 통해 학습된 데이터, 이를 학습하기 위한 2D 데이터 집합, 3D 골격 모델의 통계적 모델 분석을 통한 통계적 형상 모델(Statistical Shape Model) 데이터 및 해당 분석을 위한 3D 데이터 집합 등을 포함할 수 있다.

또한, 학습용 데이터 생성부(110)는 사용자의 X-Ray 영상을 이용하여 3D 골격 모델을 구축할 때 딥러닝을 통해 원하는 골격 부위의 특징점(특징점의 예: 대퇴골의 경우 Greater Trochanter, Lesser Trochanter, Condyle, Inner Condyle의 모서리 부분, Femoral Head의 중앙점 등이 될 수 있다)을 추출하거나, 형상의 Boundary (Boundary의 예: 대퇴골 전체 외곽선 등)를 추출하기 위해 Segementation 을 수행할 수 있고, 학습된 데이터(딥러닝 Weight 등)를 미리 계산해 둘 수 있다.

국소 부위 골격 모델 정합부(120)는 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하고, 상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 사용자의 X-Ray 영상으로부터 특징점 혹은 외곽선(Boundary)을 추출할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 미리 학습된 데이터(Weight 등)을 이용하여 딥러닝 기술을 통해 계산할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 X-Ray 영상이 전신 데이터가 아닐 경우에는 해당 데이터에서 계산할 수 있는 국소 부위의 특징점 및 Boundary만 도출하고, 그 영상이 어느 부위에 어떤 자세로 취득되었는지 계산할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 사용자의 X-ray 이미지를 촬영한장비가 미리 계산된 수직의 Bi-Planar X-Ray장비가 아닌 경우, X-Ray 영상이 두 개 이상이고, 같은 부위를 다른 방향으로 찍은 데이터가 있으면 특징점 혹은 Boundary를 도출한 후 서로 다른 두 개 이상의 X-Ray 영상에서 같은 특징점(예를 들어 왼쪽 다리의 Greater Trochanter) 집합이 도출되면 각 대응점을 이용하여 X-Ray의 상대적 촬영 위치, 방향을 도출할 수 있다(OpenCV의 solvePnP 등의 방법을 활용).

이 때, 국소 부위 골격 모델 정합부(120)는 이렇게 카메라(X-Ray를 촬영하는 장비)의 상대적 위치, 방향이 도출되면 해당 대응쌍의 특징점(혹은 Boundary)의 3D 위치가 도출되고, 더 나아가서 나머지 나머지 공통점이 아닌 특징점들에 대해서도 하나의 좌표계로 표현할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 나머지 점들은 3D 좌표계로 표현되지 않으므로 2D 좌표계를 표현하는 평면을 해당 장비의 상대 위치, 방향에 따라 변환값을 적용한 2D 좌표값을 이용할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산할 수 있다.

예를 들어, 국소 부위 골격 모델 정합부(120)는 추출된 각 부위별 특징점 혹은 Boundary와 가장 일치하는 최적의 통계적 형상 모델(SSM)의 파라미터를 계산할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 최적화에 필요한 Parameter로 SSM모델의 이동(Translation), 회전(Rotation), 크기(Scale) 변환값과 함께 SSM에서 사용하는 PCA 파라미터 (모든 Parameter를 사용하는 것이 아니라 10~수십개로 제한한다. 해당 개수가 많을 수록 다양한 변형에 대응할 수 있으나, 최적값을 도출하는 데에 더 많은 시간이 소요된다.) 집합을 사용할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 파라미터 최적화하는 방법으로 최소자승법(Least Square Method) 혹은 가우스-뉴턴(Gauss-Newton) 혹은 Levenberg-Marquardt 최적화 기법 등 파라미터 최적화가 가능한 다양한 방법을 사용할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 해당 최적화를 수행할 때 Cost값을 계산하는 것이 필요한데, 특징점을 이용한 최적화는 X-Ray영상에서 도출된 특징점과, SSM 모델의 파라미터 변형을 통해서 도출된 형상 모델을 2D 좌표계로 투영(Projection)한 정사영에서 도출된 대응 특징점의 위치 차이를 이용할 수 있다.

이 때, 국소 부위 골격 모델 정합부(120)는 Boundary를 이용할 경우에도 X-Ray영상에서 도출된 Boundary와 SSM 모델의 파라미터 변형을 통해 도출된 형상 모델을 2D 좌표계로 투영한 정사영의 외곽선을 상호 비교하여 차이점을 Cost값으로 계산한다. 해당 차이값을 줄어들도록 파라미터 최적화를 수행할 수 있다.

전신 골격 모델 생성부(130)는 3차원 국소 부위 골격 모델을 정합한 결과를 변형시켜 3차원 전신 골격 모델을 생성할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델을 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산할 수 있다.

예를 들어, 전신 골격 모델 생성부(130)는 초기 전신 X-Ray영상을 통해서 도출된 3D 골격 모델이 아닐 경우 각 촬영 부위별 X-Ray 영상을 통한 국소부위 3D 골격모델만 도출된다. 이럴 경우 사용자의 키, 몸무게를 구하고 외형 스캔장비를 이용하여 외형 데이터 및 관절의 길이를 계산할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 외형 스캔 데이터를 이용하여 관절의 길이를 도출하할 수 있다(예: Kinect, Open Pose 등).

이 때, 전신 골격 모델 생성부(130)는 이러한 정보를 바탕으로 미리 구축된 전신 모델을 변형하여 사용자의 특징에 맞는 모델을 계산할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 해당 변형도 상기 파라미터 계산할 때와 유사하게 이동(Translation), 회전(Rotation), 크기(Scale) 변환값과 함께 전신 3D 모델의 SSM에서 사용하는 PCA 파라미터, 키 등 추가 파라미터의 최적화를 통해서 이루어질 수 있다.

이 때, 전신 골격 모델 생성부(130)는 미리 구축된 국소부위의 3D 모델을 해당 부위에 배치한 후, 해당 국소 부위 모델이 가장 자연스럽게 연결될 수 있도록 변형 Parameter를 계산할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 Parameter로 도출된 전신 3D 모델의 변형된 신체 부위와 해당 국소 부위의 신체 3D 모델의 형상 사이의 차이값을 최적화 계산을 위한 Cost 값을 계산할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 최적의 전신 SSM 모델을 찾으면 해당 전신 모델에 각 부위별 3D 골격 모델을 배치시킨 후 기존 전신모델의 해당 부위를 없애고, 교체할 수 있다.

이 때, 전신 골격 모델 생성부(130)는 이렇게 교체된 부위가 자연스럽게 연결되지 않을 경우 연결 부위의 각 Vertex별 차이를 Blending 및 Interpolation함으로써 부드럽게 연결 시킬 수 있다.

이 때, 전신 골격 모델 생성부(130)는 키, 몸무게, 외형 스캔 데이터중 일부 혹은 전부가 부족할 경우에는 해당 정보 없이 국소부위 3D 모델에 맞는 평균 전신 3D 모델의 최적 변형 Parameter를 계산할 수도 있다.

도 4를 참조하면, 전신 골격 모델 생성부(130)는 모델 배치부(131), 파라미터 생성부(132) 및 정합 부위 블렌딩부(133)를 포함할 수 있다.

모델 배치부(131)는 상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델을 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성할 수 있다.

파라미터 생성부(132)는 상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산할 수 있다.

정합 부위 블렌딩부(133)는 3차원 국소 부위 모델의 연결 부위가 자연스럽게 연결되지 않을 경우 연결 부위의 각 Vertex별 차이를 Blending 및 Interpolation함으로써 부드럽게 연결 시킬 수 있다.

도 5는 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법을 나타낸 동작흐름도이다. 도 6은 도 5에 도시된 학습용 데이터 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다. 도 7은 도 5에 도시된 전신 골격 모델 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법은 먼저 학습용 데이터를 생성할 수 있다(S210).

즉, 단계(S210)는 상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하고, 기설정된 영역내의 집합을 상기 특징점으로 학습할 수 있다.

도 6을 참조하면, 단계(S210)는 먼저 상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고(S211), 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하고(S212), 상기 학습용 데이터를 생성할 수 있다(S213).

이 때, 단계(S213)는 상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성할 수 있다.

이 때, 단계(S213)는 통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시킬 수 있다.

또한, 단계(S210)는 사용자의 X-Ray 영상을 이용하여 3D 골격 모델을 구축할 때 딥러닝을 통해 원하는 골격 부위의 특징점(특징점의 예: 대퇴골의 경우 Greater Trochanter, Lesser Trochanter, Condyle, Inner Condyle의 모서리 부분, Femoral Head의 중앙점 등이 될 수 있다)을 추출하거나, 형상의 Boundary (Boundary의 예: 대퇴골 전체 외곽선 등)를 추출하기 위해 Segementation 을 수행할 수 있고, 학습된 데이터(딥러닝 Weight 등)를 미리 계산해 둘 수 있다.

또한, 단계(S220)는 2D 의료영상 및 3D 골격 모델 전처리 데이터를 생성할 수 있다.

단계(S220)는 사용자의 X-Ray 영상을 이용하여 3D 골격 모델을 구축할 때 딥러닝을 통해 원하는 골격 부위의 특징점(특징점의 예: 대퇴골의 경우 Greater Trochanter, Lesser Trochanter, Condyle, Inner Condyle의 모서리 부분, Femoral Head의 중앙점 등이 될 수 있다)을 추출하거나, 형상의 Boundary (Boundary의 예: 대퇴골 전체 외곽선 등)를 추출하기 위해 Segementation 할 수 있고, 이를 위해 학습된 데이터(딥러닝 Weight 등)를 미리 계산해 둘 수 있다.

또한, 단계(S230)는 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하고, 단계(S240)는 상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합할 수 있다.

이 때, 단계(S230)는 상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성할 수 있다.

이 때, 단계(S230)는 사용자의 X-Ray 영상으로부터 특징점 혹은 외곽선(Boundary)을 추출할 수 있다.

이 때, 단계(S230)는 미리 학습된 데이터(Weight 등)을 이용하여 딥러닝 기술을 통해 계산할 수 있다.

이 때, 단계(S230)는 X-Ray 영상이 전신 데이터가 아닐 경우에는 해당 데이터에서 계산할 수 있는 국소 부위의 특징점 및 Boundary만 도출하고, 그 영상이 어느 부위에 어떤 자세로 취득되었는지 계산할 수 있다.

이 때, 단계(S230)는 사용자의 X-ray 이미지를 촬영한장비가 미리 계산된 수직의 Bi-Planar X-Ray장비가 아닌 경우, X-Ray 영상이 두 개 이상이고, 같은 부위를 다른 방향으로 찍은 데이터가 있으면 특징점 혹은 Boundary를 도출한 후 서로 다른 두 개 이상의 X-Ray 영상에서 같은 특징점(예를 들어 왼쪽 다리의 Greater Trochanter) 집합이 도출되면 각 대응점을 이용하여 X-Ray의 상대적 촬영 위치, 방향을 도출할 수 있다(OpenCV의 solvePnP 등의 방법을 활용).

이 때, 단계(S230)는 이렇게 카메라(X-Ray를 촬영하는 장비)의 상대적 위치, 방향이 도출되면 해당 대응쌍의 특징점(혹은 Boundary)의 3D 위치가 도출되고, 더 나아가서 나머지 나머지 공통점이 아닌 특징점들에 대해서도 하나의 좌표계로 표현할 수 있다.

이 때, 단계(S230)는 나머지 점들은 3D 좌표계로 표현되지 않으므로 2D 좌표계를 표현하는 평면을 해당 장비의 상대 위치, 방향에 따라 변환값을 적용한 2D 좌표값을 이용할 수 있다.

이 때, 단계(S230)는 상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산할 수 있다.

예를 들어, 단계(S230)는 추출된 각 부위별 특징점 혹은 Boundary와 가장 일치하는 최적의 통계적 형상 모델(SSM)의 파라미터를 계산할 수 있다.

이 때, 단계(S230)는 최적화에 필요한 Parameter로 SSM모델의 이동(Translation), 회전(Rotation), 크기(Scale) 변환값과 함께 SSM에서 사용하는 PCA 파라미터 (모든 Parameter를 사용하는 것이 아니라 10~수십개로 제한한다. 해당 개수가 많을 수록 다양한 변형에 대응할 수 있으나, 최적값을 도출하는 데에 더 많은 시간이 소요된다.) 집합을 사용할 수 있다.

이 때, 단계(S230)는 파라미터 최적화하는 방법으로 최소자승법(Least Square Method) 혹은 가우스-뉴턴(Gauss-Newton) 혹은 Levenberg-Marquardt 최적화 기법 등 파라미터 최적화가 가능한 다양한 방법을 사용할 수 있다.

이 때, 단계(S230)는 해당 최적화를 수행할 때 Cost값을 계산하는 것이 필요한데, 특징점을 이용한 최적화는 X-Ray영상에서 도출된 특징점과, SSM 모델의 파라미터 변형을 통해서 도출된 형상 모델을 2D 좌표계로 투영(Projection)한 정사영에서 도출된 대응 특징점의 위치 차이를 이용할 수 있다.

이 때, 단계(S230)는 Boundary를 이용할 경우에도 X-Ray영상에서 도출된 Boundary와 SSM 모델의 파라미터 변형을 통해 도출된 형상 모델을 2D 좌표계로 투영한 정사영의 외곽선을 상호 비교하여 차이점을 Cost값으로 계산한다. 해당 차이값을 줄어들도록 파라미터 최적화를 수행할 수 있다.

또한, 단계(S240)는 사용자의 X-ray 이미지를 분석한 결과를 이용하여 생성된 3차원 국소 부위 모델을 정합할 수 있다.

또한, 단계(S250)는 3차원 국소 부위 골격 모델을 정합한 결과를 이용하여 전신 골격 모델을 생성할 수 있다.

도 7을 참조하면, 단계(S250)는 상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고(S251), 파라미터를 생성하여(S252), 상기 통계적 형상 모델을 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시키고 정합부위를 블랜딩하여(S253) 상기 3차원 전신 골격 모델을 생성할 수 있다(S254).

이 때, 단계(S252)는 상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산할 수 있다.

예를 들어, 단계(S252)는 초기 전신 X-Ray영상을 통해서 도출된 3D 골격 모델이 아닐 경우 각 촬영 부위별 X-Ray 영상을 통한 국소부위 3D 골격모델만 도출된다. 이럴 경우 사용자의 키, 몸무게를 구하고 외형 스캔장비를 이용하여 외형 데이터 및 관절의 길이를 계산할 수 있다.

이 때, 단계(S252)는 외형 스캔 데이터를 이용하여 관절의 길이를 도출할 수 있다(예: Kinect, Open Pose 등).

이 때, 단계(S252)는 이러한 정보를 바탕으로 미리 구축된 전신 모델을 변형하여 사용자의 특징에 맞는 모델을 계산할 수 있다.

이 때, 단계(S252)는 해당 변형도 상기 파라미터 계산할 때와 유사하게 이동(Translation), 회전(Rotation), 크기(Scale) 변환값과 함께 전신 3D 모델의 SSM에서 사용하는 PCA 파라미터, 키 등 추가 파라미터의 최적화를 통해서 이루어질 수 있다.

이 때, 단계(S252)는 미리 구축된 국소부위의 3D 모델을 해당 부위에 배치한 후, 해당 국소 부위 모델이 가장 자연스럽게 연결될 수 있도록 변형 Parameter를 계산할 수 있다.

이 때, 단계(S252)는 Parameter로 도출된 전신 3D 모델의 변형된 신체 부위와 해당 국소 부위의 신체 3D 모델의 형상 사이의 차이값을 최적화 계산을 위한 Cost 값을 계산할 수 있다.

이 때, 단계(S252)는 최적의 전신 SSM 모델을 찾으면 해당 전신 모델에 각 부위별 3D 골격 모델을 배치시킨 후 기존 전신모델의 해당 부위를 없애고, 교체할 수 있다.

이 때, 단계(S253)는 이렇게 교체된 부위가 자연스럽게 연결되지 않을 경우 연결 부위의 각 Vertex별 차이를 Blending 및 Interpolation함으로써 부드럽게 연결 시킬 수 있다.

이 때, 단계(S252)는 키, 몸무게, 외형 스캔 데이터중 일부 혹은 전부가 부족할 경우에는 해당 정보 없이 국소부위 3D 모델에 맞는 평균 전신 3D 모델의 최적 변형 Parameter를 계산할 수도 있다.

이 때, 단계(S253)는 최종적으로 3차원 전신 골격 모델을 생성할 수 있다.

도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 8을 참조하면, 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

이 때, 본 발명의 일실시예에 따른 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치는 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160) 및 하나 이상의 프로그램을 포함하고, 상기 하나 이상의 프로그램은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서(1110)에 의해 실행되고, 상기 하나 이상의 프로세서는 상기 하나 이상의 프로그램을 실행하여, 학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하고, 상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하고, 상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합할 수 있다.

이 때, 하나 이상의 프로세서(1110)는 상기 도 1 내지 도 4에서 설명한 학습용 데이터 생성부(110), 국소 부위 골격 모델 정합부(120) 및 전신 골격 모델 생성부(130)의 기능을 수행할 수 있고, 도 1 내지 도 4에서 설명한 내용에 따라 동작하므로 상세한 설명은 생략한다.

이상에서와 같이 본 발명의 일실시예에 따른 딥러닝을 이용한 골격 모델 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

110: 학습용 데이터 생성부 111: 특징점 설정부
112: 특징점 학습부 113: 데이터 학습부
120: 국소 부위 골격 모델 정합부 130: 전신 골격 모델 생성부
131: 모델 배치부 132: 파라미터 생성부
133: 정합 부위 블렌딩부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims

하나 이상의 프로세서;
메모리; 및
하나 이상의 프로그램을 포함하고,
상기 하나 이상의 프로그램은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서에 의해 실행되고,
상기 하나 이상의 프로세서는 상기 하나 이상의 프로그램을 실행하여,
학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하고,
상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하고,
상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합하여 3차원 전신 골격 모델을 생성하고,
상기 하나 이상의 프로세서는
상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산하고,
상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델과 상기 사용자의 키, 몸무게를 구하고 외형 스캔장비를 이용하여 계산되 외형 데이터 및 관절의 길이를 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 1에 있어서,
상기 하나 이상의 프로세서는
상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하여 상기 학습용 데이터를 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 2에 있어서,
상기 하나 이상의 프로세서는
상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하여, 기설정된 영역내의 집합을 상기 특징점으로 학습하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 3에 있어서,
상기 하나 이상의 프로세서는
상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 4에 있어서,
상기 하나 이상의 프로세서는
통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 1에 있어서,
상기 사용자의 2차원 X-Ray 이미지는
상기 사용자의 신체 부위들 중 기정의된 신체 부위를 적어도 하나 이상의 방향 및 자세로 X-ray를 통해 촬영된 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
청구항 6에 있어서,
상기 하나 이상의 프로세서는
상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
삭제
삭제
청구항 1에 있어서,
상기 하나 이상의 프로세서는
상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치.
딥러닝을 이용한 3차원 전신 골격 모델 생성 장치의 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법에 있어서,
학습용 2차원 X-Ray 이미지를 입력받아 딥러닝을 이용하여 학습용 데이터를 생성하는 단계;
상기 학습용 데이터를 이용하여 사용자의 2차원 X-Ray 이미지를 분석하는 단계;
상기 사용자의 2차원 X-Ray 이미지를 분석한 결과로부터 생성된 3차원 국소 부위 골격 모델을 정합하여 3차원 전신 골격 모델을 생성하는 단계;
를 포함하고,
상기 3차원 전신 골격 모델을 생성하는 단계는
상기 3차원 국소 부위 골격 모델의 특징점 및 외곽선에 상응하는 통계적 형상 모델의 대응 특징점 및 대응 외곽선으로 변형시킨 차이 값을 최소화 시키기 위한 파라미터를 계산하고,
상기 3차원 국소 부위 골격 모델들을 상기 사용자의 신체 부위에 상응하는 3차원 좌표계 상에 위치에 배치시키고, 상기 통계적 형상 모델과 상기 사용자의 키, 몸무게를 구하고 외형 스캔장비를 이용하여 계산되 외형 데이터 및 관절의 길이를 이용하여 상기 3차원 국소 부위 골격 모델들 사이의 연결 부위를 변형시켜 상기 3차원 전신 골격 모델을 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 11에 있어서,
상기 학습용 데이터를 생성하는 단계는
상기 학습용 2차원 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 딥러닝을 이용하여 추출된 특징점과 외곽선을 학습하여 상기 학습용 데이터를 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 12에 있어서,
상기 학습용 데이터를 생성하는 단계는
상기 학습용 2차원 X-Ray 이미지에서 상기 특징점을 인식하기 위해 초기 특징점을 설정하고, 상기 초기 특징점으로부터 기설정된 거리 이내의 기설정된 영역을 지정하여, 기설정된 영역내의 집합을 상기 특징점으로 학습하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 13에 있어서,
상기 학습용 데이터를 생성하는 단계는
상기 학습용 2차원 X-Ray 이미지에 CT 및 MRI 중 적어도 하나를 이용하여 촬영된 방사선 이미지를 더 이용하여 상기 학습용 데이터를 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 14에 있어서,
상기 학습용 데이터를 생성하는 단계는
통계적 형상 모델을 이용하여 상기 방사선 이미지의 파라미터를 변형시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 11에 있어서,
상기 사용자의 2차원 X-Ray 이미지는
상기 사용자의 신체 부위들 중 기정의된 신체 부위를 적어도 하나 이상의 방향 및 자세로 X-ray를 통해 촬영된 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
청구항 16에 있어서,
상기 분석하는 단계는
상기 학습용 데이터를 이용하여 상기 사용자의 X-Ray 이미지로부터 특징점과 외곽선을 추출하고, 상기 특징점과 외곽선에 기반하여 상기 사용자의 신체 부위, 촬영된 방향 및 자세를 판단하여 상기 3차원 국소 부위 모델을 생성하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.
삭제
삭제
청구항 17에 있어서,
상기 3차원 전신 골격 모델을 생성하는 단계는
상기 3차원 국소 부위 골격 모델들 사이를 연결시키기 위하여 상기 연결 부위의 형상과 상기 통계적 형상 모델을 이용하여 상기 연결 부위를 변형시킨 형상의 차이 값을 최소화 시키기 위한 연결 부위 파라미터를 계산하는 것을 특징으로 하는 딥러닝을 이용한 3차원 전신 골격 모델 생성 방법.