EA047406B1 - SYSTEM, METHOD AND DEVICE FOR MEASURING TEMPERATURE ASYMMETRY OF BODY PARTS - Google Patents
SYSTEM, METHOD AND DEVICE FOR MEASURING TEMPERATURE ASYMMETRY OF BODY PARTS Download PDFInfo
- Publication number
- EA047406B1 EA047406B1 EA202391950 EA047406B1 EA 047406 B1 EA047406 B1 EA 047406B1 EA 202391950 EA202391950 EA 202391950 EA 047406 B1 EA047406 B1 EA 047406B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- image
- body part
- thermal
- images
- optical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000003287 optical effect Effects 0.000 claims description 176
- 238000001931 thermography Methods 0.000 claims description 44
- 206010061218 Inflammation Diseases 0.000 claims description 28
- 230000004054 inflammatory process Effects 0.000 claims description 28
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 24
- 208000035475 disorder Diseases 0.000 claims description 22
- 230000007170 pathology Effects 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 210000002683 foot Anatomy 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004566 IR spectroscopy Methods 0.000 description 3
- 208000025865 Ulcer Diseases 0.000 description 3
- 206010052428 Wound Diseases 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 231100000397 ulcer Toxicity 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000008960 Diabetic foot Diseases 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009760 functional impairment Effects 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 201000001119 neuropathy Diseases 0.000 description 2
- 230000007823 neuropathy Effects 0.000 description 2
- 208000033808 peripheral neuropathy Diseases 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 200000000007 Arterial disease Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010012655 Diabetic complications Diseases 0.000 description 1
- 208000003790 Foot Ulcer Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000094111 Parthenolecanium persicae Species 0.000 description 1
- 206010047115 Vasculitis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004452 decreased vision Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009772 tissue formation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Description
Перекрестная ссылка на родственные заявкиCross-reference to related applications
Настоящая заявка является частичным продолжением заявки на получение патента США № 16/646,103 под названием Система, способ и устройство для измерения температурной асимметрии частей тела, которая была подана 10 марта 2020 г. и является вошедшей в национальную фазу заявкой PCT/IB2020/051950 под названием Система, способ и устройство для измерения температурной асимметрии частей тела, которая была подана 6 марта 2020 г. Полное содержание всех упомянутых заявок включено в настоящий документ посредством ссылки.This application is a continuation-in-part of U.S. Patent Application No. 16/646,103, entitled System, Method, and Device for Measuring Temperature Asymmetry of Body Parts, which was filed March 10, 2020, and is national phase-pending application PCT/IB2020/051950, entitled System, Method, and Device for Measuring Temperature Asymmetry of Body Parts, which was filed March 6, 2020. The entire contents of all referenced applications are hereby incorporated by reference.
Предпосылки создания изобретенияPrerequisites for the creation of an invention
1. Область техники1. Field of technology
Настоящее изобретение относится к системам, способам и устройству для формирования тепловых изображений в медицинских применениях, а более конкретно, к оценке температурной асимметрии частей тела.The present invention relates to systems, methods and apparatus for generating thermal images in medical applications, and more particularly to assessing temperature asymmetry of body parts.
2. Уровень техники2. State of the art
Как правило температура тела человека выше температуры окружающей среды. Определенные технологии, такие как формирование инфракрасных тепловых изображений, позволяют получать температурные карты тела человека или других частей тела животного. Когда субъект страдает от заболевания или функционального изменения, воздействующего на часть тела, температура части тела, подвергаемой этому воздействию, может существенно отличаться от температуры нормальной ткани. Воспаление, образование предраковых тканей, рост опухолей и другие факторы могут повышать температуру части тела, подвергнутой воздействию, тогда как такие заболевания, как васкулит или артериальный склероз, могут снижать температуру части тела, подвергнутой воздействию.Generally, the human body temperature is higher than the ambient temperature. Certain technologies, such as infrared thermal imaging, can produce temperature maps of the human body or other parts of the animal body. When a subject suffers from a disease or functional change that affects a part of the body, the temperature of the affected part of the body can differ significantly from the temperature of normal tissue. Inflammation, precancerous tissue formation, tumor growth, and other factors can increase the temperature of the affected part of the body, while diseases such as vasculitis or arterial sclerosis can decrease the temperature of the affected part of the body.
Например, раны или язвы, обусловленные синдромом диабетической стопы (DFU), входят в число наиболее распространенных осложнений на стопы, оказывая критическое воздействие приблизительно на 15% диабетиков. Рисками, которые могут привести к развитию язв стопы, в основном являются нейропатия и болезни артерий нижних конечностей. В случае диабетиков с нейропатией DFU могут развиться после незначительных ран или кожных повреждений на нижней конечности. DFU трудно поддаются ранней диагностике и лечению. Запоздалая постановка диагноза, лечение и другие факторы могут вносить свой вклад в дальнейшие осложнения язвы, что зачастую приводит к необходимости хирургических вмешательств, а в некоторых случаях даже к ампутациям. Как правило оценка и лечение DFU требует вовлечения многопрофильной команды по уходу за стопами. Такая оценка может включать ознакомление с анамнезом человека, результатами лабораторных исследований, а также состояния кожного покрова, опорно-двигательного аппарата, сосудов и неврологического статуса. Самостоятельный осмотр ступней является важной частью выявления диабетических осложнений на ранних стадиях, однако этому зачастую препятствуют ухудшения состояния здоровья, связанные с диабетом и другими сопутствующими заболеваниями, такими как ухудшение зрения, ограниченная подвижность и ухудшение социализации. Альтернативой самостоятельной оценке является частое прохождение исследований у медицинских специалистов, однако это как правило влечет за собой высокие затраты, занимает много времени и не является обычным вариантом выбора для многих людей.For example, wounds or ulcers caused by diabetic foot syndrome (DFU) are among the most common complications of the foot, critically affecting approximately 15% of diabetics. The risks that can lead to the development of foot ulcers are mainly neuropathy and arterial disease of the lower extremities. In the case of diabetics with neuropathy, DFUs can develop after minor wounds or skin lesions on the lower extremity. DFUs are difficult to diagnose and treat early. Delayed diagnosis, treatment, and other factors can contribute to further complications of the ulcer, often leading to the need for surgical interventions and in some cases even amputations. As a rule, the evaluation and treatment of DFUs requires the involvement of a multidisciplinary foot care team. Such an assessment may include review of the person’s medical history, laboratory results, as well as skin, musculoskeletal, vascular, and neurological status. Self-examination of the feet is an important part of identifying diabetic complications early, but is often hampered by the deteriorating health conditions associated with diabetes and other comorbidities, such as decreased vision, limited mobility, and decreased social functioning. An alternative to self-examination is frequent examinations by health professionals, but this is usually expensive, time-consuming, and not a common choice for many people.
Таким образом, существует потребность в продвинутом инструменте самостоятельной оценки для слежения за ступнями людей-диабетиков.Thus, there is a need for an advanced self-assessment tool to monitor the feet of people with diabetes.
Раскрытие сущности изобретенияDisclosure of the essence of the invention
В настоящем документе описаны системы, способы и устройство для выявления патологии на основе оценки температурной асимметрии. Система может содержать тепловизионную камеру. Тепловизионная камера может быть выполнена с возможностью выявления тепловых изображений. Система может дополнительно содержать оптическую камеру. Оптическая камера может быть выполнена с возможностью выявления оптических изображений исследуемой части тела и референсной части тела. Референсная часть тела может быть противоположной относительно исследуемой части тела. Система может дополнительно содержать процессор для определения возникновения функционального нарушения или воспаления исследуемой части тела путем анализа тепловых изображений и оптических изображений.The present document describes systems, methods and a device for detecting pathology based on the assessment of temperature asymmetry. The system may contain a thermal imaging camera. The thermal imaging camera may be configured to detect thermal images. The system may additionally contain an optical camera. The optical camera may be configured to detect optical images of the body part being examined and a reference body part. The reference body part may be opposite to the body part being examined. The system may additionally contain a processor for determining the occurrence of a functional disorder or inflammation of the body part being examined by analyzing thermal images and optical images.
В соответствии с вариантом реализации настоящего изобретения, может быть предусмотрена система для выявления патологии на основе оценки температурной асимметрии. Система может содержать формирователь изображений. Формирователь изображений может содержать тепловизионную камеру. Тепловизионная камера может быть выполнена с возможностью выявления тепловых изображений, соответствующих исследуемой части тела и референсной или противоположной части тела. Формирователь изображений может содержать порт ввода/вывода. Порт ввода/вывода формирователя изображений может быть выполнен с возможностью передачи тепловых изображений и оптических изображений. Система может содержать оптическую камеру. Оптическая камера может быть выполнена с возможностью выявления оптических изображений, соответствующих исследуемой части тела и референсной или противоположной части тела. Система может дополнительно содержать диагностический процессор. Диагностический процессор может быть удаленным относительно формирователя изображений. Диагностический процессор может быть запрограммирован наAccording to an embodiment of the present invention, a system for detecting pathology based on the assessment of temperature asymmetry may be provided. The system may comprise an image generator. The image generator may comprise a thermal imaging camera. The thermal imaging camera may be configured to detect thermal images corresponding to the body part being examined and a reference or opposite body part. The image generator may comprise an input/output port. The input/output port of the image generator may be configured to transmit thermal images and optical images. The system may comprise an optical camera. The optical camera may be configured to detect optical images corresponding to the body part being examined and a reference or opposite body part. The system may further comprise a diagnostic processor. The diagnostic processor may be remote relative to the image generator. The diagnostic processor may be programmed to
- 1 047406 определение возникновения функционального нарушения или воспаления исследуемой части тела путем анализа тепловых изображений и оптических изображений.- 1 047406 determination of the occurrence of a functional disorder or inflammation of the examined part of the body by analyzing thermal images and optical images.
Система может дополнительно содержать мобильное устройство. Мобильное устройство может быть удаленным относительно формирователя изображений. Мобильное устройство может представлять собой устройство ввода. Устройство ввода может быть выполнено с возможностью приема пользовательского ввода, соответствующего запросу на начало захвата изображений. Мобильное устройство может дополнительно содержать процессор мобильного устройства. Процессор мобильного устройства может быть запрограммирован на управление тепловизионной камерой и оптической камерой для выявления тепловых изображений и оптических изображений, соответственно, на основе принятого пользовательского ввода.The system may further comprise a mobile device. The mobile device may be remote relative to the image generator. The mobile device may be an input device. The input device may be configured to receive user input corresponding to a request to begin capturing images. The mobile device may further comprise a mobile device processor. The mobile device processor may be programmed to control the thermal imaging camera and the optical camera for detecting thermal images and optical images, respectively, based on the received user input.
Система может дополнительно содержать удаленный сервер. Удаленный сервер может содержать диагностический процессор и порт ввода/вывода сервера. Мобильное устройство может дополнительно иметь порт ввода/вывода мобильного устройства, выполненный с возможностью приема тепловых изображений и оптических изображений от порта ввода/вывода формирователя изображений. Процессор мобильного устройства может быть дополнительно запрограммирован на управление портом ввода/вывода мобильного устройства для передачи тепловых изображений и оптических изображений на порт ввода/вывода сервера.The system may additionally comprise a remote server. The remote server may comprise a diagnostic processor and a server input/output port. The mobile device may additionally have a mobile device input/output port configured to receive thermal images and optical images from the image generator input/output port. The mobile device processor may additionally be programmed to control the mobile device input/output port for transmitting thermal images and optical images to the server input/output port.
Диагностический процессор может быть дополнительно выполнен с возможностью оценки сдвига исследуемого зарегистрированного изображения на основе исследуемого оптического изображения из числа оптических изображений и исследуемого теплового изображения из числа тепловых изображений. Исследуемое оптическое изображение и исследуемое тепловое изображение могут соответствовать исследуемой части тела. Диагностический процессор может быть дополнительно выполнен с возможностью оценки сдвига референсного зарегистрированного изображения на основе референсного оптического изображения из числа оптических изображений и референсного теплового изображения из числа тепловых изображений. Референсное оптическое изображение и референсное тепловое изображение могут соответствовать референсной или противоположной части тела. Определение возникновения функционального нарушения или воспаления исследуемой части тела может осуществляться путем сравнения исследуемого теплового изображения с референсным тепловым изображением на основе сдвига исследуемого зарегистрированного изображения, соответствующего исследуемой части тела, и сдвига референсного зарегистрированного изображения, соответствующего референсной или противоположной части тела. Порт ввода/вывода мобильного устройства может быть выполнен с возможностью физического и логического сопряжения с портом ввода/вывода формирователя изображений. Оптическая камера может быть расположена на мобильном устройстве таким образом, что физическое сопряжение порта ввода/вывода мобильного устройства с портом ввода/вывода формирователя изображений сохраняет постоянное положение оптической камеры относительно тепловизионной камеры. Оптическая камера может быть расположена на формирователе изображений.The diagnostic processor can be further configured to evaluate the shift of the examined registered image based on the examined optical image from among the optical images and the examined thermal image from among the thermal images. The examined optical image and the examined thermal image can correspond to the examined body part. The diagnostic processor can be further configured to evaluate the shift of the reference registered image based on the reference optical image from among the optical images and the reference thermal image from among the thermal images. The reference optical image and the reference thermal image can correspond to the reference or opposite body part. Determination of the occurrence of a functional disorder or inflammation of the examined body part can be performed by comparing the examined thermal image with the reference thermal image based on the shift of the examined registered image corresponding to the examined body part and the shift of the reference registered image corresponding to the reference or opposite body part. The input/output port of the mobile device may be configured to be physically and logically coupled with the input/output port of the image former. The optical camera may be located on the mobile device in such a way that the physical coupling of the input/output port of the mobile device with the input/output port of the image former maintains a constant position of the optical camera relative to the thermal imaging camera. The optical camera may be located on the image former.
Система может дополнительно содержать блок основы. Блок основы может содержать подставку. Подставка может быть выполнена с возможностью размещения на ней и поддержания исследуемой части тела и референсной или противоположной части тела. Блок основы может содержать соединитель для формирователя изображений. Соединитель для формирователя изображений может быть выполнен с возможностью физического сопряжения с формирователем изображений и с возможностью поддержания формирователя изображений на месте относительно подставки. Исследуемая часть тела может включать в себя первую голень или ступню. Референсная или противоположная часть тела может включать в себя вторую голень или ступню. Подставка может иметь первую физическую опору. Первая физическая опора может быть выполнена с возможностью размещения на ней и поддержания первой голени или ступни. Подставка может иметь вторую физическую опору. Вторая физическая опора может быть выполнена с возможностью размещения на ней и поддержания второй голени или ступни. Блок основы может содержать корпусную часть, имеющую подставку. Блок основы может дополнительно содержать аппаратную часть, имеющую соединитель для формирователя изображений. Блок основы может дополнительно содержать выдвижную часть между корпусной частью и аппаратной частью. Выдвижная часть может быть выполнена с возможностью осуществления по меньшей мере одного действия из выдвижения или задвигания для регулировки расстояния между подставкой и соединителем для формирователя изображений. Система может дополнительно содержать устройство вывода, сопряженное с диагностическим процессором. Устройство вывода может быть выполнено с возможностью вывода данных о состоянии, соответствующих текущему состоянию формирователя изображений.The system may further comprise a base unit. The base unit may comprise a stand. The stand may be configured to be placed on it and to support the examined body part and the reference or opposite body part. The base unit may comprise a connector for the image former. The connector for the image former may be configured to be physically coupled to the image former and to support the image former in place relative to the stand. The examined body part may comprise a first lower leg or foot. The reference or opposite body part may comprise a second lower leg or foot. The stand may have a first physical support. The first physical support may be configured to be placed on it and to support the first lower leg or foot. The stand may have a second physical support. The second physical support may be configured to be placed on it and to support the second lower leg or foot. The base unit may comprise a housing portion having a stand. The base unit may further comprise a hardware portion having a connector for the image former. The base unit may further comprise a retractable portion between the housing portion and the hardware portion. The retractable portion may be configured to perform at least one action of retracting or extending to adjust the distance between the support and the connector for the image former. The system may further comprise an output device coupled to the diagnostic processor. The output device may be configured to output state data corresponding to the current state of the image former.
В соответствии с аспектом настоящего изобретения, может быть предусмотрена система для выявления патологии на основе оценки температурной асимметрии. Система может содержать формирователь изображений. Формирователь изображений может содержать тепловизионную камеру. Тепловизионная камера может быть выполнена с возможностью выявления тепловых изображений, соответствующих исследуемой части тела и референсной или противоположной части тела. Формирователь изображений может дополнительно содержать оптическую камеру. Оптическая камераAccording to an aspect of the present invention, a system for detecting pathology based on an assessment of temperature asymmetry may be provided. The system may comprise an image generator. The image generator may comprise a thermal imaging camera. The thermal imaging camera may be configured to detect thermal images corresponding to the body part being examined and a reference or opposite body part. The image generator may further comprise an optical camera. The optical camera
- 2 047406 может быть выполнена с возможностью выявления оптических изображений, соответствующих исследуемой части тела и референсной или противоположной части тела. Формирователь изображений может содержать порт ввода/вывода формирователя изображений. Порт ввода/вывода формирователя изображений может быть выполнен с возможностью передачи тепловых изображений и оптических изображений. Система может дополнительно содержать диагностический процессор. Диагностический процессор может быть удаленным относительно формирователя изображений. Диагностический процессор может быть запрограммирован на определение возникновения функционального нарушения или воспаления исследуемой части тела путем анализа тепловых изображений и оптических изображений.- 2 047406 can be implemented with the ability to detect optical images corresponding to the examined body part and the reference or opposite body part. The image former can comprise an input/output port of the image former. The input/output port of the image former can be implemented with the ability to transmit thermal images and optical images. The system can additionally comprise a diagnostic processor. The diagnostic processor can be remote with respect to the image former. The diagnostic processor can be programmed to determine the occurrence of a functional disorder or inflammation of the examined body part by analyzing the thermal images and optical images.
Система может дополнительно содержать мобильное устройство. Мобильное устройство может быть удаленным относительно формирователя изображений. Мобильное устройство может представлять собой устройство ввода. Устройство ввода может быть выполнено с возможностью приема пользовательского ввода, соответствующего запросу на начало захвата изображений. Мобильное устройство может содержать процессор мобильного устройства. Процессор мобильного устройства может быть запрограммирован на управление тепловизионной камерой и оптической камерой для выявления тепловых изображений и оптических изображений, соответственно, на основе принятого пользовательского ввода. Система может дополнительно содержать удаленный сервер. Удаленный сервер может содержать диагностический процессор и порт ввода/вывода сервера. Мобильное устройство может дополнительно содержать порт ввода/вывода мобильного устройства. Порт ввода/вывода мобильного устройства может быть выполнен с возможностью приема тепловых изображений и оптических изображений от порта ввода/вывода формирователя изображений. Процессор мобильного устройства может быть дополнительно запрограммирован на управление портом ввода/вывода мобильного устройства для передачи тепловых изображений и оптических изображений на порт ввода/вывода сервера.The system may further comprise a mobile device. The mobile device may be remote with respect to the image generator. The mobile device may be an input device. The input device may be configured to receive user input corresponding to a request to begin capturing images. The mobile device may comprise a mobile device processor. The mobile device processor may be programmed to control the thermal imaging camera and the optical camera for detecting thermal images and optical images, respectively, based on the received user input. The system may further comprise a remote server. The remote server may comprise a diagnostic processor and an input/output port of the server. The mobile device may further comprise an input/output port of the mobile device. The input/output port of the mobile device may be configured to receive thermal images and optical images from the input/output port of the image generator. The mobile device processor may be further programmed to control the input/output port of the mobile device for transmitting the thermal images and optical images to the input/output port of the server.
Диагностический процессор может быть дополнительно выполнен с возможностью оценки сдвига исследуемого зарегистрированного изображения на основе исследуемого оптического изображения из числа оптических изображений и исследуемого теплового изображения из числа тепловых изображений. Исследуемое оптическое изображение и исследуемое тепловое изображение могут соответствовать исследуемой части тела. Диагностический процессор может быть дополнительно выполнен с возможностью оценки сдвига референсного зарегистрированного изображения на основе референсного оптического изображения из числа оптических изображений и референсного теплового изображения из числа тепловых изображений. Референсное оптическое изображение и референсное тепловое изображение могут соответствовать референсной или противоположной части тела. Определение возникновения функционального нарушения или воспаления исследуемой части тела может осуществляться путем сравнения исследуемого теплового изображения с референсным тепловым изображением на основе сдвига исследуемого зарегистрированного изображения, соответствующего исследуемой части тела, и сдвига референсного зарегистрированного изображения, соответствующего референсной или противоположной части тела.The diagnostic processor can be further configured to evaluate the shift of the examined registered image based on the examined optical image from among the optical images and the examined thermal image from among the thermal images. The examined optical image and the examined thermal image can correspond to the examined body part. The diagnostic processor can be further configured to evaluate the shift of the reference registered image based on the reference optical image from among the optical images and the reference thermal image from among the thermal images. The reference optical image and the reference thermal image can correspond to the reference or opposite body part. Determination of the occurrence of a functional disorder or inflammation of the examined body part can be performed by comparing the examined thermal image with the reference thermal image based on the shift of the examined registered image corresponding to the examined body part and the shift of the reference registered image corresponding to the reference or opposite body part.
Система может дополнительно содержать блок основы. Блок основы может содержать подставку. Подставка может быть выполнена с возможностью размещения на ней и поддержания исследуемой части тела и референсной или противоположной части тела. Блок основы может содержать соединитель для формирователя изображений. Соединитель для формирователя изображений может быть выполнен с возможностью физического сопряжения с формирователем изображений и с возможностью поддержания формирователя изображений на месте относительно подставки.The system may further comprise a base unit. The base unit may comprise a support. The support may be configured to accommodate and support the body part being examined and the reference or opposite body part. The base unit may comprise a connector for the image former. The connector for the image former may be configured to physically couple with the image former and to support the image former in place relative to the support.
В соответствии с аспектом настоящего изобретения, может быть предусмотрен способ выявления патологии на основе оценки температурной асимметрии. Способ может включать этап, на котором выявляют тепловые изображения, соответствующие исследуемой части тела и референсной или противоположной части тела, посредством тепловизионной камеры формирователя изображений. Способ может дополнительно включать этап, на котором выявляют оптические изображения, соответствующие исследуемой части тела и референсной или противоположной части тела, посредством оптической камеры формирователя изображений. Способ может дополнительно включать этап, на котором принимают тепловые изображения и оптические изображения посредством мобильного устройства. Способ может дополнительно включать этап, на котором передают тепловые изображения и оптические изображения на сервер посредством мобильного устройства. Способ может дополнительно включать этап, на котором определяют возникновение функционального нарушения или воспаления исследуемой части тела путем анализа тепловых изображений и оптических изображений посредством диагностического процессора сервера. Способ может дополнительно включать этап, на котором принимают пользовательский ввод, соответствующий запросу на начало захвата изображений, посредством устройства ввода в мобильном устройстве. Способ может дополнительно включать этап, на котором управляют тепловизионной камерой и оптической камерой для выявления тепловых изображений и оптических изображений, соответственно, на основе принятого пользовательского ввода посредством процессора мобильного устройства.According to an aspect of the present invention, a method for detecting a pathology based on a temperature asymmetry assessment may be provided. The method may include a step of detecting thermal images corresponding to the examined body part and a reference or opposite body part by means of a thermal imaging camera of the image former. The method may further include a step of detecting optical images corresponding to the examined body part and a reference or opposite body part by means of an optical camera of the image former. The method may further include a step of receiving thermal images and optical images by means of a mobile device. The method may further include a step of transmitting thermal images and optical images to a server by means of a mobile device. The method may further include a step of determining the occurrence of a functional disorder or inflammation of the examined body part by analyzing thermal images and optical images by means of a diagnostic processor of the server. The method may further include a step of receiving a user input corresponding to a request to start capturing images by means of an input device in the mobile device. The method may further include a step of controlling the thermal imaging camera and the optical camera to detect thermal images and optical images, respectively, based on the received user input by the processor of the mobile device.
- 3 047406- 3 047406
Способ может дополнительно включать этап, на котором оценивают сдвиг исследуемого зарегистрированного изображения на основе исследуемого оптического изображения из числа оптических изображений и исследуемого теплового изображения из числа тепловых изображений посредством диагностического процессора. Исследуемое оптическое изображение и исследуемое тепловое изображение могут соответствовать исследуемой части тела. Способ может дополнительно включать этап, на котором оценивают сдвиг референсного зарегистрированного изображения на основе референсного оптического изображения из числа оптических изображений и референсного теплового изображения из числа тепловых изображений посредством диагностического процессора. Референсное оптическое изображение и референсное тепловое изображение могут соответствовать референсной или противоположной части тела. Определение возникновения функционального нарушения или воспаления исследуемой части тела может осуществляться путем сравнения исследуемого теплового изображения с референсным тепловым изображением на основе сдвига исследуемого зарегистрированного изображения, соответствующего исследуемой части тела, и сдвига референсного зарегистрированного изображения, соответствующего референсной или противоположной части тела. Способ может дополнительно включать этап, на котором выводят данные о состоянии, соответствующих текущему состоянию формирователя изображений, посредством устройства вывода.The method may further comprise a step of estimating the shift of the examined registered image based on the examined optical image from among the optical images and the examined thermal image from among the thermal images by means of a diagnostic processor. The examined optical image and the examined thermal image may correspond to the examined body part. The method may further comprise a step of estimating the shift of the reference registered image based on the reference optical image from among the optical images and the reference thermal image from among the thermal images by means of a diagnostic processor. The reference optical image and the reference thermal image may correspond to the reference or opposite body part. Determining the occurrence of a functional disorder or inflammation of the examined body part may be performed by comparing the examined thermal image with the reference thermal image based on the shift of the examined registered image corresponding to the examined body part and the shift of the reference registered image corresponding to the reference or opposite body part. The method may further include a step of outputting state data corresponding to the current state of the image generator via the output device.
Краткое описание чертежейBrief description of the drawings
Другие системы, способы, признаки и преимущества настоящего изобретения будут или станут ясны специалисту в данной области техники после ознакомления с описанными далее фигурами и представленным далее описанием. Подразумевается, что все такие дополнительные системы, способы, признаки и преимущества входят в объем настоящего описания, в объем настоящего изобретения и на них будет распространяться защита согласно прилагаемой формуле изобретения. Компоненты, изображенные на чертежах, не обязательно выполнены в масштабе и могут быть увеличены для обеспечения лучшей иллюстрации существенных признаков настоящего изобретения. На различных видах чертежей подобными ссылочными позициями обозначены подобные детали, где:Other systems, methods, features and advantages of the present invention will be or will become apparent to those skilled in the art upon review of the figures described below and the description provided below. It is intended that all such additional systems, methods, features and advantages are included within the scope of the present description, within the scope of the present invention and will be protected by the appended claims. The components shown in the drawings are not necessarily to scale and may be exaggerated to provide a better illustration of the essential features of the present invention. In the various views of the drawings, like reference numerals designate like parts, where:
на фиг. 1 изображен вид в перспективе системы для выявления патологии на основе оценки температурной асимметрии, согласно аспекту настоящего изобретения;Fig. 1 is a perspective view of a system for detecting pathology based on temperature asymmetry assessment, according to an aspect of the present invention;
на фиг. 2 изображен вид в перспективе блока основы системы, показанной на фиг. 1, в невыдвинутом положении, а также соединитель для формирователя изображений в закрытом положении, согласно аспекту настоящего изобретения;Fig. 2 is a perspective view of the base unit of the system shown in Fig. 1 in a non-extended position, as well as a connector for an image former in a closed position, according to an aspect of the present invention;
на фиг. 3 изображен отдельный вид спереди формирователя изображений системы, показанной на фиг. 1, согласно аспекту настоящего изобретения;Fig. 3 is a detailed front view of an image generator of the system shown in Fig. 1, according to an aspect of the present invention;
на фиг. 4 изображена блок-схема, на которой изображены различные компоненты системы, показанной на фиг. 1, согласно аспекту настоящего изобретения;Fig. 4 is a block diagram illustrating various components of the system shown in Fig. 1, according to an aspect of the present invention;
на фиг. 5A изображен способ эксплуатации системы, показанной на фиг. 1, согласно аспекту настоящего изобретения;Fig. 5A illustrates a method of operating the system shown in Fig. 1, according to an aspect of the present invention;
на фиг. 5B изображен способ эксплуатации системы, показанной на фиг. 1, согласно аспекту настоящего изобретения; и на фиг. 6 изображена диаграмма способа выявления патологии на основе оценки температурной асимметрии, согласно аспекту настоящего изобретения.Fig. 5B shows a method of operating the system shown in Fig. 1, according to an aspect of the present invention; and Fig. 6 shows a diagram of a method for detecting pathology based on an assessment of temperature asymmetry, according to an aspect of the present invention.
Подробное описаниеDetailed description
Системы, способы и устройство, описанные в настоящем документе, могут применяться для выявления патологии на основе оценки температурной асимметрии. Выявляемой патологией может быть функциональное нарушение или воспаление. В частности, выявляемой патологией может быть рана или язва диабетической стопы (DFU). Системы могут осуществлять захват тепловых изображений исследуемой части тела и референсной части тела человека посредством тепловой камеры. Системы также могут осуществлять захват оптических изображений исследуемой части тела и референсной части тела посредством оптической камеры. Исследуемой частью тела может быть стопа или голень человека. Референсной частью тела может быть противоположная стопа или голень человека. Управление тепловой и оптической камерами может осуществляться посредством мобильного устройства. Тепловое и оптическое изображения могут быть переданы на удаленный процессор, который может представлять собой процессор удаленного сервера. Процесс может анализировать тепловое и оптическое изображения и, преимущественно, определять наличие функционального нарушения или воспаления в исследуемом организме. Более конкретно, процессор может оценивать сдвиг зарегистрированного изображения исследуемой части тела и сдвиг зарегистрированного изображения референсной части тела, а также сравнивать эти две оценки для определения наличия патологии части тела. Оценка сдвига зарегистрированного изображения исследуемой части тела может быть основана на оптическом изображении и тепловом изображении исследуемой части тела. Оценка сдвига зарегистрированного изображения референсной части тела может быть основана на оптическом изображении и тепловом изображении референсной части тела. Системы могут содержать устройство вывода, находящееся в связи с процессором, преимущественно, для вывода данных, указывающих на наличие патологии части тела. Исследования с помощью этих систем могут проводиться самостоятельно. В качествеThe systems, methods and device described in this document can be used to detect pathology based on the assessment of temperature asymmetry. The pathology to be detected can be a functional disorder or inflammation. In particular, the pathology to be detected can be a diabetic foot wound or ulcer (DFU). The systems can capture thermal images of the examined body part and a reference body part of a person using a thermal camera. The systems can also capture optical images of the examined body part and a reference body part using an optical camera. The examined body part can be a foot or a lower leg of a person. The reference body part can be the opposite foot or lower leg of a person. The thermal and optical cameras can be controlled using a mobile device. The thermal and optical images can be transmitted to a remote processor, which can be a processor of a remote server. The process can analyze the thermal and optical images and, preferably, determine the presence of a functional disorder or inflammation in the examined organism. More specifically, the processor can estimate the shift of the registered image of the examined body part and the shift of the registered image of the reference body part, and compare these two estimates to determine the presence of a pathology of the body part. The estimate of the shift of the registered image of the examined body part can be based on the optical image and the thermal image of the examined body part. The estimate of the shift of the registered image of the reference body part can be based on the optical image and the thermal image of the reference body part. The systems can comprise an output device in communication with the processor, mainly for outputting data indicating the presence of a pathology of the body part. Studies using these systems can be carried out independently. As
- 4 047406 преимущества, системы могут использоваться без необходимости в помощи со стороны другого человека или медицинского специалиста. В качестве альтернативы, системы, преимущественно, пригодны для использования при помощи со стороны другого человека или медицинского специалиста, если это необходимо. Поэтому под термином пользователь может подразумеваться пациент, медицинский специалист, присматривающее лицо, ассистент или ухаживающее лицо.- 4 047406 advantages, the systems can be used without the need for assistance from another person or a health care professional. Alternatively, the systems are preferably suitable for use with the assistance of another person or a health care professional, if necessary. Therefore, the term user may include a patient, a health care professional, a caregiver, an assistant, or a caregiver.
На фиг. 1 изображен вид в перспективе системы 100 для выявления патологии на основе оценки температурной асимметрии, согласно аспекту настоящего изобретения. Система 100 может содержать мобильное устройство 102, формирователь 104 изображений и блок 106 основы.Fig. 1 shows a perspective view of a system 100 for detecting pathology based on temperature asymmetry assessment, according to an aspect of the present invention. The system 100 may comprise a mobile device 102, an image generator 104, and a base unit 106.
Мобильное устройство 102 может представлять собой сотовый телефон, планшет, ноутбук или другое портативное вычислительное устройство. Мобильное устройство 102 может содержать дисплей 103. Дисплей 103 может представлять собой жидкокристаллический (ЖК) дисплей, светодиодный (LED) дисплей, органический светодиод (OLED), плазменный дисплей, дисплей на электронно-лучевой трубке (ЭЛТ), дисплей с цифровой оптической обработкой (DLPT), микродисплей, проекционный дисплей или любой другой дисплей, известный специалисту в данной области техники. На дисплее 103 могут отображаться интерфейсы пользователя, текст, изображения и/или подобное. Интерфейс может обеспечивать пользователю возможность управления мобильным устройством 102, а также одним или более компонентами системы 100. Кроме того, интерфейс может обеспечивать пользователю возможность просмотра информации, выдаваемой системой 100. Дисплей 103 может представлять собой сенсорный экран и использоваться для ввода пользовательских команд. Мобильное устройство 102 может содержать оптическую камеру 108a. Оптическая камера 108a может быть расположена на передней стороне 110 мобильного устройства 102, как показано на фиг. 1. В некоторых вариантах реализации оптическая камера 108a может быть расположена на задней стороне (не показана) мобильного устройства 102. Оптическая камера 108a может содержать оптический инструмент для регистрации статических или динамических изображений. Оптическая камера 108a может содержать линзу, которая фокусирует свет, отражающийся от части тела человека, а также механизм регистрации изображений. Оптическая камера 108a может быть встроена в мобильное устройство 102, как показано на фиг. 1. В некоторых вариантах реализации оптическая камера 108a может представлять собой отдельное аппаратное средство, имеющее удаленный корпус, выполненный с возможностью соединения с мобильным устройством 102 или системой 100 в целом. Соединение может осуществляться с помощью любых типов универсальной серийной шины (USB) (например, микро USB, USB-C), шнуров питания и любых других традиционных средств соединения. Это соединение также может представлять собой беспроводное соединение с помощью технологии Bluetooth, инфракрасной передачи (ИК) данных, WiFi и подобного.The mobile device 102 may be a cellular telephone, a tablet, a laptop or another portable computing device. The mobile device 102 may comprise a display 103. The display 103 may be a liquid crystal display (LCD), a light-emitting diode (LED), an organic light-emitting diode (OLED), a plasma display, a cathode ray tube (CRT) display, a digital optical processing (DLPT) display, a microdisplay, a projection display or any other display known to a person skilled in the art. The display 103 may display user interfaces, text, images and/or the like. The interface may provide the user with the ability to control the mobile device 102, as well as one or more components of the system 100. In addition, the interface may provide the user with the ability to view information provided by the system 100. The display 103 may be a touch screen and is used to enter user commands. The mobile device 102 may comprise an optical camera 108a. The optical camera 108a may be located on the front side 110 of the mobile device 102, as shown in Fig. 1. In some embodiments, the optical camera 108a may be located on the back side (not shown) of the mobile device 102. The optical camera 108a may comprise an optical instrument for recording static or dynamic images. The optical camera 108a may comprise a lens that focuses light reflected from a part of a human body, as well as an image recording mechanism. The optical camera 108a may be built into the mobile device 102, as shown in Fig. 1. In some embodiments, the optical camera 108a may be a separate hardware device having a remote housing configured to be connected to the mobile device 102 or the system 100 as a whole. The connection may be made using any type of universal serial bus (USB) (for example, micro USB, USB-C), power cords and any other traditional means of connection. This connection can also be a wireless connection using Bluetooth technology, infrared (IR) data transmission, WiFi, and the like.
Мобильное устройство 102 может быть соединено с формирователем 104 изображений. Соединение может представлять собой электронное соединение. Устройство 112 вывода в формирователе 104 изображений может быть соединено с устройством 114 ввода в мобильном устройстве 102. Соединение может осуществляться с помощью любых типов USB, шнуров питания и любых других традиционных средств соединения. Это соединение также может представлять собой беспроводное соединение с помощью технологии Bluetooth, ИК передачи данных, WiFi и подобного. Формирователь 104 изображений может содержать оптическую камеру 108b. Оптическая камера 108b может использоваться вместо оптической камеры 108a. Оптическая камера 108b может содержать те же самые или подобные компоненты, что и оптическая камера 108a. В некоторых вариантах реализации система 100 может содержать или оптическую камеру 108a, или оптическую камеру 108b. Формирователь 104 изображений может дополнительно содержать тепловизионную камеру 116. Тепловизионная камера 116 может содержать оптический инструмент для регистрации статических или динамических изображений с помощью инфракрасного излучения в длинноволновом инфракрасном диапазоне (LWIR) (т.е. от 0,000315 дюйма до 0,000551 дюйма, от 8 микрометров (мкм) до 14 мкм). Тепловизионная камера 116 может содержать тепловизионный датчик и механизм регистрации изображений. Тепловизионная камера 116 может быть встроена в формирователь 104 изображений, как показано на фиг. 1. Тепловизионная камера 116 и оптическая камера 108b могут быть уложены друг на друга. Тепловизионная камера 116 и оптическая камера 108b могут иметь одинаковый внешний вид и внешние особенности. Тепловизионная камера 116 и оптическая камера 108b могут быть располагаться по вертикали друг относительно друга, как показано на фиг. 1. В некоторых вариантах реализации тепловизионная камера 116 и оптическая камера 108b могут располагаться по горизонтали или по диагонали друг относительно друга. В некоторых вариантах реализации тепловизионная камера 116 может представлять собой отдельное аппаратное средство, имеющее удаленный корпус, выполненный с возможностью соединения с формирователем 104 изображений или системой 100 в целом. Соединение может осуществляться с помощью любых типов USB, шнуров питания и любых других традиционных средств соединения. Это соединение также может представлять собой беспроводное соединение с помощью технологии Bluetooth, ИК передачи данных, WiFi и подобного. В некоторых вариантах реализации тепловизионная камера 116 может быть встроена в мобильное устройство 102.The mobile device 102 can be connected to the image generator 104. The connection can be an electronic connection. The output device 112 in the image generator 104 can be connected to the input device 114 in the mobile device 102. The connection can be made using any type of USB, power cords and any other traditional means of connection. This connection can also be a wireless connection using Bluetooth technology, IR data transmission, WiFi and the like. The image generator 104 can contain an optical camera 108b. The optical camera 108b can be used instead of the optical camera 108a. The optical camera 108b can contain the same or similar components as the optical camera 108a. In some embodiments, the system 100 can contain either the optical camera 108a or the optical camera 108b. The image generator 104 may further comprise a thermal imaging camera 116. The thermal imaging camera 116 may comprise an optical instrument for recording static or dynamic images using infrared radiation in the long-wave infrared (LWIR) range (i.e., from 0.000315 inches to 0.000551 inches, from 8 micrometers (μm) to 14 μm). The thermal imaging camera 116 may comprise a thermal imaging sensor and an image recording mechanism. The thermal imaging camera 116 may be integrated into the image generator 104, as shown in Fig. 1. The thermal imaging camera 116 and the optical camera 108b may be stacked on top of each other. The thermal imaging camera 116 and the optical camera 108b may have the same appearance and external features. The thermal imaging camera 116 and the optical camera 108b may be arranged vertically relative to each other, as shown in Fig. 1. In some embodiments, the thermal imaging camera 116 and the optical camera 108b may be located horizontally or diagonally relative to each other. In some embodiments, the thermal imaging camera 116 may be a separate hardware device having a remote housing configured to connect to the image generator 104 or the system 100 as a whole. The connection may be carried out using any type of USB, power cords and any other traditional means of connection. This connection may also be a wireless connection using Bluetooth technology, IR data transmission, WiFi and the like. In some embodiments, the thermal imaging camera 116 may be built into the mobile device 102.
- 5 047406- 5 047406
Мобильное устройство 102 и формирователь 104 изображений могут быть механически соединены с блоком 106 основы. Блок 106 основы может быть выполнен из металла, пластмассы, дерева и/или подобного. Блок 106 основы может представлять собой конструкцию, выполненную за единое целое или составленную из нескольких частей, соединенных вместе посредством любой известной технологии скрепления (например, с помощью прессовой посадки, винтов, адгезивов). Блок 106 основы может иметь такую форму и размеры, чтобы быть портативным. Блок 106 основы может быть выполнен таким образом, что он имеет по существу плоскую нижнюю поверхность 117. По существу плоская нижняя поверхность 117 может обеспечить возможность размещения блока 106 основы на поверхности. Предпочтительно, поверхность может быть плоской и гладкой. Блок 106 основы может иметь края с ободами. Края с ободами могут быть удобными для пользователя и обеспечивать возможность простого удержания блока 106 основы.The mobile device 102 and the image generator 104 can be mechanically connected to the base unit 106. The base unit 106 can be made of metal, plastic, wood and/or the like. The base unit 106 can be a structure made in one piece or composed of several parts connected together by means of any known fastening technology (for example, by means of a press fit, screws, adhesives). The base unit 106 can have such a shape and dimensions as to be portable. The base unit 106 can be designed in such a way that it has a substantially flat lower surface 117. The substantially flat lower surface 117 can provide the possibility of placing the base unit 106 on the surface. Preferably, the surface can be flat and smooth. The base unit 106 can have edges with rims. The edges with rims can be convenient for the user and provide the possibility of easy holding of the base unit 106.
Блок 106 основы может иметь корпусную часть 118 и аппаратную часть 120. Корпусная часть 118 и аппаратная часть 120 могут быть соединены с выдвижной частью 112, расположенной между корпусной частью 118 и аппаратной частью 120. Выдвижная часть 122 может быть прикреплена к корпусной части 118 и аппаратной части 120 посредством механизма направляющих рельс. Корпусная часть 118 и аппаратная часть 120 могут двигаться друг от друга относительно выдвижной части 122 для расширения блока 106 основы. В некоторых вариантах реализации выдвижная часть 122 может представлять собой один или более отдельных средств крепления, каждое из которых имеет разную длину. Пользователь может выбрать тип крепления исходя из желаемой длины выдвижения. Желаемая длина выдвижения может зависеть от габаритов пользователя (например, роста, длины конечностей, размера стопы). Выдвижение может позволять пользователю придерживаться периметра захвата изображения формирователем 104 изображений. Например, формирователю 104 изображений может быть необходимо, чтобы изображения частей тела, подлежащих исследованию, находились в пределах виртуального шаблона, имеющего заранее определенные размеры.The base unit 106 may have a housing portion 118 and a hardware portion 120. The housing portion 118 and the hardware portion 120 may be connected to an extension portion 112 located between the housing portion 118 and the hardware portion 120. The extension portion 122 may be attached to the housing portion 118 and the hardware portion 120 by means of a guide rail mechanism. The housing portion 118 and the hardware portion 120 may move away from each other relative to the extension portion 122 to extend the base unit 106. In some embodiments, the extension portion 122 may be one or more separate fastening means, each of which has a different length. The user may select the type of fastening based on the desired extension length. The desired extension length may depend on the dimensions of the user (e.g., height, length of limbs, foot size). The extension may allow the user to adhere to the image capturing perimeter of the image generator 104. For example, the image generator 104 may require that the images of the body parts to be examined be within a virtual template having predetermined dimensions.
Корпусная часть 118 может иметь подставку 124, выступающую из нее. Подставка 124 может быть выполнена с возможностью размещения на ней и поддержания голеней, щиколоток или стоп пользователя. Подставка 124 может приподнимать поддерживаемые части тела над корпусной частью 118. В некоторых вариантах реализации подъем подставки 124 над корпусной частью 118 может быть регулируемым. Подставка 124 может иметь две опорные поверхность 126a, b. Поддерживаемые части тела могут вступать в прямой контакт с опорными поверхностями 126a, b. Каждая опорная поверхность 126a, b может иметь изгиб, имеющий такую форму и размеры, чтобы вмещать поддерживаемые части тела, при этом дополняя естественную форму поддерживаемых частей тела.The body part 118 may have a support 124 protruding from it. The support 124 may be configured to be placed on it and to support the shins, ankles or feet of the user. The support 124 may raise the supported body parts above the body part 118. In some embodiments, the rise of the support 124 above the body part 118 may be adjustable. The support 124 may have two support surfaces 126a, b. The supported body parts may come into direct contact with the support surfaces 126a, b. Each support surface 126a, b may have a bend that has such a shape and dimensions as to accommodate the supported body parts, while complementing the natural shape of the supported body parts.
Аппаратная часть 120 может иметь соединитель 128 для формирователя изображений. Соединитель 128 для формирователя изображений может быть выполнен с возможностью соединения с формирователем 104 изображений. Соединитель 128 для формирователя изображений может удерживать формирователь 104 изображений на месте относительно подставки 124. Это может обеспечить возможность выдачи изображений частей тела лучшего качества формирователем 104 изображений за счет его неподвижности во время захвата изображений. Формирователь 104 изображений может быть съемным образом соединено с соединителем 128 для формирователя изображений. Для соединения формирователя 104 изображений с соединителем 128 для формирователя изображений могут быть использованы любые известные технологии непостоянного скрепления (например, вставка, монтажные зажимы, крюки, винты). Соединитель 128 для формирователя изображений также может быть выполнен с возможностью соединения с мобильным устройством 102. Мобильное устройство 102 может быть съемным образом соединено с соединителем 128 для формирователя изображений. Для соединения мобильного устройства 102 с соединителем 128 для формирователя изображений могут быть использованы любые известные технологии непостоянного скрепления (например, вставка, монтажные зажимы, крюки, винты). Соединитель 128 для формирователя изображений может быть шарнирно соединен с аппаратной частью 120 или иметь корпус, шарнирно вращающийся относительно аппаратной части 120. Возможность шарнирного вращения соединителя 128 для формирователя изображений может обеспечивать возможность установки мобильного устройства 102 и формирователя 104 изображений под желаемым углом. Соединитель 128 для формирователя изображений может поднимать мобильное устройство 102 и/или формирователь 104 изображений над аппаратной частью 120. Подъем мобильного устройства 102 и подъем формирователя 104 изображений над аппаратной частью 120 могут регулироваться одновременного или независимо.The hardware part 120 may have a connector 128 for an image generator. The connector 128 for an image generator may be configured to connect to the image generator 104. The connector 128 for an image generator may hold the image generator 104 in place relative to the stand 124. This may provide the ability to produce better quality images of body parts by the image generator 104 due to its immobility during image capture. The image generator 104 may be removably connected to the connector 128 for an image generator. Any known non-permanent fastening technologies (e.g., insertion, mounting clips, hooks, screws) may be used to connect the image generator 104 to the connector 128 for an image generator. The connector 128 for the image forming device may also be configured to be connected to the mobile device 102. The mobile device 102 may be removably connected to the connector 128 for the image forming device. Any known non-permanent fastening technologies (e.g., insertion, mounting clips, hooks, screws) may be used to connect the mobile device 102 to the connector 128 for the image forming device. The connector 128 for the image forming device may be pivotally connected to the hardware part 120 or have a housing pivotally rotating relative to the hardware part 120. The possibility of pivoting the connector 128 for the image forming device may provide the ability to install the mobile device 102 and the image forming device 104 at a desired angle. The connector 128 for the image former can lift the mobile device 102 and/or the image former 104 above the hardware part 120. The lifting of the mobile device 102 and the lifting of the image former 104 above the hardware part 120 can be adjusted simultaneously or independently.
На фиг. 2 изображен вид в перспективе блока 106 основы в невыдвинутом положении и соединитель 128 для формирователя изображений в закрытом положении, согласно аспекту настоящего изобретения. Соединитель 128 для формирователя изображений может складываться в закрытое положение, когда система 100 не используется, а находится на хранении или транспортируется. Может быть необходимо отсоединить мобильное устройство 102 и формирователь 104 изображений от соединителя 128 для формирователя изображений перед переводом соединителя 128 для формирователя изображений в закрытое положение. Соединитель 128 для формирователя изображений может вращаться на шарнирном соединении 130, с помощью которого соединитель 128 для формирователя изображенийFig. 2 shows a perspective view of the base unit 106 in a non-extended position and the image device connector 128 in a closed position, according to an aspect of the present invention. The image device connector 128 may be folded into a closed position when the system 100 is not in use but is in storage or transported. It may be necessary to detach the mobile device 102 and the image device 104 from the image device connector 128 before moving the image device connector 128 to a closed position. The image device connector 128 may rotate on a hinge joint 130, by means of which the image device connector 128
- 6 047406 прикреплен к основе 132 для соединителя для формирователя изображений. В некоторых вариантах реализации шарнирное соединение 130 может прикреплять соединитель 128 для формирователя изображений непосредственно к блоку 106 основы. При закрытом положении соединитель 128 для формирователя изображений может быть по существу параллелен блоку 106 основы. В соединителе 128 для формирователя изображений может быть выполнено отверстие 134. Отверстие 134 может иметь такую форму и размеры, чтобы обеспечивать пользователю возможность захвата соединителя 128 для формирователя изображений одним или более пальцами для перевода соединителя 128 для формирователя изображений в закрытое положение из открытого положения и наоборот. В некоторых вариантах реализации вместо отверстия 134 может быть выполнен выступ, такой как рукоятка или кольцевое крепление.- 6 047406 is attached to the base 132 for the connector for the image device. In some embodiments, the hinge joint 130 can attach the connector 128 for the image device directly to the base block 106. In the closed position, the connector 128 for the image device can be substantially parallel to the base block 106. An opening 134 can be formed in the connector 128 for the image device. The opening 134 can be of such a shape and size as to allow a user to grasp the connector 128 for the image device with one or more fingers to move the connector 128 for the image device to the closed position from the open position and vice versa. In some embodiments, a projection such as a handle or a ring fastening can be formed instead of the opening 134.
Корпусная часть 118 и аппаратная часть 120 могут быть расположены заподлицо в невыдвинутом положении. В корпусной части 118 может быть выполнена полость 136. Полость 136 может быть выполнена на верхней поверхности 138 корпусной части 118. Полость 136 может быть выполнена вблизи ближнего конца 140, если корпусная часть 118 и ближний конец 140 находятся на расстоянии от аппаратной части 120. Полость 136 может обеспечивать пользователю возможность захвата корпусной части одним или более пальцами для перевода блока 106 основы в выдвинутое положение из невыдвинутого положения и наоборот. В аппаратной части 120 также может быть выполнена полость (не показана), являющаяся зеркальным отражением полости 136. Пользователь может переводить блок 106 основы в выдвинутое положение из невыдвинутого положения и наоборот от корпусной части 118, аппаратной части 120 или их обеих. В некоторых вариантах реализации вместо полости 136 может быть выполнен выступ.The housing part 118 and the hardware part 120 can be located flush in the non-extended position. A cavity 136 can be formed in the housing part 118. The cavity 136 can be formed on the upper surface 138 of the housing part 118. The cavity 136 can be formed near the near end 140, if the housing part 118 and the near end 140 are located at a distance from the hardware part 120. The cavity 136 can provide a user with the ability to grasp the housing part with one or more fingers to move the base unit 106 to the extended position from the non-extended position and vice versa. A cavity (not shown) can also be formed in the hardware part 120, which is a mirror image of the cavity 136. The user can move the base unit 106 to the extended position from the non-extended position and vice versa from the housing part 118, the hardware part 120, or both of them. In some embodiments, a protrusion may be provided instead of cavity 136.
На фиг. 3 изображен отдельный вид спереди формирователя 104 изображений в системе 100 согласно аспекту настоящего изобретения. Формирователь 104 изображений может содержать компоненты, скрепленные вместе с помощью кожуха 142. Этими компонентами могут быть оптическая камера 108b, тепловизионная камера 116, устройство 112 вывода, выключатель 144, световой индикатор 146 питания, средство 148 захвата и зарядный порт (не показан). Формирователь 104 изображений может иметь аккумулятор, расположенный в кожухе 142. Аккумулятор может заряжаться через зарядный порт. Зарядный порт подходит для всех типов USB, шнуров питания и любых других традиционных кабелей питания. В некоторых вариантах реализации в формирователе 104 изображений могут использоваться одноразовые аккумуляторы (например, AA, AAA). Световой индикатор 146 питания может указывать на то, включено, заряжено, заряжается ли и/или требуется ли зарядки формирователь 104 изображений. Световой индикатор 146 питания может мигать и/или излучать свет конкретного цвета, связанный с состоянием питания. Световой индикатор 146 питания может представлять собой светоизлучающий диод (LED). Выключатель 144 может использоваться для включения и выключения формирователя 104 изображений. В некоторых вариантах реализации выключатель 144 также может использоваться для захвата изображений посредством оптической камеры 108b и/или тепловизионной камеры 116. Выключатель 144 может принимать множество вводов различными способами активации выключателя 144 (например, через выполнение определенного числа нажатий, нажатие и удерживание, постоянное нажатие, сдвиг). Средство 148 захвата может представлять собой шероховатую поверхность на кожухе 142. Средство 148 захвата может проходить в множество сторон кожуха 142. Средство 148 захвата может обеспечивать пользователю возможность удобного удержания формирователя 104 изображений, не закрывая оптическую камеру 108b или тепловизионную камеру 116, тем самым предотвращая падения и создание нежелательных отпечатков пальцев на оптической камере 108b и тепловизионной камере 116.Fig. 3 shows a separate front view of the imaging device 104 in the system 100 according to an aspect of the present invention. The imaging device 104 may include components secured together by a housing 142. These components may be an optical camera 108b, a thermal imaging camera 116, an output device 112, a switch 144, a power indicator light 146, a capture means 148 and a charging port (not shown). The imaging device 104 may have a battery located in the housing 142. The battery may be charged through the charging port. The charging port is suitable for all types of USB, power cords and any other traditional power cables. In some embodiments, disposable batteries (e.g., AA, AAA) may be used in the imaging device 104. The power indicator light 146 may indicate whether the imaging device 104 is turned on, charged, is charging and/or requires charging. The power indicator light 146 can blink and/or emit a light of a specific color associated with the power state. The power indicator light 146 can be a light emitting diode (LED). The switch 144 can be used to turn on and off the image generator 104. In some embodiments, the switch 144 can also be used to capture images by means of the optical camera 108b and/or the thermal imaging camera 116. The switch 144 can receive a plurality of inputs in various ways of activating the switch 144 (for example, by performing a certain number of presses, pressing and holding, constantly pressing, sliding). The gripping means 148 may be a rough surface on the housing 142. The gripping means 148 may extend to a plurality of sides of the housing 142. The gripping means 148 may provide the user with the ability to comfortably hold the image generator 104 without covering the optical camera 108b or the thermal imaging camera 116, thereby preventing drops and the creation of unwanted fingerprints on the optical camera 108b and the thermal imaging camera 116.
На фиг. 4 изображена блок-схема, на которой показаны различные компоненты системы 100 согласно аспекту настоящего изобретения. Система 100 может содержать мобильное устройство 102, формирователь 104 изображений, диагностический процессор 150 и устройство 152 вывода. Мобильное устройство 102 может содержать процессор 154. Процессор 154 может быть выполнен с возможностью исполнения машиночитаемых инструкций. В некоторых вариантах реализации может быть предусмотрено множество процессоров 154. Процессор 154 может представлять собой, например, микропроцессор или микроконтроллер. Процессор 154 может быть запрограммирован на управление тепловизионной камерой и/или оптической камерой для выявления тепловых изображений и/или оптических изображений на основе пользовательского ввода.Fig. 4 is a block diagram illustrating various components of a system 100 according to an aspect of the present invention. The system 100 may comprise a mobile device 102, an image generator 104, a diagnostic processor 150, and an output device 152. The mobile device 102 may comprise a processor 154. The processor 154 may be configured to execute machine-readable instructions. In some embodiments, a plurality of processors 154 may be provided. The processor 154 may be, for example, a microprocessor or a microcontroller. The processor 154 may be programmed to control a thermal imaging camera and/or an optical camera to detect thermal images and/or optical images based on user input.
Пользовательский ввод может быть принят через устройство 156 ввода. Устройство 156 ввода может быть встроено в мобильное устройство 102. Устройство 156 ввода может принимать визуальный, звуковой и/или сенсорный ввод. Например, устройство 156 ввода может представлять собой камеру, микрофон, сенсорный экран, кнопку или удаленное устройство ввода. Устройство 156 ввода может быть выполнено за единое целое с дисплеем 103 мобильного устройства 102. Устройство 156 ввода может принимать биометрические данные, голос пользователя и/или сенсорный ввод пользователя, выполненный одним или более пальцами. Ввод может представлять собой запрос на начало захвата изображений.The user input can be received via the input device 156. The input device 156 can be integrated into the mobile device 102. The input device 156 can receive visual, audio and/or touch input. For example, the input device 156 can be a camera, a microphone, a touch screen, a button or a remote input device. The input device 156 can be implemented as an integral part of the display 103 of the mobile device 102. The input device 156 can receive biometric data, the user's voice and/or the user's touch input performed by one or more fingers. The input can be a request to start capturing images.
В некоторых вариантах реализации управление мобильным устройством 102 может осуществляться автоматически с помощью алгоритма, хранящегося в памяти 158. Память 158 может представлять собойIn some embodiments, the mobile device 102 may be controlled automatically using an algorithm stored in memory 158. Memory 158 may be
- 7 047406 оперативное запоминающее устройство (ОЗУ), диск, флеш-память, накопители на оптических дисках, гибридную память или любой другой носитель данных, способный хранить данные. Память 158 может хранить программный код, исполняемый процессором 154. Память 158 может хранить данные в зашифрованном или любом другом подходящем безопасном виде. Мобильным устройством 102 можно управлять для того, чтобы начать выявление изображений как только известное или распознанное изображение вошло в поле обзора оптической камеры 108 и/или тепловизионной камеры 116. После выявления изображений процессор 154 мобильного устройства может передать изображения на диагностический процессор 150.- 7 047406 random access memory (RAM), disk, flash memory, optical disk drives, hybrid memory or any other storage medium capable of storing data. Memory 158 may store program code executable by processor 154. Memory 158 may store data in encrypted or any other suitable secure form. Mobile device 102 may be controlled to begin image detection as soon as a known or recognized image enters the field of view of optical camera 108 and/or thermal imaging camera 116. After image detection, mobile device processor 154 may transmit the images to diagnostic processor 150.
Диагностический процессор 150 может иметь возможности диагностики, отслеживания и прогнозирования. Диагностический процессор 150 может быть частью удаленного компьютера или удаленного сервера. Диагностический процессор 150 может находиться в беспроводной или проводной связи с мобильным устройством 102. Беспроводная связь может осуществляться по сети Интернет, WiFi, Bluetooth, ИК и т.п. В некоторых вариантах реализации некоторые или все вышеуказанные способы связи могут быть доступными для выбора пользователем исходя из предпочтений или приемлемости (например, расстояния передачи сигнала, доступности сигнала, помех сигнала, скорости передачи сигнала). Проводная связь может осуществляться с помощью всех типов USB, шнуров питания и т.п. В некоторых вариантах реализации диагностический процессор 150 может быть встроен в мобильное устройство 102. Диагностический процессор 150 может быть реализован на множестве компьютеров, соединенных с образованием сети, или множестве виртуальных машин в облачной инфраструктуре. Удаленный компьютер или удаленный сервер может хранить, анализировать и сравнивать передаваемые изображения. Удаленный компьютер или удаленный сервер может хранить данные, включая оптические и тепловые изображения, файлы и информацию об учетной записи пользователя. Диагностический процессор 150 может распознавать контур исследуемой части тела и референсной части тела, оценивать разницу температур и определять, помимо прочего, возникновение функционального нарушения или воспаления исследуемой части тела. В диагностическом процессоре 150 могут использоваться технологии фильтрации и углубленные статистические модели для реализации некоторых или всех его функций. В некоторых вариантах реализации для реализации некоторых или всех его функций могут использоваться машинное обучение и искусственный интеллект. Диагностический процессор 150 может отправлять обратную связь на мобильное устройство 102 и/или устройство 152 вывода.The diagnostic processor 150 may have diagnostic, monitoring and prognostic capabilities. The diagnostic processor 150 may be part of a remote computer or a remote server. The diagnostic processor 150 may be in wireless or wired communication with the mobile device 102. Wireless communication may be implemented via the Internet, WiFi, Bluetooth, IR, etc. In some embodiments, some or all of the above communication methods may be available for selection by the user based on preferences or acceptability (e.g., signal transmission distance, signal availability, signal interference, signal transmission speed). Wired communication may be implemented using all types of USB, power cords, etc. In some embodiments, the diagnostic processor 150 may be built into the mobile device 102. The diagnostic processor 150 may be implemented on a plurality of computers connected to form a network, or a plurality of virtual machines in a cloud infrastructure. The remote computer or remote server may store, analyze and compare the transmitted images. The remote computer or remote server may store data, including optical and thermal images, files and user account information. The diagnostic processor 150 may recognize the contour of the examined body part and the reference body part, estimate the temperature difference and determine, among other things, the occurrence of a functional disorder or inflammation of the examined body part. The diagnostic processor 150 may use filtering technologies and advanced statistical models to implement some or all of its functions. In some embodiments, machine learning and artificial intelligence may be used to implement some or all of its functions. The diagnostic processor 150 may send feedback to the mobile device 102 and/or the output device 152.
Устройство 152 вывода может быть выполнено с возможностью вывода данных о состоянии формирователя 104 изображений. Данные о состоянии могут включать в себя оптические и тепловые изображения, выявленные формирователем 104 изображений, и/или данные, выданные диагностическим процессором 150 после проведения анализа оптических и тепловых изображений. Устройство 152 вывода может представлять данные о состоянии в визуальной или звуковой форме. Устройство 152 вывода может представлять собой дисплей (например, сенсорный экран), динамик или подобное. Дисплей может представлять собой жидкокристаллический (ЖК) дисплей, светодиодный (LED) дисплей, органический светодиод (OLED), плазменный дисплей, дисплей на электронно-лучевой трубке (ЭЛТ), дисплей с цифровой оптической обработкой (DLPT), микродисплей, проекционный дисплей или любой другой дисплей, известный специалисту в данной области техники. На дисплее могут отображаться интерфейсы пользователя, текст, изображения и/или подобное. В некоторых вариантах реализации устройство 152 вывода может быть выполнено за единое целое с мобильным устройством 102 или формирователем 104 изображений. Устройство 152 вывода может находиться в беспроводной или проводной связи с диагностическим процессором 150. Беспроводная связь может осуществляться по сети Интернет, WiFi, Bluetooth, ИК и т.п. В некоторых вариантах реализации некоторые или все вышеуказанные способы связи могут быть доступными для выбора пользователем исходя из предпочтений или приемлемости (например, расстояния передачи сигнала, доступности сигнала, помех сигнала, скорости передачи сигнала). Проводная связь может осуществляться с помощью всех типов USB, шнуров питания и т.п.The output device 152 may be configured to output data on the state of the image generator 104. The state data may include optical and thermal images detected by the image generator 104 and/or data output by the diagnostic processor 150 after analyzing the optical and thermal images. The output device 152 may represent the state data in visual or audio form. The output device 152 may be a display (e.g., a touch screen), a speaker, or the like. The display may be a liquid crystal display (LCD), a light-emitting diode (LED), an organic light-emitting diode (OLED), a plasma display, a cathode ray tube (CRT) display, a digital optical processing (DLPT) display, a microdisplay, a projection display, or any other display known to a person skilled in the art. User interfaces, text, images, and/or the like may be displayed on the display. In some embodiments, the output device 152 may be implemented as a single unit with the mobile device 102 or the image generator 104. The output device 152 may be in wireless or wired communication with the diagnostic processor 150. Wireless communication may be carried out via the Internet, WiFi, Bluetooth, IR, etc. In some embodiments, some or all of the above communication methods may be available for selection by the user based on preferences or acceptability (e.g., signal transmission distance, signal availability, signal interference, signal transmission speed). Wired communication may be carried out using all types of USB, power cords, etc.
Данные о состоянии также могут быть переданы непосредственно медицинскому специалисту, которого назначили следить за ступнями или общим состоянием здоровья пользователя. Эта передача может осуществляться по электронной почте, по телефону, через обмен текстовыми сообщениями, посредством программных уведомлений или с помощью другого средства передачи данных. Данные о состоянии могут быть зашифрованы во время передачи и расшифрованы после приема. Когда пользователь и/или назначенный ему медицинский специалист получает обратную связь о состоянии ступней, он может назначить соответствующий курс лечения.The health data may also be transmitted directly to a health professional assigned to monitor the user's feet or overall health. This transmission may be via email, phone, text messaging, software notifications, or other means of data transmission. The health data may be encrypted during transmission and decrypted upon receipt. Once the user and/or their assigned health professional receives feedback on the user's feet, they can prescribe an appropriate course of treatment.
На фиг. 5A изображен способ использования системы 100 согласно аспекту настоящего изобретения. Система 100 может быть размещена на плоской поверхности 160. Пользователем может быть пациент 162. Пациент 162 может выполнять самостоятельное исследование своих ступней, щиколоток и/или голеней. Пациент 162 может размещать и класть свои пятки 164 на подставку 124. Это может требовать от пациента принять положение сидя на плоской поверхности 160 или другой подходящей поверхности вблизи системы 100. Голени 166 пациента могут проходить с минимальным сгибом от коленей, при этом голени 166 расположены по существу параллельно плоской поверхностиFig. 5A shows a method of using the system 100 according to an aspect of the present invention. The system 100 may be placed on a flat surface 160. The user may be a patient 162. The patient 162 may perform a self-examination of his/her feet, ankles and/or shins. The patient 162 may place and rest his/her heels 164 on the rest 124. This may require the patient to assume a sitting position on the flat surface 160 or other suitable surface near the system 100. The patient's shins 166 may pass with minimal bending from the knees, wherein the shins 166 are located substantially parallel to the flat surface
- 8 047406- 8 047406
160. Мобильное устройство 102 и формирователь 104 изображений могут быть обращены к пациенту 162 таким образом, что оптическая камера 108 и тепловизионная камера 116 обращены к ступням 168 пациента. При желании и необходимости пациент 162 может находиться в положении лежа.160. The mobile device 102 and the image generator 104 can be facing the patient 162 in such a way that the optical camera 108 and the thermal imaging camera 116 face the feet 168 of the patient. If desired and necessary, the patient 162 can be in a lying position.
На фиг. 5B изображен способ использования системы 100 согласно аспекту настоящего изобретения. Пользователями может быть пациент 162 и ассистент 170. Ассистентом 170 может быть медицинский специалист, присматривающее лицо, друг, один из родителей или ухаживающее лицо. Ассистент 170 может держать мобильное устройство 102 и формирователь 104 изображений. Пациент 162 может находиться в том же самом положении, что и на фиг. 5A, за исключением того, что пятки 164 могут не лежать непосредственно на поверхности. Ассистент 170 может принимать такое положение, чтобы держать формирователь 104 изображений таким образом, что оптическая камера 108 и тепловизионная камера 116 обращены к ступням 168 пациента 162 и в пределах его досягаемости. Затем ассистент 170 может использовать устройство 152 вывода, которым может быть мобильное устройство 102 или формирователь 104 изображений, для получения обратной связи анализа.Fig. 5B shows a method of using the system 100 according to an aspect of the present invention. The users may be a patient 162 and an assistant 170. The assistant 170 may be a medical professional, a caregiver, a friend, a parent or a caregiver. The assistant 170 may hold the mobile device 102 and the imaging device 104. The patient 162 may be in the same position as in Fig. 5A, except that the heels 164 may not rest directly on the surface. The assistant 170 may take such a position to hold the imaging device 104 such that the optical camera 108 and the thermal imaging camera 116 face the feet 168 of the patient 162 and are within its reach. The assistant 170 may then use the output device 152, which may be the mobile device 102 or the image generator 104, to obtain analysis feedback.
На фиг. 6 изображена диаграмма способа выявления патологии на основе оценки температурной асимметрии, согласно аспекту настоящего изобретения. Способ может начинаться с этапа, на котором принимают пользовательский ввод для начала захвата изображений, в блоке 172. Пользовательский ввод может быть принят через устройство 156 ввода. Устройство 156 ввода может быть встроено в мобильное устройство 102. Принятый ввод может активировать оптическую камеру 108 и тепловизионную камеру 116. Пользователю может понадобиться выполнить регистрацию или вход в учетную запись пользователя с помощью устройства 156 ввода перед вводом команды на начало захвата изображений. Способ может быть продолжен блоком 174.Fig. 6 shows a diagram of a method for detecting pathology based on an assessment of temperature asymmetry, according to an aspect of the present invention. The method may begin with a step in which a user input is received to begin capturing images, in block 172. The user input may be received via an input device 156. The input device 156 may be built into the mobile device 102. The received input may activate the optical camera 108 and the thermal imaging camera 116. The user may need to register or log in to a user account using the input device 156 before entering a command to begin capturing images. The method may continue with block 174.
В блоке 174 может выполняться управление оптической камерой и тепловизионной камерой 116 посредством процессора 154 мобильного устройства для выявления оптических изображений и тепловых изображений исследуемой части тела и референсной части тела. Управляющие команды могут вводиться через устройство 156 ввода. В некоторых вариантах реализации процессор 154 мобильного устройства может автономно управлять оптической камерой 108 и тепловизионной камерой 116 для начала выявления оптических изображений и тепловых изображений после определения того, что исследуемая часть тела и референсная часть тела находятся в правильном положении относительно оптической камеры 108 и тепловизионной камеры 116. Способ может быть продолжен блоками 176a,b, выполняемыми одновременно или последовательно.In block 174, the optical camera and the thermal imaging camera 116 can be controlled by the processor 154 of the mobile device to detect optical images and thermal images of the examined body part and the reference body part. Control commands can be entered through the input device 156. In some embodiments, the processor 154 of the mobile device can autonomously control the optical camera 108 and the thermal imaging camera 116 to begin detecting optical images and thermal images after determining that the examined body part and the reference body part are in the correct position relative to the optical camera 108 and the thermal imaging camera 116. The method can be continued by blocks 176a,b, executed simultaneously or sequentially.
В блоке 176a может быть выявлено тепловое изображение исследуемой части тела и тепловое изображение референсной части тела посредством тепловизионной камеры 116. В блоке 176b может быть выявлено оптическое изображение исследуемой части тела и оптическое изображение референсной части тела посредством оптической камеры 108. В некоторых вариантах реализации выявление тепловых изображений и оптических изображений может осуществляться одновременно. Например, выявление тепловых изображений и оптических изображений может осуществляться одновременно, в течение 0,1 с, в течение 0,5 с, в течение 1 с или подобного периода. В некоторых вариантах реализации выявление тепловых изображений и оптических изображений может осуществляться последовательно. Выявление одного из оптических изображений и тепловых изображений может осуществляться с интервалом в несколько секунд или минут относительно другого из оптических изображений и тепловых изображений. Исследуемая часть тела и референсная часть тела должны находиться приблизительно в одном и том же положении во время выявления оптических изображений и тепловых изображений. Выявление оптического изображения и теплового изображения исследуемой части тела может осуществляться одновременно, перед или после оптического изображения и теплового изображения референсной части тела. Способ может быть продолжен блоком 178.In block 176a, a thermal image of the body part under examination and a thermal image of the reference body part may be detected by means of the thermal imaging camera 116. In block 176b, an optical image of the body part under examination and an optical image of the reference body part may be detected by means of the optical camera 108. In some embodiments, the detection of thermal images and optical images may be performed simultaneously. For example, the detection of thermal images and optical images may be performed simultaneously, for 0.1 s, for 0.5 s, for 1 s or a similar period. In some embodiments, the detection of thermal images and optical images may be performed sequentially. The detection of one of the optical images and thermal images may be performed at an interval of several seconds or minutes relative to the other of the optical images and thermal images. The body part under examination and the reference body part must be in approximately the same position during the detection of the optical images and thermal images. The detection of the optical image and the thermal image of the body part being examined may be performed simultaneously, before or after the optical image and the thermal image of the reference body part. The method may be continued by block 178.
В блоке 178 мобильное устройство 102 может принимать выявленные тепловые изображения и оптические изображения. Устройство 112 вывода в формирователем 104 изображений может передавать тепловые изображения и оптические изображения на устройство 114 ввода в мобильном устройстве 102. Соединение может осуществляться с помощью любых типов USB, шнуров питания и любых других традиционных средств соединения. Это соединение также может представлять собой беспроводное соединение с помощью технологии Bluetooth, ИК передачи данных, WiFi и подобного. В некоторых вариантах реализации оптическая камера 108 и/или тепловизионная камера 116 может быть встроена в мобильное устройство 102. В таких вариантах реализации передача может осуществляться в пределах мобильного устройства 102. Мобильное устройство 102 может хранить тепловые изображения и оптические изображения в памяти 158 и/или в облачном хранилище. Мобильное устройство 102 также может передавать тепловые изображения и оптические изображения на диагностический процессор 150 в блоке 180, не сохраняя тепловые изображения и оптические изображения.In block 178, the mobile device 102 can receive the detected thermal images and optical images. The output device 112 with the image generator 104 can transmit the thermal images and optical images to the input device 114 in the mobile device 102. The connection can be made using any type of USB, power cords and any other traditional means of connection. This connection can also be a wireless connection using Bluetooth technology, IR data transmission, WiFi and the like. In some embodiments, the optical camera 108 and / or the thermal imaging camera 116 can be built into the mobile device 102. In such embodiments, the transmission can be carried out within the mobile device 102. The mobile device 102 can store the thermal images and optical images in the memory 158 and / or in the cloud storage. The mobile device 102 can also transmit the thermal images and optical images to the diagnostic processor 150 in block 180, without storing the thermal images and optical images.
В блоке 180 мобильное устройство 102 может передавать тепловые изображения и оптические изображения на диагностический процессор 150. Диагностический процессор 150 может быть частью удаленного компьютера или удаленного сервера. Мобильное устройство 102 может находиться в беспроводной или проводной связи с диагностическим процессором 150. Беспроводная связь может осуществляться по сети Интернет, WiFi, Bluetooth, ИК и т.п. Проводная связь может осуществляться сIn block 180, the mobile device 102 may transmit thermal images and optical images to the diagnostic processor 150. The diagnostic processor 150 may be part of a remote computer or a remote server. The mobile device 102 may be in wireless or wired communication with the diagnostic processor 150. Wireless communication may be via the Internet, WiFi, Bluetooth, IR, etc. Wired communication may be via
- 9 047406 помощью всех типов USB, шнуров питания и т.п. В некоторых вариантах реализации диагностический процессор 150 может быть встроен в мобильное устройство 102. В таких вариантах реализации передача может осуществляться в пределах мобильного устройства 102. Тепловые изображения и оптические изображения могут храниться на удаленном сервере или удаленном компьютере. Диагностический процессор 150 может извлекать хранимые тепловые изображения и оптические изображения для проведения анализа. Способ может быть продолжен блоком 182.- 9 047406 using all types of USB, power cords, etc. In some embodiments, the diagnostic processor 150 may be built into the mobile device 102. In such embodiments, the transmission may be carried out within the mobile device 102. The thermal images and optical images may be stored on a remote server or a remote computer. The diagnostic processor 150 may retrieve the stored thermal images and optical images for analysis. The method may continue with block 182.
В блоке 182 диагностический процессор 150 может оценивать сдвиг зарегистрированных изображений исследуемой части тела. Сдвиг изображения может быть основан на оптических изображениях и тепловых изображениях исследуемой части тела. В блоке 184 диагностический процессор 150 может оценивать сдвиг зарегистрированных изображений референсной части тела. Сдвиг изображения может быть основан на оптических изображениях и тепловых изображениях референсной части тела. Этапы в блоках 182, 184 могут выполняться одновременно или последовательно в любом порядке.In block 182, the diagnostic processor 150 may estimate a shift in the registered images of the body part under examination. The image shift may be based on optical images and thermal images of the body part under examination. In block 184, the diagnostic processor 150 may estimate a shift in the registered images of the reference body part. The image shift may be based on optical images and thermal images of the reference body part. The steps in blocks 182, 184 may be performed simultaneously or sequentially in any order.
Во время оценки сдвига изображения на тепловых изображениях и оптических изображениях могут находиться ключевые точки. Предпочтительно, ключевые точки могут быть явным образом видны на тепловых изображениях и оптических изображениях (например, резкие границы). Кроме того, предпочтительно, ключевые точки могут представлять один и тот же объект или его часть. Путем решения задачи оптимизации любым широко известным образом (например, градиент снижения, генетический алгоритм) может быть получен сдвиг с помощью регулировки тепловых изображений и оптических изображений таким образом, что общая ошибка ввиду несовпадения между парами ключевых точек становится минимальной. Ошибка ввиду несовпадения может быть вычислена как функция ошибки, представляющая расстояние между соответствующими частями ключевых точек, любым известным или другим способом (например, вычислением среднеквадратической ошибки).During the evaluation of the image shift, key points may be located on the thermal images and optical images. Preferably, the key points may be clearly visible on the thermal images and optical images (e.g., sharp edges). Furthermore, preferably, the key points may represent the same object or a part thereof. By solving an optimization problem in any well-known manner (e.g., gradient descent, genetic algorithm), a shift may be obtained by adjusting the thermal images and optical images in such a way that the total misalignment error between pairs of key points becomes minimal. The misalignment error may be calculated as a function of the error representing the distance between the corresponding parts of the key points, in any known or other manner (e.g., by calculating the mean square error).
Шаблон исследуемой части тела может быть локализован на основе контура исследуемой части тела на тепловом изображении и оптическом изображении исследуемой части тела. Может выполняться оценка аффинного преобразования, способного преобразовывать изображение референсной части тела таким образом, чтобы оно соответствовало контуру исследуемой части тела на тепловом изображении и оптическом изображении. Параметры преобразования (например, масштаб, вращение, переход, зеркальное отображение, сдвиг) могут оцениваться путем решения задачи оптимизации любым известным способом (например, градиент снижения, генетический алгоритм). Конформность шаблонов частей тела может оцениваться любым известным способом соответствия между векторной линией и линией или границей на изображении, например, путем обнаружения границ. Сопоставление с деформируемым шаблоном может использоваться для распознавания контруров исследуемой и референсной частей тела на тепловом изображении и оптическом изображении.The template of the body part under study may be localized based on the contour of the body part under study in the thermal image and the optical image of the body part under study. An affine transformation capable of transforming the image of the reference body part such that it matches the contour of the body part under study in the thermal image and the optical image may be estimated. The transformation parameters (e.g. scale, rotation, transition, mirroring, translation) may be estimated by solving an optimization problem in any known way (e.g. gradient descent, genetic algorithm). The conformity of the body part templates may be estimated by any known way of matching between a vector line and a line or boundary in the image, such as by edge detection. Matching with a deformable template may be used to recognize contours of the body part under study and the reference body part in the thermal image and the optical image.
Шаблон исследуемой части тела может быть точно настроен на основе контура исследуемой части тела на тепловом изображении и оптическом изображении исследуемой части тела. Во время процесса точной настройки точки на шаблоне исследуемой части тела, преобразованном путем аффинного преобразования, могут сопоставляться с линией или границей контура части тела для достижения оптимального соответствия. Однако анатомическая форма части тела может быть сохранена за счет использования накопленных обратных положений соответствующих точек на ранее проанализированной форме части тела. Таким образом, форма части тела может быть получена путем подгонки формы части тела на тепловом изображении и оптическом изображении.The template of the body part to be examined can be fine-tuned based on the contour of the body part to be examined in the thermal image and the optical image of the body part to be examined. During the fine-tuning process, the points on the template of the body part to be examined transformed by the affine transformation can be matched with the line or boundary of the contour of the body part to achieve the optimal match. However, the anatomical shape of the body part can be preserved by using the accumulated inverse positions of the corresponding points on the previously analyzed shape of the body part. In this way, the shape of the body part can be obtained by fitting the shape of the body part in the thermal image and the optical image.
Шаблон референсной части тела может быть локализован на основе контура референсной части тела на тепловом изображении и оптическом изображении референсной части тела. Может выполняться оценка аффинного преобразования, способного преобразовывать базовое изображение части тела таким образом, чтобы оно соответствовало контуру референсной части тела на тепловом изображении и оптическом изображении. Параметры преобразования (например, масштаб, вращение, переход, зеркальное отображение, сдвиг) могут оцениваться путем решения задачи оптимизации любым известным способом (например, градиент снижения, генетический алгоритм). Конформность шаблонов частей тела может оцениваться любым известным способом соответствия между векторной линией и линией или границей на изображении, например, путем обнаружения границ.The template of the reference body part may be localized based on the contour of the reference body part in the thermal image and the optical image of the reference body part. An affine transformation capable of transforming the base image of the body part such that it matches the contour of the reference body part in the thermal image and the optical image may be estimated. The transformation parameters (e.g., scale, rotation, transition, mirroring, translation) may be estimated by solving an optimization problem using any known method (e.g., gradient descent, genetic algorithm). The conformity of the templates of the body parts may be estimated using any known method of matching between a vector line and a line or boundary in the image, such as, for example, by edge detection.
Шаблон референсной части тела может быть точно настроен на основе контура референсной части тела на тепловом изображении и оптическом изображении референсной части тела. Во время процесса точной настройки точки на шаблоне референсной части тела, преобразованном путем аффинного преобразования, могут сопоставляться с линией или границей контура части тела для достижения оптимального соответствия. Однако анатомическая форма части тела может быть сохранена за счет использования накопленных обратных положений соответствующих точек на ранее проанализированных формах части тела. Таким образом, форма части тела может быть получена путем подгонки формы части тела на тепловом изображении и оптическом изображении.The template of the reference body part can be fine-tuned based on the outline of the reference body part in the thermal image and the optical image of the reference body part. During the fine-tuning process, the points on the template of the reference body part transformed by the affine transformation can be matched with the line or boundary of the outline of the body part to achieve an optimal match. However, the anatomical shape of the body part can be preserved by using the accumulated inverse positions of the corresponding points on the previously analyzed shapes of the body part. In this way, the shape of the body part can be obtained by fitting the shape of the body part in the thermal image and the optical image.
Наборы интересующих точек для исследуемой части тела и референсной части тела могут оцениваться на основе подходящих шаблонов части тела. Положения интересующих точек могут оцениваться путем применения аффинных и неаффинных преобразований после базового набораSets of points of interest for the body part of interest and the reference body part can be estimated based on suitable body part templates. The positions of the points of interest can be estimated by applying affine and non-affine transformations after the base set
- 10 047406 интересующих точек для каждой части тела. Коэффициенты неаффинного преобразования могут оцениваться согласно точкам шаблона соответствующей части тела. Дополнительные точки, лежащие в пределах многогранной формы части тела, также могут использоваться для подготовки улучшенного преобразования.- 10,047,406 points of interest for each body part. Non-affine transformation coefficients can be estimated according to the template points of the corresponding body part. Additional points lying within the polyhedral shape of the body part can also be used to prepare an improved transformation.
Согласно соответствующему набору интересующих точек могут быть оценены температурные карты для исследуемой части тела и референсной части тела. Каждое значение температурных карт может быть оценено путем обобщения значений температуры, расположенных вблизи положения интересующих точек на тепловом изображении соответствующей части тела. Может использоваться любой известный тип обобщения значений температуры (например, поиск среднего значения, поиск медианного значения, поиск взвешенного среднего значения). Может быть выполнена оценка карты диспаратности температур. Эта оценка может выполняться путем вычитания значений температуры на температурной карте референсной части тела из соответствующих значений температуры на температурной карте исследуемой части тела.According to the corresponding set of points of interest, the temperature maps for the body part under study and the reference body part can be estimated. Each value of the temperature maps can be estimated by summarizing the temperature values located near the position of the points of interest in the thermal image of the corresponding body part. Any known type of summarizing the temperature values can be used (e.g., finding the mean value, finding the median value, finding the weighted mean value). The temperature disparity map can be estimated. This estimation can be performed by subtracting the temperature values on the temperature map of the reference body part from the corresponding temperature values on the temperature map of the body part under study.
В блоке 186 может выполняться определение возникновения функционального нарушения или воспаления исследуемой части тела посредством диагностического процессора 150. Объединение участков воспаления или функционального нарушения может выполняться путем анализа карты диспаратности температур для поиска локальных участков, содержащих значения диспаратности температур, которые выше установленного медицинского порогового значения. Потенциальные участки воспаления или функционального нарушения могут быть составлены из близко расположенных точек на карте диспаратности температур, превышающих установленное медицинское пороговое значение. Пороговое значение может быть найдено в медицинской литературе, установлено исследователем или врачом, или найдено любым другим способом. Для каждого потенциального участка воспаления или функционального нарушения может быть создан описательный вектор признаков, состоящий из обобщенных значений точек, интерпозиции, температур или любой их комбинации.In block 186, a determination of the occurrence of a functional disorder or inflammation of the examined body part can be performed by means of the diagnostic processor 150. Combining the areas of inflammation or functional disorder can be performed by analyzing a temperature disparity map to find local areas containing temperature disparity values that are higher than a set medical threshold value. Potential areas of inflammation or functional disorder can be composed of closely located points on a temperature disparity map that exceed a set medical threshold value. The threshold value can be found in medical literature, established by a researcher or a physician, or found in any other way. For each potential area of inflammation or functional disorder, a descriptive feature vector can be created consisting of generalized point values, interposition, temperatures, or any combination thereof.
Анализ участков воспаления или функционального нарушения может выполняться путем исследования векторов признаков. Во время этого процесса сомнительные участки воспаления или функционального нарушения могут быть отброшены для исключения из перечня случайно отмеченных участков без воспаления (например, участков слишком маленького размера, температура которых превышена относительно слабо). С целью обеспечения улучшенной конформности, для выполнения этой задачи могут использоваться любые архивные накопленные данные. Для выполнения этой задачи может быть использован любой тип функционального этапа классифицирования или машинного обучения (например, машина опорных векторов, искусственная нейронная сеть).The analysis of inflammation or functional disturbance regions can be performed by examining the feature vectors. During this process, suspect inflammation or functional disturbance regions can be discarded to exclude randomly marked non-inflammatory regions (e.g. regions that are too small, whose temperature is relatively low). In order to provide improved conformity, any historical data can be used to perform this task. Any type of functional classification or machine learning step (e.g. support vector machine, artificial neural network) can be used to perform this task.
Каждая исследуемая часть тела может иметь пороговое значение для разниц температур, указывающих на воспаление или функциональное нарушение. Разницы температур могут быть получены путем сравнения отличий между тепловыми изображениями исследуемой и референсной частей тела. В случае исследования непарной части тела, исследуемая часть тела может сравниваться с участком вблизи непарной исследуемой части тела. Например, в случае исследования участка брюшной полости, соседняя область брюшной полости может использоваться для сравнения в качестве референсной. Та же самая исследуемая часть тела может использоваться в качестве референсной или противоположной части тела, когда используются данные с другого и ранее выявленного теплового изображения. Разницы температур, которые превышают пороговое значение, могут свидетельствовать о воспалении части тела. Кроме того, может быть заподозрено раннее наступление воспаления или другого функционального нарушения.Each body part of interest may have a threshold value for temperature differences that indicate inflammation or functional impairment. Temperature differences may be obtained by comparing differences between thermal images of the body part of interest and a reference body part. In the case of an unpaired body part of interest, the body part of interest may be compared with an area near the unpaired body part of interest. For example, in the case of an abdominal area of interest, an adjacent abdominal area may be used for comparison as a reference. The same body part of interest may be used as a reference or opposite body part when data from another and previously detected thermal image is used. Temperature differences that exceed the threshold value may indicate inflammation of the body part. In addition, the early onset of inflammation or other functional impairment may be suspected.
В блоке 188 данные о состоянии формирователя 104 изображений могут быть выведены устройством 152 вывода. Устройство 152 вывода может представлять данные о состоянии в визуальной или звуковой форме. Устройство 152 вывода может получать данные о состоянии от диагностического процессора 150 по беспроводной или проводной связи. Беспроводная связь может осуществляться по сети Интернет, WiFi, Bluetooth, ИК и т.п. Проводная связь может осуществляться с помощью всех типов USB, шнуров питания и т.п. Просматривая данные о состоянии, пользователь получает информацию о своем состоянии здоровья или о состоянии здоровья своего пациента. Если разницы температур ниже порогового значения, то пользователь информируется о том, что признаки функционального нарушения или воспаления исследуемых частей тела не были обнаружены системой 100. Если разницы температур превышают пороговое значение, то пользователь информируется о том, что признаки раннего наступления воспаления или другого функционального нарушения, и направляется на консультацию к медицинскому специалисту касательно дальнейшего исследования.In block 188, the data on the state of the image generator 104 can be output by the output device 152. The output device 152 can present the state data in visual or audio form. The output device 152 can receive the state data from the diagnostic processor 150 via wireless or wired communication. Wireless communication can be implemented via the Internet, WiFi, Bluetooth, IR, etc. Wired communication can be implemented using all types of USB, power cords, etc. By viewing the state data, the user receives information about his or her health status or the health status of his or her patient. If the temperature differences are below the threshold value, the user is informed that signs of a functional disorder or inflammation of the examined body parts were not detected by the system 100. If the temperature differences exceed the threshold value, the user is informed that signs of an early onset of inflammation or another functional disorder are present, and is referred for consultation to a medical specialist regarding further examination.
Выражение по меньшей мере одно из A или B, используемое в описании и формуле изобретения, включает в себя только А, только B или A и B. Примеры вариантов реализации способов/систем раскрыты в качестве иллюстрации. Следовательно, использованную терминологию не следует трактовать как ограничение. Несмотря на то, что специалистам в данной области техники будут ясны незначительные изменения представленных решений, следует понимать, что в объем испрашиваемого патента входят все такие варианты реализации, которые разумным образом входят в объем вносимого вклада в уровень техники, и что этот объем не подлежит ограничению за исключением ограничения прилагаемой формулой изобретения и ее эквивалентами.The expression at least one of A or B used in the description and claims includes only A, only B, or A and B. Examples of embodiments of methods/systems are disclosed by way of illustration. Therefore, the terminology used should not be interpreted as limiting. Although minor variations of the presented solutions will be clear to those skilled in the art, it should be understood that the scope of the claimed patent includes all such embodiments that reasonably fall within the scope of the contribution to the prior art, and that this scope is not subject to limitation except by the appended claims and their equivalents.
--
Claims (20)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EA047406B1 true EA047406B1 (en) | 2024-07-17 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| De Greef et al. | Bilicam: using mobile phones to monitor newborn jaundice | |
| US10346601B2 (en) | Biometric information acquisition method and device for same | |
| US20130162796A1 (en) | Methods and apparatus for imaging, detecting, and monitoring surficial and subdermal inflammation | |
| US10660561B2 (en) | Personal skin scanner system | |
| US20150078642A1 (en) | Method and system for non-invasive quantification of biologial sample physiology using a series of images | |
| JP2010535594A (en) | Sensors and systems providing physiological data and biometric identification | |
| WO2019209680A1 (en) | System and method for human temperature regression using multiple structures | |
| US20180242874A1 (en) | Devices, systems and methods for coronary and/or pulmonary abnormality detection utilizing electrocardiography | |
| US11969257B2 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| US10993625B1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| US11523742B2 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| EA047406B1 (en) | SYSTEM, METHOD AND DEVICE FOR MEASURING TEMPERATURE ASYMMETRY OF BODY PARTS | |
| US20240374146A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| US20220296158A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| CN107349073B (en) | Clinical nursing method, device, equipment and storage medium | |
| WO2023187828A1 (en) | System and method to detect presence of skin abnormalities | |
| WO2022159093A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| WO2022258560A1 (en) | System for assisting with provision of diagnostic information | |
| WO2022159138A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| KR100686517B1 (en) | Method For Modeling Pupil Shape | |
| US11475564B2 (en) | Non-invasive non-contact system and method for measuring health parameters | |
| US20240257969A1 (en) | Methods and Systems for Providing Clinical States of an Ocular Disease Based on Genomic Data and Phenotypic Data of Subjects | |
| Mariakakis et al. | Ocular symptom detection using smartphones | |
| US20230284962A1 (en) | Systems and methods for diagnosing, assessing, and quantifying brain trauma | |
| WO2022233637A1 (en) | System for assisting with provision of diagnostic information |