RU2660631C1 - Combined reality images formation method and system - Google Patents
Combined reality images formation method and system Download PDFInfo
- Publication number
- RU2660631C1 RU2660631C1 RU2017114570A RU2017114570A RU2660631C1 RU 2660631 C1 RU2660631 C1 RU 2660631C1 RU 2017114570 A RU2017114570 A RU 2017114570A RU 2017114570 A RU2017114570 A RU 2017114570A RU 2660631 C1 RU2660631 C1 RU 2660631C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- visualization device
- location
- virtual reality
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000015572 biosynthetic process Effects 0.000 title abstract description 4
- 238000012800 visualization Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000003190 augmentative effect Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005404 magnetometry Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
Область техники, к которой относится изобретение.The technical field to which the invention relates.
Изобретение относится к области визуализации совмещенной реальности, в частности, к визуализации строительных объектов по чертежам в месте их будущей постройки.The invention relates to the field of visualization of combined reality, in particular, to the visualization of construction objects according to the drawings in the place of their future construction.
Уровень техники.The level of technology.
Решения, направленные на предоставление пользователю изображений виртуальной реальности, находят применение в различных областях деятельности человека. Solutions aimed at providing virtual reality images to the user find application in various fields of human activity.
Существуют решения в области виртуальной реальности, в которых посредством очков или шлема виртуальной реальности пользователю предоставляются лишь изображения из памяти компьютера.There are solutions in the field of virtual reality in which, through glasses or a helmet of virtual reality, the user is provided only with images from the computer's memory.
Существуют решения в области дополненной реальности, в которых пользователь видит дополнительные изображения, накладываемые на изображения реального мира без привязки к географическому местоположению объектов реального мира.There are solutions in the field of augmented reality in which the user sees additional images superimposed on real-world images without reference to the geographical location of real-world objects.
Существуют решения в области совмещенной реальности, в которых изображения виртуальной реальности привязываются к географическим координатам реального мира, что дополнительно повышает реалистичность изображений виртуальной реальности и дает больше возможностей взаимодействия с ней.There are solutions in the field of combined reality, in which virtual reality images are attached to the geographical coordinates of the real world, which further increases the realism of virtual reality images and gives more possibilities for interacting with it.
Известно решение (US2014210947 (A1), опубл.31 июля 2014), в котором описывается процесс формирования дополненной реальности с использованием координатной геометрии. Варианты осуществления этого изобретения включают способ, систему и мобильное устройство, которые включают технологию дополненной реальности в наземную съемку, 3D лазерное сканирование и процессы цифрового моделирования. Используя технологию дополненной реальности, мобильное устройство может отображать изображение дополненной реальности, представляющее реальный вид физической структуры в реальной среде, и трехмерную цифровую модель непостроенного элемента дизайна, наложенного поверх физической структуры в ее предполагаемом месте постройки. В одном варианте осуществления маркер может быть размещен в заданном наборе координат на или вокруг интересующего места, определяемого с помощью геодезического оборудования, так чтобы трехмерная цифровая модель непостроенногоэлемента дизайна могла быть визуализирована в геометрически правильной ориентации относительно физической структуры. Варианты осуществления этого решения могут также применяться к уменьшенному трехмерному напечатанному объекту, представляющему физическую структуру, если посещение места проекта невозможно.A known solution (US2014210947 (A1), published July 31, 2014), which describes the process of forming augmented reality using coordinate geometry. Embodiments of this invention include a method, system and mobile device that includes augmented reality technology in terrestrial imaging, 3D laser scanning and digital modeling processes. Using augmented reality technology, a mobile device can display an augmented reality image representing a real view of the physical structure in a real environment, and a three-dimensional digital model of an unfinished design element superimposed on top of the physical structure at its intended place of construction. In one embodiment, the marker can be placed in a predetermined set of coordinates on or around a location of interest, determined using geodetic equipment, so that a three-dimensional digital model of the unfinished design element can be visualized in a geometrically correct orientation relative to the physical structure. Embodiments of this solution may also apply to a reduced three-dimensional printed object representing the physical structure if visiting the project site is not possible.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для ориентации устройства формирования дополненного изображения в пространстве.However, in this solution, to construct the image, it is necessary to place markers in the place of interest for orientation of the augmented image forming device in space.
Известно решение (US2014270477 (A1) опубл. 18 сентября 2014), в котором описываются системы и способы отображения трехмерной модели из фотограммметрического сканирования. В одном из вариантов предлагается компьютерно-реализованный способ для отображения трехмерной (3D) модели из фотограметрического сканирования. Изображение объекта и маркер сканирования могут быть получены в первом месте. Может быть определена взаимосвязь между изображением объекта и изображением маркера сканирования в первом местоположении. Геометрическое свойство объекта может быть определено на основе соотношения между изображением объекта и изображением маркера сканирования. 3D-модель объекта может быть сгенерирована на основе определенного геометрического свойства объекта. Трехмерная модель объекта может отображаться для масштабирования в среде дополненной реальности во втором местоположении на основе маркера сканирования во втором местоположении.A known solution (US2014270477 (A1) publ. September 18, 2014), which describes the system and methods for displaying a three-dimensional model from photogrammetric scanning. In one embodiment, a computer-implemented method is provided for displaying a three-dimensional (3D) model from a photogrammetric scan. The image of the object and the scanning marker can be obtained in the first place. The relationship between the image of the object and the image of the scan marker at the first location can be determined. The geometric property of an object can be determined based on the relationship between the image of the object and the image of the scan marker. A 3D model of an object can be generated based on a specific geometric property of the object. A three-dimensional model of an object may be displayed for scaling in an augmented reality environment at a second location based on a scan marker at a second location.
Однако в данном решении для построения изображения необходимо размещать в интересующем месте маркеры для формирования дополненного изображения.However, in this solution, to construct an image, it is necessary to place markers in the place of interest to form the augmented image.
Известно решение (US2016104323 (A1) опубл. 14 апреля 2016), в котором описываются устройство дляотображения изображения и способ для отображения изображения. Согласно одному варианту осуществления устройство для отображения изображения включает в себя модуль сбора данных и модуль обработки отображения. Модуль сбора данных сконфигурирован для получения принятого изображения, которое получено камерой, и которое включает в себя оптический код распознавания, представляющий идентификационную информацию, посредством формирования множества элементов в форме линии. Модуль обработки отображения сконфигурирован для наложения и отображения изображения трехмерного объекта, соответствующего идентификационной информации, на полученном изображении. Ориентация изображения трехмерного объекта, наложенного и отображаемого на снятом изображении, определяется на основе ориентации кода оптического распознавания на снятом изображении и наклона камеры.A solution is known (US2016104323 (A1) publ. April 14, 2016), which describes a device for displaying an image and a method for displaying an image. According to one embodiment, an image display apparatus includes a data acquisition unit and a display processing unit. The data acquisition module is configured to receive a received image that is received by the camera, and which includes an optical recognition code representing identification information by generating a plurality of elements in a line shape. The display processing module is configured to overlay and display an image of a three-dimensional object corresponding to the identification information on the obtained image. The orientation of the image of the three-dimensional object superimposed and displayed on the captured image is determined based on the orientation of the optical recognition code on the captured image and the tilt of the camera.
Однако в данном решении для построения изображения необходимо размещать идентификационную информацию.However, in this solution, to create an image, it is necessary to place identification information.
Раскрытие изобретения.Disclosure of the invention.
В одном аспекте изобретения раскрыт способ для формирования изображений совмещенной реальности, содержащий этапы, на которых:In one aspect of the invention, a method for imaging an augmented reality is disclosed, comprising the steps of:
определяют данные о местоположении устройства визуализации с помощью сигналов сверхширокополосных передатчиков, расположенных в известных местоположениях;determining location data of the imaging device using signals from ultra-wideband transmitters located at known locations;
определяют данные об ориентации устройства визуализации с помощью инерциальной навигационной системы устройства визуализации;determining orientation data of the visualization device using the inertial navigation system of the visualization device;
получают с помощью камеры устройства визуализации данные изображения реального окружающего пространства пользователя;receive, using the camera of the visualization device, image data of the user's real environment;
загружают в блок обработки данные об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;loading into the processing unit data about a geo-referenced virtual reality object that needs to be displayed to the user;
совмещают посредством блока обработки данные об имеющем географическую привязку объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности;combine by means of the processing unit the data on the geo-referenced virtual reality object and the image data of the real environment using the location data and the orientation of the visualization device so as to place the data on the virtual reality object and the image data of the real environment in one spatial coordinate system, obtaining thereby images of combined reality;
отображают изображения совмещенной реальности пользователю при помощи устройства визуализации. display images of the combined reality to the user using a visualization device.
В дополнительных аспектах раскрыто, что устройство визуализации представляет собой очки или шлем виртуальной реальности; камера устройства визуализации является стереоскопической камерой; блок обработки является одним из: портативного ПК, мобильного телефона, специализированной микросхемы, процессора, контроллера; объектом виртуальной реальности, который необходимо отобразить пользователю, является по меньшей мере одно из строительного объекта, музея, зоопарка, парка аттракционов; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы, причем если интенсивность сигналов сверхширокополосных передатчиков выше заданного порога интенсивности, то местоположение определяют с помощью сигналов сверхширокополосных передатчиков, а если интенсивность ниже заданного порога интенсивности, то местоположение определяют с помощью инерциальной навигационной системы; данные о местоположении устройства визуализации дополнительно определяют с помощью инерциальной навигационной системы на основе гироскопов и акселерометров, причем порог интенсивности для радиосигналов уменьшается в течение времени.In further aspects, it is disclosed that the visualization device is a virtual reality glasses or helmet; the camera of the imaging device is a stereoscopic camera; the processing unit is one of: a laptop PC, a mobile phone, a specialized microcircuit, a processor, a controller; the object of virtual reality, which must be displayed to the user, is at least one of the construction site, museum, zoo, amusement park; the location data of the imaging device is additionally determined using an inertial navigation system, where if the intensity of the signals of the ultra-wideband transmitters is higher than the specified threshold of intensity, then the location is determined using the signals of the ultra-wideband transmitters, and if the intensity is lower than the specified threshold of intensity, then the location is determined using the inertial navigation system; the location data of the imaging device is additionally determined using an inertial navigation system based on gyroscopes and accelerometers, and the intensity threshold for radio signals decreases over time.
В другом аспекте изобретения раскрыта система для формирования изображений совмещенной реальности, содержащая:In another aspect of the invention, a system for imaging an augmented reality is disclosed, comprising:
- по меньшей мере три передатчика, расположенных в заранее заданных местоположениях реального пространства, выполненных с возможностью передавать радиосигналы;- at least three transmitters located at predetermined locations of real space, configured to transmit radio signals;
- устройство визуализации, выполненное с возможностью предоставления пользователю изображений совмещенной реальности, причем устройство визуализации содержит - a visualization device configured to provide the user with images of combined reality, wherein the visualization device comprises
приемник сигналов передатчиков, выполненный с возможностью принимать радиосигналы от по меньшей мере трех передатчиков и методом трилатерации, или триангуляции, или аналогичным образом определять свое местоположение в реальном пространстве, a transmitter signal receiver configured to receive radio signals from at least three transmitters using the trilateration or triangulation method, or similarly determine its location in real space,
камеру, выполненную с возможностью получать данные изображения реального окружающего пространства,a camera configured to receive image data of a real environment,
инерциальную навигационную систему, выполненную с возможностью получать данные об ориентации устройства визуализации;an inertial navigation system configured to obtain orientation data of a visualization device;
блок отображения, выполненный с возможностью предоставлять пользователю изображения совмещенной реальности;a display unit, configured to provide the user with images of the combined reality;
блок обработки на функциональной связи с блоком памяти, блоком отображения, камерой, приемником сигналов;a processing unit in functional communication with a memory unit, a display unit, a camera, a signal receiver;
- блок памяти, выполненный с возможностью хранения данных об имеющем географическую привязку объекте виртуальной реальности, который необходимо отобразить пользователю;- a memory unit configured to store data about a georeferenced virtual reality object that must be displayed to the user;
причем блок обработки выполнен с возможностью получать данные изображения реального окружающего пространства, получать данные об имеющем географическую привязку объекте виртуальной реальности и совмещать данные об объекте виртуальной реальности и данные изображения реального окружающего пространства, используя данные о местоположении и об ориентации устройства визуализации так, чтобы поместить данные об объекте виртуальной реальности и данные изображения реального окружающего пространства в одну систему пространственных координат, получая тем самым изображения совмещенной реальности, и с возможностью предоставлять данные совмещенной реальности блоку отображения устройства визуализации.moreover, the processing unit is configured to receive image data of a real environment, obtain data on a geo-referenced virtual reality object, and combine data on a virtual reality object and image data of a real environment using location data and an orientation of the visualization device so as to place data about a virtual reality object and image data of real surrounding space into one spatial coordinate system nat, thereby obtaining images of the combined reality, and with the ability to provide data of the combined reality to the display unit of the visualization device.
Основной задачей, решаемой заявленным изобретением, является точное формирование изображений совмещенной реальности на основании определяемых координат устройства отображения, ориентации устройства отображения, данных о виртуальных объектах, хранящихся в памяти, изображений окружающей среды, полученных с камеры. The main task solved by the claimed invention is the accurate formation of images of the combined reality based on the determined coordinates of the display device, the orientation of the display device, data on virtual objects stored in memory, environmental images received from the camera.
Сущность изобретения заключается в том, что устройство отображения определяет свое местоположение с помощью сверхширокополосных передатчиков, расположенных в известных местоположениях в реальном пространстве, определяет свою ориентацию в реальном пространстве с помощью инерциальной навигационной системы, передает эти данные в блок обработки, который на основании данных о местоположении и ориентации совмещает изображения имеющих географическую привязку с реальным пространством виртуальных объектов с изображениями реального пространства, передает совмещенные изображения в устройство отображения для предоставления пользователю изображений совмещенной реальности.The essence of the invention lies in the fact that the display device determines its location using ultra-wideband transmitters located at known locations in real space, determines its orientation in real space using an inertial navigation system, transmits this data to a processing unit, which, based on location data and orientation combines images georeferenced with the real space of virtual objects with images of real of the space, it transmits the combined image to the display device for providing images to the user combined reality.
Технический результат, достигаемый решением, заключается в том, что обеспечивается качественное формирование изображений совмещенной реальности, в которой изображения реального пространства точно совмещаются с изображениями виртуальных объектов, привязанных к географическим координатам реального пространства.The technical result achieved by the solution lies in the fact that high-quality formation of images of combined reality is provided, in which images of real space are precisely aligned with images of virtual objects attached to the geographical coordinates of real space.
Краткое описание чертежей.A brief description of the drawings.
Фиг.1 показывает схему определения местоположения пользователя.Figure 1 shows a location scheme of a user.
Фиг.2 показывает блок-схему системы для формирования изображений совмещенной реальности.Figure 2 shows a block diagram of a system for imaging a combined reality.
Осуществление изобретения.The implementation of the invention.
Для построения изображений совмещенной реальности необходимо определить местоположение пользователя, посредством определения местоположения шлема дополненной реальности, который он надел. To create images of the combined reality, it is necessary to determine the location of the user by determining the location of the augmented reality helmet that he put on.
Определение местоположения шлема дополненной реальности возможно при помощи GPS, однако точность в таком случае может составлять около 6-8 метров, что недопустимо для большинства приложений.The location of the augmented reality helmet is possible using GPS, but the accuracy in this case can be about 6-8 meters, which is unacceptable for most applications.
Общим недостатком использования любой радионавигационной системы является то, что при определённых условиях сигнал может не доходить до приёмника, или приходить со значительными искажениями или задержками. Например, практически невозможно определить своё точное местонахождение в глубине квартиры внутри железобетонного здания, в подвале или в тоннеле даже профессиональными геодезическими приёмниками. Так как рабочая частота GPS лежит в дециметровом диапазоне радиоволн, уровень сигнала от спутников может серьёзно снизиться под плотной листвой деревьев или из-за очень большой облачности. Нормальному приёму сигналов GPS могут повредить помехи от многих наземных радиоисточников, а также от магнитных бурь.A common drawback of using any radio navigation system is that, under certain conditions, the signal may not reach the receiver, or it may arrive with significant distortions or delays. For example, it is practically impossible to determine your exact location in the depths of an apartment inside a reinforced concrete building, in a basement or in a tunnel, even by professional geodetic receivers. Since the operating frequency of the GPS lies in the decimeter range of radio waves, the signal level from satellites can seriously decrease under the dense foliage of trees or due to very high cloud cover. The normal reception of GPS signals can be affected by interference from many terrestrial radio sources, as well as from magnetic storms.
Кроме методов на основе GPS, существует ряд методов определения местоположения более подходящих для реализации в помещении, часть из которых представлена ниже:In addition to GPS-based methods, there are a number of location methods that are more suitable for indoor use, some of which are presented below:
Определение местоположения по сотовым сетям – точность оставляет желать лучшего даже в районах с высокой плотностью базовых станций.Positioning over cellular networks - accuracy leaves much to be desired even in areas with a high density of base stations.
Определение местоположения с помощью инерциальных систем, где используется модель движения человека: если мы знаем, где были, в какую сторону и как быстро двигались, то можно рассчитать, где мы оказались через некоторое время. Сейчас это достигается с помощью гироскопов, акселерометров, датчика Холла или иных подходящих средств.Positioning using inertial systems where a model of human movement is used: if we know where we were, which way and how fast we moved, we can calculate where we were after a while. Now this is achieved using gyroscopes, accelerometers, a Hall sensor or other suitable means.
Определение местоположения с помощью оптических систем, которые основаны на предварительном сканировании помещения, а потом по картинке, например, потолка c фронтальной камеры смартфона, возможно определение местоположения. Positioning using optical systems, which are based on preliminary scanning of the room, and then from the picture, for example, the ceiling from the front camera of the smartphone, it is possible to determine the location.
Определение местоположения с помощью магнитометрии – определения местоположения по магнитному полю с помощью компаса смартфона. Решение требует предварительной калибровки в помещении и сильно подвержено влиянию металла и магнитов.Positioning using magnetometry - location by magnetic field using a compass smartphone. The solution requires preliminary calibration in the room and is highly susceptible to the influence of metal and magnets.
Определение местоположения на основе трилатерации на базе Wi-Fi/Bluetooth передатчиков. Для реализации применяется распространённое оборудование, как для инфраструктуры, так и для определения местоположения. Также существует возможность использования уже развернутых Wi-Fi/Bluetooth сетей.Location determination based on trilateration based on Wi-Fi / Bluetooth transmitters. For the implementation, common equipment is used, both for infrastructure and for determining location. There is also the possibility of using already deployed Wi-Fi / Bluetooth networks.
Радиокарта или “цифровые отпечатки” сигналов Wi-Fi/Bluetooth – местоположение вычисляется путем сравнения измеряемых в реальном времени мощностей сигнала от окружающих Wi-Fi/BLE точек с заранее измеренными значениями, привязанными к карте помещения.Radio card or “fingerprints” of Wi-Fi / Bluetooth signals - The location is calculated by comparing the measured in real time signal powers from the surrounding Wi-Fi / BLE points with pre-measured values tied to the room map.
Для повышения точности определения местоположения было предложено размещать в реальном пространстве, где предполагается формировать изображения совмещенной реальности, станции, передающие радиосигналы (см. фиг.1). Используя радиосигналы этих станций, расположенных в заранее известных координатах, методом трилатерации можно с высокой точностью определять местоположение приемника. Для осуществления этого подхода необходимо по меньшей мере три передатчика, сигнал от которых уверенно принимается приемником.To improve the accuracy of positioning, it was proposed to place in real space, where it is supposed to form images of the combined reality, stations transmitting radio signals (see figure 1). Using the radio signals of these stations located in previously known coordinates, using the trilateration method, it is possible to determine the location of the receiver with high accuracy. To implement this approach, at least three transmitters are necessary, the signal from which is confidently received by the receiver.
В предложенном способе используется система радиолокации на основе сверхширокополосных сигналов для определения точного местоположения пользователя в реальном пространстве, а также инерциальная навигационная система для определения ориентации пользователя (система indoor-определения местоположения). В результате использования двух этих систем можно получить информацию о местоположении и ориентации пользователя в реальном пространстве, что позволяет разместить объекты виртуальной реальности, имеющие географическую привязку, с минимальной погрешностью, достаточной для использования последних в качестве ориентира при выполнении, например, строительных работ.The proposed method uses a radar system based on ultra-wideband signals to determine the exact location of the user in real space, as well as an inertial navigation system to determine the orientation of the user (indoor location system). As a result of using these two systems, it is possible to obtain information about the location and orientation of the user in real space, which allows you to place virtual reality objects that have a geographical reference, with a minimum error sufficient to use the latter as a guide when performing, for example, construction work.
Также ниже рассматриваются варианты осуществления, в которых объединены возможности определения местоположения различных методов. Такие решения обеспечивают приемлемое качество для точного совмещения изображений реального мира и изображений виртуальной реальности.Also discussed below are embodiments in which the location capabilities of various methods are combined. Such solutions provide acceptable quality for the exact combination of real-world images and virtual reality images.
В предложенном решении аппаратное и программное обеспечение для реализации функциональности по определению местоположения установлено в шлеме (или очках) виртуальной реальности, который также содержит по меньшей мере одну камеру (предпочтительно стереоскопическую камеру) для получения изображений реального мира вокруг пользователя, который надел шлем виртуальной реальности.In the proposed solution, the hardware and software for implementing the location-determining functionality is installed in a virtual reality helmet (or glasses), which also contains at least one camera (preferably a stereoscopic camera) for receiving real-world images around a user who has put on a virtual reality helmet.
В целом аппаратное и программное обеспечение для определения местоположения является стандартным и широко известным в уровне техники, особенности, отличающие его от известных реализаций, будут описаны отдельно. В целом, шлем виртуальной реальности выполнен с возможностью определять свое местоположение при помощи блока GPS определения местоположения и/или блока indoor-определения местоположения, с возможностью получения изображений с камеры, передачи всех данных на блок обработки, с возможностью предоставления обработанных данных (данных совмещенной реальности) пользователю.In General, the hardware and software for determining the location is standard and widely known in the prior art, features that distinguish it from known implementations will be described separately. In general, the virtual reality helmet is configured to determine its location using the GPS positioning unit and / or indoor-positioning unit, with the ability to receive images from the camera, transfer all data to the processing unit, with the possibility of providing processed data (data of combined reality) ) to the user.
На фиг.2 показана система для формирования изображений совмещенной реальности, содержащая по меньшей мере три передатчика радиосигналов, блок обработки, блок памяти, устройство визуализации, содержащее приемник радиосигналов, камеру, навигационную систему.Figure 2 shows a system for imaging a combined reality, comprising at least three radio signal transmitters, a processing unit, a memory unit, a visualization device containing a radio signal receiver, a camera, a navigation system.
Шлем виртуальной реальности передает на блок обработки данные о своем определенном местоположении, данные об ориентации и данные с камеры для формирования блоком обработки данных совмещенной реальности, посредством совмещения данных реального мира с камеры и имеющих географическую привязку данных виртуальных объектов из памяти.The virtual reality helmet transmits to the processing unit data about its specific location, orientation data and camera data to form a combined reality data processing unit by combining real-world data from the camera and geo-referenced data of virtual objects from memory.
Блоком обработки может быть сервер, компьютер, ноутбук или любое иное средство, функциональность которого позволяет принимать от шлема виртуальной реальности данные, обрабатывать их, совмещать с сохраненными изображениями виртуальной реальности и предоставлять для просмотра пользователю посредством дисплея шлема виртуальной реальности, в том числе портативный ПК, планшет, мобильный телефон, специализированная микросхема, процессор, контроллер. В некоторых вариантах блок обработки может быть конструктивно единым со шлемом блоком или может быть встроен в шлем.The processing unit may be a server, computer, laptop or any other means, the functionality of which allows receiving data from a virtual reality helmet, processing it, combining it with saved virtual reality images and providing it for viewing to a user through a virtual reality helmet display, including a portable PC, tablet, mobile phone, specialized microcircuit, processor, controller. In some embodiments, the processing unit may be structurally integrated with the helmet unit or may be integrated into the helmet.
Блок обработки имеет возможность считывать из блока памяти данные о визуализируемых объектах, в предпочтительном варианте осуществления данные о строительном объекте, которые могут быть представлены в формате CAD (система автоматического проектирования). Эти данные имеют географическую привязку, поэтому блоку обработки необходимы данные о местоположении пользователя, чтобы точно совместить данные о реальном мире, получаемые с камеры, и данные о виртуальной реальности, хранящиеся в памяти. Чем точнее будет определено местоположение и ориентация пользователя, тем точнее данные будут совмещены друг с другом.The processing unit has the ability to read from the memory unit data on the visualized objects, in a preferred embodiment, the data on the building object, which can be represented in CAD format (automatic design system). This data is geo-referenced, therefore, the processing unit needs user location data to accurately combine real-world data received from the camera with virtual reality data stored in memory. The more accurately the location and orientation of the user is determined, the more accurately the data will be combined with each other.
Блок памяти может быть как внутренним, так и внешним блоком по отношению к блоку обработки. Сам блок обработки при этом может быть встроен в шлем виртуальной реальности, а может представлять собой отдельный блок, присоединяемый с возможностью связи к шлему виртуальной реальности.The memory unit may be either an internal or external unit with respect to the processing unit. The processing unit itself can be integrated into the virtual reality helmet, or it can be a separate unit that can be connected to the virtual reality helmet.
Пользователь, наблюдающий совмещенную реальность, может наглядно увидеть будущую постройку в реальном местоположении, пройти по объекту, который еще планируется строить или уже частично строится, увидеть его с разных ракурсов. Таким объектом может быть, например, музей или здание, которое только в виртуальной реальности представляет собой музей. Также это может быть парк аттракционов как открытый, так и крытый.A user observing a combined reality can visually see the future building in a real location, go through an object that is still planned to be built or is already partially under construction, and see it from different angles. Such an object can be, for example, a museum or a building, which only in virtual reality is a museum. It can also be an amusement park, both outdoor and indoor.
Также пользователь может вносить изменения в объекты виртуальной реальности, для этого на руку пользователя устанавливают маркеры, которые считывает камера, в результате чего пользователю предоставляется графическое меню, с помощью которого можно управлять отображаемой реальностью, например, строительной моделью. Возможна также организация виртуального совещания, когда изображения двух пользователей передаются на их шлемы виртуальной реальности и обеспечивается возможность общения с передачей не только звука, но и видеоизображения собеседника.Also, the user can make changes to virtual reality objects, for this, markers are read on the user's hand, which the camera reads, as a result of which the user is presented with a graphical menu with which you can control the displayed reality, for example, a building model. It is also possible to organize a virtual meeting, when images of two users are transmitted to their virtual reality helmets and it is possible to communicate with the transmission of not only sound, but also video images of the interlocutor.
В одном варианте осуществления функционально систему для формирования изображений совмещенной реальности можно разделить на две функциональных части:In one embodiment, the functional system for forming images of combined reality can be divided into two functional parts:
1. Носимая часть.1. The wearable part.
2. Серверная часть.2. The server side.
Носимая часть представляет собой очки (шлем) виртуальной реальности и носимый компьютер.The wearable part is a virtual reality goggles (helmet) and a wearable computer.
Серверная часть состоит из сервера обработки и хранения данных о строительном объекте.The server part consists of a server for processing and storing data about a building object.
Носимая часть позволяет пользователю получать доступ к 3D-модели здания, совмещённой с реальным изображением, что даёт увеличение эффективности использования всех доступных визуальных возможностей технологии BIM (информационное моделирование здания): просмотр и изменение параметров объекта «на ходу», совмещение 3D-модели с реально существующей реализацией.The wearable part allows the user to access a 3D model of the building combined with a real image, which increases the efficiency of using all available visual capabilities of BIM technology (building information modeling): viewing and changing object parameters on the go, combining the 3D model with real existing implementation.
Серверная часть предпочтительно представляет собой платформу для облачных вычислений с помощью математического алгоритма, сопоставляющего изображение реального мира с изображением, получаемым из эталонной 3D-модели объекта. Для формирования эталонной 3D-модели объекта алгоритм собирает данные из разных источников: техническая документация (чертежи и спецификации), сметы и пр.The server part is preferably a platform for cloud computing using a mathematical algorithm that compares the image of the real world with the image obtained from the reference 3D model of the object. To create a reference 3D model of the object, the algorithm collects data from various sources: technical documentation (drawings and specifications), estimates, etc.
Результатом работы математического алгоритма является совмещение полученных данных в одном изображении с изображением реального вида. Совмещение может осуществлятьсякак в носимой части, так и в серверной, что не относится к сущности заявленного решения. Серверная часть в таком случае может хранить, например, данные о виртуальных объектах и только лишь передает их в носимую часть для дальнейшей обработки.The result of the mathematical algorithm is the combination of the obtained data in one image with the image of a real form. Combination can be carried out both in the wearable part and in the server part, which does not apply to the essence of the claimed solution. The server part in this case can store, for example, data on virtual objects and only transfers them to the wearable part for further processing.
В одном из вариантов осуществления шлем виртуальной реальности отслеживает свое местоположение, используя либо сигналы от передатчиков радиосигналов базовых станций, либо используя данные системы indoor-определения местоположения.In one embodiment, the virtual reality helmet tracks its location using either signals from the radio transmitters of the base stations, or using data from an indoor positioning system.
В случае расположения в открытом пространстве, где нет препятствий для сигналов от передатчиков, точность определения местоположения на их основе является достаточно высокой, однако при нахождении в помещении точность ухудшается, что может привести к искажениям в отображении совмещенной реальности. Для уменьшения таких искажений было предложено оценивать точность определения местоположения с помощью радиосигналов, измеряя их интенсивность, если интенсивность радиосигналов (одного или средняя) ниже определенного порога, то местоположение определяется с помощью системы indoor-определения местоположения.In the case of location in an open space, where there are no obstacles to signals from transmitters, the accuracy of determining the location based on them is quite high, however, when in a room, the accuracy deteriorates, which can lead to distortions in the display of the combined reality. To reduce such distortions, it was proposed to evaluate the accuracy of determining the location using radio signals, measuring their intensity, if the intensity of the radio signals (one or average) is below a certain threshold, then the location is determined using an indoor-location system.
Как только интенсивность радиосигналов превышает порог, то местоположение снова определяется с помощьюрадиосигналов.As soon as the intensity of the radio signals exceeds the threshold, the location is again determined using the radio signals.
Если используются инерциальные системы, где используется модель движения человека, причем движение определяется с помощью гироскопов и акселерометров, то имеется эффект накопления ошибки, ошибка тем больше, чем длительнее осуществляется определение местоположения при помощи этой системы. Поэтому в варианте осуществления, в котором используется определение местоположения на основании указанной выше инерциальной системы и системы определения местоположения на основании радиосигналов от базовых станций, порог интенсивности для радиосигналов уменьшается в течение времени, чтобы нейтрализовать эффект накопления ошибки.If inertial systems are used, where a model of human movement is used, and the movement is determined using gyroscopes and accelerometers, then there is the effect of accumulating errors, the error is greater, the longer the location is determined using this system. Therefore, in an embodiment that uses location based on the above inertial system and a location system based on radio signals from base stations, the intensity threshold for radio signals decreases over time to neutralize the effect of error accumulation.
В одном из вариантов осуществления вводится порог для длительности определения местоположения с помощью инерциальной системы, при превышении этого порога определение местоположения с помощью инерциальной системы считается неточным. Таким образом, при превышении порога интенсивности радиосигналов или превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется на основании радиосигналов, в ином случае определение местоположения осуществляется с помощью инерциальной системы.In one embodiment, a threshold is introduced for the duration of positioning using an inertial system; when this threshold is exceeded, positioning using an inertial system is considered inaccurate. Thus, when exceeding the threshold of the intensity of radio signals or exceeding the threshold of the duration of determining the location using an inertial system, the location is determined based on the radio signals, otherwise the location is determined using the inertial system.
В одном из вариантов осуществления при превышении порога длительности определения местоположения с помощью инерциальной системы определение местоположения осуществляется совместно с помощью инерциальной системы и системы определения местоположения с помощью радиосигналов, причем определенное двумя системами местоположение усредняется.In one embodiment, when the threshold for determining the location using the inertial system is exceeded, the location is determined jointly by the inertial system and the location system using radio signals, and the location determined by the two systems is averaged.
Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.Embodiments are not limited to the embodiments described herein, those skilled in the art based on the information set forth in the description and knowledge of the prior art will appreciate other embodiments of the invention without departing from the spirit and scope of the present invention.
Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.The elements mentioned in the singular do not exclude the plurality of elements, unless specifically indicated otherwise.
Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электро-магнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.The functional connection of elements should be understood as a connection that ensures the correct interaction of these elements with each other and the implementation of one or another functionality of the elements. Particular examples of functional communication can be communication with the possibility of exchanging information, communication with the possibility of transmitting electric current, communication with the possibility of transmitting mechanical motion, communication with the possibility of transmitting light, sound, electro-magnetic or mechanical vibrations, etc. The specific type of functional connection is determined by the nature of the interaction of the mentioned elements, and, unless otherwise indicated, is provided by well-known means using principles well known in the art.
Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.The methods disclosed herein comprise one or more steps or actions to achieve the described method. The steps and / or actions of the method can replace each other without going beyond the scope of the claims. In other words, unless a specific order of steps or actions is defined, the order and / or use of specific steps and / or actions can be changed without departing from the scope of the claims.
В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.The application does not indicate specific software and hardware for the implementation of the blocks in the drawings, but one skilled in the art should understand that the invention is not limited to a specific software or hardware implementation, and therefore, any software and hardware known in the art may be used to implement the invention. prior art. So hardware can be implemented in one or more specialized integrated circuits, digital signal processors, digital signal processing devices, programmable logic devices, user programmable gate arrays, processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic modules configured to carry out the functions described in this document, a computer or a combination of the above.
Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.Although not specifically mentioned, it is obvious that when it comes to storing data, programs, and the like, a computer-readable storage medium is meant, examples of computer-readable storage media include read-only memory, random-access memory, register, cache semiconductor storage devices, magnetic media such as internal hard drives and removable drives, magneto-optical media and optical media such as CD-ROMs and digital versatile disks (DVDs), as well as any other Gia known in the prior art storage media.
Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.Although exemplary embodiments have been described in detail and shown in the accompanying drawings, it should be understood that such embodiments are merely illustrative and not intended to limit the broader invention, and that the invention should not be limited to the particular arrangements and structures shown and described, since various other modifications may be apparent to those skilled in the art.
Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.The features mentioned in the various dependent claims, as well as the implementations disclosed in various parts of the description, can be combined to achieve beneficial effects, even if the possibility of such a combination is not explicitly disclosed.
Claims (23)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017114570A RU2660631C1 (en) | 2017-04-26 | 2017-04-26 | Combined reality images formation method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017114570A RU2660631C1 (en) | 2017-04-26 | 2017-04-26 | Combined reality images formation method and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2660631C1 true RU2660631C1 (en) | 2018-07-06 |
Family
ID=62815376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017114570A RU2660631C1 (en) | 2017-04-26 | 2017-04-26 | Combined reality images formation method and system |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2660631C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021164907A1 (en) * | 2020-02-21 | 2021-08-26 | Vr Coaster Gmbh & Co. Kg | Method for providing a virtual reality experience for at least one passenger on a ride, and ride |
| RU2757550C2 (en) * | 2018-07-13 | 2021-10-18 | Эпзилон Кран Гмбх. | Crane control device with visualization device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040113885A1 (en) * | 2001-05-31 | 2004-06-17 | Yakup Genc | New input devices for augmented reality applications |
| US20040149036A1 (en) * | 2000-04-21 | 2004-08-05 | Eric Foxlin | Motion-tracking |
| US20050256396A1 (en) * | 2004-05-17 | 2005-11-17 | Canon Kabushiki Kaisha | Image composition system, image composition method, and image composition apparatus |
| US20070273610A1 (en) * | 2006-05-26 | 2007-11-29 | Itt Manufacturing Enterprises, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
| RU2008110056A (en) * | 2005-08-15 | 2009-09-27 | Конинклейке Филипс Электроникс Н.В. (Nl) | SYSTEM, DEVICE AND METHOD FOR ADVANCED REALITY GOGGLES FOR END-USER PROGRAMMING |
-
2017
- 2017-04-26 RU RU2017114570A patent/RU2660631C1/en active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040149036A1 (en) * | 2000-04-21 | 2004-08-05 | Eric Foxlin | Motion-tracking |
| US20040113885A1 (en) * | 2001-05-31 | 2004-06-17 | Yakup Genc | New input devices for augmented reality applications |
| US20050256396A1 (en) * | 2004-05-17 | 2005-11-17 | Canon Kabushiki Kaisha | Image composition system, image composition method, and image composition apparatus |
| RU2008110056A (en) * | 2005-08-15 | 2009-09-27 | Конинклейке Филипс Электроникс Н.В. (Nl) | SYSTEM, DEVICE AND METHOD FOR ADVANCED REALITY GOGGLES FOR END-USER PROGRAMMING |
| US20070273610A1 (en) * | 2006-05-26 | 2007-11-29 | Itt Manufacturing Enterprises, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2757550C2 (en) * | 2018-07-13 | 2021-10-18 | Эпзилон Кран Гмбх. | Crane control device with visualization device |
| US11198391B2 (en) | 2018-07-13 | 2021-12-14 | Epsilon Kran Gmbh | Crane control comprising a visualisation apparatus |
| WO2021164907A1 (en) * | 2020-02-21 | 2021-08-26 | Vr Coaster Gmbh & Co. Kg | Method for providing a virtual reality experience for at least one passenger on a ride, and ride |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11443451B2 (en) | Apparatus and method for providing vehicular positioning | |
| US10354407B2 (en) | Camera for locating hidden objects | |
| US20190272676A1 (en) | Local positioning system for augmented reality applications | |
| WO2020055281A1 (en) | Method and system of forming mixed-reality images | |
| CN105579811B (en) | Method for the drawing of external mix photo | |
| US9429438B2 (en) | Updating map data from camera images | |
| US11243288B2 (en) | Location error radius determination | |
| CA2762743C (en) | Updating map data from camera images | |
| KR102035388B1 (en) | Real-Time Positioning System and Contents Providing Service System Using Real-Time Positioning System | |
| JP6804806B2 (en) | Positioning accuracy information calculation device and positioning accuracy information calculation method | |
| KR20140012574A (en) | System and method for determining indoor position | |
| US11640679B2 (en) | Augmented or virtual reality calibration and alignment system and method | |
| CN110426725B (en) | Method for accurately positioning indoor user mobile terminal | |
| CN112422653A (en) | Scene information pushing method, system, storage medium and equipment based on location service | |
| RU2660631C1 (en) | Combined reality images formation method and system | |
| RU176382U1 (en) | INFORMATION GATHERING UNIT FOR A JOINT REALITY DEVICE | |
| CN117437370A (en) | High-voltage cable positioning method, device and equipment based on mixed reality three-dimensional modeling | |
| Hashimoto et al. | Outdoor navigation system by AR | |
| US11869159B2 (en) | High density 3D environment capture with guided mixed reality | |
| KR20150107970A (en) | Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices | |
| RU2702495C1 (en) | Method and system for collecting information for a combined reality device in real time | |
| CN113567920B (en) | Three-dimensional positioning method for underground space | |
| Patias et al. | Robust pose estimation through visual/GNSS mixing | |
| Juri | Crowd sourced self beacon mapping with isolated signal aware bluetooth low energy positioning | |
| Di Pietra | Seamless Positioning and Navigation in Urban Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD4A | Correction of name of patent owner | ||
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20210125 |
|
| TK4A | Correction to the publication in the bulletin (patent) |
Free format text: CORRECTION TO CHAPTER -PC4A- IN JOURNAL 3-2021 FOR INID CODE(S) D N |
|
| HE4A | Change of address of a patent owner |
Effective date: 20220216 |