RU2768013C2 - Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание - Google Patents
Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание Download PDFInfo
- Publication number
- RU2768013C2 RU2768013C2 RU2020100224A RU2020100224A RU2768013C2 RU 2768013 C2 RU2768013 C2 RU 2768013C2 RU 2020100224 A RU2020100224 A RU 2020100224A RU 2020100224 A RU2020100224 A RU 2020100224A RU 2768013 C2 RU2768013 C2 RU 2768013C2
- Authority
- RU
- Russia
- Prior art keywords
- area
- viewer
- user
- view content
- positioning
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Группа изобретений относится к технологиям рендеринга мультивидового мультимедийного содержания на отображающем экране в зависимости от позиции пользователя. Техническим результатом является обеспечение стимулирующего эффекта для побуждения пользователя оставаться в зоне позиционирования. Предложен способ отображения мультивидового содержания на дисплее. Способ содержит этап, на котором задают область инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя. При этом, когда позиция зрителя располагается в области инициирования, инициируют один или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования. 3 н. и 11 з.п. ф-лы, 19 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к рендерингу мультивидового содержания. В частности, но не исключительно, настоящее изобретение относится к рендерингу мультивидового мультимедийного содержания на отображающем экране в зависимости от позиции пользователя.
УРОВЕНЬ ТЕХНИКИ
Этот раздел служит для ознакомления с различными аспектами уровня техники, которые могут относиться к различным аспектам настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что это рассмотрение будет полезно при обеспечении информации о предшествующем уровне техники для облегчения понимания различных аспектов настоящего изобретения. Соответственно, следует понимать, что эти утверждения следует воспринимать в этой связи, но не как допущения уровня техники.
Мультивидовое содержание (так называемое содержание светового поля), неподвижное изображение или видео, можно получать с помощью системы получения светового поля, например, массива стационарных камер, состоящего из множества отдельных камер, или пленоптической камеры, образованной массивом микролинз, расположенным перед датчиком изображения. Для каждого кадра видео светового поля или каждого изображения светового поля, система получения светового поля способна обеспечивать набор мультивидов, набор карт глубин и соответствующие параметры получения системы.
При рендеринге содержания светового поля на известном отображающем экране (например, экране 2D TV), пользователь может пользоваться возможностью параллакса, предоставляемой содержанием светового поля, обеспечивающей эффект рендеринга параллакса и восприятие виртуальной реальности (VR). Эффект параллакса дает ощущение глубины и позволяет пользователю воспринимать объем объектов или персонажей сцены.
В зависимости от системы получения светового поля и позиции пользователя (в частности, его головы или глаз), покрытие сцены может иметь некоторые ограничения, заставляющие пользователя воспринимать дыры или черные поверхности на краях.
Настоящее изобретение предложено с учетом вышеизложенного.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В целом, изобретение относится к способу отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,
причем упомянутый способ содержит:
- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;
- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;
- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.
Согласно варианту осуществления, зона позиционирования и область инициирования могут иметь пирамидальную форму.
Согласно варианту осуществления, один или более стимулирующих эффектов могут содержать по меньшей мере один из:
- эффекта затемнения для затемнения отображающего экрана в зависимости от позиции головы пользователя в упомянутой области инициирования,
- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области инициирования;
- одной или более визуальных подсказок, указывающих направление на отображающем экране.
Согласно варианту осуществления, эффект затемнения может увеличиваться, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.
Согласно варианту осуществления, эффект затемнения может увеличиваться линейно с углом наблюдения позиции головы пользователя.
Согласно варианту осуществления, эффект интенсивности параллакса может уменьшать скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.
Согласно варианту осуществления, один или более стимулирующих эффектов может быть обратимым.
Согласно варианту осуществления, при получении мультивидового содержания устройством получения, зона позиционирования может устанавливаться на основании одного или более полученных параметров получения устройства получения и одного или более полученных параметров отображающего экрана.
Согласно варианту осуществления, пирамидальная форма зоны позиционирования может задаваться горизонтальным углом наблюдения устройства получения и вертикальным углом наблюдения устройства получения.
Согласно варианту осуществления, пирамидальная форма может центрироваться относительно отображающего экрана.
Согласно варианту осуществления, зона позиционирования может задаваться минимальным расстоянием от отображающего экрана.
Согласно варианту осуществления, упомянутое минимальное расстояние от отображающего экрана может соответствовать максимуму из:
- минимального расстояния по горизонтали, полученного из ширины отображающего экрана и горизонтального угла наблюдения устройства получения,
- минимального расстояния по вертикали, полученного из высоты отображающего экрана и вертикального угла наблюдения устройства получения.
Согласно варианту осуществления, минимальное расстояние по горизонтали можно получить из следующего уравнения:
где wscreen - ширина отображающего экрана, и α - горизонтальный угол наблюдения устройства получения.
Согласно варианту осуществления, минимальное расстояние по вертикали можно получить из следующего уравнения:
где hscreen - высота отображающего экрана, и β - вертикальный угол наблюдения устройства получения.
Согласно варианту осуществления, зона позиционирования может задаваться максимальным расстоянием от отображающего экрана.
Согласно варианту осуществления, упомянутое максимальное расстояние можно получить из минимальной высоты и максимальной высоты между которыми может располагаться взгляд пользователя.
Согласно варианту осуществления, упомянутое максимальное расстояние можно получить из пересечения пирамидальной формы и горизонтальной полосы, заданной упомянутыми минимальной и максимальной высотами.
Настоящее изобретение дополнительно относится к устройству для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на экране, согласно позиции головы пользователя,
причем оно содержит по меньшей мере одно запоминающее устройство и по меньшей мере одну схему обработки, выполненную с возможностью:
- устанавливать зону позиционирования для наблюдения отображаемого мультивидового содержания;
- задавать область инициирования, размещенную, по меньшей мере частично, в зоне позиционирования;
- когда позиция головы пользователя располагается в упомянутой области инициирования, инициировать один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.
Настоящее изобретение также относится к устройству для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на экране, согласно позиции головы пользователя,
причем оно содержит:
- средство для генерирования зоны позиционирования для наблюдения отображаемого мультивидового содержания;
- средство для задания области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;
- когда позиция головы пользователя располагается в упомянутой области инициирования, средство для инициирования одного или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.
Согласно варианту осуществления, зона позиционирования и область инициирования могут иметь пирамидальную форму.
Согласно варианту осуществления, один или более стимулирующих эффектов могут содержать по меньшей мере один из:
- эффекта затемнения для затемнения отображающего экрана в зависимости от позиции головы пользователя в упомянутой области инициирования,
- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области инициирования;
- одной или более визуальных подсказок, указывающих направление на отображающем экране.
Согласно варианту осуществления, эффект затемнения позволяет увеличивать яркость отображающего экрана, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает, и наоборот.
Согласно варианту осуществления, эффект интенсивности параллакса может уменьшать скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области инициирования, возрастает.
Согласно варианту осуществления, один или более стимулирующих эффектов может быть обратимым.
Согласно варианту осуществления, устройство может быть выполнено с возможностью отображения зоны позиционирования и/или зоны инициирования.
Кроме того, настоящее изобретение дополнительно относится к невременному устройству хранения программ, считываемому компьютером, материально воплощающему программу, инструкции которой исполняются компьютером для осуществления способа отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,
причем упомянутый способ содержит:
- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;
- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;
- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.
Настоящее изобретение также относится к компьютерному программному продукту, который хранится на невременном компьютерно-считываемом носителе и содержит инструкции программного кода, исполняемые процессором для осуществления способа отображения мультивидового содержания на отображающем экране в зависимости от позиции головы пользователя,
причем упомянутый способ содержит:
- генерирование зоны позиционирования для наблюдения отображаемого мультивидового содержания;
- задание области инициирования, размещенной, по меньшей мере частично, в зоне позиционирования;
- когда позиция головы пользователя располагается в упомянутой области инициирования, инициирование один или более стимулирующих эффектов для побуждения пользователя оставаться в зоне позиционирования.
Способ согласно изобретению может быть реализован программными средствами на программируемом устройстве. Он может быть реализован только аппаратными средствами или программными средствами или их комбинацией.
Некоторые процессы, реализованные элементами настоящего изобретения, могут осуществляться на компьютере. Соответственно, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя программно-аппаратное обеспечение, резидентное программное обеспечение, микрокод и т.д.) или варианта осуществления, сочетающего в себе программный и аппаратный аспекты, которые могут в целом именоваться здесь “схемой”, “модулем” или “системой”. Кроме того, такие элементы могут принимать форму компьютерного программного продукта, воплощенного в любом материальном носителе выражения, имеющего компьютерный программный код, воплощенный на носителе.
Поскольку элементы настоящего изобретения могут быть реализованы программными средствами, настоящее изобретение можно реализовать в виде компьютерно-считываемого кода для подачи на программируемое устройство посредством любой пригодной среды переноса. Материальная среда переноса может содержать носитель данных, например, флоппи-диск, CD-ROM, жесткий диск, устройство для магнитной ленты или твердотельное запоминающее устройство и пр.
Таким образом, изобретение предусматривает компьютерно-считываемую программу, содержащую компьютерноисполняемые инструкции, позволяющие компьютеру осуществлять вышеописанный способ.
Некоторые аспекты, согласующиеся по объему с раскрытыми варианты осуществления, изложены ниже. Следует понимать, что эти аспекты представлены лишь для обеспечения краткой сводки некоторых форм, которые может принимать изобретение, и что эти аспекты не призваны ограничивать объем изобретения. В действительности, изобретение может охватывать различные аспекты, не изложенные ниже.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Чтобы лучше понять изобретение, проиллюстрированное в нижеследующих вариантах осуществления и примерах выполнения, не в порядке ограничения, обратимся к прилагаемым чертежам, в которых:
- фиг. 1A - схема иллюстративной используемой системы рендеринга, в которой можно реализовать один или более вариантов осуществления изобретения;
- фиг. 1B - система координат, используемая для представления OpenGL;
- фиг. 2A - 2D - четыре проекции мультивидового содержания отображаемой системой рендеринга на фиг. 1A в зависимости от позиции головы пользователя согласно некоторым вариантам осуществления;
- фиг. 3A и 3B - черные полосы, возникающие на отображающем экране системы рендеринга, когда пользователь достигает пределов отображаемого мультивидового содержания;
- фиг. 4 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для генерирования зоны позиционирования;
- фиг. 5 и 6 - зона позиционирования, полученная из реализации способа на фиг. 4, соответственно в горизонтальной плоскости и вертикальной плоскости;
- фиг. 7 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для адаптации отображения мультивидового содержания системой рендеринга на фиг. 1A, когда текущая зона позиционирования изменяется;
- фиг. 8A - 8C - некоторые изменения (параллельный перенос по глубине и масштабирование), применяемые в текущей зоне позиционирования согласно некоторым вариантам осуществления;
- фиг. 9 - блок-схема операций иллюстративного способа, используемого в некоторых вариантах осуществления изобретения для побуждения пользователя, наблюдающего мультивидовое содержание, отображаемое устройством рендеринга на фиг. 1, оставаться в зоне позиционирования;
- фиг. 10 - пример иллюстративной области инициирования, связанной с зоной позиционирования;
- фиг. 11 - иллюстративная кривая, демонстрирующая соотношение между углом наблюдения головы пользователя и темнотой отображающего экрана системы рендеринга на фиг. 1;
- фиг. 12 - иллюстративная кривая, связывающая расчетный угол с углом наблюдения, связанным с позицией головы пользователя.
По возможности, одни и те же ссылочные позиции будут использоваться на фигурах для обозначения одинаковых или аналогичных частей.
ПОДРОБНОЕ ОПИСАНИЕ
Нижеследующее описание иллюстрирует принципы настоящего изобретения. Таким образом, будет очевидно, что специалисты в данной области техники будут способны предложить различные конфигурации, которые, хотя явно не описаны или показаны здесь, воплощают принципы изобретения и включены в его объем.
Все приведенные здесь примеры и условный язык служат для образовательных целей для достижения понимания принципов изобретения и подлежат рассмотрению без ограничения такими конкретно приведенными примерами и условиями.
Кроме того, все утверждения, где упомянуты принципы, аспекты и варианты осуществления изобретения, а также их конкретные примеры, призваны охватывать их структурные и функциональные эквиваленты. Дополнительно, предполагается, что такие эквиваленты включают в себя известные в настоящее время эквиваленты, а также эквиваленты, которые еще предстоит разработать, т.е. любые разработанные элементы, которые осуществляют одну и ту же функцию, независимо от конструкции.
Таким образом, например, специалистам в данной области техники будет очевидно, что представленные здесь блок-схемы представляют принципиальные диаграммы иллюстративной схемы, воплощающей принципы изобретения. Аналогично, очевидно, что любые блок-схемы операций, диаграммы последовательности операций, диаграммы переходов между состояниями, псевдокод и пр. представляют различные процессы, которые могут быть по существу представлены в компьютерно-считываемых носителях и, таким образом, выполняться компьютером или процессором, даже если такой компьютер или процессор явно не показан.
Функции различных элементов, показанных в чертежах, могут обеспечиваться с использованием специализированного оборудования, а также оборудования, способного выполнять программное обеспечение совместно с надлежащим программным обеспечением. Будучи обеспечены процессором, функции могут обеспечиваться единичным специализированным процессором, единичным совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут совместно использоваться. Кроме того, явное использование термина “процессор” или “контроллер” не обязано относиться исключительно к оборудованию, способному выполнять программное обеспечение, и может неявно включать в себя, без ограничения, цифровой сигнальный процессор (DSP), постоянную память (ROM) для хранения программного обеспечения, оперативная память (RAM) и энергонезависимое хранилище.
В формуле изобретения, любой элемент, выраженный как средство и/или модуль для осуществления указанной функции, призван охватывать любой способ осуществления этой функции, включающий в себя, например, a) комбинацию схемных элементов, которая осуществляет эту функцию, или b) программное обеспечение в любой форме, включающее в себя, таким образом, программно-аппаратное обеспечение, микрокод и т.п., объединенный с надлежащей схемой для выполнения этого программного обеспечения для осуществления функцией. Таким образом, предполагается, что любое средство, которое может обеспечивать эти функциональные возможности, эквивалентны показанным здесь.
Кроме того, следует понимать, что чертежи и описания настоящего изобретения были упрощены для иллюстрации элементов, позволяющих лучше понять настоящее изобретение, исключая, для простоты, многие другие элементы, найденные в типичных способах, устройствах и системах доставки цифрового мультимедийного содержания. Однако, поскольку такие элементы хорошо известны в технике, подробное рассмотрение таких элементов здесь не обеспечено. Данное изобретение относится ко всем таким вариациям и изменениям, известным специалистам в данной области техники.
На фиг. 1A показана схема иллюстративной используемой системы рендеринга, в которой можно реализовать один или более вариантов осуществления изобретения.
Система 1 рендеринга содержит устройство 101 захвата, устройство 102 обработки, устройство 103 получения, устройство 104 вычисления проекции изображения и устройство 105 отображения, снабженное отображающим экраном 106.
Очевидно, что устройство 104 вычисления проекции изображения и устройство 105 отображения могут объединяться с образованием автономного устройства, тогда как на фиг. 1A они представлены по отдельности. Аналогично, устройство обработки может объединяться с устройством вычисления проекции изображения.
Устройство 101 захвата может быть образовано веб-камерой, видеокамерой и т.п., выполненной с возможностью съемки лица пользователя перед устройством 101 захвата. Устройство 101 захвата может осуществлять связь с устройством 102 обработки.
Устройство 102 обработки выполнено с возможностью приема мультимедийного содержания (например, видео), захваченного устройством 101 захвата. Из принятого содержания, устройство 102 обработки может определять позицию головы пользователя относительно отображающего экрана 106 и может дополнительно отслеживать движения головы пользователя согласно известным алгоритмам отслеживание.
Устройство 103 получения выполнено с возможностью получения мультивидового содержания (соответствующего сцене 200), например, мультивидового неподвижного изображения или мультивидового видео. В порядке иллюстративного, но неограничительного примера, устройство получения может быть образовано массивом стационарных камер, состоящим из множества отдельных камер, размещенных в определенном порядке, или пленоптической камерой, содержащей массив микролинз, расположенный перед датчиком изображения. Дополнительно или альтернативно, согласующихся с настоящими принципами, устройство получения может быть виртуальным устройством получения (например, массивом виртуальных камер) для получения компьютерной анимации (CGI). Для каждого полученного мультивидового изображения или каждого кадра мультивидового видео, устройство 103 получения может обеспечивать набор мультивидов, набор карт глубин и соответствующих параметров получения системы.
Устройство 104 вычисления проекции изображения может принимать как данные, связанные с позицией головы пользователя и движениями от устройства 102 обработки, так и полученное мультивидовое содержание (изображение или видео), доставляемое устройством 103 получения. На основании принятой информации, устройство 104 вычисления проекции изображения выполнено с возможностью определения проекции мультивидового содержания, подлежащего отображению на устройстве 105 отображения, как функции позиции головы пользователя.
Проекция полученного мультивидового содержания (набор разных изображений, связанных с картами глубин) на экране 106, является результатом:
- обратной проекции исходного мультивидового содержания (так называемых мультивидовых данных или MVD) для получения 3D представления сцены 200, захваченной устройством 103 получения;
- преобразования H для адаптации сцены для правильной визуализации;
- повторной проекции 3D данных для получения изображения, наблюдаемого из позиции пользователя на экране 106.
Когда устройством 103 получения является массив камер, следующие две матрицы оцениваются путем калибровки для каждой камеры:
- матрица Kc проекции (также именуемая внутренней матрицей) заданная в виде:
где:
fu и fv - фокусное расстояние рассматриваемой камеры устройства 103 получения в горизонтальном направлении и вертикальном направлении соответственно (измеряемое в пикселях),
cu и cv - горизонтальная и вертикальная координаты точки пересечения оптической оси с датчиком камеры (измеряемые в пикселях);
- матрица Pc позы (также именуемая внешней матрицей), заданная в виде:
где:
r11 - r33 - элементы матрицы 3D поворота, описывающей поворот рассматриваемой камеры относительно системы координат 3D-мира. Для удобства предполагается, что система координат 3D-мира размещена в центре устройства 103 получения,
Tx, Ty и Tz - компоненты параллельного переноса рассматриваемой камеры относительно системы координат 3D-мира (измеряемые в метрах).
Рассматривая пиксель (u, v) датчика камеры устройства 103 получения, доступны его цвет (в системе RGB) и глубина (в системе z(u, v, c)) (изображение и соответствующая карта глубин). Пиксель (u, v) может обратно проецироваться в системе координат 3D-мира с использованием следующего уравнения:
где zuv - глубина пикселя в позиции (u, v) в изображении. Для естественных изображений эта глубина оценивается согласно известным алгоритмам.
В дальнейшем, система координат (CS) 3D визуализации, связанная с экраном 106 рассматривается как система координат (идентифицированная (Xw, Yw,Zw) на фиг. 1B), размещенная в центре O экрана 106, измерения которой нормированы коэффициентами W_screen/2 или H_screen/2 (измерения x и y преобразуются в диапазоне [-1; +1]).
Для повторной проекции можно использовать следующую матрицу OpenGL проекции Keye:
где:
- Wscreen - ширина экрана, и Hscreen - высота экрана;
- 
представляет позицию пользователя в этой CS 3D визуализации;
- Znear - расстояние по оси z между позицией глаза и плоскостью (z=znear), ниже которой точки в сцене отбрасываются (не показаны на фиг. 1B);
- Zfar - расстояние по оси z между позицией глаза и плоскостью (z=zfar), за которой точки в сцене отбрасываются (не показаны на фиг. 1B).
Такая матрица OpenGL описана, например, в документе “OpenGL Programming Guide 9th edition, Appendix E”, by Dave Shreiner, Graham Sellers, John Kessenich - The Khronos OpenGL ARB Working Group - Addison Wesley editor.
Виртуальная камера (размещенная в позиции головы пользователя) должна располагаться также в этой CS 3D визуализации. Нижеследующая матрица Teye параллельного переноса (представляющая движение головы пользователя относительно экрана 106) используется для вычисления изображения, наблюдаемого пользователем на экране 106:
3D точка дополнительно преобразуется согласно следующему уравнению:
и затем проецируется в отображаемое изображение путем придания 4D вектору однородности:
где Zeye задает Z 3D точки наблюдаемой в системе координат виртуальной камеры (присоединенной к голове пользователя), тогда как Z’ - глубина, хранящаяся в буфере Z расчета отображаемого изображения.
Следует отметить, что знак минус отражает тот факт, что в представлении OpenGL, ось z ориентирована к глазу, из-за чего все 3D точки имеют отрицательное значение Z. Значение Zeye согласуется со значением метрики, тогда как Z'eye=A-B/Zeye является функцией Z в формате, удобном для алгоритма буфера Z.
Для проецирования пикселя в формате MVD на экране 106, наблюдаемом пользователем, рассматривается следующее уравнение:
Таким образом, благодаря системе 1 рендеринга, чем ближе к экрану 106 голова пользователя, тем больше он видит большой участок полученной сцены 200. Чем больше он отодвигается от экрана 106, тем больше он видит его подчасть.
Устройством 105 отображения может быть устройство любого рода, снабженное экраном, например, телевизор, планшет, смартфон, портативный компьютер, PDA, наголовное устройство и т.п.
Как показано на фиг. 2A - 2D, система 1 рендеринга может отображать на экране 106 проекцию полученного мультивидового содержания, которая зависит от позиции головы пользователя. Отображаемая проекция зависит от позиции головы пользователя, и система 1 рендеринга выполнена с возможностью регулировки отображаемой проекции согласно движениям головы пользователя. На фиг. 2A - 2D показано четыре примера проекции 210A - 210D мультивидового содержания одной и той же полученной сцены 200, связанные с четырьмя разными позициями головы пользователя относительно отображающего экрана 106. Проекция, отображаемая на экране 106, соответствует сцене 200, наблюдаемой пользователем через окно.
Таким образом, система 1 рендеринга выполнена с возможностью обеспечения эффекта параллакса в зависимости от позиции головы пользователя перед устройством 105 отображения, при отображении мультивидового содержания на экране 106. В частности, эффект параллакса может задаваться относительными позициями нескольких объектов (элементов) сцены 200, причем эти позиции наблюдаются пользователем. Чем больше различие по глубине между объектами, тем больше будет изменяться наблюдаемая относительная позиция.
Чтобы воспрепятствовать пользователю в достижении пределов отображаемого мультивидового содержания (например, приводящем к отображению черных полос 300 на краях отображающего экрана, как показано на фиг. 3A и 3B), настоящее изобретение предлагает способ 400 (показанный на фиг. 4) генерирования зоны 500 позиционирования (так называемой зоны комфорта, показанной на фиг. 5 и 6) для наблюдения, на отображающем экране 106, мультивидового содержания, полученного системой 1 рендеринга.
В дальнейшем, способ 400 применяется устройством 104 вычисления проекции изображения. Естественно, дополнительно или альтернативно, упомянутый способ 400 может быть реализован другим элементом системы 1 рендеринга, например, устройством 105 отображения или автономным элементом (не показан в чертежах).
Согласно варианту осуществления, как показано на фиг. 5 и 6, зона 500 позиционирования может иметь пирамидальную форму, например, центрированную относительно отображающего экрана 106.
Согласно варианту осуществления, способ 400 содержит, на этапе 401, прием, устройством 104 вычисления проекции изображения, параметров получения устройства 103 получения и параметров отображающего экрана 106.
Параметры получения могут содержать горизонтальный угол наблюдения α и вертикальный угол наблюдения β устройства 103 получения, как показано на фиг. 5 и 6. Параметры устройства 105 отображения могут дополнительно содержать высоту hscreen и ширину wscreen отображающего экрана 106.
Способ 400 дополнительно содержит, на этапе 402, определение минимального расстояния от отображающего экрана для задания зоны 500 позиционирования, например, специализированным средством 104A устройства 104 вычисления проекции изображения.
Согласно варианту осуществления, когда форматное соотношение (соотношение между шириной и высотой) мультивидового содержания, захваченного устройством 103 получения, отличается от форматного соотношения, связанного с отображающим экраном 106, минимальное расстояние zmin соответствует максимуму из:
- минимального расстояния по горизонтали, полученного из ширины wscreen отображающего экрана и горизонтального угла наблюдения α устройства 103 получения, согласно, например, следующему уравнению:
- минимального расстояния по вертикали, полученного из высоты hscreen отображающего экрана и вертикального угла наблюдения β устройства 103 получения, согласно, например, следующему уравнению:
Альтернативно, когда форматное соотношение мультивидового содержания, захваченного устройством 103 получения, такое же, как у отображающего экрана 106, минимальное расстояние zmin соответствует вышеупомянутому минимальному расстоянию по горизонтали, которое равно минимальному расстоянию по вертикали.
Таким образом, вершина пирамидальной формы зоны 500 позиционирования располагается на минимальном расстоянии zmin и центрирована относительно отображающего экрана 106.
Как показано на фиг. 5 и 6, пирамидальная форма зоны 500 позиционирования задается горизонтальным углом α наблюдения и вертикальным углом β наблюдения устройства 103 получения. Пирамидальная форма может представлять прямоугольное основание.
Дополнительно или альтернативно, способ 400 дополнительно может содержать, на этапе 403, определение, средством 104A, максимального расстояния zmax от отображающего экрана 106, полученного из минимальной высоты hmin и максимальной высоты hmax, между которыми может располагаться взгляд пользователя, как показано на фиг. 6. Упомянутое максимальное расстояние zmax может зависеть от роста пользователя, его возможностей перемещаться в вертикальном направлении и/или быть заранее определенным. Минимальная высота hmin и максимальная высота hmax могут определяться устройством 104 вычисления проекции изображения на основании пользовательского ввода, например, через пользовательский интерфейс (не показан в чертежах), используемый либо устройством 104 вычисления проекции изображения, либо устройством 105 отображения. Например, hmin и hmax может соответствовать росту пользователя минус данное значение и плюс данное значение, соответственно (упомянутое данное значение является положительным или отрицательным). Альтернативно, пользователь также может напрямую вводить hmin и hmax в систему рендеринга через пользовательский интерфейс.
Как указано на фиг. 6, можно определять горизонтальную полосу 600, размещенную между hmin и hmax. Устройство 104 вычисления проекции изображения может дополнительно получать максимальное расстояние zmax от точки I пересечения пирамидальной формы и горизонтальной полосы 600. При наличии двух разных точек I пересечения (расположенных на разных расстояниях), zmax соответствует расстоянию, связанному с точкой I пересечения, размещенной на максимальном удалении от отображающего экрана 106. Максимальное расстояние zmax соответствует расстоянию, начиная с которого эффект параллакса начинает ослабевать при постоянной амплитуде движения позиции головы пользователя.
Согласно варианту осуществления изобретения, сгенерированный зона 500 позиционирования для наблюдения мультивидового содержания может отображаться на экране 106, например, через пользовательский интерфейс.
В дополнительном варианте осуществления, как показано на фиг. 7, изобретение также предлагает способ 700 регулировки мультивидового содержания, полученного устройством 103 получения и отображаемого на экране 106 устройства 105 отображения, для которого текущая зона 500 позиционирования получена, например, из реализации способа 400.
В частности, способ 700 может содержать, на этапе 701, изменение текущей зоны 500 позиционирования, например, после ввода пользователя через специализированный пользовательский интерфейс (который может быть таким же, как описанный в отношении способа 400).
Как показано на фиг. 8A - 8C, изменение может содержать:
- параллельный перенос в направлении глубины (z) относительно отображающего экрана 106 текущей зоны 500 позиционирования и/или
- однородное масштабирование в горизонтальном и вертикальном направлениях (x, y), которое соответствует однородному масштабированию горизонтального и вертикального углов (α, β) наблюдения, задающих текущую зону 500 позиционирования. Масштабирование осуществляется относительно центра экрана 106. Следует отметить, что в текущей зоне позиционирования масштабирование в направлении глубины (z) не разрешено.
глобальное изменение (представленное ранее заданной матрицей H преобразования) задается, на этапе 702, следующим образом:
где Sxy - матрица масштабирования, и Tz - матрица параллельного переноса в направлении глубины.
Как показано на фиг. 8A - 8C, параллельный перенос в направлении глубины и однородное масштабирование приводит к генерации новой зоны 800 позиционирования, заданной новым минимальным расстоянием zcz и новыми углами наблюдения αcz и βcz следующим образом:
На основе вышеприведенного уравнения для получения проекции мультивидового содержания на экране 106 в функции позиции головы пользователя:
с новой матрицей H преобразования, устройство 104 вычисления проекции изображения адаптирует, на этапе 703, проекцию отображаемого мультивидового содержания к определению новой зоны 800 позиционирования.
Таким образом, когда новая зона 800 позиционирования расширяется пользователем, например, через пользовательский интерфейс, отображаемое мультивидовое содержание конфигурируется (например, средством 104B адаптации вычислительного устройства 104) таким образом, что пользователь может перемещаться в новой зоне позиционирования, не достигая пределов (например, черных полос или запретных областей) отображения мультивидового содержания.
Очевидно, что фронтальный параллельный перенос (т.е. когда зона позиционирования перемещается к экрану, как показано на фиг. 8A - 8C, Tz < zmin) может приводить к увеличению текущей зоны позиционирования.
В иллюстративном, но не ограничительном примере, набор двойных стрелок (не показан) может либо отображаться на экране 106 для выбора пользователем напрямую путем касания стрелок, когда экран является сенсорным экраном, либо через клавиатуру или специализированный пульт дистанционного управления.
В дополнительном варианте осуществления, показанном на фиг. 9, изобретение также предлагает способ 900 информирования пользователя, наблюдающего мультивидовое содержание на экране 106, о том, что он почти достиг и/или движется к границам соответствующей зоны 500 позиционирования. Упомянутый способ 900 может быть дополнительно реализован устройством 104 вычисления проекции изображения.
Для этого способ 900 содержит, на этапе 901, генерацию зоны 500 позиционирования для наблюдения мультивидового содержания (например, средством 104A вычислительного устройства 104), согласно вышеописанному способу 400.
На этапе 902, способ 900 дополнительно содержит определение (например, модулем 104C вычислительного устройства 104) области 550 инициирования, размещенную, по меньшей мере частично, в зоне 500 позиционирования. Альтернативно, область инициирования может располагаться вне зоны 500 позиционирования, например, по соседству с зоной 500 позиционирования.
Как показано на фиг. 10, область 550 инициирования может иметь пирамидальную форму, заданную:
- в горизонтальной плоскости, стимулирующим углом αincentive наблюдения, задающим границу области 550 инициирования, размещенную в зоне 500 позиционирования, и максимальным горизонтальным углом αmax наблюдения, задающим другую границу упомянутой области 550 инициирования, расположенную вне зоны 500 позиционирования. Дополнительно или альтернативно, αmax может соответствовать горизонтальному углу α наблюдения, задающему зону 500 позиционирования. В дополнительном варианте или дополнении, αincentive и αmax могут располагаться в зоне 500 позиционирования;
- в вертикальной плоскости, стимулирующим углом βincentive наблюдения (не показан в чертежах), задающим границу области 550 инициирования, размещенную в зоне 500 позиционирования, и максимальным вертикальным углом βmax наблюдения, задающим другую границу упомянутой области 550 инициирования, расположенную вне зоны 500 позиционирования. Дополнительно или альтернативно, βmax может соответствовать вертикальному углу β наблюдения, задающему зону 500 позиционирования. В дополнительном варианте или дополнении, βincentive и βmax может располагаться в зоне 500 позиционирования;
Когда позиция головы пользователя располагается в упомянутой области 550 инициирования, способ 900 дополнительно содержит, на этапе 903, инициирование одного или более стимулирующих эффектов для побуждения пользователя оставаться в зоне 500 позиционирования. Этап 903 может осуществляться средством 104D инициирования устройства 104 вычисления проекции изображения.
Согласно варианту осуществления, стимулирующий эффект может быть по меньшей мере одним из:
- эффекта затемнения для затемнения отображающего экрана 106, когда голова пользователя движется в сторону границы зоны 500 позиционирования, и наоборот. Эффект затемнения зависит от позиции головы пользователя в области 550 инициирования,
- эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением головы пользователя в области 550 инициирования,
- одной или более визуальных подсказок, указывающих направление на отображающем экране 106.
Естественно, один или более стимулирующих эффектов могут одновременно инициироваться вычислительным устройством 104.
В частности, эффект затемнения может увеличиваться (например, яркость экрана 106 снижается, экран 106 темнеет) когда угол наблюдения (горизонтальный или вертикальный) связанный с позицией головы пользователя, расположенной в области 550 инициирования возрастает, и наоборот. Когда угол наблюдения позиции головы пользователя достигает одного максимального угла (горизонтального угла αmax и/или вертикального угла βmax), экран 106 становится совершенно темным или черным. Очевидно, что эффект затемнения ослабевает (т.е. яркость экрана 106 возрастает, экран 106 светлеет), когда голова пользователя движется от границы области 550 инициирования к центру зоны 500 позиционирования.
Кроме того, хотя эффект затемнения описан как применяемый на экране 106, его также можно применять, дополнительно или альтернативно, напрямую к самому мультимедийному содержанию (не изменяя яркость экрана 106).
Как указано кривой на фиг. 11, интенсивность эффекта затемнения может быть пропорциональна углу наблюдения, связанному с головой пользователя. Естественно, другие виды соотношения между интенсивностью эффекта затемнения и углом наблюдения головы пользователя можно использовать, не выходя за рамки изобретения.
Кроме того, эффект интенсивности параллакса позволяет изменять скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране 106, когда угол наблюдения, связанный с позицией головы пользователя, расположенной в области 550 инициирования возрастает, и наоборот.
Для этого, согласно варианту осуществления, устройство 104 вычисления проекции изображения может использовать расчетный угол, связанный с углом наблюдения головы пользователя. Упомянутый расчетный угол можно получить из соотношения, заданного, например, иллюстративной кривой, показанной на фиг. 12. Вместо вычисления проекции мультимедийного содержания, подлежащего отображению на экране 106, на основании угла наблюдения головы пользователя, вычислительное устройство 104 может определять проекцию, связанную с упомянутым углом наблюдения головы пользователя, с использованием соответствующего расчетного угла.
Таким образом, эффект параллакса, воспринимаемый пользователем, соответствует эффекту параллакса, который может наблюдаться под углом, отличным от угла наблюдения, связанного с позицией пользователь, благодаря чему, пользователю, наблюдающему экран 106, кажется, что эффект параллакса ослабевает.
Согласно варианту осуществления, когда реализуются визуальные подсказки (например, стрелки), одна или более стрелок могут отображаться, когда угол наблюдения, связанный с головой пользователя, располагаются между αincentive и αmax, и/или βincentive и βmax. Стрелки могут ориентированный к центру зоны 500 позиционирования для побуждения пользователя перемещаться от ее границ. Когда голова пользователя находится в зоне 500 позиционирования, но уже не в зоне 550 инициирования, стрелки могут исчезать. Кроме того, стрелки могут мигать для привлечения внимания пользователя. Частота мигания может зависеть от позиции головы пользователя в зоне инициирования (например, чем ближе голова пользователя к внешним границам зоны инициирования, тем выше будет частота мигания).
Ссылки, раскрытые в описании, формуле изобретения и чертежах, могут обеспечиваться независимо или в любой надлежащей комбинации. Признаки могут, когда это целесообразно, реализоваться аппаратными средствами, программными средствами или их комбинацией.
Ссылка на "один вариант осуществления" или "вариант осуществления" означает, что конкретный признак, конструкция или характеристика, описанная в связи с вариантом осуществления, может быть включена в по меньшей мере одну реализацию описанного способа и устройства. Выражение "в одном варианте осуществления", встречающееся в различных местах описания изобретения не обязательно относится к одному и тому же варианту осуществления, и также отдельные или альтернативные варианты осуществления не обязательно являются взаимоисключающими с другими вариантами осуществления.
Ссылочные позиции, присутствующие в формуле изобретения, используются только в целях иллюстрации и не призваны ограничивать объем формулы изобретения.
Хотя здесь были описаны лишь некоторые варианты осуществления изобретения, специалист в данной области техники может предложить другие изменения, вариации и возможности изобретения. Такие изменения, вариации и возможности следует рассматривать как согласующиеся с сущностью и объемом изобретения и, таким образом, образующие часть изобретения, как описано и/или представлено здесь.
Блок-схемы операций и/или блок-схемы в чертежах иллюстрируют конфигурацию, работу и функциональность возможных реализаций систем, способов и компьютерных программных продуктов согласно различным вариантам осуществления настоящего изобретения. В связи с этим каждый блок блок-схемы операций или блок-схемы может представлять модуль, сегмент или участок кода, который содержит одну или более исполнимых инструкций для осуществления указанной(ых) логической(их) функции(й). Следует также заметить, что, в некоторых альтернативных реализациях, функции, указанные в блоке могут выполняться не в том порядке, который указан в чертежах. Например, два блока, показанные последовательными, могут фактически выполняться по существу одновременно, или блоки могут иногда выполняться в обратном порядке, или блоки могут выполняться в альтернативном порядке, в зависимости от предусмотренной функциональности. Также будет указано, что каждый блок иллюстративных блок-схем и/или блок-схем операций, и комбинации блоков иллюстративных блок-схем и/или блок-схем операций, могут быть реализованы аппаратными системами специального назначения, которые осуществляют указанные функции или действия, или комбинациями оборудования специального назначения и компьютерных инструкций. Хотя это явно не описано, настоящие варианты осуществления могут использоваться в любой комбинации или подкомбинации.
Claims (29)
1. Способ отображения мультивидового содержания на дисплее, содержащий этапы, на которых:
задают область инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и
когда позиция зрителя располагается в области инициирования, инициируют один или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,
причем один или более стимулирующих эффектов обратимы.
2. Способ по п. 1, в котором зона позиционирования и область инициирования имеют пирамидальную форму.
3. Способ по п. 1 или 2, в котором один или более стимулирующих эффектов содержат по меньшей мере один из:
эффекта затемнения для затемнения отображающего экрана в зависимости от позиции зрителя в упомянутой области инициирования,
эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением зрителя в области инициирования;
одной или более визуальных подсказок, указывающих направление на отображающем экране.
4. Способ по п. 3, в котором эффект затемнения возрастает, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает.
5. Способ по п. 4, в котором эффект затемнения линейно возрастает с углом наблюдения позиции зрителя.
6. Способ по любому из пп. 3–5, в котором эффект интенсивности параллакса уменьшает скорость движения элементов, возникающих в мультивидовом содержании, отображаемом на экране, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает.
7. Способ по любому из пп. 1-6, в котором один или более стимулирующих эффектов содержат по меньшей мере один из:
одного или более обратимых стимулирующих эффектов,
эффекта затемнения для затемнения отображающего экрана в зависимости от позиции зрителя в области инициирования, и
эффекта интенсивности параллакса для адаптации интенсивности эффекта параллакса, связанного с движением зрителя в области инициирования.
8. Способ по любому из пп. 1-6, в котором один или более стимулирующих эффектов изменяются, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, изменяется.
9. Способ по любому из пп. 1-8, в котором, при получении мультивидового содержания устройством получения, зона позиционирования устанавливается на основании одного или более полученных параметров получения устройства получения и одного или более полученных параметров отображающего экрана.
10. Способ по любому из пп. 1-9, в котором мультивидовое содержание отображается с эффектом параллакса, причем эффект параллакса создается на основе обнаруженного положения головы зрителя.
11. Устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание, отображаемое на дисплее, содержащее:
средство для задания области инициирования, причем область инициирования имеет границу с границей размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и
когда позиция зрителя располагается в области инициирования, средство для инициирования одного или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,
причем один или более стимулирующих эффектов обратимы.
12. Устройство по п. 11, в котором эффект затемнения позволяет уменьшать яркость отображающего экрана, когда угол наблюдения, связанный с позицией зрителя, расположенной в области инициирования, возрастает, и наоборот.
13. Устройство по любому из пп. 11, 12, которое выполнено с возможностью отображения зоны позиционирования и/или зоны инициирования.
14. Невременное устройство хранения программ, считываемое компьютером, материально воплощающее программу, инструкции которой исполняются компьютером для предписывания компьютеру осуществлять:
задание области инициирования, причем область инициирования имеет границу с границей, размещенной, по меньшей мере частично, в зоне позиционирования для наблюдения мультивидового содержания, отображаемого на дисплее на основании позиции зрителя; и
когда позиция зрителя располагается в области инициирования, инициирование одного или более стимулирующих эффектов, побуждающих зрителя оставаться в зоне позиционирования,
причем один или более стимулирующих эффектов обратимы.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17305712.6A EP3416381A1 (en) | 2017-06-12 | 2017-06-12 | Method and apparatus for providing information to a user observing a multi view content |
| EP17305712.6 | 2017-06-12 | ||
| PCT/EP2018/064510 WO2018228833A1 (en) | 2017-06-12 | 2018-06-01 | Method and apparatus for providing information to a user observing a multi view content |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2020100224A RU2020100224A (ru) | 2021-07-13 |
| RU2020100224A3 RU2020100224A3 (ru) | 2021-09-17 |
| RU2768013C2 true RU2768013C2 (ru) | 2022-03-23 |
Family
ID=59258155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020100224A RU2768013C2 (ru) | 2017-06-12 | 2018-06-01 | Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11589034B2 (ru) |
| EP (2) | EP3416381A1 (ru) |
| JP (1) | JP7293208B2 (ru) |
| CN (1) | CN110870304B (ru) |
| RU (1) | RU2768013C2 (ru) |
| WO (1) | WO2018228833A1 (ru) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220215638A1 (en) * | 2018-05-29 | 2022-07-07 | Exploring, Inc. | System and method for haptic mapping of a configurable virtual reality environment |
| CN113228153A (zh) * | 2018-12-21 | 2021-08-06 | 镭亚股份有限公司 | 具有视图终点指示器的多视图显示系统、多视图显示器和方法 |
| EP4165874A1 (en) * | 2020-06-11 | 2023-04-19 | Dolby Laboratories Licensing Corporation | Producing and adapting video images for presentation on displays with different aspect ratios |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301857A (zh) * | 2004-04-21 | 2008-11-12 | 夏普株式会社 | 显示装置、仪表板、自动车辆及控制仪表板的方法 |
| RU2423018C2 (ru) * | 2009-08-04 | 2011-06-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для преобразования стереоконтента |
| US20150042557A1 (en) * | 2012-03-07 | 2015-02-12 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US20160029012A1 (en) * | 2013-04-05 | 2016-01-28 | Koninklijke Philips N.V. | Re-targeting a three-dimensional image signal |
| RU2014150963A (ru) * | 2013-02-06 | 2017-03-15 | Конинклейке Филипс Н.В. | Способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения |
Family Cites Families (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2301216A (en) * | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| JP4173440B2 (ja) * | 2001-05-29 | 2008-10-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 視覚通信信号 |
| US20040075735A1 (en) | 2002-10-17 | 2004-04-22 | Koninklijke Philips Electronics N.V. | Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device |
| JP4393169B2 (ja) | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | 複合現実感提示方法および装置 |
| US20070285554A1 (en) | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
| US7762676B2 (en) * | 2006-10-17 | 2010-07-27 | Sharp Laboratories Of America, Inc. | Methods and systems for multi-view display privacy |
| US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| KR101502362B1 (ko) | 2008-10-10 | 2015-03-13 | 삼성전자주식회사 | 영상처리 장치 및 방법 |
| US8416289B2 (en) | 2009-04-28 | 2013-04-09 | Microsoft Corporation | Light-field display |
| US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
| KR101629479B1 (ko) * | 2009-11-04 | 2016-06-10 | 삼성전자주식회사 | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 |
| US9451924B2 (en) | 2009-12-30 | 2016-09-27 | General Electric Company | Single screen multi-modality imaging displays |
| JP2011228862A (ja) * | 2010-04-16 | 2011-11-10 | Sony Corp | データ構造、画像処理装置、画像処理方法、およびプログラム |
| US20110273466A1 (en) | 2010-05-10 | 2011-11-10 | Canon Kabushiki Kaisha | View-dependent rendering system with intuitive mixed reality |
| US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
| JP5494284B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
| US20120005624A1 (en) * | 2010-07-02 | 2012-01-05 | Vesely Michael A | User Interface Elements for Use within a Three Dimensional Scene |
| US8803918B2 (en) | 2010-08-27 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for calibrating focused plenoptic camera data |
| US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
| EP2451164B1 (en) | 2010-11-08 | 2017-05-03 | Telefonaktiebolaget LM Ericsson (publ) | Improved view synthesis |
| KR101828017B1 (ko) * | 2010-11-19 | 2018-02-13 | 한국전자통신연구원 | 입체 영상 디스플레이 장치 및 방법 |
| US9146403B2 (en) | 2010-12-01 | 2015-09-29 | Massachusetts Institute Of Technology | Content-adaptive parallax barriers for automultiscopic display |
| US8624891B2 (en) | 2011-01-17 | 2014-01-07 | Disney Enterprises, Inc. | Iterative reprojection of images |
| JP5623313B2 (ja) | 2011-03-10 | 2014-11-12 | キヤノン株式会社 | 撮像装置および撮像光学系 |
| US8736660B2 (en) | 2011-03-14 | 2014-05-27 | Polycom, Inc. | Methods and system for simulated 3D videoconferencing |
| JP5367034B2 (ja) * | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| US20140306963A1 (en) | 2011-09-12 | 2014-10-16 | Wei Sun | Use motion parallax to create 3d perception from 2d images |
| US9060093B2 (en) | 2011-09-30 | 2015-06-16 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
| US20130093752A1 (en) | 2011-10-13 | 2013-04-18 | Sharp Laboratories Of America, Inc. | Viewer reactive auto stereoscopic display |
| JP5117613B1 (ja) * | 2011-12-09 | 2013-01-16 | 株式会社東芝 | 映像処理装置および映像処理方法ならびに記憶媒体 |
| CN103209313A (zh) * | 2012-01-16 | 2013-07-17 | 华为技术有限公司 | 图像处理方法、会议终端、会场电子系统和视频会议系统 |
| US8995785B2 (en) | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
| JP6168794B2 (ja) | 2012-05-31 | 2017-07-26 | キヤノン株式会社 | 情報処理方法および装置、プログラム。 |
| WO2014011103A1 (en) | 2012-07-10 | 2014-01-16 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for supporting view synthesis |
| US20140028662A1 (en) | 2012-07-24 | 2014-01-30 | Sharp Laboratories Of America, Inc. | Viewer reactive stereoscopic display for head detection |
| JP6380881B2 (ja) | 2012-07-31 | 2018-08-29 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | 立体画像表示装置、画像処理装置及び立体画像処理方法 |
| US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| US9311771B2 (en) * | 2012-08-28 | 2016-04-12 | Bally Gaming, Inc. | Presenting autostereoscopic gaming content according to viewer position |
| WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| EP2901671A4 (en) | 2012-09-28 | 2016-08-24 | Pelican Imaging Corp | CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW |
| KR101380517B1 (ko) | 2012-09-28 | 2014-04-01 | 엘지디스플레이 주식회사 | 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법 |
| US9137524B2 (en) | 2012-11-27 | 2015-09-15 | Qualcomm Incorporated | System and method for generating 3-D plenoptic video images |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| KR102019125B1 (ko) * | 2013-03-18 | 2019-09-06 | 엘지전자 주식회사 | 3d 디스플레이 디바이스 장치 및 제어 방법 |
| KR20140131797A (ko) * | 2013-05-06 | 2014-11-14 | 엘지전자 주식회사 | 영상 처리 장치 및 그 방법 |
| CN103281550B (zh) | 2013-06-14 | 2015-03-11 | 冠捷显示科技（厦门）有限公司 | 一种裸眼立体显示器指引观看者找到最佳观看位置的方法 |
| US9630105B2 (en) | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| KR20150044732A (ko) | 2013-10-17 | 2015-04-27 | 엘지전자 주식회사 | 무안경 방식의 입체 영상 표시장치, 및 그 동작방법 |
| WO2015066475A1 (en) | 2013-10-31 | 2015-05-07 | The University of North Carlina at Chapel Hill | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems |
| US9967538B2 (en) * | 2013-11-04 | 2018-05-08 | Massachussetts Institute Of Technology | Reducing view transitions artifacts in automultiscopic displays |
| JP6076893B2 (ja) * | 2013-12-27 | 2017-02-08 | 株式会社ジャパンディスプレイ | 表示装置及び表示装置の製造方法 |
| US20150235408A1 (en) | 2014-02-14 | 2015-08-20 | Apple Inc. | Parallax Depth Rendering |
| KR20160122702A (ko) | 2014-02-17 | 2016-10-24 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
| US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10176592B2 (en) | 2014-10-31 | 2019-01-08 | Fyusion, Inc. | Multi-directional structured image array capture on a 2D graph |
| EP3038359A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | A method for indicating a sweet spot in front of an auto-stereoscopic display device, corresponding auto-stereoscopic display device and computer program product |
| JP2016130061A (ja) | 2015-01-13 | 2016-07-21 | ヤマハ発動機株式会社 | 船外機の転舵装置および船外機艇 |
| US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
| US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
| US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
| US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
| US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
| US10033986B2 (en) | 2015-05-26 | 2018-07-24 | Google Llc | Capturing light-field images with uneven and/or incomplete angular sampling |
| EP3099055A1 (en) | 2015-05-29 | 2016-11-30 | Thomson Licensing | Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product |
| EP3098778A1 (en) | 2015-05-29 | 2016-11-30 | Thomson Licensing | Method for obtaining a refocused image from 4d raw light field data |
| WO2017058322A2 (en) | 2015-06-30 | 2017-04-06 | Massachusetts Institute Of Technology | Apparatus and methods for augmented reality |
| JP5856344B1 (ja) | 2015-07-27 | 2016-02-09 | 正樹 房間 | ３ｄ画像表示装置 |
| KR20180084749A (ko) * | 2015-09-17 | 2018-07-25 | 루미, 인코퍼레이티드 | 멀티뷰 디스플레이 및 관련 시스템과 방법 |
| US10134179B2 (en) | 2015-09-30 | 2018-11-20 | Visual Music Systems, Inc. | Visual music synthesizer |
| CN108475330B (zh) | 2015-11-09 | 2022-04-08 | 港大科桥有限公司 | 用于有伪像感知的视图合成的辅助数据 |
| CN105488771B (zh) | 2015-12-16 | 2018-08-28 | 清华大学 | 光场图像编辑方法及装置 |
| CN108475413A (zh) | 2016-01-11 | 2018-08-31 | 汤姆逊许可公司 | 一致地编辑光场数据 |
| US10319071B2 (en) * | 2016-03-23 | 2019-06-11 | Qualcomm Incorporated | Truncated square pyramid geometry and frame packing structure for representing virtual reality video content |
| EP3236657A1 (en) | 2016-04-21 | 2017-10-25 | Ultra-D Coöperatief U.A. | Dual mode depth estimator |
| JP6113337B1 (ja) | 2016-06-17 | 2017-04-12 | 株式会社コロプラ | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム |
| EP3273686A1 (en) | 2016-07-21 | 2018-01-24 | Thomson Licensing | A method for generating layered depth data of a scene |
| US20180046874A1 (en) | 2016-08-10 | 2018-02-15 | Usens, Inc. | System and method for marker based tracking |
| CN106501635A (zh) | 2016-09-28 | 2017-03-15 | 国家电网公司 | 一种三维数字化电网连续性监测系统 |
| IL266041B (en) | 2016-10-18 | 2022-09-01 | Photonic Sensors & Algorithms S L | Device and method for obtaining distance information from a sight |
| US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
| JP6974873B2 (ja) | 2017-02-06 | 2021-12-01 | フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． | シーンから深度情報を取得するための装置および方法 |
| US10573056B2 (en) | 2017-03-06 | 2020-02-25 | 3D Patents, Llc | Multi-view processing unit systems and methods |
| US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
| CN110462685B (zh) | 2017-05-10 | 2022-12-16 | 上海科技大学 | 三维模型重建方法和系统 |
| EP3633628B1 (en) | 2017-05-30 | 2021-04-07 | Sony Corporation | Image processing device and method, file generation device and method, and program |
| EP3416371A1 (en) | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method for displaying, on a 2d display device, a content derived from light field data |
| JP7285824B2 (ja) * | 2017-08-09 | 2023-06-02 | ファゾム・オプティクス・インコーポレイテッド | ライトフィールドプリントの製造 |
| US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
-
2017
- 2017-06-12 EP EP17305712.6A patent/EP3416381A1/en not_active Withdrawn
-
2018
- 2018-06-01 CN CN201880045483.3A patent/CN110870304B/zh active Active
- 2018-06-01 US US16/620,567 patent/US11589034B2/en active Active
- 2018-06-01 EP EP18730298.9A patent/EP3639514A1/en active Pending
- 2018-06-01 WO PCT/EP2018/064510 patent/WO2018228833A1/en unknown
- 2018-06-01 JP JP2020518129A patent/JP7293208B2/ja active Active
- 2018-06-01 RU RU2020100224A patent/RU2768013C2/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301857A (zh) * | 2004-04-21 | 2008-11-12 | 夏普株式会社 | 显示装置、仪表板、自动车辆及控制仪表板的方法 |
| RU2423018C2 (ru) * | 2009-08-04 | 2011-06-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для преобразования стереоконтента |
| US20150042557A1 (en) * | 2012-03-07 | 2015-02-12 | Sony Corporation | Information processing apparatus, information processing method, and program |
| RU2014150963A (ru) * | 2013-02-06 | 2017-03-15 | Конинклейке Филипс Н.В. | Способ кодирования сигнала видеоданных для использования с мультивидовым стереоскопическим устройством отображения |
| US20160029012A1 (en) * | 2013-04-05 | 2016-01-28 | Koninklijke Philips N.V. | Re-targeting a three-dimensional image signal |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2020100224A (ru) | 2021-07-13 |
| EP3416381A1 (en) | 2018-12-19 |
| JP7293208B2 (ja) | 2023-06-19 |
| CN110870304A (zh) | 2020-03-06 |
| RU2020100224A3 (ru) | 2021-09-17 |
| US20200195914A1 (en) | 2020-06-18 |
| JP2020523957A (ja) | 2020-08-06 |
| CN110870304B (zh) | 2022-08-02 |
| EP3639514A1 (en) | 2020-04-22 |
| US11589034B2 (en) | 2023-02-21 |
| WO2018228833A1 (en) | 2018-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11100664B2 (en) | Depth-aware photo editing | |
| KR102096730B1 (ko) | 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치 | |
| KR102291461B1 (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| TWI610571B (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
| CN109660783B (zh) | 虚拟现实视差校正 | |
| KR101055411B1 (ko) | 입체 영상 생성 방법 및 그 장치 | |
| JP6576536B2 (ja) | 情報処理装置 | |
| RU2768013C2 (ru) | Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание | |
| WO2012046270A1 (en) | Generation of depth data based on spatial light pattern | |
| KR102539427B1 (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
| JP2007052304A (ja) | 映像表示システム | |
| KR20120075829A (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
| US20190139246A1 (en) | Information processing method, wearable electronic device, and processing apparatus and system | |
| US20140184600A1 (en) | Stereoscopic volume rendering imaging system | |
| JP2019102828A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| US9767580B2 (en) | Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN107483915B (zh) | 三维图像的控制方法及装置 | |
| CN106412562B (zh) | 三维场景中显示立体内容的方法及其系统 | |
| KR101690256B1 (ko) | 영상 처리 방법 및 장치 | |
| CN108510433B (zh) | 空间展示方法、装置及终端 | |
| US11636578B1 (en) | Partial image completion | |
| US11245889B1 (en) | Perspective based green screening | |
| JPWO2017191703A1 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| HZ9A | Changing address for correspondence with an applicant |