CN112540673A - 虚拟环境交互方法及设备 - Google Patents
虚拟环境交互方法及设备 Download PDFInfo
- Publication number
- CN112540673A CN112540673A CN202011433015.9A CN202011433015A CN112540673A CN 112540673 A CN112540673 A CN 112540673A CN 202011433015 A CN202011433015 A CN 202011433015A CN 112540673 A CN112540673 A CN 112540673A
- Authority
- CN
- China
- Prior art keywords
- user
- determining
- coordinate
- virtual environment
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004088 simulation Methods 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 78
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000003786 sclera Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种拟环境交互方法及设备，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型，所述虚拟环境交互方法包括：获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；控制所述拍照装置拍摄用户的眼部图像；根据所述眼部图像确定用户在所述显示装置上对应的观察区域；确定所述观察区域对应的道路指引模型；当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。实现了为用户寻找目的地提供准确的导航信息，降低用户在虚拟环境中的交互难度。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟环境交互方法及设备。
背景技术
现有技术中，用户在虚拟环境中可以进行移动与观察，用户在前往指定区域时候，需要用户通过不断移动前往目的地，当虚拟环境的地图较大时，并且用户的当前位置与目的地位置距离较远时，用户的移动时间较长，或是当目的地的位置较为偏僻无法轻易到达时，用户在没有道路指引的情况下较难找到目标地点，这些都增加了用户在虚拟环境中的交互难度。
发明内容
本申请实施例提供一种虚拟环境交互方法及设备。
第一方面，本申请实施例提供一种虚拟环境交互方法，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型，所述虚拟环境交互方法包括：
获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
控制所述拍照装置拍摄用户的眼部图像；
根据所述眼部图像确定用户在所述显示装置上对应的观察区域；
确定所述观察区域对应的道路指引模型；
当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
第二方面，本申请实施例提供一种虚拟环境交互装置，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型；所述虚拟环境交互装置包括：
获取单元，用于获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
所述获取单元，还用于控制拍照装置拍摄用户的眼部图像；
确定单元，用于根据所述眼部图像确定用户在显示装置上对应的观察区域；
所述确定单元，还用于确定所述观察区域对应的道路指引模型；
所述获取单元，还用于当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
导航单元，用于根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
第三方面，本申请实施例提供一种虚拟现实设备，包括处理器、存储器、收发器以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，先获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；再根据所述第一坐标与所述第二坐标确定用户的移动路线；并控制所述拍照装置拍摄用户的眼部图像；然后根据所述眼部图像确定用户在所述显示装置上对应的观察区域；再确定所述观察区域对应的道路指引模型；当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；控制所述显示装置显示所述道路指引模型的导航信息，以指引所述用户前往所述目的地。实现了为用户寻找目的地提供准确的导航信息，降低用户在虚拟环境中的交互难度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种虚拟环境交互方法的流程示意图；
图2是本申请实施例提供的一种虚拟现实设备的结构示意图；
图3是本申请实施例提供的一种虚拟环境交互装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参见图1，图1是本申请提出一种虚拟环境交互方法的流程示意图，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型，其中，所述道路指引模型是指所述虚拟环境中用于为用户提供导航信息的建筑模型；所述虚拟环境交互方法包括以下步骤。
步骤10，获取用户在虚拟环境中的第一坐标以及目的地的第二坐标。
其中，用户在所述虚拟环境通过用户模型进行显示，所述第一坐标用于表示所述用户模型在所述虚拟环境中的位置。
其中，所述第二坐标用于表示用户想要到达的目的地的坐标位置。
在一实施例中，所述第二坐标可以通过用户手动输入的方式进行确定。
在另一实施例中，获取目的地的第二坐标，具体包括：
获取用户输入的目标地点的目标名称；
对所述目标名称与预存名称进行匹配；
当所述目标名称与所述预存名称匹配成功时，确定所述预存名称关联的坐标位置为所述第二坐标。
举例来说，当所述虚拟现实设备获取到用户输入的目标名称为教室1时，所述虚拟现实设备检索所述预存名称中是否包含教室1的坐标位置，当所述虚拟现实设备中包括教室1的坐标位置时，所述虚拟现实设备将所述教室1的坐标位置作为第二坐标；当所述虚拟现实设备中不包括教室1的坐标位置时，向用户提示无此地址的提示信息。
步骤20，控制所述拍照装置拍摄用户的眼部图像。
其中，所述控制所述拍照装置对用户眼部进行拍照，获取眼部图像，包括：
通过所述拍照装置确定所述用户的眼部区域的光亮度。
根据所述光亮度，调整所述拍照装置的光圈数。
根据调整后的所述光圈数对用户的眼部区域进行拍照，获取眼部图像。
举例来说，为了保证所述拍照装置能够获取清晰且对比度高的图像，所述拍照装置在获取所述眼部图像时，需要首先确定拍摄环境中的光亮度，所述光亮度根据所述显示装置当前的显示图像进行确定，当所述显示图像的亮度较高时，所述光亮度较高，当所述显示图像的亮度较低时，所述光亮度较低。再确定所述拍照环境的光亮度后，根据所述光亮度，调整所述拍照装置的光圈数，再控制所述拍照装置对用户的眼部区域进行拍照，获取眼部图像。
可见，通过控制所述拍照装置的进光量，保证所述拍照装置获取的眼部图像具有近似的图像亮度，从而避免所述拍照装置在获取眼部图像时，不同时刻的所述眼部图像的图像亮度不一致，导致后续对所述眼部图像处理的难度增加的问题。
步骤40，根据所述眼部图像确定用户在所述显示装置上对应的观察区域。
其中，所述根据所述眼部图像确定用户在所述显示装置上对应的观察区域，包括：
根据所述眼部图像确定用户的眼部轮廓与虹膜轮廓；
根据所述眼部轮廓与虹膜轮廓确定用户的观察方向。
根据所述观察方向确定用户在所述显示装置上对应的观察区域。
在本申请的一实现方式中，所述根据所述眼部图像确定用户的眼部轮廓与虹膜轮廓，包括：
对所述眼部图像进行灰度处理，获得第一图像；
根据所述第一图像确定所述用户的眼部轮廓与虹膜轮廓。
其中，对所述眼部图像进行灰度处理，获得第一图像，包括：
确定所述眼部图像的像素点的颜色信息，所述颜色信息包括红色亮度、绿色亮度以及红色亮度。
根据第一公式以及所述颜色信息确定所述像素点的灰度值，所述第一公式为H＝R*a1+G*a2+B*a3，其中H表示所述像素点的灰度值，R表示所述像素点的红色亮度，G表示所述像素点的绿色亮度，B表示所述像素点的蓝色亮度，所述a1表示第一参考系数，所述a2表示第二参考系数，所述a3表示第三参考系数，另外a1+a2+a3＝100％。
获取全部像素点的灰度值后，确定所述第一图像。
举例来说，当所述眼部图像的一个像素点为彩色时，确定该像素点的红色亮度为，蓝色亮度为50，绿色亮度为100，其中a1＝30％，a2＝40％，a3＝30％，那么该像素点的灰度值为H＝*30％+50*40％+100*30％＝113。
其中，用户在进行观察时，在观察不同方向时会转动眼球，使虹膜的方向对准待观察的方向，从而能够对待测物进行观察，因此可以通过人眼的虹膜位置确定用户的观察方向。
在一实施例中，由于人眼的眼球结构包括巩膜与虹膜，并且巩膜的颜色与虹膜的颜色不相同，人眼的眼球结构位于人眼的眼部轮廓内，因此在对所述第一图像进行灰度处理后，根据第一图像与第一预设灰度值确定眼部轮廓，并且于虹膜轮廓位于眼部轮廓内，因此可以再根据所述眼部轮廓与所述第一预设灰度值，确定所述眼部轮廓内部的圆形区域，所述圆形区域即为人眼的虹膜轮廓。
在本申请的一实现方式中，所述根据所述眼部轮廓与虹膜轮廓220确定用户的观察方向的步骤，包括：
确定所述眼部轮廓的第一中心位置以及所述虹膜轮廓220的第二中心位置；
以所述第一中心位置为原点建立包括x轴、y轴以及z轴的空间坐标系，其中，所述第二中心位置位于所述X轴与Y轴组成的平面上；
根据第一预设位置与所述第二中心位置确定所述观察方向。
其中，所述观察方向是指用户在观察所述显示装置230时的眼睛注视的方向。
其中，所述确定所述眼部轮廓的第一中心位置以及所述虹膜轮廓220的第二中心位置，包括：
确定所述眼部轮廓在第一方向的第一像素点与第二像素点以及沿着所述第二方向的第三像素点与第四像素点，所述第一像素点与所述第二像素点为所述眼部轮廓沿第一方向的边缘的两侧端点，所述第三像素点与所述第四像素点为所述眼部轮廓沿第二方向的边缘的两侧端点；
确定所述第一像素点和所述第二像素点的连线与所述第三像素点与所述第四像素点的连线的交点为所述眼部轮廓的第一中心位置。
在一具体实施例中，所述第一像素点为A，所述第二像素点为B，所述第三像素点为C，所述第四像素点为D，对所述A与所述B进行连线获得线段AB，再对所述C与所述D进行连线获得线段CD，那么线段AB与线段CD的交点为所述眼部轮廓的第一中心位置。
确定所述虹膜轮廓220的第二中心位置与确定所述眼部轮廓的第一中心位置的方式相同，在此不再赘述。
其中，在确定所述第一中心位置与所述第二中心位置后，参照图3，以所述第一中心位置为原点建立包括x轴、y轴以及z轴的空间坐标系，其中，所述第二中心位置位于所述X轴与Y轴组成的平面上；根据所述第二公式、第一预设位置与所述第二中心位置确定所述观察方向，其中，所述第二公式为
其中，所述A为观察方向与y轴的夹角，所述x1为所述第二中心位置沿x轴方向的坐标，所述z1为所述第二中心位置沿z轴方向的坐标，所述y2为所述第一预设位置沿y轴方向的坐标。
在一实施例中，所述空间坐标系的原点为所述第一中心位置，所述第一中心位置的坐标(0,0,0)为所述第二中心位置的坐标为(2,0,1)，所述第一预设位置的坐标为(0,-5,0)，因此可以根据所述第二公式以及所述第一预设位置的坐标与所述第二中心位置的坐标确定所述观察方向，所述观察方向与x轴的夹角为
在本申请的一实现方式中，所述根据所述观察方向确定用户在所述显示装置上对应的观察区域，包括：
确定所述显示装置与用户人眼之间的第一距离；
根据所述观察方向与所述第三距离确定用户在所述显示装置上对应的观察区域。
其中，所述第一距离为10mm、20mm或其他值。
在一实施例中，所述第一距离可以为所述虚拟现实设备的预设参数。
在另一实施例中，所述虚拟现实设备包括测距传感器，所述第一距离为所述测距传感器通过测量得到的所述显示装置230与用户人眼之间的距离。
其中，在确定所述第一距离后，所述虚拟现实设备能够确定所述显示装置230在所述空间坐标系中的位置，跟根据所述观察方向与所述第显示装置230在空间坐标系中的位置，确定用户在所述显示装置230上对应的观察区域。
在一实施例中，所述第一距离为20mm，那么所述显示装置230在所述空间坐标系上沿y轴方向距离原点为20单位长度，所述观察方向与所述空间坐标系的x轴呈24°角，并且所述观察方向所在的直线经过所述第二中心位置，所述观察方向与所述显示装置230的交点即为所述观察区域，所述观察区域的坐标位置为(10,0,5)。
步骤40，确定所述观察区域对应的道路指引模型。
其中，在确定所述观察区域后，确定所述观察区域赌赢的道路指引模型，具体的，当所述观察区域不包括道路指引模型时，确定至少一个所述道路指引模型与所述观察区域的距离，当所述距离小于第一预设距离时，确定与所述观察区域距离最近的所述道路指引模型为所述观察区域对应的所述道路指引模型。
步骤50，当用户对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息。
其中，所述导航信息是指所述道路指引模型上的指引信息，在一实施例中，所述导航信息能通过图片显示或文字显示或语音输出的方式向用户输出指引信息；在另一实施例中，所述导航信息能够通过显示目的地的方式将所述用户模型直接传输至与所述道路指引模型关联的坐标位置。
其中，当所述虚拟现实设备检测到所述用户模型与所述道路指引模型的距离小于第二预设距离时，确定所述用户模型对所述都指引模型执行触控操作，所述虚拟现实设备通过所述显示装置显示所述道路指引模型的导航信息。
在本申请的一实现方式中，所述道路指引模型包括多个导航标识，每个所述导航标识对应的导航信息互不相同；所述当用户对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息的步骤，包括：
获取所述用户模型在虚拟环境中的坐标位置；
当用户对所述道路指引模型中的任一所述导航标识执行触碰操作时，获取所述导航标识的导航信息。
当所述道路指引模型上包括多个导航标识时，为了确定用户模型点击的所述导航标识，所述虚拟现实设备获取所述用户模型在所述虚拟环境中的坐标位置，具体的，所述用户模型包括手指模型，用户在所述虚拟环境中，通常是通过所述手指模型对所述导航标识进行触碰操作，从而提高用户模型操作的精确度。
在一实施例中，当所述虚拟现实设备中的多个所述导航标识与所述手指模型之间的距离均小于第二预设距离时，确定每个所述导航标识与所述手指模型之间的距离，并确定与所述手指模型距离最小的所述导航标识为用户触碰的导航标识。
在另一实施例中，当所述虚拟现实设备中的多个所述导航标识与所述手指模型之间的距离均小于第二预设距离时，通过所述显示装置同时显示每个与所述手指模型之间的距离均小于第二预设距离的导航标识的导航信息。
步骤60，根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
其中，所述根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线，包括：
确定所述导航信息中的至少一个预设路线；
确定所述预设路线与所述第一坐标以及所述第二坐标的距离；
当所述第一坐标与所述预设路线上任一点的距离小于所述第三预设距离，且所述第二坐标的与所述预设路线上任一点的距离小于所述第三预设距离时，确定所述预设路线为用户的所述移动路线。
在本申请的一实现方式中，所述导航信息中包括多条预设路线，每条预设路线的路径不同，为了能够有效的确定所述第一坐标与所述第二坐标之间的移动路线，判断所述第一坐标和所述第二坐标与每条所述预设路线的距离，并当所述第一坐标与所述预设路线上任一点的距离小于所述第三预设距离，且所述第二坐标的与所述预设路线上任一点的距离小于所述第三预设距离时，确定所述预设路线为用户的所述移动路线。可见，通过所述预设路线，能够使用户准确的确定前往所述目的地的路线，降低用户在虚拟环境中的交互难度。
可见，在本申请的实施例中，所述虚拟现实设备获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；并根据所述第一坐标与所述第二坐标确定用户的移动路线；再控制所述拍照装置拍摄用户的眼部图像；根据所述眼部图像确定用户在所述显示装置上对应的观察区域；确定所述观察区域对应的道路指引模型；当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；通过所述显示装置显示所述道路指引模型的导航信息；以根据所述指引方式指引所述用户前往所述目的地。本申请解决了现有技术中用户在没有道路指引的情况下较难找到目标地点，用户在虚拟环境中的交互难度大的问题。
请参阅图2，图2是本申请实施例提供的一种虚拟现实设备的结构示意图，如图所示，该虚拟现实设备包括处理器、存储器、收发器以及一个或多个程序，该虚拟现实设备还包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型；其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
控制所述拍照装置拍摄用户的眼部图像；
根据所述眼部图像确定用户在所述显示装置上对应的观察区域；
确定所述观察区域对应的道路指引模型；
当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
在本申请的一实现方式中，在获取在虚拟环境中目的地的第二坐标方面，上述程序包括具体用于执行以下步骤的指令：
获取用户输入的目标地点的目标名称；
对所述目标名称与预存名称进行匹配；
当所述目标名称与所述预存名称匹配成功时，确定所述预存名称关联的坐标位置为所述第二坐标。
在本申请的一实现方式中，在根据所述眼部图像确定用户的观察方向方面，上述程序包括具体用于执行以下步骤的指令：
根据所述眼部图像确定用户的眼部轮廓与虹膜轮廓；
根据所述眼部轮廓与所述虹膜轮廓确定用户的观察方向。
根据所述观察方向确定用户在所述显示装置上对应的观察区域。
在本申请的一实现方式中，在根据所述拍摄图像确定用户的眼部轮廓与虹膜轮廓方面，上述程序包括具体用于执行以下步骤的指令：
确定所述眼部图像的像素点的颜色信息，所述颜色信息包括红色亮度、绿色亮度以及红色亮度。
根据第一公式以及所述颜色信息确定所述眼部图像每个像素点的灰度值，所述第一公式为G＝R*a1+G*a2+B*a3，其中H表示所述像素点的灰度值，R表示所述像素点的红色亮度，G表示所述像素点的绿色亮度，B表示所述像素点的蓝色亮度，所述a1表示第一参考系数，所述a2表示第二参考系数，所述a3表示第三参考系数；
根据每个所述像素点的灰度值确定所述第一图像；
根据所述第一图像确定用户的所述眼部轮廓与所述虹膜轮廓。
在本申请的一实现方式中，在当用户对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息方面，上述程序包括具体用于执行以下步骤的指令：
获取所述用户模型在虚拟环境中的坐标位置；
当用户对所述道路指引模型中的任一所述导航标识执行触碰操作时，获取所述导航标识的导航信息。
在本申请的一实现方式中，在根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线方面，上述程序包括具体用于执行以下步骤的指令：
确定所述导航信息中的至少一个预设路线；
确定所述预设路线与所述第一坐标以及所述第二坐标的距离；
当所述第一坐标与所述预设路线上任一点的距离小于所述第三预设距离，且所述第二坐标的与所述预设路线上任一点的距离小于所述第三预设距离时，确定所述预设路线为用户的所述移动路线。
请参阅图3，图3是本申请实施例提供的一种虚拟环境交互装置，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型；该装置包括：
获取单元310，用于获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
所述获取单元310，还用于控制所述拍照装置拍摄用户的眼部图像；
所述确定单元320，还用于根据所述眼部图像确定用户在所述显示装置上对应的观察区域；
所述确定单元320，还用于确定所述观察区域对应的道路指引模型；
所述获取单元310，还用于当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
导航单元330，用于根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
在本申请的一实现方式中，在根据所述眼部图像确定用户的观察方向方面，上述获取单元310具体用于：
获取用户输入的目标地点的目标名称；
对所述目标名称与预存名称进行匹配；
当所述目标名称与所述预存名称匹配成功时，确定所述预存名称关联的坐标位置为所述第二坐标。
在本申请的一实现方式中，在根据所述眼部图像确定用户的观察方向方面，上述确定单元320具体用于：
根据所述眼部图像确定用户的眼部轮廓与虹膜轮廓；
根据所述眼部轮廓与虹膜轮廓确定用户的观察方向。
根据所述观察方向确定用户在所述显示装置上对应的观察区域。
在本申请的一实现方式中，在根据所述拍摄图像确定用户的眼部轮廓与虹膜轮廓方面，上述确定单元320具体用于：
确定所述眼部图像的像素点的颜色信息，所述颜色信息包括红色亮度、绿色亮度以及红色亮度。
根据第一公式以及所述颜色信息确定所述眼部图像每个像素点的灰度值，所述第一公式为G＝R*a1+G*a2+B*a3，其中H表示所述像素点的灰度值，R表示所述像素点的红色亮度，G表示所述像素点的绿色亮度，B表示所述像素点的蓝色亮度，所述a1表示第一参考系数，所述a2表示第二参考系数，所述a3表示第三参考系数；
根据每个所述像素点的灰度值确定所述第一图像；
根据所述第一图像确定用户的所述眼部轮廓与所述虹膜轮廓。
在本申请的一实现方式中，在根据所述眼部轮廓与虹膜轮廓确定用户的观察方向方面，上述确定单元320具体用于：
确定所述眼部轮廓的第一中心位置以及所述虹膜轮廓的第二中心位置；
以所述第一中心位置为原点建立包括x轴、y轴以及z轴的空间坐标系，其中，所述第二中心位置位于所述x轴与y轴组成的平面上；
根据第一预设位置与所述第二中心位置确定所述观察方向。
在本申请的一实现方式中，在当用户对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息方面，上述获取单元310具体用于：
获取所述用户模型在虚拟环境中的坐标位置；
当用户对所述道路指引模型中的任一所述导航标识执行触碰操作时，获取所述导航标识的导航信息。
在本申请的一实现方式中，在根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线方面，上述导航单元330具体用于：
确定所述导航信息中的至少一个预设路线；
确定所述预设路线与所述第一坐标以及所述第二坐标的距离；
当所述第一坐标与所述预设路线上任一点的距离小于所述第三预设距离，且所述第二坐标的与所述预设路线上任一点的距离小于所述第三预设距离时，确定所述预设路线为用户的所述移动路线。
需要说明的是，获取单元310、确定单元320以及导航单元330可通过处理器来实现。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中服务设备所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法中服务设备所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器 (Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC 中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc， DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。
Claims (10)
1.一种虚拟环境交互方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型，所述虚拟环境交互方法包括：
获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
控制所述拍照装置拍摄用户的眼部图像；
根据所述眼部图像确定用户在所述显示装置上对应的观察区域；
确定所述观察区域对应的道路指引模型；
当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
2.根据权利要求1所述的虚拟环境交互方法，其特征在于，所述获取在虚拟环境中目的地的第二坐标，包括：
获取用户输入的目标地点的目标名称；
对所述目标名称与预存名称进行匹配；
当所述目标名称与所述预存名称匹配成功时，确定所述预存名称关联的坐标位置为所述第二坐标。
3.根据权利要求1所述的虚拟环境交互方法，其特征在于，所述根据所述眼部图像确定用户的观察方向，包括：
根据所述眼部图像确定用户的眼部轮廓与虹膜轮廓；
根据所述眼部轮廓与所述虹膜轮廓确定用户的观察方向；
根据所述观察方向确定用户在所述显示装置上对应的观察区域。
4.根据权利要求3所述的虚拟环境交互方法，其特征在于，所述根据所述拍摄图像确定用户的眼部轮廓与虹膜轮廓，包括：
确定所述眼部图像的像素点的颜色信息，所述颜色信息包括红色亮度、绿色亮度以及红色亮度；
根据第一公式以及所述颜色信息确定所述眼部图像每个像素点的灰度值，所述第一公式为H＝R*a1+G*a2+B*a3，其中H表示所述像素点的灰度值，R表示所述像素点的红色亮度，G表示所述像素点的绿色亮度，B表示所述像素点的蓝色亮度，所述a1表示第一参考系数，所述a2表示第二参考系数，所述a3表示第三参考系数；
根据每个所述像素点的灰度值确定所述第一图像；
根据所述第一图像确定用户的所述眼部轮廓与所述虹膜轮廓。
5.根据权利要求2所述的虚拟环境交互方法，其特征在于，所述根据所述眼部轮廓与虹膜轮廓确定用户的观察方向，包括：
确定所述眼部轮廓的第一中心位置以及所述虹膜轮廓的第二中心位置；
以所述第一中心位置为原点建立包括x轴、y轴以及z轴的空间坐标系，其中，所述第二中心位置位于所述x轴与y轴组成的平面上；
根据第一预设位置与所述第二中心位置确定所述观察方向。
6.根据权利要求1-5任一项所述的虚拟环境交互方法，其特征在于，所述道路指引模型包括多个导航标识，每个所述导航标识对应的导航信息互不相同；所述当用户对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息，包括：
获取所述用户模型在虚拟环境中的坐标位置；
当用户对所述道路指引模型中的任一所述导航标识执行触碰操作时，获取所述导航标识的导航信息。
7.根据权利要求1-5任一项所述的虚拟环境交互方法，其特征在于，所述根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线，包括：
确定所述导航信息中的至少一个预设路线；
确定所述预设路线与所述第一坐标以及所述第二坐标的距离；
当所述第一坐标与所述预设路线上任一点的距离小于所述第三预设距离，且所述第二坐标的与所述预设路线上任一点的距离小于所述第三预设距离时，确定所述预设路线为用户的所述移动路线。
8.一种虚拟环境交互装置，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括拍照装置以及显示装置，所述虚拟环境包括至少一个道路指引模型；所述虚拟环境交互装置包括：
获取单元，用于获取在虚拟环境中用户模型的第一坐标以及目的地的第二坐标；
所述获取单元，还用于控制拍照装置拍摄用户的眼部图像；
确定单元，用于根据所述眼部图像确定用户在显示装置上对应的观察区域；
所述确定单元，还用于确定所述观察区域对应的道路指引模型；
所述获取单元，还用于当所述用户模型对所述道路指引模型执行触碰操作时，获取所述道路指引模型的导航信息；
导航单元，用于根据所述导航信息、所述第一坐标以及所述第二坐标确定用户的移动路线。
9.一种虚拟现实设备，其特征在于，包括处理器、存储器、收发器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433015.9A CN112540673A (zh) | 2020-12-09 | 2020-12-09 | 虚拟环境交互方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011433015.9A CN112540673A (zh) | 2020-12-09 | 2020-12-09 | 虚拟环境交互方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112540673A true CN112540673A (zh) | 2021-03-23 |
Family
ID=75019801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011433015.9A Pending CN112540673A (zh) | 2020-12-09 | 2020-12-09 | 虚拟环境交互方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112540673A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475115A (zh) * | 2023-11-11 | 2024-01-30 | 华中师范大学 | 虚实融合环境中路径引导系统及其工作方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008023509A1 (fr) * | 2006-08-24 | 2008-02-28 | Oki Electric Industry Co., Ltd. | Dispositif d'imagerie de l'iris, dispositif d'authentification de l'iris, et procédé d'imagerie de l'iris, ainsi que procédé d'authentification de l'iris |
| CN103162682A (zh) * | 2011-12-08 | 2013-06-19 | 中国科学院合肥物质科学研究院 | 基于混合现实的室内路径导航方法 |
| US20150260534A1 (en) * | 2014-03-12 | 2015-09-17 | Harman Becker Automotive Systems Gmbh | Navigation display method and system |
| CN106558031A (zh) * | 2016-12-02 | 2017-04-05 | 北京理工大学 | 一种基于成像模型的彩色眼底图的图像增强方法 |
| CN107014395A (zh) * | 2017-03-31 | 2017-08-04 | 武汉大学 | 基于虚拟现实技术的指向性全景导航系统 |
| CN107407567A (zh) * | 2015-03-18 | 2017-11-28 | 微软技术许可有限责任公司 | 增强现实导航 |
| CN108921050A (zh) * | 2018-06-14 | 2018-11-30 | 华中科技大学 | 一种基于移动端的虚拟现实图像处理系统 |
| CN109144250A (zh) * | 2018-07-24 | 2019-01-04 | 北京七鑫易维信息技术有限公司 | 一种位置调节的方法、装置、设备及存储介质 |
| CN110703904A (zh) * | 2019-08-26 | 2020-01-17 | 深圳疆程技术有限公司 | 一种基于视线跟踪的增强虚拟现实投影方法及系统 |
| CN111599021A (zh) * | 2020-04-30 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 一种虚拟空间漫游指引方法、装置和电子设备 |
| US20200315446A1 (en) * | 2016-05-30 | 2020-10-08 | Kowa Company, Ltd. | Method and Device for Evaluating Tear State |
-
2020
- 2020-12-09 CN CN202011433015.9A patent/CN112540673A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008023509A1 (fr) * | 2006-08-24 | 2008-02-28 | Oki Electric Industry Co., Ltd. | Dispositif d'imagerie de l'iris, dispositif d'authentification de l'iris, et procédé d'imagerie de l'iris, ainsi que procédé d'authentification de l'iris |
| CN103162682A (zh) * | 2011-12-08 | 2013-06-19 | 中国科学院合肥物质科学研究院 | 基于混合现实的室内路径导航方法 |
| US20150260534A1 (en) * | 2014-03-12 | 2015-09-17 | Harman Becker Automotive Systems Gmbh | Navigation display method and system |
| CN107407567A (zh) * | 2015-03-18 | 2017-11-28 | 微软技术许可有限责任公司 | 增强现实导航 |
| US20200315446A1 (en) * | 2016-05-30 | 2020-10-08 | Kowa Company, Ltd. | Method and Device for Evaluating Tear State |
| CN106558031A (zh) * | 2016-12-02 | 2017-04-05 | 北京理工大学 | 一种基于成像模型的彩色眼底图的图像增强方法 |
| CN107014395A (zh) * | 2017-03-31 | 2017-08-04 | 武汉大学 | 基于虚拟现实技术的指向性全景导航系统 |
| CN108921050A (zh) * | 2018-06-14 | 2018-11-30 | 华中科技大学 | 一种基于移动端的虚拟现实图像处理系统 |
| CN109144250A (zh) * | 2018-07-24 | 2019-01-04 | 北京七鑫易维信息技术有限公司 | 一种位置调节的方法、装置、设备及存储介质 |
| CN110703904A (zh) * | 2019-08-26 | 2020-01-17 | 深圳疆程技术有限公司 | 一种基于视线跟踪的增强虚拟现实投影方法及系统 |
| CN111599021A (zh) * | 2020-04-30 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 一种虚拟空间漫游指引方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张凤军等: "虚拟现实的人机交互综述", 《中国科学:信息科学》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475115A (zh) * | 2023-11-11 | 2024-01-30 | 华中师范大学 | 虚实融合环境中路径引导系统及其工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110478901B (zh) | 基于增强现实设备的交互方法及系统 | |
| US20160004908A1 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN111527466B (zh) | 信息处理装置、信息处理方法和程序 | |
| JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
| US10645297B2 (en) | System, method, and program for adjusting angle of camera | |
| JP5310729B2 (ja) | アバター表示方法、アバター表示装置およびプログラム | |
| CN112540673A (zh) | 虚拟环境交互方法及设备 | |
| CN114608521A (zh) | 单目测距方法及装置、电子设备和存储介质 | |
| CN112767415B (zh) | 胸部扫查区域自动确定方法、装置、设备及存储介质 | |
| TWI603225B (zh) | 液晶顯示器顯示視角的調整方法和裝置 | |
| CN113642425A (zh) | 基于多模态的图像检测方法、装置、电子设备及存储介质 | |
| CN110338750B (zh) | 一种眼球追踪设备 | |
| CN109901716B (zh) | 视线点预测模型建立方法、装置及视线点预测方法 | |
| EP4054187A1 (en) | Calibration method of a portable electronic device | |
| JP2018195254A (ja) | 表示制御プログラム、表示制御装置及び表示制御方法 | |
| WO2022084291A1 (en) | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program | |
| CN114462204A (zh) | 曲线绘制方法、装置、终端设备及存储介质 | |
| CN114820513B (zh) | 视力检测方法 | |
| CN112540674A (zh) | 虚拟环境交互方法及设备 | |
| WO2024106223A1 (ja) | 撮影装置、撮影作業支援方法、および撮影作業支援プログラム | |
| CN114668365A (zh) | 视力检测方法 | |
| CN110334579B (zh) | 一种虹膜识别图像确定方法、装置、终端设备及存储介质 | |
| WO2022267992A1 (zh) | 在头戴式显示设备中获取注视目标的方法及装置 | |
| CN118113140A (zh) | 一种视线追踪方法、装置、眼控设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210323 |
|
| RJ01 | Rejection of invention patent application after publication |