CN109598800A - 一种三维电子沙盘显示方法、装置、设备和存储介质 - Google Patents

Abstract

本发明涉及一种三维电子沙盘显示方法、装置、AR显示设备及可读存储介质，其方法包括：将三维电子沙盘图像分割为至少两幅沙盘分区图像，三维电子沙盘图像通过AR应用程序访问服务器得到；根据任意一幅沙盘分区图像对应在三维电子沙盘上的位置确定显示层级；将任意一幅沙盘分区图像与任意一个显示层级一一对应的存储在图像层级关联文件中；当图像层级关联文件中的第一沙盘分区图像显示于AR应用程序时，接收手势动作信息，根据手势动作信息将第一沙盘分区图像切换显示为第二沙盘分区图像，实现三维电子沙盘图像中的不同分区分时显示在AR应用程序中，能够很好的适用于移动设备，以提升三维电子沙盘显示的便携性，指挥者不再受场地限制。

Description

一种三维电子沙盘显示方法、装置、设备和存储介质

技术领域

本发明涉及电子沙盘显示技术领域，尤其涉及一种三维电子沙盘显示方法、装置、设备和存储介质。

背景技术

三维电子沙盘是基于计算机图形处理与显示技术所构建的三维模型，以三维立体方式可视化地呈现空间实物、事件、关系及演化等现实世界，已经被广泛应用于军事、建筑、电网、水利、铁路和互联网导航等诸多领域。

三维电子沙盘一般侧重于固定式显示，例如：大尺寸显示设备显示三维电子沙盘图像或者投影仪投影三维电子沙盘，虽然固定式显示能够便于指挥者完整、清晰地浏览三维电子沙盘中的虚拟模具，但是使得指挥者受限于场地，致力于提高三维电子沙盘的便携能力，以提升指挥者的浏览体验，显地尤为重要。

发明内容

本发明所要解决的技术问题是针对现有技术中三维电子沙盘固定式显示，使得指挥者受限于场地的不足，提供一种三维电子沙盘显示方法、装置、AR显示设备和可读存储介质。

本发明解决上述技术问题的技术方案如下：

依据本发明的第一方面，提供了一种三维电子沙盘显示方法，包括：

步骤1、将三维电子沙盘图像分割为至少两幅沙盘分区图像，所述三维电子沙盘图像通过AR应用程序访问服务器得到；

步骤2、根据任意一幅所述沙盘分区图像对应在所述三维电子沙盘上的位置确定显示层级；

步骤3、将任意一幅所述沙盘分区图像与任意一个所述显示层级一一对应的存储在图像层级关联文件中；

步骤4、当所述图像层级关联文件中的第一沙盘分区图像显示于所述AR应用程序时，接收手势动作信息，根据所述手势动作信息将所述第一沙盘分区图像切换显示为第二沙盘分区图像。

依据本发明的第二方面，提供了一种三维电子沙盘显示装置，包括：图像分割单元、层级确定单元、文件生成单元和图像切换单元；

所述图像分割单元，用于将三维电子沙盘图像分割为至少两幅沙盘分区图像，所述三维电子沙盘图像通过AR应用程序访问服务器得到；

所述层级确定单元，用于根据任意一幅所述沙盘分区图像对应在所述三维电子沙盘上的位置确定显示层级；

所述文件生成单元，用于将任意一幅所述沙盘分区图像与任意一个所述显示层级一一对应的存储在图像层级关联文件中；

所述图像切换单元，用于当所述图像层级关联文件中的第一沙盘分区图像显示于所述AR应用程序时，接收手势动作信息，根据所述手势动作信息将所述第一沙盘分区图像切换显示为第二沙盘分区图像。

依据本发明的第三方面，提供了一种AR显示设备，包括：AR屏幕、存储器和处理器；

所述AR屏幕，被配置为显示电子沙盘；

所述处理器，被配置为与所述AR屏幕和所述存储器通信，且所述处理器用于执行第一方面所述的方法。

依据本发明的第四方面，提供了一种可读存储介质，其特征在于，包括：存储有AR应用程序且可与AR显示设备通信的存储器，所述AR应用程序被所述AR显示设备中的处理器执行时实现第一方面所述的方法。

本发明提供的一种三维电子沙盘显示方法、装置、AR显示设备及可读存储介质的有益效果是：AR应用程序访问服务器得到三维电子沙盘图像，在对三维电子沙盘图像分割后，按照每个沙盘分区图像对应在三维电子沙盘上的位置确定显示层级，基于所有沙盘分区图像和所有显示层级生成图像层级关联文件，相比于AR应用程序访问服务器直接得到图像层级关联文件，三维电子沙盘图像的数据量更小，能够提升图像层级关联图像的成功率，继而AR应用程序显示第一沙盘分区图像时，接收手势动作信息，可以有效避免AR应用程序没有显示第一沙盘分区图像时接收手势动作信息，降低了手势动作信息的冗余，利用手势动作信息使得第一沙盘分区图像和第二沙盘分区图像切换显示，实现三维电子沙盘图像上的不同分区图像分时显示在AR应用程序中，使得三维电子沙盘能够以较为清晰的方式显示，并且也能够很好的适用于移动设备，以提升三维电子沙盘显示的便携性，指挥者不再受场地限制。

附图说明

图1为本发明实施例提供的一种三维电子沙盘显示方法的流程示意图；

图2为本发明实施例提供的在用户界面上同时切换菜单和第一沙盘分区图像的示意图；

图3为本发明实施例提供的在用户界面上同时切换菜单和第二沙盘分区图像的示意图；

图4为本发明实施例提供的一种三维电子沙盘显示装置的结构示意图；

图5为对应于图4中的图像切换单元的结构示意图；

图6为本发明实施例提供的一种AR显示设备的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

如图1所示，本实施例提供的一种三维电子沙盘显示方法，该方法包括：

步骤1、将三维电子沙盘图像分割为至少两幅沙盘分区图像，三维电子沙盘图像通过AR应用程序访问服务器得到；

步骤2、根据任意一幅沙盘分区图像对应在三维电子沙盘上的位置确定显示层级；

步骤3、将任意一幅沙盘分区图像与任意一个显示层级一一对应的存储在图像层级关联文件中；

步骤4、当图像层级关联文件中的第一沙盘分区图像显示于AR应用程序时，接收手势动作信息，根据手势动作信息将第一沙盘分区图像切换显示为第二沙盘分区图像。

可穿戴AR显示设备包括存储器、处理器和图像捕捉装置，存储器存储有AR应用程序，图像捕捉装置例如：双目摄像头，手势动作信息包括手势静态图像，图像层级关联文件可以采用数据表或者json文件。

在AR应用程序运行时，调用AR应用程序中的API接口，通过API接口向服务器发送图像请求，服务器根据图像请求向API接口反馈三维电子沙盘图像，API接口接收到三维电子沙盘图像后，对三维电子沙盘图像进行复制，得到至少两个三维电子沙盘图像，并将至少两幅三维电子沙盘图像存储在存储器中。

对其中一幅三维电子沙盘图像进行分割，得到至少两幅沙盘分区图像，比对每一幅沙盘分区图像和另一幅三维电子沙盘图像，确定每一幅沙盘分区图像对应在三维电子沙盘图像上的位置，并分配与该位置对应的显示层级，在图像层级关联文件中建立沙盘分区图像、位置及显示层级之间的关联关系，如表1所示。

表1

当第一沙盘分区图像显示在AR应用程序所绘制的用户界面上时，处理器发送捕捉指令，摄像头根据捕捉指令以预设速率捕捉多幅连续的手势静态图像，摄像头按照捕捉顺序将多幅手势静态图像先后发送给处理器。

处理器按照接收顺序将多幅手势静态图像拼接为一幅手势运动图像，并从手势运动图像中识别指尖的运动方向和运动距离，根据运动方向和运动距离匹配动态手势类型，动态手势类型至少包括平移、抓取和旋转。

当动态手势类型为平移时，AR应用程序将第一沙盘分区图像切换显示为第二沙盘分区图像；当动态手势类型为抓取时，在用户界面上放大第一沙盘分区图像；当动态手势类型为旋转时，在用户界面上旋转第一沙盘分区图像，例如：在用户界面上顺时针或者逆时针旋转第一沙盘分区图像。

相比于AR应用程序访问服务器直接得到图像层级关联文件，三维电子沙盘图像的数据量更小，能够提升图像层级关联图像的成功率，继而AR应用程序显示第一沙盘分区图像时，接收手势动作信息，可以有效避免AR应用程序没有显示第一沙盘分区图像时接收手势动作信息，降低了手势动作信息的冗余，利用手势动作信息使得第一沙盘分区图像和第二沙盘分区图像切换显示，实现三维电子沙盘图像上的不同分区图像分时显示在AR应用程序中，使得三维电子沙盘能够以较为清晰的方式显示，并且也能够很好的适用于移动设备，以提升三维电子沙盘显示的便携性，指挥者不再受场地限制。

优选地，步骤5具体包括：

步骤51、当AR应用程序显示第一沙盘分区图像，且在第一沙盘分区图像下层隐藏有第二沙盘分区图像时，接收手势动作信息中的第一手势动作信息；

步骤52、根据第一手势动作信息同时显示第一沙盘分区图像和切换菜单，切换菜单显示有与第一沙盘分区图像相关联的第一显示层级和与第二沙盘分区图像相关联的第二显示层级；

步骤53、当切换菜单和第一沙盘分区图像同时显示时，接收手势动作信息中的第二手势动作信息；

步骤54、根据第二手势动作信息保持显示切换菜单且将第一沙盘分区图像切换显示为第二沙盘分区图像。

第一手势动作信息包括摄像头连续捕捉的多幅第一手势静态图像，多幅第一手势静态图像经处理器拼接后，得到第一手势运动图像，处理器从第一手势运动图像中识别指尖的第一运动位移。

按照转换矩阵将第一运动位移从第一手势运动图像坐标系转换到用户界面坐标系中，得到第二运动位移；或者，对用户界面进行截屏，得到截图，对第一手势运动图像和截图进行叠加，将第一手势运动图像上的第一运动位移映射在截图上，得到第二运动位移。

当第二运动位移中的起始位置和终止位置之间的距离超过预设阈值时，沿着第二运动位移的运动方向移动第一沙盘分区图像，在第一沙盘分区图像移动后，用户界面暴露出空白区域，在该空白区域显示切换菜单；或者，保持第一沙盘分区图像不变，且在第一沙盘分区图像上层显示切换菜单。

在一些示范实例中，如图2所示，用户界面21上分区显示切换菜单和第一沙盘分区图像22，在切换菜单上按照从上到下的顺序分区显示四个推荐位，在第一沙盘分区图像22下层依次隐藏三个第二沙盘分区图像，第一沙盘分区图像的显示层级为2，三个第二沙盘分区图像的显示层级依次为1、3和4，四个推荐位依次显示有1-1-1、1-2-2、2-1-3和2-2-4，其中，1-1-1表示显示层级为1的第二沙盘分区图像对应在三维电子沙盘上的第1行第1列位置，1-2-2表示显示层级为2的第一沙盘分区图像对应在三维电子沙盘上的第1行第2列位置，2-1-3表示显示层级为3的第一沙盘分区图像对应在三维电子沙盘上的第2行第1列位置，2-2-4表示显示层级为4的第一沙盘分区图像对应在三维电子沙盘上的第2行第2列位置。

当切换菜单显示在第一沙盘分区图像22的左侧时，显示有1-2-2的第二个推荐位以灰色作为背景色，且在1-2-2下边显示有指向第一沙盘分区图像22的箭头，便于在第一沙盘分区图像22下层隐藏多个第二沙盘分区图像时指挥者从切换菜单上浏览沙盘分区图像之间的位置及层级关系，以使指挥者快速切换沙盘分区图像。

当第二运动位移中的起始位置和终止位置之间的距离未超过预设阈值时，根据第一运动位移中的运动方向和运动距离匹配动态手势类型；当动态手势类型为平移时，沿着第一运动位移中的运动方向平移第一沙盘分区图像；当动态手势类型为抓取时，放大第一沙盘分区图像；当动态手势类型为旋转时，在用户界面上旋转第一沙盘分区图像。

优选地，步骤54具体包括：根据第二手势动作信息隐藏第一沙盘分区图像且在第一沙盘分区图像上层同时显示第二沙盘分区图像和切换菜单。

利用第二手势动作信息将第一沙盘分区图像从显示状态切换至隐藏状态，第二沙盘分区图像从隐藏状态切换至显示状态，以及保持切换菜单不变，例如：将第一沙盘分区图像与第二沙盘分区图像互换位置，实现在切换不同第二沙盘分区图像的同时，显示切换菜单，便于指挥者通过切换菜单持续切换沙盘分区图像。

优选地，步骤54具体包括：对第二手势动作信息中的多幅手势静态图像进行拼接，得到手势运动图像；根据手势运动图像上指尖的运动位移确定切换菜单上的运动位移；

当切换菜单上的运动位移从第一显示层级运动至第二显示层级时，保持显示切换菜单且将第一沙盘分区图像切换显示为第二沙盘分区图像。

第二手势动作图像包括摄像头连续捕捉的多幅第二手势静态图像，多幅第二手势静态图像经过处理器拼接后，得到第一手势运动图像，处理器从第二运动图像中识别指尖的第三运动位移，并且将第三运动位移转换为第四运动位移。

当第四运动位移从第一显示层级运动至第二显示层级时，保持显示切换菜单且将第一沙盘分区图像切换显示为第二沙盘分区图像；当第四运动位移从切换菜单运动至第一沙盘分区图像时，保持第一沙盘分区图像不变且隐退切换菜单，例如：删除或者隐藏切换菜单。

在一些示范实例中，如图2及图3所示，图3中的虚线表示第四运动位移，切换菜单上的第二个推荐位的背景色从灰色切换为白色且删除箭头，第一个推荐位的背景色从白色切换为灰色且在1-1-1下边显示指向其对应的一个第二沙盘分区图像23，第二沙盘分区图像23显示在切换菜单的右侧，第一沙盘分区图像22隐藏在第二沙盘分区图像23的下一层。

优选地，步骤1具体包括：将三维电子沙盘图像沿着短边方向分割为至少两幅三维电子沙盘子图像；将任一幅三维电子沙盘子图像沿着长边方向分割为至少两幅沙盘分区图像。

在一些示范实例中，将三维电子沙盘图像存储在存储器中之后，在三维电子沙盘图像上定位相对两个长边的中间位置，并沿着短边方向对相对两个长边的中间位置进行连线，得到与短边平行的第一分割线，沿着第一分割线对三维电子沙盘图像进行切割，得到两幅三维电子沙盘子图。

对于任意一幅三维电子沙盘子图，在三维电子沙盘子图上定位相对两个短边的中间位置，并沿着长边方向对相对两个短边的中间位置进行连线，得到与长边平行的第二分割线，沿着第二分割线对三维电子沙盘子图进行切割，得到两幅沙盘分区图像，将所有三维电子沙盘子图切割后，基于所有三维电子沙盘子图和所有显示层级生成图像层级关联文件，可以简单、快速地将三维电子沙盘图像分割为至少两幅沙盘分区图像，提高了三维电子沙盘图像的分割效率。

实施例二

本实施例中，如图4所示，一种三维电子沙盘显示装置，包括：图像分割单元、层级确定单元、文件生成单元和图像切换单元。

图像分割单元，用于将三维电子沙盘图像分割为至少两幅沙盘分区图像，三维电子沙盘图像通过AR应用程序访问服务器得到。

层级确定单元，用于根据任意一幅沙盘分区图像对应在三维电子沙盘上的位置确定显示层级。

文件生成单元，用于将任意一幅沙盘分区图像与任意一个显示层级一一对应的存储在图像层级关联文件中。

图像切换单元，用于当图像层级关联文件中的第一沙盘分区图像显示于AR应用程序时，接收手势动作信息，根据手势动作信息将第一沙盘分区图像切换显示为第二沙盘分区图像。

优选地，如图5所示，图像切换单元具体包括：第一接收子单元、第一控制子单元、第二接收子单元和第二控制子单元。

第一接收子单元，用于当AR应用程序显示第一沙盘分区图像，且在第一沙盘分区图像下层隐藏有第二沙盘分区图像时，接收手势动作信息中的第一手势动作信息。

第二控制子单元，用于根据第一手势动作信息同时显示第一沙盘分区图像和切换菜单，切换菜单显示有与第一沙盘分区图像相关联的第一显示层级和与第二沙盘分区图像相关联的第二显示层级。

第一接收子单元，用于当切换菜单和第一沙盘分区图像同时显示时，接收手势动作信息中的第二手势动作信息。

第二控制子单元，用于根据第二手势动作信息保持显示切换菜单且将第一沙盘分区图像切换显示为第二沙盘分区图像。

优选地，第二控制子单元具体用于：根据第二手势动作信息隐藏第一沙盘分区图像且在第一沙盘分区图像上层同时显示第二沙盘分区图像和切换菜单。

优选地，所述第二控制子单元具体用于：对第二手势动作信息中的多幅手势静态图像进行拼接，得到手势运动图像；根据手势运动图像上指尖的运动位移确定切换菜单上的运动位移；当切换菜单上的运动位移从第一显示层级运动至第二显示层级时，保持显示切换菜单且将第一沙盘分区图像切换显示为第二沙盘分区图像。

优选地，图像分割单元具体用于：将三维电子沙盘图像沿着短边方向分割为至少两幅三维电子沙盘子图像；将任一幅三维电子沙盘子图像沿着长边方向分割为至少两幅沙盘分区图像。

实施例三

如图6所示，本发明实施例提供的一种AR显示设备，包括：AR屏幕、存储器和处理器；AR屏幕，被配置为显示电子沙盘；处理器，被配置为与AR屏幕和存储器通信，且处理器用于执行实施例一种任一项所述的方法。

在一些示范实例中，AR显示设备包括AR头盔。

实施例四

本发明实施例提供的一种可读存储介质，包括：存储有AR应用程序且可与AR显示设备通信的存储器，AR应用程序被AR显示设备中的处理器执行时实现实施例一中任一项所述的方法。

在一些示范实例中，可读存储介质可以是优盘或者移动硬盘。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示范示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维电子沙盘显示方法，其特征在于，包括：

步骤1、将三维电子沙盘图像分割为至少两幅沙盘分区图像，所述三维电子沙盘图像通过AR应用程序访问服务器得到；

步骤2、根据任意一幅所述沙盘分区图像对应在所述三维电子沙盘上的位置确定显示层级；

步骤3、将任意一幅所述沙盘分区图像与任意一个所述显示层级一一对应的存储在图像层级关联文件中；

步骤4、当所述图像层级关联文件中的第一沙盘分区图像显示于所述AR应用程序时，接收手势动作信息，根据所述手势动作信息将所述第一沙盘分区图像切换显示为第二沙盘分区图像。

2.根据权利要求1所述的一种三维电子沙盘显示方法，其特征在于，所述步骤5具体包括：

步骤51、当所述AR应用程序显示所述第一沙盘分区图像，且在所述第一沙盘分区图像下层隐藏有所述第二沙盘分区图像时，接收所述手势动作信息中的第一手势动作信息；

步骤52、根据所述第一手势动作信息同时显示所述第一沙盘分区图像和切换菜单，所述切换菜单显示有与所述第一沙盘分区图像相关联的第一显示层级和与所述第二沙盘分区图像相关联的第二显示层级；

步骤53、当所述切换菜单和所述第一沙盘分区图像同时显示时，接收所述手势动作信息中的第二手势动作信息；

步骤54、根据所述第二手势动作信息保持显示所述切换菜单且将所述第一沙盘分区图像切换显示为所述第二沙盘分区图像。

3.根据权利要求2所述的一种电子沙盘显示方法，其特征在于，所述步骤54具体包括：

根据所述第二手势动作信息隐藏所述第一沙盘分区图像且在所述第一沙盘分区图像上层同时显示所述第二沙盘分区图像和所述切换菜单。

4.根据权利要求2所述的一种电子沙盘显示方法，其特征在于，所述步骤54具体包括：

对所述第二手势动作信息中的多幅手势静态图像进行拼接，得到手势运动图像；

根据所述手势运动图像上指尖的运动位移确定所述切换菜单上的运动位移；

当所述切换菜单上的运动位移从所述第一显示层级运动至所述第二显示层级时，保持显示所述切换菜单且将所述第一沙盘分区图像切换显示为所述第二沙盘分区图像。

5.根据权利要求1-4任一项所述的一种三维电子沙盘显示方法，其特征在于，所述步骤1具体包括：

将所述三维电子沙盘图像沿着短边方向分割为至少两幅三维电子沙盘子图像；

将任一幅所述三维电子沙盘子图像沿着长边方向分割为至少两幅所述沙盘分区图像。

6.一种三维电子沙盘显示装置，其特征在于，包括：图像分割单元、层级确定单元、文件生成单元和图像切换单元；

所述图像分割单元，用于将三维电子沙盘图像分割为至少两幅沙盘分区图像，所述三维电子沙盘图像通过AR应用程序访问服务器得到；

所述层级确定单元，用于根据任意一幅所述沙盘分区图像对应在所述三维电子沙盘上的位置确定显示层级；

所述文件生成单元，用于将任意一幅所述沙盘分区图像与任意一个所述显示层级一一对应的存储在图像层级关联文件中；

所述图像切换单元，用于当所述图像层级关联文件中的第一沙盘分区图像显示于所述AR应用程序时，接收手势动作信息，根据所述手势动作信息将所述第一沙盘分区图像切换显示为第二沙盘分区图像。

7.根据权利要求6所述的一种三维电子沙盘显示方法，其特征在于，所述图像切换单元具体包括：第一接收子单元、第一控制子单元、第二接收子单元和第二控制子单元；

所述第一接收子单元，用于当所述AR应用程序显示所述第一沙盘分区图像，且在所述第一沙盘分区图像下层隐藏有所述第二沙盘分区图像时，接收所述手势动作信息中的第一手势动作信息；

所述第二控制子单元，用于根据所述第一手势动作信息同时显示所述第一沙盘分区图像和切换菜单，所述切换菜单显示有与所述第一沙盘分区图像相关联的第一显示层级和与所述第二沙盘分区图像相关联的第二显示层级；

所述第一接收子单元，用于当所述切换菜单和所述第一沙盘分区图像同时显示时，接收所述手势动作信息中的第二手势动作信息；

所述第二控制子单元，用于根据所述第二手势动作信息保持显示所述切换菜单且将所述第一沙盘分区图像切换显示为所述第二沙盘分区图像。

8.根据权利要求6所述的一种三维电子沙盘显示方法，其特征在于，所述第二控制子单元具体用于；

对所述第二手势动作信息中的多幅手势静态图像进行拼接，得到手势运动图像；

根据所述手势运动图像上指尖的运动位移确定所述切换菜单上的运动位移；

当所述切换菜单上的运动位移从所述第一显示层级运动至所述第二显示层级时，保持显示所述切换菜单且将所述第一沙盘分区图像切换显示为所述第二沙盘分区图像。

9.一种AR显示设备，其特征在于，包括：AR屏幕、存储器和处理器；

所述AR屏幕，被配置为显示电子沙盘；

所述处理器，被配置为与所述AR屏幕和所述存储器通信，且所述处理器用于执行所述权利要求1-5任一项所述的方法。

10.一种可读存储介质，其特征在于，包括：存储有AR应用程序且可与AR显示设备通信的存储器，所述AR应用程序被所述AR显示设备中的处理器执行时实现权利要求1-5任一项所述的方法。