CN102789348A - 交互式三维图形视频可视化系统 - Google Patents

交互式三维图形视频可视化系统 Download PDF

Info

Publication number
CN102789348A
CN102789348A CN2011101278862A CN201110127886A CN102789348A CN 102789348 A CN102789348 A CN 102789348A CN 2011101278862 A CN2011101278862 A CN 2011101278862A CN 201110127886 A CN201110127886 A CN 201110127886A CN 102789348 A CN102789348 A CN 102789348A
Authority
CN
China
Prior art keywords
dimensional
real
time
module
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101278862A
Other languages
English (en)
Inventor
唐兴波
魏海帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing East Ideapool Technology Development Co Ltd
Original Assignee
Beijing East Ideapool Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing East Ideapool Technology Development Co Ltd filed Critical Beijing East Ideapool Technology Development Co Ltd
Priority to CN2011101278862A priority Critical patent/CN102789348A/zh
Publication of CN102789348A publication Critical patent/CN102789348A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种交互式三维图形视频可视化系统,包括三维场景创作模块,实时视频和信息模块,实时三维渲染引擎模块和交互式控制模块。三维场景创作模块用于创作各类三维模型和光照,纹理等效果插件,生成场景模板文件;实时视频与信息模块获取播出时所需的多路实时视频和各类文字、数据信息内容,并通过网络传输至实时三维渲染引擎模块;实时三维渲染引擎模块接收场景模板文件和实时视频与各类文字、数据信息,生成实时可替换的多个动态三维可视化场景,并通过HD-SDI和HDMI同步输出到交互式控制模块;交互式控制模块通过手势识别方式对上述动态三维可视化场景进行各个内容和视角的交互式操作。通过本发明方案可实现三维图形环境中多类信息结合展示与交互。

Description

交互式三维图形视频可视化系统
技术领域:
本发明涉及三维可视化领域,特别是涉及一种交互式三维图形视频可视化系统。
背景技术:
随着交互式三维可视化技术的进步,如何满足各行业中对于实时信息和实时视频的交互式三维可视化需求成了急需解决的问题。实时信息包含了气象数据,交通数据,短信数据,金融数据,GIS数据等,实时视频包括摄像头实时视频,交通流量探头视频,视频采集卡实时视频等。各类实时数据都有各自的格式而各类实时视频的来源也有所区别。对于不同行业,应用中所需的三维场景都具有其各自的行业特点,缺乏统一的底层配置系统架构。同时,当前也缺乏应用模块从海量实时信息数据中高效获取所需的数据,并进行根据信息类型生成相应的三维场景进行直观的展示。如果能以通用的方式提供一种对于多种信息和实时视频进行交互式操作的三维图形视频可视化系统,就可以将计算机三维图像与视频和数据完整结合起来,构建更为直观有效和易于调整的应用系统,如电视新闻直播,医疗急救管理,军事演习,工程项目演示,电力系统控制工程等。
在三维可视化系统中,实时信息和实时视频扮演了越来越重要的角色,对于三维场景的展示形式来说,实时信息和实时视频极大的丰富了三维可视化的内容。同时,实时信息和实时视频还具有直观,现场感强,用户认可度高,用户交互性强等众多特点。从画质来看,高清信号具有画面清晰度高,色彩还原度佳等众多特点,高码率意味着需要更高的传输带宽,更快速的计算处理能力和更好的图形渲染能力。而如何根据需要高速处理三维场景与众多实时数据信息和多路的高清实时视频信号的协同工作,也成为了需要解决的难点之一。
对于所展示的内容,系统通过红外触控屏的方式来进行交互式操作。红外触控方式利用在XY方向上的红外扫描网格来获得用户的操作数据,适合于本三维图形视频系统输出的高分辨率,不会产生视差,高清晰度,高耐久性,能在极端情况下工作。同时,为了满足对系统中展示的各类图文信息的操作,如图片的对角拖拽放大,视频的局部放大等,系统引入了多点触摸。在同一个时间点上,系统同时响应多个位置信息反馈,并根据内容做出相应的动作。
现有技术的缺点是尚未有一种交互式三维图形视频可视化系统能够有效对上述技术进行整合,并形成完整的解决方案。
发明内容:
本发明要解决的问题是提供一种交互式三维图形视频可视化系统,解决现有技术中无法对在三维场景中融合多种信息与视频并进行三维可视化交互操作的技术缺陷。
为达到上述目的,本发明提出了一种交互式三维图形视频可视化系统,包括三维场景创作模块,实时视频与信息模块,实时三维渲染引擎模块,和交互式控制模块。
所述三维场景创作模块用于创作各类三维模型和光照,纹理等效果插件,并提供预览视图,生成用于所述实时三维渲染引擎模块的场景模板文件。
所述实时视频与信息模块用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容,并通过网络传输至实时三维渲染引擎模块。
所述实时三维渲染引擎模块用于根据场景模板文件和实时视频、各类文字信息和数据信息内容,生成实时可替换的多个动态三维可视化场景,并通过HD-SDI和HDMI同步输出到交互式控制模块。
所述交互式控制模块通过手势识别方式对上述实时三维渲染引擎模块生成的多个动态三维可视化场景进行各个内容和视角的交互式操作。
其中,所述三维场景创作模块,用于提供各类三维模型和效果插件,实现预览视图,并通过三维模型和效果插件的组合生成实时三维渲染引擎模块所需的场景模板文件。
其中,所述实时三维渲染引擎模块包括场景生成单元,场景渲染模块,和场景输出模块。所述场景生成单元,用于根据所述三维场景创作模块提交的三维场景创作模板和实时视频与信息模块提交的数据建立带有视频入和图文的三维场景模型。所述场景渲染模块,用于根据三维场景模型,使用预置的光照,纹理和实时视频及信息进行渲染和绘制,生成对应的三维场景缓冲。所述场景输出模块,通过视频输出装置,如显卡或视频输出卡将三维场景缓冲输出至所述交互式控制模块。
其中,所述交互式控制模块根据手势识别方式对实时三维渲染引擎模块生成的多个动态三维可视化场景进行内容和各视角的交互式操作。
本发明实施例的技术方案具有以下优点,本发明实例通过交互式的三维图形视频可视化,不仅能真实地再现实际场景,支持互动的三维图形环境,还能满足对于三维可视化系统对于实时视频和数据信息的定制化需求,可广泛应用于广电,电力,交通,气象等多种行业。
附图说明:
附图1为本发明实施方式中交互式三维图形视频可视化系统的结构示意图;
附图2为本发明实施方式中实时视频与信息模块的处理流程图;
附图3为本发明实施方式中实时三维渲染引擎模块的处理流程图;
附图4为本发明实施方式中交互式控制模块的处理流程图。
具体实施方式:
下面结合附图和具体实施方式对本发明做进一步详细描述。
如附图1所示,为本发明所述的交互式三维图形视频可视化系统的结构示意图。该系统包括三维场景创作模块,实时视频与信息模块,实时三维渲染引擎模块,和交互式控制模块;
三维场景创作模块:利用三维模型和各种特效插件创作实时三维渲染引擎模块所需的三维场景图文模板,其中,三维模型包括基本三维物件、纹理、材质、像素着色器、几何着色器等,而特效插件则包括如光照效果、雾化效果、反射效果、遮罩效果、空间变换、材质、动画轨制作等。并提供预览视图,在创作完成之后,三维场景创作模块将生成的三维模板文件通过网络传输至实时三维渲染引擎模块;
实时视频与信息模块:用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容;数据信息来源于如专业气象数据库、财经数据库、网络页面、微博信息、文本、图片等,根据各类数据信息的获取接口,实时视频与信息模块通过插件的方式兼容各种协议类型,获取之后按统一的数据格式进行保存,并通过网络传输至实时三维渲染引擎模块;视频信息来源于如高清视频采集卡,网络视频摄像头,交通探头等,实时视频与信息模块通过各类接口获取视频,通过插件的形式获取各类视频内容再传送至实时三维渲染引擎模块。
实时三维渲染引擎模块:用于根据场景模板文件和实时视频、各类文字信息和数据信息内容,生成实时可替换的多个动态三维可视化场景,并通过HD-SDI和HDMI同步输出到交互式控制模块;
交互式控制模块:通过手势识别方式对上述实时三维渲染引擎模块生成的动态三维可视化场景进行各个内容和视角的交互式操作。
如附图2所示,为本发明实施例中实时视频与信息模块的处理流程图。通过网络信息插件、文本信息插件、数据库插件和视频插件等方式,获取外部各种来源的数据,而每种数据的获取方式都有各自的定义,如短信信息采用网络HTTP方式获取,在页面中按照发送号码、时间、短信内容的方式排列,微博信息则采用网络API的方式获取,突发新闻文稿采用文本方式获取,金融股市信息则根据类型采用FOXPRO数据库或WEBSERVICE的方式获取,根据通用方式按字段存储和读取,探测器(如温度、深度、交通流量、放射性物质等)的信息则采用串口通讯获取记录,摄像头视频数据采用网络TCP/IP通讯获得,高清视频信号通过视频采集卡获取。实时视频与信息模块采取多插件多线程的方式进行获取,同时根据情况在不同的时间片进行读取操作,避免了数据拥堵和实时响应迟缓的问题。在获取到数据之后,实时视频与信息模块根据数据的来源、类型、时间对其进行分类处理,根据需要对数据进行保存,并建立描述表和内容表予以表述,描述表记录了内容表的字段属性,内容表则记录具体内容,并发送至实时三维渲染引擎模块。
其中,上述实时三维渲染引擎模块包括场景生成单元,场景渲染单元,和场景输出单元。实时三维渲染引擎模块的具体流程参考附图3,详细步骤如下:在场景生成中,场景生成单元根据所述三维场景创作模块提交的三维场景创作模板与实时视频与信息模块提交的数据生成多个相关的三维场景模型,该三维场景模型由多个三维视频图文对象和交互式对象组合而成,用于进行信息展示和用户交互。场景渲染模块根据场景生成单元生成的三维场景模型,使用预置的光照、纹理和实施视频及信息进行渲染和绘制,生成对应的三维场景缓冲。场景输出单元通过视频输出装置,如显卡或视频输出卡将场景渲染单元生成的三维场景缓冲送至所述交互式控制模块。
如附图4所示,为本发明实施例中交互式控制模块的处理流程图。实时三维渲染引擎模块将处理完成的动态三维可视化场景输出至交互式控制模块后,用户使用多点触摸方式对交互式控制模块的动态三维可视化场景进行操作控制,生成控制指令,交互式控制模块上具有红外触控感应面板,可以通过RS232实时获取触控板上的多点交互指令,如单击,双击,平移,拖拉,缩放等多种手势交互,多点交互指令以简短的16进制表示,用于读取当前各个触控点的X,Y交叉点。交互式控制模块接收到控制指令后,进行解析,并将对应的操作控制信息反馈至实时三维渲染引擎模块,实时三维渲染引擎模块接收到反馈信息后,将对应的二维X,Y交叉点映射到三维空间中,并触发相应的动作,从而进行更新相关三维可视化场景并反馈到交互式控制模块。用户通过手势识别方式即可操控交互式控制模块上的多个三维可视化场景,从中选择需要的信息点进行交互动作。通过不同场景的轮换和更迭,可以满足用户对于不同信息的需求。
经过前面的描述可以看到,系统提供三维场景创作模块,使用户可以根据自身需求进行三维场景展示的创作。各类信息源的实时接入和多路实时视频源的使用,丰富了三维可视化的内容展示。同时,并通过多线程和多核运算处理,满足了大运算量下的三维场景渲染需求。在交互式的触摸操作引入之后,系统可以提供用户最大限度的操作空间。整个系统可以真正满足用户对于大量信息源和实时视频的自定义三维展示需求。
最后说明的是,本发明所述方法包括但不限于具体实施方式中的具体实施内容,熟悉本领域的技术人员在不脱离本发明技术原理的前提下进行变更和修改得出的其他具体实施例,或者根据发明内容得出的等同替代方式或明显变型方式,同样属于本发明权利要求的保护范围。

Claims (3)

1.交互式三维图形视频可视化系统,其特征在于,所述系统包括三维场景创作模块,实时视频与信息模块,实时三维渲染引擎模块,和交互式控制模块;
所述三维场景创作模块用于创作各类三维模型和光照,纹理等效果插件,并提供预览视图,生成用于所述实时三维渲染引擎模块所需的场景模板文件;
所述实时视频与信息模块用于获取播出时所需的多路实时视频以及各类文字信息和数据信息内容,并通过网络传输至实时三维渲染引擎模块;
所述实时三维渲染引擎模块用于根据场景模板文件和实时视频、各类文字信息和数据信息内容,生成实时可替换的多个动态三维可视化场景,并通过HD-SDI和HDMI同步输出到交互式控制模块;
所述交互式控制模块通过手势识别方式对上述实时三维渲染引擎模块生成的动态三维可视化场景进行各个内容和视角的交互式操作。
2.根据权利1要求所述的交互式三维图形视频可视化系统,其特征在于,所述三维场景创作模块,用于提供各类三维模型和效果插件,实现预览视图,并通过三维模型和效果插件的组合生成实时三维渲染引擎所需的场景模板文件。
3.根据权利1要求所述的交互式三维图形视频可视化系统,所述实时三维渲染引擎模块包括场景生成单元,场景渲染单元,和场景输出单元;
所述场景生成单元,用于根据所述三维场景创作模块提交的三维场景模板文件建立多视图的三维场景模型;
所述场景渲染单元,用于根据三维场景模型,使用预置的光照,纹理和实时视频及信息进行渲染和绘制,生成对应的三维场景缓冲;
所述场景输出单元,用于通过视频输出装置,如显卡或视频输出卡将三维场景缓冲输出至所述交互式控制模块。
CN2011101278862A 2011-05-18 2011-05-18 交互式三维图形视频可视化系统 Pending CN102789348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101278862A CN102789348A (zh) 2011-05-18 2011-05-18 交互式三维图形视频可视化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101278862A CN102789348A (zh) 2011-05-18 2011-05-18 交互式三维图形视频可视化系统

Publications (1)

Publication Number Publication Date
CN102789348A true CN102789348A (zh) 2012-11-21

Family

ID=47154757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101278862A Pending CN102789348A (zh) 2011-05-18 2011-05-18 交互式三维图形视频可视化系统

Country Status (1)

Country Link
CN (1) CN102789348A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105929A (zh) * 2013-01-05 2013-05-15 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
CN105763885A (zh) * 2014-12-19 2016-07-13 艾迪普(北京)文化科技股份有限公司 一种三维图文信息实时发布的方法及装置
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
WO2017177842A1 (zh) * 2016-04-11 2017-10-19 腾讯科技(深圳)有限公司 媒体播放中的附加媒体展示方法及装置
CN107608608A (zh) * 2017-09-25 2018-01-19 浙江科澜信息技术有限公司 一种三维图形渲染引擎的信息交互方法、装置及系统
CN107930118A (zh) * 2017-12-28 2018-04-20 苏州蜗牛数字科技股份有限公司 一种Unity引擎后处理效果过程可视化方法和装置
WO2019237500A1 (zh) * 2018-06-15 2019-12-19 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
CN111145358A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
WO2020151430A1 (zh) * 2019-01-23 2020-07-30 广东康云科技有限公司 一种空气成像系统及其实现方法
CN111696187A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
WO2021031454A1 (zh) * 2019-08-21 2021-02-25 佳都新太科技股份有限公司 一种数字孪生系统、方法及计算机设备
CN112565847A (zh) * 2021-02-22 2021-03-26 成都云帆数联科技有限公司 大屏显示控制方法及装置
CN112907442A (zh) * 2021-01-29 2021-06-04 浙江新荷风传媒科技有限公司 一种博物馆展示系统
WO2022183519A1 (zh) * 2021-03-05 2022-09-09 艾迪普科技股份有限公司 一种可实时交互的三维图形图像播放器
CN118394245A (zh) * 2024-06-28 2024-07-26 厦门泛卓信息科技有限公司 三维可视化数据分析和展示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178817A (zh) * 2007-12-25 2008-05-14 王鹏勃 一种基于三维场景内三维信息演示文档的实现方法
US20080246757A1 (en) * 2005-04-25 2008-10-09 Masahiro Ito 3D Image Generation and Display System
CN101340598A (zh) * 2008-08-07 2009-01-07 北京衡准科技有限公司 一种实现媒体三维播放的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080246757A1 (en) * 2005-04-25 2008-10-09 Masahiro Ito 3D Image Generation and Display System
CN101178817A (zh) * 2007-12-25 2008-05-14 王鹏勃 一种基于三维场景内三维信息演示文档的实现方法
CN101340598A (zh) * 2008-08-07 2009-01-07 北京衡准科技有限公司 一种实现媒体三维播放的方法及装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105929B (zh) * 2013-01-05 2016-02-10 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
CN103105929A (zh) * 2013-01-05 2013-05-15 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
CN105763885A (zh) * 2014-12-19 2016-07-13 艾迪普(北京)文化科技股份有限公司 一种三维图文信息实时发布的方法及装置
CN105763885B (zh) * 2014-12-19 2020-05-12 艾迪普(北京)文化科技股份有限公司 一种三维图文信息实时发布的方法及装置
WO2017177842A1 (zh) * 2016-04-11 2017-10-19 腾讯科技(深圳)有限公司 媒体播放中的附加媒体展示方法及装置
CN106792246A (zh) * 2016-12-09 2017-05-31 福建星网视易信息系统有限公司 一种融合式虚拟场景互动的方法及系统
CN107608608A (zh) * 2017-09-25 2018-01-19 浙江科澜信息技术有限公司 一种三维图形渲染引擎的信息交互方法、装置及系统
CN107930118B (zh) * 2017-12-28 2021-04-13 苏州蜗牛数字科技股份有限公司 一种Unity引擎后处理效果过程可视化方法和装置
CN107930118A (zh) * 2017-12-28 2018-04-20 苏州蜗牛数字科技股份有限公司 一种Unity引擎后处理效果过程可视化方法和装置
WO2019237500A1 (zh) * 2018-06-15 2019-12-19 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
CN111145358A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN111145358B (zh) * 2018-11-02 2024-02-23 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
WO2020151430A1 (zh) * 2019-01-23 2020-07-30 广东康云科技有限公司 一种空气成像系统及其实现方法
WO2021031454A1 (zh) * 2019-08-21 2021-02-25 佳都新太科技股份有限公司 一种数字孪生系统、方法及计算机设备
CN111696187B (zh) * 2020-04-26 2023-10-03 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
CN111696187A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 一种基于效果图的光照设计系统
CN112907442A (zh) * 2021-01-29 2021-06-04 浙江新荷风传媒科技有限公司 一种博物馆展示系统
CN112565847A (zh) * 2021-02-22 2021-03-26 成都云帆数联科技有限公司 大屏显示控制方法及装置
CN112565847B (zh) * 2021-02-22 2021-07-13 成都云帆数联科技有限公司 大屏显示控制方法及装置
WO2022183519A1 (zh) * 2021-03-05 2022-09-09 艾迪普科技股份有限公司 一种可实时交互的三维图形图像播放器
US11978148B2 (en) 2021-03-05 2024-05-07 Ideapool Technology Co., Ltd. Three-dimensional image player capable of real-time interaction
CN118394245A (zh) * 2024-06-28 2024-07-26 厦门泛卓信息科技有限公司 三维可视化数据分析和展示系统

Similar Documents

Publication Publication Date Title
CN102789348A (zh) 交互式三维图形视频可视化系统
US20200219323A1 (en) Interactive mixed reality platform utilizing geotagged social media
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
CN107845142A (zh) 一种网络三维虚拟广告的自动生成及互动方法和系统
CN110796712A (zh) 素材处理方法、装置以及电子设备、存储介质
CN103197908B (zh) 基于信息展示平台的pdf文件显示方法及系统
US20170229102A1 (en) Techniques for descriptor overlay superimposed on an asset
CN117390322A (zh) 虚拟空间构建方法、装置、电子设备及非易失性存储介质
WO2023246189A1 (zh) 图像信息显示方法和装置
CN103678880A (zh) 一种交互式多维专利地图的可视化方法及系统
Aguilar et al. ARStudio: A low-cost virtual studio based on Augmented Reality for video production
US11258945B2 (en) Interactive data visualization environment
Chen [Retracted] Art Design of the Real‐Time Image Interactive Interface of the Advertising Screen Based on Augmented Reality and Visual Communication
CN116863054B (zh) 一种生成三维可视化场景的方法、装置、设备和存储介质
CN112995711A (zh) 一种web前端视频的分帧与图片处理合成方法及系统
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
Echavarria et al. Augmented reality (AR) maps for experiencing creative narratives of cultural heritage
CN114546577B (zh) 一种数据可视化方法及系统
Roberts et al. 3d visualisations should not be displayed alone-encouraging a need for multivocality in visualisation
Schubert et al. From physical to virtual: Real-time immersive visualisations from an architect's working model
Qiu et al. Interactive e-book linking text and multi-view video
CN110662099B (zh) 用于显示弹幕的方法和装置
CN114049857B (zh) 一种应用于文博展示的裸眼3d电子文物展示架
CN112214819A (zh) 基于bim技术施工场布720动态展示方法
CN113204657B (zh) 一种集成组合式智能展示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121121