CN103093658A - 一种面向儿童实物交互的故事创建方法和系统 - Google Patents
一种面向儿童实物交互的故事创建方法和系统 Download PDFInfo
- Publication number
- CN103093658A CN103093658A CN2013100129910A CN201310012991A CN103093658A CN 103093658 A CN103093658 A CN 103093658A CN 2013100129910 A CN2013100129910 A CN 2013100129910A CN 201310012991 A CN201310012991 A CN 201310012991A CN 103093658 A CN103093658 A CN 103093658A
- Authority
- CN
- China
- Prior art keywords
- story
- role
- processing unit
- toy
- computer processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003993 interaction Effects 0.000 title abstract description 7
- 239000000463 material Substances 0.000 claims abstract description 58
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 2
- 206010037833 rales Diseases 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000272165 Charadriidae Species 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008131 children development Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000008133 cognitive development Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Toys (AREA)
Abstract
本发明公开了一种面向儿童实物交互的故事创建方法和系统。本方法为:1)建立一实物讲故事的操作显示环境,将预定义的故事角色编号、故事素材编号和模型渲染规则存储在处理单元的规则库中;2)利用实物交互工具进行场景布局和角色的选择;3)用户将所选玩具放置在实物交互工具上,对该玩具进行操作;4)实物交互工具读取该玩具的RFID标签信息、采集操作信号,并将其发送给处理单元;5)处理单元对相应的故事角色进行控制、渲染故事角色并进行存储;并且处理单元对语音输入单元采集的语音信息进行存储;6)故事结束时,处理单元将记录的角色控制信息和语音信息作为一个故事存储到故事库中。本发明简化了故事创作,提供了创建乐趣。
Description
技术领域
本发明属于人机交互领域,具体涉及到一种面向儿童的故事创建方法和系统,尤其涉及一种面向儿童实物交互的故事创建方法和系统。
背景技术
讲故事是一种传统的教育方式,用于帮助儿童了解世界,传递价值观、知识和信仰。同时,讲故事是儿童社会和认知能力开发的重要环节,也是其生活的主要部分。在儿童成长中讲故事扮演着重要的角色,它能帮助儿童提升语言表达能力、逻辑思维能力、想象力和创造力。此外,讲故事还可以帮助培养创造力、问题求解能力、交流和协作能力等这些儿童未来生存发展的核心能力。与此同时,伴随着信息技术的高速发展和个人计算机的普及,计算机的使用已经出现在我们生活中的各个方面,比如娱乐、教学和办公等等。数字化的电子设备也已经成为了我们日常生活不可或缺的一部分,通过这些数字化方式我们可以更好地认识和了解周围的世界。讲故事活动也随着信息科技的普及,从传统的讲故事工具向计算机支持的讲故事环境转变。20世纪后期开始就出现了利用计算机技术来辅助儿童故事创作和讲述的讲故事系统,为儿童提供了能够发挥想象力和创作力的空间,但由于这类故事系统大多数是基于键盘和鼠标的桌面交互方式,而这种交互方式对于低龄儿童学习和操作来说是有一定的困难的。McNerney分析了物理的交互方式,认为电子玩具能够通过自由扮演来帮助儿童开发高级思维模式,并且这种实物界面对于儿童更加直接、简单和容易接受。实物交互有益于儿童的认知发展,是一种相比于传统桌面鼠标/键盘交互方式更适合于儿童的交互方式,能够借鉴到儿童讲故事活动中。
目前已有的基于实物交互的讲故事系统StoryMat中,孩子在一个毛毯上拿着毛绒玩具进行角色扮演和故事创作。其中,毛毯能够记录儿童的语音从而记录故事内容,但其并没有在毛绒玩具上给予故事角色更多的属性,儿童对玩具的操作比较单一。同时,毛毯有限的空间和玩具种类的限制,在故事讲述时会大大地限制儿童的发挥。MIT开发的Picture This!则是为每一个代表故事角色的玩具配备了摄像头,当儿童在故事讲述时,通过不同角色身上的摄像头可以从这个角色的视角来观看故事的内容,犹如电影分镜一般。虽然这些系统都提供了实物交互的讲故事环境,但都存在以下几个问题:交互道具和交互环境有限,系统配置固定,交互操作类型比较单一。这些局限性使得故事创作受到限制。
发明内容
针对现有技术中存在的技术问题,本发明的目的在于提供一种面向儿童实物交互的故事创建方法和系统,本发明采用多种传感器与计算机虚拟场景相结合的方法,用户可以自由布置故事场景,并通过控制手中的玩具来操作计算机中虚拟故事角色的运动,进行故事创作和讲述。
本发明通过结合实物交互和桌面讲故事系统的优势,选择适当的传感技术,提供一个交互自然的实物讲故事系统,允许儿童在更加自由的创作空间中,充分利用物理操作的隐喻和计算机提供的素材的多样性,简单方便地创作和讲述故事。
为实现上述目的,本项发明的技术方案为:
一种面向儿童实物交互的故事创建方法,其步骤为:
1)建立一套实物讲故事的操作及显示环境,并将预定义的故事角色编号、故事素材编号和角色渲染规则存储在规则库中,用于场景布局中故事角色选择、故事素材选择、故事角色渲染和运动。用户对实物的操作可以通过计算机内部讲故事程序的识别理解模块进行识别和分析,并在逻辑处理模块来计算并执行相应的功能,最终结果呈现在计算机的故事显示环境中;
2)设计实现实物交互工具,通过该工具控制故事场景中的对象,完成场景布局和角色的选择和操作;
3)故事场景的布局包括背景布置和故事素材的选择;其中,所有的物理操作都在实物交互工具上完成,布局好的故事场景显示在计算机屏幕上;
4)故事布局中,所有操作的结果通过物理的电子模块和屏幕给予反馈;
5)实物交互工具与计算机进行无线通信,实物交互工具根据预先定义好的角色的编号,将物理玩具与故事角色进行关联,选择不同的玩具即是在故事场景中选择了对应的故事角色,计算机从多媒体素材库中调用并渲染故事角色;
6)对物理玩具的操作,通过实物交互工具采集用户操作信号,并将控制信号传输到计算机中,计算机的识别理解和逻辑处理模块对控制信号分析与计算,将控制信号映射到故事角色对应的运动;其中,故事角色的运动与用户的操作之间存在直接的关联,符合用户的操作习惯和认知,同时也将物理空间的操作映射到虚拟故事环境中;
7)用户对实物交互工具的操作控制信息,在计算机内部讲故事程序的逻辑处理模块中,得到不同的内部操作指令,并根据这些指令执行相应的功能;
8)逻辑处理模块对用户的输入进行处理之后,其输出结果包括两个部分,一是在屏幕上的反馈,即在故事环境中将多媒体素材库中的素材和角色进行渲染呈现,另外就是在实物工具上输出的反馈;
9)在讲故事的过程中,除了操作实物,用户还可以通过麦克输入语音。计算机记录用户的语音和用户操作时产生的动画,两者一起被存储在计算机的故事库中,在最终故事的播放时,故事以声音和动画的方式进行播放。
其中,操作显示环境为通过实物交互工具和麦克风进行输入和一个显示器和扬声器进行输出。预先定义的故事角色和素材的编号将实物工具与故事素材进行了关联,在讲故事系统正常工作之前,实物工具需要进行初始化。
其中,所述的实物交互工具是用户创作故事的主要控制手段,故事讲述需要故事场景的设计和控制故事角色间的互动。在实物交互工具上不同的操作能够产生不同的控制信息,例如在场景布局中,计算机结合预定义的素材编号,完成故事素材选择和背景设置。在故事角色控制中,实物操作工具又与计算机故事场景中的角色行为和运动相关联,实现实物交互效果的反馈。
所述方法中,考虑到儿童的使用,实物交互工具的设计要易于儿童的理解。界面上的操作与屏幕上反馈的结果保持一致,不出现二义性。
方法中,通过将物理玩具与虚拟故事角色进行绑定,来实现通过操作物理玩具来控制虚拟的故事角色,由于儿童对玩具的操作即容易理解又便于实现,这样可以方便儿童理解和操作故事中的角色,进行故事讲述。
方法中,玩具映射的故事角色在用户的操作时会在故事显示环境中实时反馈运动情况。
进一步的,当用户操作实物玩具时,其所有数据通过无线的方式与计算机通信,这样用户可以在更自由的环境中对系统进行操作。计算机对实物交互工具上的输入进行实时监听,当有数据在计算机的串口缓冲区内,就进行数据读取和处理。
进一步的,通过对不同的故事角色设置不同的标示码,同时对于不同素材设置不同的标识码,这样当用户选定某个角色和素材时,系统内容按照标识码进行识别,得到要处理的对象,并对其进行内部处理,之后将结果反馈到故事场景中或者实物工具上。
进一步的,用户通过麦克风可以对故事进行讲述,播放通过扬声器和显示器进行声音和动画的播放。故事的语音和动画通过自定义的存储格式进行存储。
本发明的系统框架如图1所示,包括界面交互层、内部处理层和数据资源层。这三者的关系是:界面交互层是用户与系统交互的用户界面,其中交互输入的数据会通过内部处理层中的传感器、电子模块和语音模块进行采集,传感器和电子模块通过串口传输到计算机中,语音直接通过麦克风传输到计算机中,通过计算机中的识别模块对采集的数据进行识别和理解,并发送给计算机内部讲故事程序中的逻辑处理模块进行相应的功能执行,对故事场景和角色进行渲染和更新,最后在界面交互层以语音、图像以及电子输出的方式进行信息输出和反馈。逻辑处理模块、故事的渲染和播放都在一个计算机的内部讲故事程序中进行,整个数据处理过程都有规则库和多媒体素材库的参与,比如在渲染故事角色和故事场景时,素材库中的素材就会被调用并生成在系统中。完成的故事被保存在故事库中。
实物交互工具包括:
1.实物交互工具Story Box(场景及故事控制器)和Story Teller(角色控制器),前者在故事场景布局时使用,后者用于儿童操作玩具时对角色的处理。每个工具上都设置了LED灯用来指示当前的操作状态,而且为了便于儿童理解,在工具的表面都通过图画来辅以说明和解释。Story Box和Story Teller内部都有一个单片机,用来进行数据检测和传输;Story Teller中的平台负责采集运动控制信息和角色身份识别,包括RFID读取器、运动识别模块和无线通讯模块;Story Box中的平台负责采集故事场景布局中应用到的故事素材的选择,包括按钮、摇杆和LED等元件。
2.Arduino单片机平台,主要是用于存储和处理(比如过滤噪音数据和参数矫正)传感器采集到的数据以及与计算机之间进行通信的控制器(具体硬件设计见图2)。负责控制的单片机控制板分别与由三轴陀螺仪与三轴加速度计组成的运动识别模块(J9)、无线传感模块(J7)和RFID读取器(J8)相连,组成了一套传感器组合。RFID读取器、无线传感模块与单片机平台通过SPI协议进行数据传输,占用同一SPI数据线,而陀螺仪与加速度计传感模块通过I2C协议进行数据传输。
3.传感器和电子模块,以按钮和摇杆为主的电子模块用于采集用户与故事环境进行交互控制的状态,RFID射频传感器用于故事角色识别,由三轴加速度计和三轴陀螺仪组成的运动识别模块用于采集故事角色运动状态,以及通过LED灯来指示反馈的信息。
4.实物工具的输入识别处理模块,用于对采集的数据进行识别和解析。单片机程序会进行对采集到的数据进行传感器参数矫正和补偿、过滤错误数据、数据存储等基本操作。故事环境的逻辑处理模块,接收从实物工具发送的数据,根据指令的分析执行相应的功能,比如运动角度的计算和角色运动的执行等等。
计算机中的故事环境包括:
1.多媒体输入和输出,计算机通过麦克风记录儿童的语音,并将操作产生的故事角色在屏幕上的动画和故事讲述的语音通过显示器和扬声器进行输出。
2.故事渲染和信号输出部分,其中故事渲染包含故事场景渲染、故事素材渲染、故事角色渲染等。信号输出主要是在实物工具上通过LED的开关状态来指示当前操作的状态。
3.数据库,其中,多媒体素材库提供讲故事中需要的各种素材资源和故事角色。故事库用于存储完成讲述的故事。规则库则是存储了预定义的角色编号和角色渲染的规则,便于角色的渲染和控制。
本系统如图3所示,包括实物交互工具(Story Teller和Story Box)和包含3D讲故事环境以及数据库的计算机。用户可以与Story Box和Story Teller进行交互。Story Box设有用于故事场景布局时素材选择使用的按钮和摇杆,接收到用户在按钮和摇杆上操作产生的电子信号,通过USB数据线与计算机传输,在计算机中的逻辑处理模块根据规则库来决定执行不同的指令(比如选择地面、选择天空和导航等等)。Story Teller中包含了传感组合,并与计算机通过无线传输的方式进行通信。用户在Story Teller上放置一个底部带有RFID标签的玩具,并抓住它前后左右360度范围内倾斜玩具,内部的RFID读取器能够感知玩具角色,然后通过加速度计和陀螺仪组合的模块获得玩具倾斜时的加速度和角速度数据,这些数据通过无线传输的方式传输给计算机。计算机内部的故事程序对不同的数据通过简化的卡尔曼滤波算法进行计算,得出相应的指令故事角色运动的方向。所有的操作结果在屏幕上实时呈现,并结合多媒体素材库渲染故事角色、故事素材和场景,以及角色运动的动画。
与现有技术相比,本发明具有如下的优点和技术效果:
1.实物界面在故事布局中的优势。
本发明中,采用直接点按和摇杆摇动的方式来对虚拟故事场景进行布局,一方面提供了简单直接的选择方式,代替了传统鼠标/键盘模式的点选、拖拽等困难的操作,另一方面,摇杆的操作为儿童在三维环境中的导航提供了有效的隐喻,同时也培养了方向感。
2.实物交互的直接抓取和倾斜操作更符合儿童的操作习惯,简单易用。
本发明提供的控制角色运动的实物交互工具,采取了日常生活中儿童抓取玩具进行故事角色扮演的经验,允许儿童直接抓取物理玩具和倾斜玩具来控制故事角色并指示移动的方向,与传统的通过鼠标移动的方式相比,控制更加直接和自然,尤其对于身体运动机能还未发育完全的学前儿童,这种实物交互的方式简单易学。
3.儿童能够创作出更加丰富的故事内容。
本发明将物理操作与多媒体提供的丰富的素材相结合,与传统的故事书的讲故事模式相比,它让儿童在真实的物理环境中操作的同时,能够在虚拟的世界里添加丰富的故事素材,丰富了故事效果和提升了讲故事体验。
4.讲故事活动空间更加自由。
儿童在使用本发明的系统时不受物理空间的约束,可以自由地活动,同时计算机提供的虚拟的故事场景是物理世界的扩展,使得故事在更广阔的空间中进行讲述成为了可能。
5.硬件成本低,易于配置,扩展性强。
本发明中,使用的传感器成本较低,并且采用拼接的设计,各个模块相互独立,可以简单地添加新的模块,因此,大大地提升了工具的拓展性。与传统的实物交互系统相比,本发明构建了一个开放自由的平台,儿童可以通过它来配置不同的内容(故事素材和故事角色等),更加灵活。
附图说明
图1本系统架构图;
图2本系统主要的硬件原理图(不包含每个传感器模块的原理图);
图3本系统的系统图;
图4本系统的基本处理流程图。
具体实施方式
为了使本技术领域的技术人员更好的理解,下面结合附图和实施方式对本交互方法作进一步的详细说明:
本发明的实现流程如图4所示。主要分为状态初始化、故事场景布局和角色选择、故事讲述和故事存储与播放三个阶段。以下详细说明各个阶段中各模块的功能:
1.系统与工具初始化
在系统状态初始化阶段,主要是将系统中各个组件进行初始化工作,包括故事环境的初始化,即清空故事区域并新建一个空白的故事场景;Story Box上所有按钮、LED灯和摇杆的初始化工作,即在预定义相关参数和电子元件ID;Story Teller初始化工作,即定义相关参数、RFID传感器初始配置、运动识别模块参数矫正和无线通信模块主机和从机参数配置。接着进入轮询监听阶段,计算机中的讲故事程序对Story Box和Story Teller两个组件分别进行监听,判断用户的输入并执行相应的操作。
2.故事场景布局与角色选择
这个阶段主要是布局故事场景和选择故事角色。在Story Box上共有七个按钮和一个摇杆。按钮被分为两组,一组中的三个按钮代表故事背景选择和故事素材选择,它们旁边分别设有一个LED灯来指示当前的编辑状态。另一组中的四个按钮代表系统命令(新建故事、开始讲述、保存故事和播放故事)。在默认情况下,移动摇杆可以改变故事环境中的视角,即在虚拟的故事环境中进行导航,也可以决定故事素材渲染的位置。当在进行背景和素材选择时,摇杆可以充当选择工具,左右移动可以浏览并选择屏幕上显示的预览的故事素材。在Story Teller中,RFID读取器用于识别故事角色,LED灯和屏幕上的实时反馈能够提示用户当前的状态。整个虚拟的故事环境是基于OpenGL渲染的3D环境,在屏幕上呈现,界面分为两个部分,上方为主要的故事场景区域,显示了故事的所有元素(包括故事背景、素材和角色)。下方是菜单栏,包括故事讲述状态的提示、系统退出按钮和以及可选择的故事素材的列表。多媒体素材资源库提供了丰富的虚拟资源,辅助用户的故事创作。
(1)故事场景布局。
故事场景布局包括背景选择和故事素材选择,首先在Story Box上按下背景选择的按钮(比如天空和地面),计算机通过串口接收到对应按钮所在的数字端口的低电平(默认均为高电平),将相关联的LED灯相连的数字端口输出高电平,LED灯开始闪烁,系统会从多媒体素材库调用并在屏幕上显示具体的背景素材资源。接着,通过左右移动摇杆来浏览素材,屏幕上当前被选中的素材会被高亮。当完成背景的选择之后,再次按下背景选择按钮后,计算机调用多媒体素材库,在故事场景的中心会渲染出当前高亮的背景素材,同时将对应的LED灯熄灭。采用同样的方法,也可以选择故事素材,系统提供了树、花、石头和房子等等素材。
(2)故事角色选择。
每个玩具底部都贴有一个射频标签,RFID的ID号在系统中被定义为故事角色的编号,Story Teller中的RFID读取器每隔15毫秒主动发送一串查询指令,当没有接收到射频标签时,会收到固定的5个字节,当有射频标签靠近时,收到的字节内容就会发生变化,其中包含了射频标签的ID。通过这种方法,就可以识别贴有不同射频标签的玩具,从而映射为不同的故事角色。识别的故事角色在多媒体素材库的调用下会被渲染生成在故事主场景区域的中心。
在故事场景布置和角色添加过程中,用户可以自由地进行素材选择、导航和角色的添加和切换,三种操作没有先后顺序,这也允许用户随时改变故事的道具和元素。
3.故事讲述、保存和播放
当用户按下“开始讲述”按钮,系统就会进入故事讲述阶段,此时屏幕上会提示正在讲述故事中,再次按下“开始讲述”按钮则会暂停故事的讲述,同样屏幕上也会提示故事暂停,在这个阶段里主要操作的组件是Story Teller。首先将底部贴有射频标签的玩具放置在Story Teller上,系统会识别并锁定当前正在被检测的角色。当Story Teller上的开关开启,旁边的LED灯会接收到高电平发光,指示开始故事角色开始运动。这时手持并倾斜玩具,运动识别模块会获得三轴加速度和三轴角速度,然后通过I2C协议将数据存储在单片机的寄存器中,接着通过SPI协议从Story Teller上的无线模块从机发送到与计算机相连的无线模块主机,发送的格式是一串代表查询指令的字节包。主机每隔15毫秒检查一次接收缓存内是否有数据,当接收到字节包后,会进行初步判断和解包操作,解算并还原数据,通过串口将数据传输到显示故事环境的程序中。
在程序中,每次对最新接收到的六个数据进行计算,采用的是简化的卡尔曼滤波的算法,即在由三轴加速度解算出的物体姿态的基础上,结合三轴角速度解算出的姿态信息,,最终得到角色运动的标准方向矢量。计算中,由加速度测量出的数据与由角速度解算出的数据各占权重,两者的权重比通过实验获得,最终采用固定的数值1∶10,理论上精度会有所降低,但经过测试发现,姿态倾角的测量在用户使用的过程中已经达到足够的精确,因此,此方法适用于儿童讲故事这种对精度并不是严格要求的场景中。当角色获得运动矢量之后,结合规则库,在角色模型的结构和受到的约束(比如不能离开地面)的情况下进行运动计算和渲染,在虚拟故事场景中移动的方向与计算得到的运动方向保持一致。故事角色的运动速度与用户的倾斜角度成正比。这样用户在实际操作中,具体的倾斜方向和角度直接映射到了角色在虚拟空间上的运动方向和速度,便于用户理解也降低了用户的认知负担。与此同时,在故事的讲述中,用户可以通过麦克风口述故事情节,当故事角色发生交互时,用户可以进行角色扮演,为故事角色添加故事叙述。
在故事讲述的过程中,用户可以自由切换不同的故事角色,将需要操作的角色放到Story Teller上,进行角色运动的控制,这样就实现了多个角色在故事场景里运动并与其它不同的角色进行互动。同时,用户在不确定故事如何进行时,随时可以通过按下StoryBox上的“暂停”按钮来暂停故事的讲述,此时“暂停”按钮又会恢复成“开始讲述”按钮并在屏幕上显示。当再次准备好故事的叙述时,再次按下“开始讲述”按钮继续进行故事讲述。用户的语音输入讲述了故事内容,同时也允许用户以故事角色的身份来叙述故事。
当讲故事结束之后,通过Story Box上的“保存故事”按钮即可对当前故事和语音进行存储。在系统中故事表演的过程和对应的语音会存储在自定义的XML文件格式中,并统一记录在故事库中。打开保存的故事时,读取故事所包含的文件,将故事信息载入到系统中,按下Story Box“播放故事”按钮,系统会播放故事进行时的动画和与故事相关的语音。
综上所述,本发明给出了一种面向儿童实物交互的故事创建方法并以此实现的故事创建系统,与传统的物理讲故事模式相结合,提供丰富的多媒体素材,激发了儿童的创造力和想象力,更加自由地创作和讲述故事,极大地提高了儿童对于讲故事活动的兴趣,培养儿童的口头表达能力。
Claims (11)
1.一种面向儿童实物交互的故事创建方法,其步骤为:
1)建立一实物讲故事的操作显示环境,所述操作显示环境包括用于故事角色、故事素材选择以及控制信号输入的实物交互工具,语音输入、输出单元,计算机处理单元以及显示器;将预定义的故事角色编号、故事素材编号和角色渲染规则存储在计算机处理单元的规则库中;每一玩具具有一与故事角色相对应的RFID标签;所述实物交互工具内设置一RFID读取器和一运动识别模块;
2)建立实物交互工具与计算机处理单元的通信连接,用户利用所述实物交互工具根据预先定义的编号进行场景布局和角色的选择,并显示在所述显示器上;
3)用户将所选玩具放置在所述实物交互工具上,对该玩具进行操作;
4)所述实物交互工具读取该玩具的RFID标签信息、采集用户对玩具的操作信号,并将其发送给计算机处理单元;
5)计算机处理单元根据收到的信息对相应的故事角色进行控制、渲染故事角色并进行存储;并且计算机处理单元对语音输入单元采集的语音信息进行存储;
6)故事结束时,计算机处理单元将记录的角色控制信息和语音信息作为一个故事存储到故事库中。
2.如权利要求1所述的方法,其特征在于所述实物交互工具包括一场景及故事控制器StoryBox和角色控制器Story Teller;其中,Story Box用于故事场景布局,Story Teller用于用户操作玩具时对角色的操作信息处理;其中,Story Box和Story Teller内部均有一单片机,用来进行数据检测和传输。
3.如权利要求2所述的方法,其特征在于所述角色控制器Story Teller包括一无线传感模块,用于与所述计算机处理单元通信;一单片机平台;所述运动识别模块由三轴陀螺仪与三轴加速度计组成;所述单片机平台的控制板分别与所述运动识别模块、无线传感模块和RFID读取器相连。
4.如权利要求3所述的方法,其特征在于所述RFID读取器、无线传感模块与所述单片机平台通过SPI协议进行数据传输,占用同一SPI数据总线;所述陀螺仪与三轴加速度计通过I2C协议将数据传输给所述单片机平台。
5.如权利要求2所述的方法,其特征在于所述场景及故事控制器Story Box设有用于故事场景布局时素材选择使用的按钮和摇杆,场景及故事控制器Story Box接收到用户在按钮和摇杆上操作产生的电子信号,通过USB数据线传输给所述计算机处理单元;所述场景及故事控制器Story Box上设有保存故事按钮、暂停故事按钮和播放故事按钮。
6.如权利要求1或2或3所述的方法,其特征在于每个工具上都设置有LED灯,用来指示当前的操作状态,且在工具的表面设有用于说明和解释操作状态的图画。
7.一种面向儿童实物交互的故事创建系统,其特征在于包括用于故事角色、故事素材选择以及控制信号输入的实物交互工具,语音输入、输出单元,计算机处理单元以及显示器;所述实物交互工具与所述计算机处理单元通信连接,语音输入、输出单元以及显示器分别与所述计算机处理单元连接;其中,计算机单元的规则库中存储有预定义的故事角色编号、故事素材编号和角色渲染规则,每一玩具具有一与故事角色相对应的RFID标签;所述实物交互工具内设置一RFID读取器和一运动识别模块。
8.如权利要求7所述的系统,其特征在于所述实物交互工具包括一场景及故事控制器StoryBox和角色控制器Story Teller;Story Box用于故事场景布局,Story Teller用于用户操作玩具时对角色的操作信息处理;其中,Story Box和Story Teller内部均有一单片机,用来进行数据检测和传输。
9.如权利要求8所述的系统,其特征在于所述角色控制器Story Teller包括一无线传感模块,用于与所述计算机处理单元通信;一单片机平台;所述运动识别模块由三轴陀螺仪与三轴加速度计组成;所述单片机平台的控制板分别与所述运动识别模块、无线传感模块和RFID读取器相连。
10.如权利要求8所述的系统,其特征在于所述场景及故事控制器Story Box设有用于故事场景布局时素材选择使用的按钮和摇杆,场景及故事控制器Story Box接收到用户在按钮和摇杆上操作产生的电子信号,通过USB数据线传输给所述计算机处理单元;所述场景及故事控制器Story Box上设有保存故事按钮、暂停故事按钮和播放故事按钮。
11.如权利要求9所述的系统,其特征在于所述RFID读取器、无线传感模块与所述单片机平台通过SPI协议进行数据传输,占用同一SPI数据总线;所述陀螺仪与三轴加速度计通过I2C协议将数据传输给所述单片机平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310012991.0A CN103093658B (zh) | 2013-01-14 | 2013-01-14 | 一种面向儿童实物交互的故事创建方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310012991.0A CN103093658B (zh) | 2013-01-14 | 2013-01-14 | 一种面向儿童实物交互的故事创建方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103093658A true CN103093658A (zh) | 2013-05-08 |
CN103093658B CN103093658B (zh) | 2015-01-07 |
Family
ID=48206175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310012991.0A Expired - Fee Related CN103093658B (zh) | 2013-01-14 | 2013-01-14 | 一种面向儿童实物交互的故事创建方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103093658B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104064068A (zh) * | 2014-06-17 | 2014-09-24 | 王岳雄 | 一种亲子互动学习方法及实现该方法的装置 |
CN104415554A (zh) * | 2013-08-23 | 2015-03-18 | 朱江 | 智能互动玩具故事板定制演绎方法 |
CN104423977A (zh) * | 2013-08-23 | 2015-03-18 | 朱江 | 基于二维码的玩具程序更新方法 |
CN105654005A (zh) * | 2016-01-04 | 2016-06-08 | 陕西科技大学 | 一种可供儿童娱乐的亲子式餐厅架构及其使用方法 |
CN106205250A (zh) * | 2016-09-06 | 2016-12-07 | 广州视源电子科技股份有限公司 | 授课系统和授课方法 |
CN106781869A (zh) * | 2017-01-22 | 2017-05-31 | 智童时刻(厦门)科技有限公司 | 一种教育机器人结合环境的实物编程方法 |
CN107427723A (zh) * | 2015-02-02 | 2017-12-01 | 库亚托游戏英国有限公司 | 基于虚拟环境中的用户交互动态创建个性化故事书的系统和方法 |
CN107596704A (zh) * | 2017-09-15 | 2018-01-19 | 温州沸鼎智能科技有限公司 | 一种rfid儿童早教玩具装置 |
CN107703704A (zh) * | 2017-11-10 | 2018-02-16 | 深圳市中谷联创信息服务有限公司 | 一种共享影像卡成像设备及其实现方法 |
CN108281047A (zh) * | 2018-02-09 | 2018-07-13 | 深圳市小猪班克教育科技有限公司 | 交互式智能故事机及其交互方法 |
CN108479057A (zh) * | 2018-03-26 | 2018-09-04 | 郑州轻工业学院 | 一种基于自然人机交互的动画故事表演系统 |
CN109241331A (zh) * | 2018-09-25 | 2019-01-18 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法 |
CN109828666A (zh) * | 2019-01-23 | 2019-05-31 | 济南漫嘉文化传播有限公司济宁分公司 | 基于有形用户界面的混合现实交互系统及方法 |
CN110110098A (zh) * | 2019-04-26 | 2019-08-09 | 张成虎 | 一种多媒体交互逻辑编排系统及其使用方法 |
CN110782900A (zh) * | 2018-07-12 | 2020-02-11 | 迪斯尼企业公司 | 协作ai讲故事 |
CN111727419A (zh) * | 2018-09-07 | 2020-09-29 | 施政 | 用户使用实物创建对象、属性、方法或事件的系统和方法 |
CN112289092A (zh) * | 2020-11-05 | 2021-01-29 | 大连民族大学 | 一种通过点选和投影方式记录并播放日记的儿童教具 |
CN113254740A (zh) * | 2021-05-25 | 2021-08-13 | 南京大学 | 一种儿童故事创作的可视化系统 |
CN117271756A (zh) * | 2023-11-21 | 2023-12-22 | 安徽淘云科技股份有限公司 | 文本生成方法、装置、电子设备以及可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201518164U (zh) * | 2009-04-28 | 2010-06-30 | 中国科学院软件研究所 | 一种面向儿童的网络集成创作系统 |
CN102136208A (zh) * | 2011-03-30 | 2011-07-27 | 中国科学院软件研究所 | 一种实物编程方法和系统 |
CN102707804A (zh) * | 2011-05-23 | 2012-10-03 | 中国科学院软件研究所 | 一种基于加速度传感器的角色动作控制方法 |
CN102789713A (zh) * | 2012-07-19 | 2012-11-21 | 中国科学院软件研究所 | 一种基于红外和无线传输技术的实物编程方法和系统 |
CN102800223A (zh) * | 2012-07-19 | 2012-11-28 | 中国科学院软件研究所 | 一种协同实物编程方法 |
-
2013
- 2013-01-14 CN CN201310012991.0A patent/CN103093658B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201518164U (zh) * | 2009-04-28 | 2010-06-30 | 中国科学院软件研究所 | 一种面向儿童的网络集成创作系统 |
CN102136208A (zh) * | 2011-03-30 | 2011-07-27 | 中国科学院软件研究所 | 一种实物编程方法和系统 |
CN102707804A (zh) * | 2011-05-23 | 2012-10-03 | 中国科学院软件研究所 | 一种基于加速度传感器的角色动作控制方法 |
CN102789713A (zh) * | 2012-07-19 | 2012-11-21 | 中国科学院软件研究所 | 一种基于红外和无线传输技术的实物编程方法和系统 |
CN102800223A (zh) * | 2012-07-19 | 2012-11-28 | 中国科学院软件研究所 | 一种协同实物编程方法 |
Non-Patent Citations (1)
Title |
---|
王丹力,詹志征,戴国忠: "儿童交互式智能讲故事系统", 《计算机辅助设计与图形学学报》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104415554A (zh) * | 2013-08-23 | 2015-03-18 | 朱江 | 智能互动玩具故事板定制演绎方法 |
CN104423977A (zh) * | 2013-08-23 | 2015-03-18 | 朱江 | 基于二维码的玩具程序更新方法 |
CN104064068A (zh) * | 2014-06-17 | 2014-09-24 | 王岳雄 | 一种亲子互动学习方法及实现该方法的装置 |
CN107427723B (zh) * | 2015-02-02 | 2021-08-24 | 库亚托游戏英国有限公司 | 基于虚拟环境中的用户交互动态创建个性化故事书的系统和方法 |
CN107427723A (zh) * | 2015-02-02 | 2017-12-01 | 库亚托游戏英国有限公司 | 基于虚拟环境中的用户交互动态创建个性化故事书的系统和方法 |
CN105654005A (zh) * | 2016-01-04 | 2016-06-08 | 陕西科技大学 | 一种可供儿童娱乐的亲子式餐厅架构及其使用方法 |
CN106205250A (zh) * | 2016-09-06 | 2016-12-07 | 广州视源电子科技股份有限公司 | 授课系统和授课方法 |
CN106781869A (zh) * | 2017-01-22 | 2017-05-31 | 智童时刻(厦门)科技有限公司 | 一种教育机器人结合环境的实物编程方法 |
CN107596704A (zh) * | 2017-09-15 | 2018-01-19 | 温州沸鼎智能科技有限公司 | 一种rfid儿童早教玩具装置 |
CN107703704A (zh) * | 2017-11-10 | 2018-02-16 | 深圳市中谷联创信息服务有限公司 | 一种共享影像卡成像设备及其实现方法 |
CN108281047A (zh) * | 2018-02-09 | 2018-07-13 | 深圳市小猪班克教育科技有限公司 | 交互式智能故事机及其交互方法 |
CN108479057A (zh) * | 2018-03-26 | 2018-09-04 | 郑州轻工业学院 | 一种基于自然人机交互的动画故事表演系统 |
CN110782900A (zh) * | 2018-07-12 | 2020-02-11 | 迪斯尼企业公司 | 协作ai讲故事 |
CN110782900B (zh) * | 2018-07-12 | 2023-11-28 | 迪斯尼企业公司 | 协作ai讲故事 |
CN111727419A (zh) * | 2018-09-07 | 2020-09-29 | 施政 | 用户使用实物创建对象、属性、方法或事件的系统和方法 |
CN109241331A (zh) * | 2018-09-25 | 2019-01-18 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法 |
CN109241331B (zh) * | 2018-09-25 | 2022-03-15 | 北京光年无限科技有限公司 | 一种面向智能机器人的故事数据处理方法 |
CN109828666A (zh) * | 2019-01-23 | 2019-05-31 | 济南漫嘉文化传播有限公司济宁分公司 | 基于有形用户界面的混合现实交互系统及方法 |
CN109828666B (zh) * | 2019-01-23 | 2022-01-25 | 山东大学 | 基于有形用户界面的混合现实交互系统及方法 |
CN110110098A (zh) * | 2019-04-26 | 2019-08-09 | 张成虎 | 一种多媒体交互逻辑编排系统及其使用方法 |
CN112289092A (zh) * | 2020-11-05 | 2021-01-29 | 大连民族大学 | 一种通过点选和投影方式记录并播放日记的儿童教具 |
CN113254740A (zh) * | 2021-05-25 | 2021-08-13 | 南京大学 | 一种儿童故事创作的可视化系统 |
CN113254740B (zh) * | 2021-05-25 | 2023-10-17 | 南京大学 | 一种儿童故事创作的可视化系统 |
CN117271756A (zh) * | 2023-11-21 | 2023-12-22 | 安徽淘云科技股份有限公司 | 文本生成方法、装置、电子设备以及可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103093658B (zh) | 2015-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103093658B (zh) | 一种面向儿童实物交互的故事创建方法和系统 | |
US10445939B2 (en) | Tactile interaction in virtual environments | |
CN109863510A (zh) | 冗余跟踪系统 | |
CN102136208B (zh) | 一种实物编程方法和系统 | |
CN102460510B (zh) | 用于与空间操作系统一起使用的空间多模式控制设备 | |
CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
US11769306B2 (en) | User-exhibit distance based collaborative interaction method and system for augmented reality museum | |
CN103930944A (zh) | 用于空间输入装置的自适应跟踪系统 | |
CN104769522A (zh) | 具有3d 指向和手势识别功能的远程控制器 | |
CN107533767A (zh) | 机器人的增强的配置和控制 | |
US9092894B2 (en) | Display control device and display control program for grouping related items based upon location | |
CN102789313A (zh) | 一种用户交互系统和方法 | |
CN103105929A (zh) | 虚拟农业园区交互式设计与体验方法及系统 | |
Goldsmith et al. | Augmented reality environmental monitoring using wireless sensor networks | |
CN109697002A (zh) | 一种在虚拟现实中对象编辑的方法、相关设备及系统 | |
Krestanova et al. | Development and technical design of tangible user interfaces in wide-field areas of application | |
CN109598198A (zh) | 用于识别手势移动方向的方法、装置、介质、程序及设备 | |
CN106970705A (zh) | 动作捕捉方法、装置和电子设备 | |
CN107122109A (zh) | 一种面向三维笔式交互平台的多通道自适应操作方法 | |
CN206421334U (zh) | 一种智能穿戴设备及智能运动交互系统 | |
CN101776868A (zh) | 一种多功能运动监视装置及方法 | |
CN106371455B (zh) | 一种智能交互方法和系统 | |
CN112037090B (zh) | 基于vr技术和6dof姿态跟踪的知识教育系统 | |
CN111421517B (zh) | 一种智能终端增强的编程教育机器人 | |
CN206991240U (zh) | 一种基于虚拟现实技术的人机交互系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150107 |