CN104094318A - 适用于拍摄视频电影的系统 - Google Patents

Abstract

在现实空间拍摄视频电影的系统，包括：摄影机(9)、传感器(16)、用于确定摄影机位置的电脑化精确定位图形(27)、监视屏(15)、用于在监视屏(15)上产生实时图像和根据摄影机(9)位置数据所产生的虚拟图像投影的合成图像的电脑化合成模块(32)。

Description

适用于拍摄视频电影的系统

本发明涉及适用于拍摄视频脚本的系统。

拍摄视频脚本已经存在了很长时间。在近几十年里，在广播或播放视频中使用扩增实境技术已经变得越来越普遍，用于展示在现实世界中很难拍摄的物体或事件。

用于构造包括这种扩增实境技术序列(augmented reality sequence)的视频脚本的常规方法始于在自然校准环境中拍摄演员，例如在单色背景的摄影棚。几个星期或几个月之后，在后期制作过程中加入三维动画，以增加他们与被拍摄的演员互动的错觉。

对于演员和导演来说，很难在单色背景的摄影棚中拍摄到逼真的场景。因此，最近提出了一个预示系统，它可以产生动画制作的初步版本，并且在上演场景之前展示给导演和演员。演员和导演从而可以更容易地想象他们的虚拟环境和/或他们虚拟的另一个自我的表演。

然而，这些系统仍然还不够完善，并且仍有许多调整需要在后期制作中完成，以使动画制作适应在这时候完全无法改变所记录的电影。

同时，我们还知道使用校正标识的系统，它可尝试提供比摄影机在摄影时更好的效果。命名为Lightcraft销售的系统就是一个示例。但这些系统使用起来很费力，因为他们需要在摄影棚配置标识，操作复杂，以及它们还限制在摄影棚或者在配置标识的有限空间内使用。

本发明适用于克服上述缺点。

为此，提出了适用于在真实参考系统所定义的现实空间内拍摄视频脚本的系统，包括：

-摄影机，适用于记录大量离散时间帧的实时图像，

-位置精确定位系统，包括：

.至少一个传感器，提供相对于各个时间帧所已知的摄影机的位置数据，并且适用于将传感器所探测到的自然地形信息传递给电脑化精确定位模块，

.电脑化精确定位模块，适用于根据传感器的位置信息以及根据自然地形信息和现实空间中的预定三维模型的比较来确定针对各个时间帧的在实时参考系统中的摄影机位置数据，

-监视屏，

-电脑化合成模块，适用于在监视屏上产生针对各个时间帧的实时图像和取自虚拟动画制作数据库的虚拟图像投影的合成图像，所述投影是根据实时参考系统中的摄影机位置数据所产生的。

监视屏上的显示几乎是即时产生的，例如在一秒内，包括可能的处理时间以及由于不同系统组件所产生的等待时间。

采用这些配置，可以在摄影的同时直接在监视屏上看到真实世界和虚拟世界之间的互动。这就允许必要时能够重拍相同的场景，直到满意为止。

通过利用自然地形能够信息，便消除了上述涉及标识的问题。拍摄时就更加自由。

在本发明的最佳实施方案中，可选择使用如下一种或多种配置：

-精确定位系统的传感器是具有至少一个下列特点的光学摄影机：

-立体视角大于摄影机的立体视角，

-采集频率快于摄影机的图像采集频率，

-以黑白形式采集，

-体积至少小于摄影机的体积的两倍；

-光轴平行于摄影机的光轴，

-视场叠加于摄影机的视场；

-精确定位系统包括适用于产生现实空间的所述预定三维模型的电脑化生成模块，并且所述传感器适用于将传感器探测到的地形信息传递给电脑化生成模块；

-传感器适用于同时将传感器所产生的自然地形信息传送给电脑化精确定位模块和电脑化生成模块，并且电脑化生成模块适用于利用传感器所探测到的自然地形信息来丰富现实空间的所述预定三维模型；

-地形信息包括有关选自点、线面和体积的现实空间的几何对象的信息；

-在拍摄配置中，摄影机和传感器彼此固定地依附；

-系统进一步包括精确定位系统，包括定位图形(positioning pattern)，适用于通过摄影机和处于定位配置中的传感器进行同时探测，以及电脑定位模块，适用于根据传感器和摄影机的定位图形的同时探测结果来确定各自的位置数据；

-系统进一步包括光学校准系统，在光学校准配置中，包括适用于摄影机探测的光学校准图形，以及电脑化精确定位模块，适用于另外根据由光学校准系统所确定的摄影机的光学校准数据来确定各个时间帧在实时参考系中的摄影机位置数据；

-系统进一步包括至少一个以下实体：

-固定在摄影机上的惯性传感器，适用于确定摄影机的移动，电脑化精确定位模块适用于另外根据惯性传感器所提供的数据来确定在实时参考系中的摄影机位置数据；

-测量参照，可由摄影机拍摄，电脑化合成模块能够根据摄影机所采集的测量参照的图像将虚拟图像演变成现实空间的尺寸；

-适用于确定摄影机所设置的放大率的系统，电脑化合成模块适用于通过考虑所述参数而产生合成图像；

-系统进一步包括电脑化动画制作模块，包括虚拟动画制作数据库，包括针对各组时间帧在虚拟参考系中所呈现的三维图像，电脑化动画制作模块适用于将所述三维图像传递给合成模块；

-电脑化精确定位模块适用于将现实空间的预定三维模型传递给电脑化动画制作模块；

-电脑化合成模块适用于针对各个时间帧在监视屏上生成虚拟图像的阴影，所述阴影根据在实时参考系中的摄影机位置数据和在实时参考系中的灯光位置数据而生成。

-对于稍后的时间帧，电脑化精确定位模块能够另外根据先前时间帧在实时参考系中的摄影机位置数据来确定在实时参考系中的摄影机位置数据：

-电脑化精确定位模块包括选择模块，适用于从几何图样中选择可以用于定位摄影机在3D空间中的位置的三维模型的几何图样；

-选择模块将稍后图像的几何图样与先前图像的几何图样进行比较，将两个图像中都出现并且在现实空间中不动的几何图样联系起来，并且不再将其它几何图样与三维模型进行比较：

-定位系统进一步包括第二传感器，具有至少一个不同于第一传感器的特点，这些特点选自位置、方向、立体视角、图像采集频率、光轴以及视场。

在某些实施例中，可以使用专用于并且最好是用于精确定位的位置传感器，使摄影机能够仅关注其拍摄的主要功能上。

本发明的其它特点和优点将通过下述实施例的描述更加明显，实施例以非限制性示例并参考附图给出。

附图包括：

-图1示出现实空间的示意图，

-图2示出根据本发明一实施例的拍摄系统的示意图，

-图3示出图2所示系统在学习配置中使用示意图，

-图4示出现实空间的三维模型的透视图，

-图5示出在位置确定配置中与图2相似的视图，

-图5a示出与图5相似的提供比例的视图，

-图6a示出系统拍摄配置在开始瞬间的示意图，

-图6b示出摄影机在图6a所示瞬间的图像采集的示意图，

-图6c示出在相同瞬间在监视屏上创建的合成图像的示意图，

-图7a、7b和7c示出分别与图6a、6b和6c在一秒瞬间时相对应，

-图8示出由电脑化动画制作模块构成的可编程机器的屏幕的示意图，

-图9示出利用上述对象制作视频脚本的工艺流程图，以及，

-图10示出在变体实施例中的图像采集系统的示意图。

在不同的附图中，相同的标记用于指定相同或相似的元素。

图1图示阐明了现实空间中的一个部分1。图1显示了现实空间1的一个具体例证。然而，本发明可以应用于大量的不同现实空间中。

实时参考系2附属于现实空间1，并且包括例如原点0以及三个互相垂直的坐标轴X、Y和Z。因此，在现实空间1中的每个点在实时参考系2中都具有唯一的一组坐标。

在纯粹以示例方式提供的示例中，现实空间1可以是室外空间，它包括基本沿Y轴延伸的水平道路3以及在后边较远处的建筑物4。建筑物可能包括各种窗户5a、5b、5c和门6a、6b、6c。人行道7延伸例如在道路3和建筑物4之间。可能有例如一辆停放的轿车8。

作为变化实施例，内部空间也可以用作现实空间，例如工作室。现实空间1包括许多自然地形信息。这个信息与例如现实空间的几何对象相关，例如点、线、面和/或体积。我们可以例如将结构的边缘视为线，两个这种边缘的交叉点视为点。对于面来说，我们可以例如将实体曲面视为车罩(carhood)或者其他。对于体积来说，我们可以例如参考物体，例如一辆车或者出现在现实空间中的一些其它物体。自然地形信息从而通过以下事实与所附校准地标区别开来：

都以无序方式随意安置，

在无穷维度的空间内安置，整个世界，并且并不限制于配备标识物的区域，

都特别多样化，并不仅仅在诸如条形码的代码上不同，

在3D体积中可用，却不能应用于一个或多个平面，

不需要带有提前校准的复杂安装。

我们现在参考图2，来讨论根据一个实施例适用于拍摄视频脚本的系统。视频脚本是以快速连续的方式(每秒若干帧，例如每秒24帧(电影)，25帧(PAL制式)，或者30(NTSC制式))向观众展示的一系列图像。这一系列图像例如作为故事片，影视片，资料信息，视频游戏或者其它形式的一部分播放或放映。特别是，播放或放映可能比拍摄晚些时间发生。

这一系列图像重新计算现实空间1内发生的时间。

任何类型的摄影机9一般都可以用于拍摄这种场景的。特别是，可以使用每秒采集若干帧(例如每秒24帧)的数字摄影机。

摄影机9包括能在视场11中采集图像的镜头10，并且连接在一个电脑系统12上。这种连接的实现是通过例如适合的电缆13，或者通过无线方式，例如通过无线或者一些其它的传输形式。

摄影机9是已知的任何适合类型，但是如果能够在拍摄期间改变视场11，则本发明是特别适合的。特别是，视场11可以通过在现实空间1内移动摄影机9而改变。这在摄影机9在现实空间1内采用导向方式可移动时尤其如此，例如安装在轨道或者带有限定摄影机9可能位置的机械臂(未显示)的吊机上。

或者，作为显示的备选项，使用足够小巧的摄影机9，以便操作员(未显示)的携带并能在现实空间1内来回移动。

在一个例示性实施例中，摄影机9包括安装在摄影机外壳上的监视器14以及拍摄操作员可以观察的监视屏15，并且通过摄影机采集的视场11显示在监视屏上。

拍摄系统还包括位置精确定位系统，它包括传感器16和电脑系统12的电脑化精确定位模块17，通过无线或者通过电缆18连接着传感器16，如上所示。

传感器16的显著特征是具有始终可以知晓的相对于摄影机9的位置。“位置”在此可以理解为相对于摄影机9的始终可以被知晓的传感器16的位置和方向。这具体相关于传感器和摄影机9(摄影机的CCD阵列)的采集系统的相对位置和方向。这可以通过简单的方式来实现，例如简单地将传感器16固定到摄影机9上即可实现，例如通过夹具19或者一些其它适当的机械系统来实现。

传感器16的特点特别在于图像采集场20。例如，传感器16可以这样安置以便摄影机9的任何部分都不阻挡图像采集场20的任何部分，而且传感器16的任何部分都不阻挡任何视场11，如图2所示。

传感器16适用于采集有关现实空间1的信息，以便利用电脑化精确定位模块17来确定现实空间中传感器16的位置。特别是，在拍摄配置中，它可以这样安置，以便在现实空间1中的位置通过传感器16采集，并且电脑化精确定位模块17可以利用现实空间的预定三维模型21为传感器16的采集确定传感器16在现实空间中的位置。这样，精确定位模块17确定了传感器16在现实空间中的最可能位置，使得传感器16采集的数据与现实空间的预定三维模型21相匹配。

知道了传感器16在现实空间中的位置并且知道了摄影机9和传感器16的相对位置，精确定位模块17从而可以确定在实时参考系中的摄影机位置数据。

值得注意的是，尽管上述流程也涉及确定传感器16的位置然后确定摄影机9的位置这两个连续步骤，或者摄影机9的位置可以被直接确定而无需明确确定传感器16的位置。

可以计划使用传感器16来专用于精确定位位置工作，并且具有不同于摄影机9的图像采集特点。摄影机9之后可专用于其工作，即拍摄，并且传感器16也可以专用于它自己的工作，即确定位置。

作为一个例子，传感器16是光学传感器。如果将传感器16安装在摄影机9上，可以为传感器16提供小型的光学摄影机，特别是体积比摄影机9的体积小两倍的摄影机。这减少了对操作者的不便。

传感器16可以特地选择用于光学摄影机，尤其是专用于精确定位摄影机9在现实空间中的位置。这样便能够例如，用一个图像采集率是摄影机9的至少整数倍的光学摄影机，例如近似于每秒100幅图像，从而在为各个时间帧计算摄影机9在现实空间中的位置时变平滑。

也可以特地选择带有比摄影机11更广的视场20(立体视角)的光学摄影机来最大化从现实空间1采集的用于计算摄影机位置的信息。也可以例如使用具有超过160度的图像采集角度的广角镜头(“鱼眼”镜头)。

根据需要，也可以使用黑白摄影机，用于精确定位传感器。此处描述的方法甚至可以在不采集彩色信息的情况下工作。

现实空间的预定三维模型包括，例如，来自现实空间1的自然地形信息。例如通过任何适当方法提供。然而，如图3和图4所示，可以例如使用上述系统的一些元素生成现实空间的预定三维模型。

特别是，如图3所示，三维模型21是在学习配置中在预备步骤中创建的。这个步骤，例如，在摄影不久前便被实施，以便摄影期间的现实空间与预建立的模型相符合。

在学习步骤中，学习传感器22移动到现实空间1中。通过一组时间帧，学习传感器22将学习传感器22采集的信息通过任何适合的方式传递给电脑系统12。电脑系统12包括电脑化生成模块23，在其从学习传感器22中以不同视角接收信息时，能够确定三维模型21(以一定的比例系数)。因此，通过使用学习传感器22从不同视角采集现实空间1的相同自然地形信息，生成模块23能够确定现实空间的一组几何对象的三维位置。三维模型21，如图4以不同视角在电脑屏幕上所示，包括一组几何图样(在这种情况下是点)。这些点可以在任何方向上显示，如图4所示，在现实空间的透视图中。除了点24，三维模型21也可以包括一组其它几何对象，例如直线或曲线，平面或曲面，体积，等等，都是由生成模块23自己或者通过生成模块操作员的帮助来确定的，操作员向生成模块表明一组几何对象是相同直线/面/体积的部分。

如上所说，如此生成的三维模型21之后被输入到电脑化精确定位模块17中，以便在拍摄配置中始终能够识别现实空间中的摄影机的实际位置。

在所述示例中，用在拍摄配置中的相同的传感器16可以作为学习传感器22使用。相同的算法之后被用于确定在学习配置中在现实空间中的一个几何对象的三维位置，并且用于根据由相同摄影机所确定的几何对象在现实空间中的位置来确定精确定位摄影机16在现实空间中的位置。此外，通过为两个步骤使用相同的传感器，可以继续在拍摄配置过程中丰富三维模型，如果模型在拍摄时能够改变的话(如果拍摄户外或者如果演员出现在拍摄配置中传感器16的范围内则属于这种情况)。在这种情况下，学习模式在拍摄期间继续。

如上所说，预定三维模型21可视情况以某个比例系数来创建。在这种情况下，可以例如使用通过学习传感器22采集的给定长度的测量参照25，来测量三维模型21，如图5a所示。

另外，可以使用定位配置来确定拍摄之前摄影机9和精确定位传感器16的各自位置数据。针对这种情况给出了一个特别示例，示例中传感器16牢牢地附着在摄影机9上。在定位配置中，定位图形27由摄影机9和传感器16同时拍摄。通过两种工具搜集的信息传递给电脑化定位模块26中，该模块适用于从两个工具采集的相同定位图形27的图像中确定它们的相对位置。

回到图2，电脑系统12还包括电脑化动画制作模块28。这个动画制作模块28可以包括例如由一个或多个虚拟动画构成的动画制作数据库29。每幅动画包括例如，对于一组与将拍摄的视频脚本的所有或部分持续时间相对应的时间帧中的各个时间帧，以虚拟参考系U、V、W30表示的三维对象(点、线、面、体积、结构，等等)的特点。各幅动画代表，例如，一个增广的虚拟现实事件。例如，动画制作数据库可能提供描绘一个移动或静止虚拟角色，特技效果(雨、爆炸等)的动画，或者其它动画。例如，给定时间帧的虚拟对象31显示在图2中，特点在于数据显示在虚拟空间，它们在虚拟参考系中的位置以U、V、W表示。列举的非常简单的例子使用了带方底的立柱，随时间固定，但是实际上可以是例如行走的狮子等等。

如图2所示，电脑系统12包括合成模块32。合成模块32沿链路33从动画制作模块28中输入了动画。必要的话，如果动画没有显示在实时参考系2中，合成模块32通过适合的转换矩阵精确地将虚拟U、V、W同真实的X、Y、Z参考系连接起来(下面进一步描述了一个示例)。

之后，电脑化合成模块32从摄影机9采集的实时图像和一个与相同帧的虚拟对象31相对应的虚拟图像的投影中生成合成图像，投影根据实时参考系中摄影机9位置信息而生成。这样，合成图像包括叠加的实际图像和虚拟图像，仿佛虚拟图像是现实空间中出现的物体的图像，通过摄影机9在这个时间帧中的采集。合成图像之后显示在监视屏15。拍摄操作者从而可以在他的监视屏上以他的视角来查看各个时间帧的虚拟对象在现实空间中的位置和方向，好像这个虚拟对象出现在他面前一样。然后，他如果需要的话可以相对于物体来调整摄影机的位置。

作为一个变化实施例，电脑系统12还包括监视器14′的监视屏15′，使导演或者任何感兴趣的人员能够从摄影机的角度实时查看合成图像。

图6a到7c给出了一个具体例证。图6a到6c相当于开始的瞬间，在此，操作员(未显示)正在拍摄相对于汽车8后下部分的现实空间的一部分34。摄影机9在此时采集的图像35可以在图6b中看到。摄影机9对于该时间帧的位置由定位系统确定。如图6c所示，在监视屏15，15′上生成的合成图像36包括叠加的实时图像以及从摄影机9的采集角度所看到的虚拟对象31。要做到这一点，如上所说，由摄影机9以及虚拟对象31在现实空间的位置在给定时间是已知的，可以计算出这一对象在图像35上的投影。

图7a到7c表示稍后的时间帧(紧接上一个之后)，并且参考图6a到6c得到阐示。图7a-7c代表的事件发生在先前图的大约1/24秒之后。在那段时间内，摄影机9的视角发生改变，以致摄影机9现在更多地指向车8的顶端。成像部分34′也显示在图7a中。摄影机9所采集的实时图像被称为图7b中的参照35′。图7c表示与叠加实时图像35′和虚拟对象31相对应的合成图像36′，表示为摄影机9对于该时间帧的位置的函数。值得注意的是，在这个示例中，虚拟对象31可能在两个时间帧内完全相同。其投射到两个时间帧的显示也由于视角的不同而不同。然而，由于这是一幅动画，所以虚拟对象31可能对于两个时间帧稍有不同。

以上步骤可以在摄影期间对应于各个时间帧实时进行重复，并且如果需要的话可用多台摄影机。

再看图6a，出于对时间帧的考虑，传感器16采集的精确定位图像37可能与更大体积的现实空间相符合，而且电脑化精确定位模块适用于将自然地形信息从这个精确定位图像37中提取出来并且适用于确定摄影机9在实时参考系2中的位置，如上所说，通过探测到的自然地形信息以及三维模型21。特别是，可以消除现实空间1中对于固定光学标识物的需求，为使用提供了更大的方便。于是，仅需要使用自然地形信息，避免了人工标识物使摄影空间变得凌乱。然而，此处描述的系统与人工标识物相配。

如果传感器16的视场正好已经被一个现实空间中的真实元素遮住了(操作员在采集期间移动)，电脑化精确定位模块可能提供几个选项用于确定摄影机9在现实空间中任何时候的位置。例如，如果电脑化精确定位模块无法探测足够的地形信息来确定摄影机9在现实空间中的位置，默认情况下可以认为摄影机9在那个时候还没有移动。事实上，当两个装置9和16彼此非常接近时，正如实施例中所示，如果传感器16无法确定地形信息，这意味着摄影机9的视场可能被非常近的实物遮挡住。在下一个时间帧，当传感器16能够确定足够的地形信息来识别摄影机9在三维空间中的位置时，则可以再次生成在该位置的合成图像。

我们会注意到，电脑化精确定位模块包括选择模块，适用于选择可以用于识别摄影机在3D空间中位置的三维模型的几何图样。首先选择可能在传感器16视场内的几何图样，例如利用从前一帧中获取的传感器位置的大概情况。然后，如果在传感器16所采集的图像的区域内，这组被识别的几何图样与三维模型有很大不同，则在确定摄影机的位置时不考虑这些图样。

比较传感器16采集的两个暂时接近的图像，将出现在这两个图像中并且不移动的几何图样分成对。其他几何图样则认为其在现实空间中移动并且不用于同三维模型进行比较。

如图2所示，我们也可以在这些情况下强化电脑化精确定位模块，通过增加惯性传感器38，用于为电脑化精确定位模块提供有关摄影机9位置的额外信息。例如，将惯性传感器38附着在摄影机9上或者附着到传感器16上，只要后者附着到摄影机9上。用于在摄影机和传感器之间转换的转换矩阵与每个放大倍率相联系。在拍摄配置中，来自编码器的信息用于选择适合的转换矩阵。

根据一个实例，如图6a-6c所示，合成模块32也可能适合于生成由虚拟对象31在现实空间1内投射的阴影。例如在图6a中的所能看到的，在实时参考系2内的已知位置提供人工(如图所示)或者自然光照39。这样，如图6b中所能看到的，实时图像35还包括，除对象8的图像之外，其真实阴影的一个图像40。如图6c所示，从摄影机9的视角来看，个性化三维模块可能包含有关虚拟对象31的阴影41将投射于表面的信息。虚拟对象的阴影可以通过考虑虚拟对象31在现实空间中的位置、虚拟对象31的阴影投射于表面在现实空间中的位置、摄影机的位置以及光的位置来计算。真实和虚拟阴影在图7c中也是可见的。

刚刚描述的系统在动画相对于摄影机9的视场移动时是特别有利的。在一个实施例中，在摄影配置中，拍摄静止现实空间的静态场景，在该场景上生成可能随时间变化的动画。因此证实了可以在拍摄期间对动画适当地进行设计。另一实施例包括在现实空间1内移动摄影机9，同时加入移动的或者可能是静止的动画，从而证实在采集期间其已按要求进行设计。

回到图2，系统也可能包括考虑摄影机9镜头10的焦距变化的方法。

在上述例子中，我们可以认为所有操作已经在固定焦距内实施。

当然，如果焦距在拍摄时改变，图6b及7b所示实时图像35和35′将以不同级别的放大率来显示。这样，如图2所示，摄影机9上的变焦42便能包含可探测放大倍率环42的旋转读数的编码器43，并且电脑化精确定位模块17将考虑由编码器43传递的数据所确定的放大率级别。对于摄影机9镜头的大量不同放大倍率，这可通过例如重复图5的位置步骤来完成。

在上述实施例中，虚拟对象31直接在实时参考系2中表示出来，以便从摄影机9视角能够直接看到。根据一个实施例，用于生成三维模型的模块可以与动画制作模块28结合。于是，有关图2中提到的用于将动画从动画制作模块28输出到合成模块32的链路33也可以用在另一方向，以将构造的现实空间的三维模型21传递给动画制作模块28。这样，从动画制作数据库以及三维模型21中获取的虚拟对象31可以叠加到电脑化动画制作模块28的屏幕44上，如图8所示。这种叠加使我们能够界定在其内分别表示了虚拟对象31和三维模型21的虚拟U、V、W和真实X、Y、Z参考系之间的转换矩阵。也能够使我们在拍摄期间界定或重新界定动画。因此，动画制作模块28可包括应用程序，包括通过图标45显示在屏幕44上的一组工具并且使我们能够预先确定动画。在学习步骤中生成三维点便足够了，以便直接生成动画为在现实空间中拍摄做准备。例如，图8中的宽箭头表示对虚拟空间U、V、W中虚拟对象31的移动或调整大小的命令。我们也可以界定参照31所表示的开始对象和参照46所表示的结束对象之间的虚拟对象随时间的转变。虚拟对象的这两个表示之间随时间的变化是可以配置的。刚才描述的系统明显过于简单化，以便理解。

刚才描述的系统使我们在系统采用学习配置采集之后能够在现实空间拍摄时直接修改动画，这就提供了真实世界与虚拟世界之间的互动。

正如图9中所概要显示的，在一个实施例中，拍摄系统可以如下使用。

在第一步骤101中，系统采用光学校准配置方式使用，以便确定摄影机9的任何光学像差。这个准备步骤可利用校准图形来进行，并且所搜集的信息可以随后由电脑系统12用于校正摄影机9的图像采集。

之后，在步骤102过程中，系统采用学习配置方式使用，于是学习传感器在现实空间内来回移动，以产生现实空间的三维模型。三维模型也是可调节的。

接着，在步骤103过程中，采用定位配置，摄影机9和精确定位传感器16的相对位置得到确认。

然后，在步骤104过程中，从虚拟动画的数据库中提取动画。该幅动画用于同即将被拍摄的现实空间相协同。

在步骤105中，使用拍摄配置的系统，并且根据摄影机9在实时参考系中的位置数据，在监视屏上产生在拍摄位置上由光学摄影机9所获取的实时图像和对应于相同时间帧所生成的投影的合成图像。

在确定步骤106中，如果根据所产生的合成图像导演认为镜头满意(箭头Y)，则他便停止拍摄视频脚本(步骤107)。

如果确定步骤106显示镜头不满意(箭头N)，则导演可以利用这一事实，即所有演员和摄影机操作员都在现场并且可以再次拍摄场景(返回到步骤105)。如果必要的话，动画可在这一步骤中可以改变，如上述参照图8所描述的。

上述电脑化系统可以通过一个或者多个彼此通过网络进行通讯的可编程机器来实施，使从远程动画制作数据库29中输入动画变成可能。电脑组件，例如键盘，监视器，鼠标，中央处理器，电缆等等，可以照例是已知类型。特别是来自动画制作数据库的动画与将出现在最终视频脚本中的动画制作的简化动画相符合。几周之后，在后期制作阶段，通过在拍摄期间使用的初始动画以及所采集的镜头制作出最终的动画。简化动画所包含的数据量比最终的动画小(例如至少小两倍)。

采用参照图6a-6c所描述的相同方式来产生在现实空间中的虚拟对象图像的投射阴影，则尤其是体积相关的三维模型可用于管理现实空间中的对象以及彼此覆盖的虚拟对象。如果从摄影机的视角所探测到虚拟对象31的部分位于现实空间中由三维模型所定义的非透明对象之后，则可以使用电脑化减少模块将虚拟对象31所隐藏的部分从该时间帧的合成图像中移除。利用摄影机在现实空间的位置、虚拟对象的位置和如三维模型所定义的非透明对象的位置，这是可行的。如果操作者或者导演在他的监视屏15、15′上看到虚拟对象31并非如他期望方式可见的话，他可以立即调整摄影机的位置。

在上述示例中，所描述的图2具有传感器16和摄影机9，两者具有相互交叠的视场和/或几乎接近于平行的采集轴线。然而，这不是必须的，并且作为一个变化实施例，传感器16(也称为目击摄影机)可以例如拍摄现实空间的天花板或者地板，而摄影机9的光轴可以大约是水平的。

根据图10所示的实施例，精确定位系统包括第二传感器16′且其具有至少一个不同于第一传感器16的特点，这些特点选自例如位置，方向，立体视角，采集频率，光轴和视场。例如，第二传感器16′可以面向天花板，而第三传感器16″可以面向侧面。每个传感器16、16′和16″都将其探测到的自然地形信息发送到电脑化精确定位模块17。电脑化精确定位模块17根据来自传感器16、16′、16″(一起或分别)的位置数据以及现实空间的自然地形信息和预定三维模型21之间的比较来确定摄影机9在实时参考系中的位置数据。

上述不同步骤和流程比其在所述一般流程中的使用更具创新性，并且申请人保留以任何适当形式保护它们的权利。

Claims (16)

1.适用于在真实参考系所定义的现实空间内拍摄视频脚本的系统，包括：

-摄影机(9)，适用于记录大量离散时间帧的实时图像，

-位置精确定位系统，包括：

.至少一个传感器(16)，提供对应于各个时间帧所已知的摄影机(9)的相对位置数据，并且适用于将传感器所探测到的自然地形信息传递给电脑化精确定位模块，

.电脑化精确定位模块(17)，适用于根据传感器的位置信息以及现实空间的自然地形信息和预定三维模型(21)之间的比较来确定摄影机(9)各个时间帧在实时参考系中的位置数据，

-监视屏(15)，

-电脑化合成模块(32)，适用于在监视屏(15)上生成对应于各个时间帧的实时图像和从虚拟动画(29)的数据库所获取的虚拟图像投影的合成图像，所述投影根据摄影机(9)在实时参考系中的位置数据来生成。

2.根据权利要求1所述的适用于拍摄视频脚本的系统，其特征在于，所述精确定位系统的传感器(16)是光学摄影机且至少具有下列特征之一：

-立体视角大于摄影机的立体视角，

-采集频率高于摄影机的采集频率，

-黑白图像采集，

-体积小于摄影机的体积至少两倍，

-光轴平行于摄影机(9)的光轴，

-视场叠加于摄影机(9)的视场。

3.根据权利要求1或2所述的适用于拍摄视频脚本的系统，其特征在于，所述精确定位系统包括电脑化生成模块(23)，适用于生成所述现实空间的预定三维模型，并且所述传感器(16)适用于将传感器所探测到的地形信息传递给电脑化生成模块。

4.根据权利要求3所述的适用于拍摄视频脚本的系统，其特征在于，所述传感器(16)适用于立即将传感器探测到的地形信息传递给电脑化精确定位模块和电脑化生成模块，并且所述电脑化生成模块(23)适用于利用传感器所探测到的自然地形信息来丰富所述现实空间的预定三维模型。

5.根据权利要求1至4中任一项所述的适用于拍摄视频脚本的系统，其特征在于，所述地形信息包括与选自点、线、面和体积的现实空间的几何对象相关的信息。

6.根据权利要求1至5中任一项所述的适用于拍摄视频脚本的系统，其特征在于，在拍摄配置中，摄影机(9)和传感器(16)相互固定地附着彼此。

7.根据权利要求1至6中任一项所述的适用于拍摄视频脚本的系统，进一步包括定位系统，其包括适用于通过摄影机和传感器采用定位配置方式同时探测的定位图形(27)，以及适用于根据同时探测到的传感器和摄影机的定位图形来确定其各自的位置数据的电脑化定位模块(26)。

8.根据权利要求1至7中任一项所述的适用于拍摄视频脚本的系统，进一步包括光学校准系统，其包括适用于通过摄影机采用光学校准配置进行探测的光学校准图形，以及电脑化精确定位模块适用于另外根据由光学校准系统所确定的摄影机的光学校准数据来确定相对应各个时间帧的摄影机(9)在实时参考系中的位置数据。

9.根据权利要求1至8中任一项所述的适用于拍摄视频脚本的系统，进一步包括至少一个以下实体：

-安装在摄影机上的惯性传感器(38)，适用于确定摄影机的移动，电脑化精确定位模块，适用于另外根据由惯性传感器所提供的数据来确定摄影机在实时参考系中的位置数据；

-测量参照(25)，由摄影机拍摄，电脑化合成模块能够根据摄影机所采集到的测量参照的图像将虚拟图像调整到现实空间的尺寸范围内；

-为确定摄影机所设置的放大倍率的系统(43)，电脑化合成模块(32)适用于考虑所述参数来生成合成图像。

10.根据权利要求1至9中任一项所述的适用于拍摄视频脚本的系统，进一步包括电脑化动画制作模块(28)，其包括虚拟动画的数据库(29)，各幅动画包括一组时间帧的各个时间帧的用虚参考系所表示的三维图像，电脑化动画制作模块适用于将所述三维图像传递给图像合成模块(32)。

11.根据权利要求10所述的适用于拍摄视频脚本的系统，其特征在于，所述电脑化精确定位模块适用于将现实空间的预定三维模型(21)传递给电脑化动画制作模块(28)。

12.根据权利要求10或11所述的适用于拍摄视频脚本的系统，其特征在于，所述电脑化合成模块适用于对应于各个时间帧在监视屏上生成虚拟图像的阴影(41)，所述阴影根据摄影机(9)在实时参考系中的位置数据和实时参考系中的照明位置数据而产生。

13.根据权利要求1至12中任一项所述的适用于拍摄视频脚本的系统，其特征在于，对应于稍后的时间帧，所述电脑化精确定位模块(17)能够另外根据摄影机(9)对应于较前的时间帧在实时参考系中的位置数据来确定摄影机(9)在实时参考系中的位置数据。

14.根据权利要求1至13中任一项所述的适用于拍摄视频脚本的系统，其特征在于，所述电脑化精确定位模块包括选择模块，适用于从几何图样当中选择可用于确定摄影机在3D空间中的位置的三维模型的几何图样。

15.根据权利要求14所述的适用于拍摄视频脚本的系统，其特征在于，所述选择模块将后一幅图像的几何图样与前一幅图像的几何图样作比较，将出现在两个图像中并且在现实空间中静止的几何图样相关联，并且不保留其他几何图样用于同三维模型相比较。

16.根据权利要求1至15中任一项所述的适用于拍摄视频脚本的系统，其特征在于，所述定位系统进一步包括第二传感器(16′)且其至少具有一个不同于第一传感器(16)的特征，这些特点可以选自位置、方向、立体视角、采集频率、光轴和视场。