CN109288333B - 捕获和显示外观的装置、系统和方法 - Google Patents

Abstract

能够进行外观比较的系统、装置和方法。该系统包括至少一个交互式成像和显示站。该站包括：镜像显示装置，其能够可选地在镜像模式或显示模式中的一种或者两种模式下操作；成像装置，其用于捕获在镜像显示装置之前的区域内呈现的一个或多个外观；和/或图像控制单元，其根据用户命令选择镜像显示装置的操作模式。

Description

捕获和显示外观的装置、系统和方法

本申请是申请号为201380072629.0、申请日为2013.12.18、发明名称为“捕获和显示外观的装置、系统和方法”的申请的分案申请。

相关申请的交叉引用

本申请要求于2013年3月15日提出的美国申请No.13/843,001 以及于2012年12月18日提出的美国临时申请No.61/738,957的优先权。以上列出的申请的全部公开内容以引用的方式被并入本文。

背景

1.技术领域

本发明一般涉及成像和显示系统，并且更具体地，涉及监视器和交互式显示器，例如，在零售和/或服务的环境中，在医疗或家庭情况下，视频会议，游戏等等。具体实施方式涉及制造类似如镜子的平板显示器。另一具体实施方式涉及制造平板显示器，其提供了用户看着自己眼睛这样的视频以创建眼对眼的视频会议。

2.相关技术领域

顾客可以购买消费制品，例如，服饰，如衣服(如衬衫、裤子、大衣等服装)，以及鞋子、玻璃和/或任何其它项目或产品(如化妆品，家具等等)。购物通常发生在购物设施，例如，零售商店。在作出决定购买哪些制品之前，顾客可能会尝试各种制品(如服装，化妆品)和/或利用其他背景制品(例如，家具)摆出姿势，并会在镜子前查看每次试用的用户外观，该镜子可以位于例如零售商店的试穿区。例如，顾客可能会尝试第一制品(如西装)，并在镜子前查看第一次试用的他/她的用户外观。然后，顾客可能尝试第二制品(如另一件西装)。然后，客户可能需要从第一次试用记住他/她的用户外观，以便在第一制品和第二制品之间进行内心的比较，从而估计两个制品中的哪个会是更适合顾客的。

遗憾的是，由于顾客可能尝试许多制品和/或由于第二次试用可能发生在第一次试用后的相当长的时间或者甚至发生在不同的商店，因此顾客可能无法回忆起每次试用时的他/她的外观，因此可能需要反复重试以前试过的制品，如服装物品。这可能导致令人沮丧和低效的购物体验。

常规的镜子(即反射面)是用于个人实时地获取真实的自身外观的一种常见和最可靠的工具。现有技术已围绕相机和屏幕的结合提出了一些替代方式来代替传统的镜子。然而，这些技术并不令人信服，并且尚未被接受为个人的可靠图像，就好像他正看着常规镜子中的自己。这主要是因为由相机生成的图像是与由镜子产生的图像非常不同的。

当用户看着镜子中的自己时，他实际上看到的是他自己的反射，好像他是站在从他到镜子的距离的两倍的距离处。这在图5A中示出，其中站在距离D1处的用户看到自己是在距离等于两倍的D1处。类似地，如图 5B所示，站在距离D2的用户将看到自己是在距离2xD2处。此外，用户视场(FOV)的角度在用户改变距离(例如，越来越靠近镜子)时改变。所述FOV受到从镜子到用户眼睛的镜面反射角度(β)限制，并且限定于镜子的所有边(对于矩形或正方形镜子而言为四个边)上的可视图像边缘。在图5B 中，竖直FOV的底部被示出为角度(β)的两倍，其通过连接用户眼睛到镜子底部的线并反射到用户的鞋子而形成。因此，如图5B所示，当用户接近镜时，FOV角度增大，这就是为什么用户继续看到相同大小的反射(FOV1<FOV2)，从而使用户实际上看到大致相同尺寸但更加近的自己。这是与相机的一个显著区别，其中，随着用户越接近相机，他在图像中就看起来越大。这主要是因为，相机的FOV是固定的并且主要取决于相机透镜的尺寸或焦距。

要注意与镜子反射相关的其他现象。例如，当用户接近镜子时，他眼睛的反射将始终保持在进入镜子的相同虚拟线上。相反，取决于相机的高度，随着用户变得更接近相机，用户的眼睛可能会出现在不同的水平。不同于相机的另一个区别是，当一个人注视镜子时，他的图像看起来被反转 (例如，如果一个人抬起他的右手，那么在镜子中他的左手看起来会抬起)。然而，镜子不再“交换”左和右，而是交换上和下。镜子将向前/向后轴线反转(即，在镜子前的物体看起来是在镜子后)，并且我们相对于前和后而限定了左和右。此外，由于镜子中的图像是虚拟的，因此镜子可以比全身小，而用户仍然会看到其全身的反射。其原因是，镜面反射(在图5A 中，入射角度β等于反射角度β)可以在用户靠近镜子时增加有效视场。此外，虽然镜子是二维的对象，但用户将看到自己的三维外观。

出于至少上面提到的一些原因，到目前为止，还没有系统被提出来令人信服地模仿镜子。模仿镜子可以在零售和其他领域中有许多应用，并且可以开启将真实生活体验与虚拟生活体验结合的可能性，诸如在社交网络和其他移动技术上进行共享。

发明内容

本发明的一些示范性实施方式包括能够进行外观比较的装置、系统和/或方法。

根据本发明的一些示范性实施方式，能够进行外观比较的系统可以包括至少一个交互式成像和显示站。该站可以包括例如：镜像显示装置(a mirror display device)，其能够在镜像模式或显示模式中的一种或者两种模式下操作；成像装置，其用于从镜像显示装置前的视场捕获一个或多个外观；和/或图像控制单元，其用于根据用户命令来选择所述镜像显示装置的操作模式。镜像显示装置可以是平板电视的形式，其中，在镜像模式期间，该电视将来自相机的经转置的实况视频馈送进行显示，而在显示模式期间，该电视将在更早时间所取得的和由存储器获得的经转置的视频进行显示。

根据本发明的一些示范性实施方式，所述图像控制单元可以包括输入装置以接收用户命令。

根据本发明的一些示范性实施方式，所述图像控制单元可以包括存储装置以存储与一个或者多个外观对应的一个或者多个图像的数据。

根据本发明的一些示范性实施方式，镜像显示装置能够被划分成可同时显示的至少第一帧和第二帧。所述第一帧可以是在例如镜像模式和显示模式下可选择地操作的。所述第二帧可以是在例如镜像模式下可操作的。

根据本发明的一些示范性实施方式，所述成像装置能够捕获外观的三维图像。

根据本发明的一些示范性实施方式，所述镜像显示装置能够以预先限定的顺序显示外观的图像。

根据本发明的一些示范性实施方式，所述图像控制单元能够例如基于从用户接收到的用户识别数据来选择性地使用户能够访问授权给用户的外观的图像。

根据本发明的一些示范性实施方式，至少一个交互式成像和显示系统可以包括能够在网络上通信的两个或更多个交互式成像和显示站。例如，所述两个或者多个站能够以表示外观图像的数据在彼此之间进行通信。

根据本发明的一些示范性实施方式，所述图像控制单元可以控制所述镜像显示装置，用于在例如显示模式期间显示与外观对应的一个或者多个图像。所述一个或者多个图像可以包括例如一个或者多个镜像外观。所述镜像外观是通过将由相机获得的所述图像或视频馈送转置以生成这样的图像和视频：它们在呈现在监控器上时，类似镜子内的外观。

根据本发明的一些示范性实施方式，能够进行外观比较的方法可以包括：使用镜像显示装置的镜像操作模式，能够可选择地在镜像模式或显示模式下操作；捕获与在所述镜像显示装置前第一次试用的外观对应的图像；存储第一次试用的图像；选择所述镜像显示装置的操作的显示模式；和/ 或获取第一次试用的图像并且将该图像显示在镜像显示装置上。

根据其它实施方式，提供了使用相机和平板屏幕显示器以创建令人信服的镜像外观的方法和装置。

具体而言，本发明的一些方面可以阐述如下：

1.一种用于通过执行无序步骤操作具有监控器、相机和处理器的系统以便在所述监控器上显示镜像模拟图像的方法，所述无序步骤包括：

从相机获取数字图像；

判定用户与相机的距离；

调整所述图像的大小，以减少由对象到所述相机距离的改变所造成的变化；

使用户的眼睛定位在所述数字图像中；

变换或替代眼睛的像素，从而将虹膜和瞳孔定位在向前看的眼睛的中心位置；

在执行了所述调整所述图像的大小和所述变换或替代眼睛的像素之后，将所述图像显示在所述监控器上。

2.根据条款1所述的方法，其中，所述变换或替代眼睛的像素还包括扩大眼睛的巩膜。

3.根据条款1所述的方法，还包括使所述图像围绕竖直轴线翻转，以便将所述图像的右侧和左侧颠倒。

4.根据条款1所述的方法，其中，判定用户与相机的距离包括跟踪用户的眼睛之间距离。

5.根据条款1所述的方法，其中，判定用户与相机的距离包括识别用户的鞋子和对所述鞋子进行三角测量。

6.根据条款1所述的方法，为了补偿用户的距离的改变，以使用户看到相同尺寸的所述图像，还执行自适应的用户视场。

7.根据条款1所述的方法，还包括以下步骤：

获取基准图像；

执行所述数字图像与所述基准图像的配准；

使用由所述配准获得的数据来生成所述变换映射。

8.根据条款1所述的方法，还包括施加平移变换，以在所述监控器的显示区域内移动所述图像。

9.根据条款1所述的方法，还包括改变所述监控器的单个或成组像素的光亮强度，以便增强所述图像中的阴影或光亮。

10.根据条款1所述的方法，还包括施加桶式效应变换和鱼眼式变换中的至少一种。

11.根据条款1所述的方法，还包括：执行标高空间平移以线性地修改所述图像中的偏移，以匹配用户眼睛高度到屏幕高度处的所述图像。

12.根据条款1所述的方法，还包括像素填充步骤，其中，像素图像被外插到执行了所述调整所述图像的大小和所述变换或替代眼睛的像素之后所残留的空白像素中。

13.根据条款1所述的方法，还包括以下步骤：

从第二相机获取第二数字图像；

将所述图像和所述第二图像拼接；

将所述已拼接的图像显示在所述监控器上。

14.根据条款13所述的方法，其中，所述相机的视场和所述第二相机的视场重叠，并且该方法还包括重叠决定步骤，以确定所述视场的重叠部分中的最佳位置来执行所述拼接。

15.根据条款14所述的方法，还包括平滑操作以校正由所述拼接步骤造成的伪像。

16.根据条款1所述的方法，还包括以下步骤：

使所述图像围绕竖直轴线翻转，以便将所述图像的右侧和左侧颠倒；

施加变换映射到所述图像以修改所述图像，从而使其看起来模拟镜子的反射；以及

调整所述图像的大小以减少由对象到所述相机的距离的改变所造成的变化。

17.根据条款1所述的方法，其中，在来自所述相机的实况视频馈送的图像序列上执行所述无序步骤。

18.根据条款17所述的方法，还包括：

判定呈现在所述实况视频馈送中的用户移动距离；以及

根据所述移动距离改变在所述图像序列上执行所述无序步骤的速率。

19.根据条款17所述的方法，在数字存储装置中存储所述实况视频馈送，并且选择性地在镜像模式或显示模式中的一种模式下操作所述系统，其中，在所述镜像模式期间，在所述监控器上显示所述相机在特定时刻看到的图像的经变换的图像，而在所述显示模式期间，在所述监控器上显示所述相机过去看到的以及从所述数字存储装置取得的图像的经变换的图像。

附图说明

视为本发明的主题被特别地指出并在说明书的结论部分中被明确声明。然而，本发明的操作的构造和方法与其特征和优势一起通过参考下述的详细描述同时结合附图将会被最佳地理解，其中：

图1是根据本发明的一些示范性实施方式能够进行外观比较的交互式系统的示意图。

图2A和2B是根据本发明的一些示范性实施方式使用交互式系统进行外观比较的两个连续阶段的示意图。

图3A、3B和3C是根据本发明的一些示范性实施方式使用交互式系统进行外观比较的三个连续阶段的示意图。

图4是根据本发明的一些示范性实施方式能够比较一个或多个用户外观的方法的示意流程图。

图5A和5B示意性地示出了镜反射。

图6示出了一个实施方式，其具有在用户视线水平上的竖直阵列中的一个相机或多个相机，以便获得低的图像失真。

图7是表示在使用安装在屏幕上方并且水平指向的相机的情况下，当用户靠近镜子或远离镜子移动时所发生现象的示意图。

图8是表示一个系统的示意图，在该系统中，相机被定位在监控器屏幕的上方并且向下倾斜。

图9是本发明的一个实施方式的框图，其执行图像变换以生成模拟镜像的图像。

图10A和10B是表示根据本发明的实施方式的校准过程的示意图。

图11是表示根据本发明的一个实施方式的过程的框图。

图12是表示根据本发明的一个实施方式用于执行校准和图像变换的模块和过程的框图。

图13示出了另一实施方式，其中校准和变换映射是在系统安装后在现场执行的。

图14示出了用于从相机的图像提取数据的一个实施方式。

图15示出了在其中执行来自n个相机的图像的拼接的一个实施方式。

图16示出了一个实施方式，其用于最充分地呈现眼睛，模拟用户直视着镜子中的自己。

应当理解，为了简单和清楚地说明，在图中所示的要素无需精确地绘制，也无需按比例绘制。例如，为了清楚起见，一些要素的尺寸可能相对于其他要素被放大，或者多个物理组件包括在一个要素内。此外，在认为适当时，附图标记可以在附图之间重复以指示相应的或类似的要素。应当理解，这些附图表示本发明的实施方式的实例，并且不旨在限制本发明的范围。

具体实施方式

在下面的描述中，将对本发明的各个方面进行说明。出于解释的目的，阐述了特定的构造和细节，以便提供对本发明的彻底理解。然而，对于本领域技术人员，将显而易见的是，本发明可以在没有本文所呈现的特定细节的情况下实施。此外，本发明的依赖于本领域中的已知原则和实施方式的一些特征可以被省略或简化，以避免模糊本发明。

本发明的某些示范性实施方式可包括交互式系统，该交互式系统使得用户能够比较一种或多种外观，例如在如在下面所详细描述的不同外观之间进行比较。

本文所用的术语“用户外观”可涉及试用消费制品时的顾客外观。所述制品可以包括：例如服饰(如衣服、鞋、眼镜、外套、领带等等)；位于客户附近的制品(如家具)；以及其它物品、制品、设计或产品 (诸如化妆品、头饰、发型等等)。类似地，实施方式可以被用于技术用途，例如对于想看到设计版本的时装设计师，可以供人们在家使用，创建家庭成员的实际尺寸的永久画册等等。

根据本发明的一些示范性实施方式，该系统可以包括成像装置和镜像显示装置，该成像装置能够捕获用户外观，该镜像显示装置能够有选择地作为镜子或作为显示屏进行操作。在处于镜像模式时，镜像显示装置可以使用户能够评估和/或查看消费制品的当前试用的用户外观。如将在下面进一步描述的，这可以通过使用到平板显示器的实况视频馈送来实现，其中该视频馈送在显现在屏幕上之前被修改，从而使其模拟镜子。在处于显示模式时，镜像显示装置可以使用户能够评估和/或查看先前试用中的例如先前由成像装置所捕获的一个或多个用户外观，例如，如在下面详细描述的。

参考图1，其示意性地示出了根据本发明的一些示范性实施方式的交互式系统100。

根据本发明的一些示范性实施方式，系统100可以包括交互成像和显示站110，该交互成像和显示站110可以包括图像控制单元120、成像装置130(例如，静态相机或视频相机)以及镜像显示装置140(例如，平板显示器)。图像控制单元120可包括控制器121、网络接口122、存储装置 123、输入装置124，所有这些要素都在下面详细描述。

本发明的各方面是在作为外观比较系统(例如系统100)的独立单元的下述装置的示范性实施方式的背景下进行描述：成像装置，例如成像装置130；镜像显示装置，例如镜像显示装置140；和/或图像控制单元，例如图像控制单元120。然而，本领域的技术人员将理解，本发明不局限于这一方面，并且根据本发明的其它实施方式，该系统可以包括成像装置、镜像显示装置和/或图像控制单元的任何适当的构造、组合和/或配置。例如，系统可以包括集成模块，该集成模块包括镜像显示装置、成像装置和/或图像控制单元。例如，成像装置和/或图像控制单元可作为镜像显示装置的组成部分来实现。

根据本发明的一些示范性实施方式，镜像显示装置140可被配置成和/或可以包括组件和机制，使得镜像显示装置140可选择地操作在两种操作模式下。在操作的第一模式(即“镜像模式”)中，镜像显示装置140可作为镜子进行操作。在操作的第二模式(即“显示模式”)中，镜像显示装置140可作为显示屏进行操作。当镜像显示装置140在镜像模式下操作时，系统100的用户111可以评估和/或查看消费制品的第一次试用的用户外观，该用户外观可以由镜像显示装置140实时地反映。成像装置130可以捕获第一次试用的用户外观的图像。所捕获的图像可以例如通过存储装置123进行存储，例如，如下所述。然后用户111可以在镜像显示装置140之前摆出试用第二制品的姿势，并且成像装置130可以捕获到第二次试用的用户外观的第二图像。用户能够使用设定成镜像模式的镜像显示装置140实时地查看第二制品。当镜像显示装置140被切换到显示模式时，镜像显示装置140可以被控制来显示一个或多个先前捕获的图像。凭借镜像显示装置140可选地在镜像模式或显示模式下操作的能力，如在下面详细描述，用户111能够同时地或依次地在第一次试用和第二次试用的用户外观之间进行比较。

在例如图1、2A、2B、3A和/或3B中所示的本发明的一些示范性实施方式中，控制器121可以控制装置140以在操作的显示模式期间显示外观的镜像图像。然而，本领域的普通技术人员将理解，本发明并不限于这一方面，并且在其它实施方式中，控制器可以控制装置140以在操作的显示模式期间显示任何与外观对应的其它图像，该外观如旋转的外观、倒置的外观、基本上未改变的(例如正面的)外观、渲染的外观等等，例如，如下所述的。

装置140可包括任何合适的构造和/或机制，以能够在第一和第二操作模式下可选择地操作镜像显示装置140。例如，在一个实施方式中，装置140可包括液晶(LC)要素的阵列，该液晶(LC)要素的阵列可以改变它们的光学属性，诸如例如反射率、折射率等，具体取决于例如施加到液晶的电压。例如，施加第一电压可导致改变液晶的光学特性，以使得镜像显示装置140可以作为镜子进行操作；而施加第二电压可以导致改变液晶的光学特性，以使得镜像显示装置140可以作为液晶显示器进行操作。

在本发明的另一个实施方式中，例如，镜像显示装置140可以包括嵌入在半反射式或单向式镜子中的液晶显示器(LCD)装置。因此，如果 LCD被切换到操作的非激活模式，那么镜像显示器140可将入射于其上的充足的光被动地反射，以使用户能够以合理的质量和亮度查看用户外观。相反，当LCD被切换到操作的激活模式时，用户111可以查看到由LCD装置显示的图像，因为相比于来自镜像显示器表面的残留反射，它们可以亮得更明显。在其他实施方式中，该系统是在独立计算机中实现的，没有显示器本身，从而使得该系统的购买者可以提供自己的显示器或具有这样的构造：系统没有屏幕但通过客户移动设备或输入板远程控制来使用，因而客户可以在其移动和远程控制的记录中看到他们的外观。

另外，在一些情况下，相机可以是远离显示器的，例如，在奢侈品中，它们可能将屏幕嵌入在墙壁中并将带有适当透镜的相机放置在远程位置。

根据本发明的一些示范性实施方式，镜像显示装置140可以通过液晶高清(LCDHD)的现成的镜面电视来实现，该液晶高清的现成的镜面电视如从皇家飞利浦电子(RoyalPhilips Electronics)可得的型号32PM8822/ 10，如在网站(https://www.research.philips.com/newscenter/archive/2003/mirrort v.html-)所描述的。这样的装置可以包括例如基于聚合物的有机发光显示器 (OLED)。镜像显示装置140可包括使用任何合适的显示技术的任何其它适当装置。例如，装置140可包括：纳米发射显示器(NED)；等离子体显示面板(PDP)；阴极射线管显示器(CRT)；数字光处理(DLP)显示器；表面传导电子发射显示器(SED)；输入板屏幕；平板SED；有机电子显示屏；电子纸；三维显示屏，例如全息显示屏；薄膜电阻(TFT)显示屏；光学TFT；LED点阵屏；具有CCD功能的液晶屏，例如使镜像显示器140能够实现成像设备130的功能；可喷涂的LCD；表面传导电子发射器(SED)显示屏；高清电视(HDTV)显示器；背面投影显示装置等等。

根据本发明的一些示范性实施方式，成像装置130可以适于从镜像显示装置140之前的视场(FOV)捕获一个或多个外观。镜像显示装置 140之前的FOV可以包括例如镜像显示装置140之前的场区、范围、场景、区域和/或领域。例如，FOV可以包括通过处于镜像模式时的镜像显示装置 140捕获的场区、范围、场景、区域和/或领域的至少一部分。

虽然本发明的范围并不局限于这一方面，但成像装置130可以是或可以包括例如CCD相机、视频相机、能捕获3D图像的相机和/或相机设置 (例如，立体相机)等等。立体相机可以适于例如捕获用户外观的3D图像。立体相机可以包括例如彼此之间存在距离的两个透镜，该距离可对应于人的两眼之间的距离。因此，立体相机能够模拟人的双眼视觉，也称为立体摄影，从而能够捕获3D图像。

根据本发明的一些示范性实施方式，站110可以是独立单元，其可位于理想场所的外观比较区域，该理想场所如办公室、家或零售店(例如服装店)。

根据本发明的其他示范性实施方式中，站110可以例如经由网络接口122连接到网络(例如网络150)，进而允许站110和附连于网络150的一个或多个其它站(例如，站160和/或站170)之间的通信连接。

根据本发明的一些示范性实施方式，站110可以包括网络接口 122，该网络接口122可适于与网络150进行交互，以发送和接收来自网络 150中的其它站的信息，如本文所述。这种信息可包括但不限于对应于在系统100的各个站(例如，站160和/或170)捕获的用户图像的数据、以及使用户能安全访问系统的识别信息，如在下面更详细描述。网络150可以包括例如：局域网(LAN)；广域网(WAN)；全球通信网络，例如因特网；无线通信网络，例如，无线局域网(WLAN)通信网络，蓝牙网络，无线虚拟专用网(VPN)；蜂窝通信网络(例如，3.sup.rd代合作伙伴计划 (3GPP)，诸如，例如频域双工(FDD)网络，全球移动通信系统(GSM) 网络，宽带码分多址(WCDMA)蜂窝通信网络等等。

根据本发明的一些示范性实施方式，一个或多个站160和170可以是便携式设备。此类便携式装置的非限制性实施例可以包括移动电话、膝上型计算机、笔记本电脑、移动计算机、平板电脑、个人通信系统(PCS) 设备、个人数字助理设备(PDA)、无线通信设备、并入了无线通信设备的 PDA设备、蜂窝电话、无线电话、智能卡、标记卡(a token)、存储卡、存储单元等等。在本发明的一些实施方式中，站160和170中的一个或多个可以是非便携式设备，例如台式计算机、电视机、服务器计算机等等。

根据本发明的一些实施方式，系统100还可以包括控制中心 190，该控制中心190可以例如经由网络150连接到工作站110、160和/或 170。控制中心190可以接收并存储从站110、160和/或170中的一个或多个接收的数据，这些数据可以表示例如用户外观的数据和/或图像。

根据本发明的一些实施方式，站110、160和/或170可位于不同的场所，如位于例如零售连锁的不同商店。另外，站110、160和/或170可位于建筑物内的不同场所，例如不同的楼层、同一楼层的不同区域等等。此类场所可包括例如服装店、鞋店、销售点、概念展厅、展览、商场、眼镜店、化妆品店、体育俱乐部、卫生机构、健身中心、机场、车站、咖啡店、餐馆、酒店、住宅等等。站110、160和170中的一个或多个也可以被用于交互式广告牌标志。例如，成像装置130可以例如捕获到可在广告牌标志(未示出)上显示的图像。系统100可以使用户111从例如服装的多次预先试用的多个图像中选出将在广告牌标志上显示的图像。

根据本发明的一些示范性实施方式，可以在不同的场所查看用户外观的图像。例如，成像装置130可以捕获第一次试用的图像。随后可从网络接口122经由网络150使用信号151和152发送该图像到例如站160。因此，用户111能够在站160处查看第一用户外观的图像。因此，用户111能够查看例如在零售连锁店的第一个商店(例如与站110关联的商店)内第一次试用的用户外观；并且可以将第一次试用的用户外观与第二次试用的用户外观进行比较，该第二次试用的用户外观可能发生在相同或关联的连锁店的第二个商店内，例如与站160关联的商店；和/或发生在不同的时间，例如发生在第一次试用之后的一个或多个小时、一天或者多天或一周或者多周。

根据本发明的另一示范性实施方式，成像装置130可以捕获第一次试用的用户外观图像，并在网络150上经由网络接口122发送该图像到控制中心190，其中该图像可以被存储供以后检索。因此，用户111可通过访问在网络150上与控制中心190连接的任意站(例如，站160)获得第一次试用的图像。

根据本发明的一些示范性实施方式，存储装置123可以包括例如硬盘驱动器、软盘驱动器、光盘(CD)驱动器、CD-ROM驱动器、数字多功能盘(DVD)驱动器或其它合适的可移动或不可移动的存储单元。

根据本发明的一些示范性实施方式，控制器121可以是或可以包括例如中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其它合适的多用途式或专用式处理器或控制器，例如在现有技术已知的。

输入设备124可以包括例如：键盘；远程控制；运动传感器；指针设备，诸如激光指示器；鼠标；触摸垫；触摸屏，其可以嵌入在例如镜像显示装置140中，或者可以通过例如与装置140分离的任何其它合适的单元来实现；生物特征输入装置(biometric inputdevice)，例如指纹扫描器和/或用于扫描面容的相机；和/或任何其它合适的指示设备或输入设备。输入装置 124可以适于接收用户识别数据，例如，以使用户111能够访问(例如安全访问)系统100，如下面详细描述的。

根据本发明的一些示范性实施方式，用户111可以提供用户命令给输入装置124，用于操作成像装置130。输入装置124可以包括例如用于使系统100的用户111能够限定成像装置130的操作参数的接口。控制器121 可经由信号131接收来自用户111的输入并且相应地控制成像装置130的操作。用户命令可以包括例如与下述内容有关的命令：用于捕获图像的定时；成像装置130的定位，该定位例如根据可跟随例如用户111的位置的自动跟踪算法进行；和/或成像特性，如聚焦、相机位置、捕获角度、动态范围等等。用户命令还可以包括用来限定成像装置130的图像捕获操作模式(例如视频捕获模式、照相模式等)的命令。根据本发明的一些实施方式，成像装置130可以包括声音输入设备(例如麦克风)和/或声音输出设备(例如扬声器)。因此，成像装置可以接收音频信号，例如由用户111生成的语音信号，该音频信号可以被记录和存储在例如存储装置123中，并且可以通过声音输出设备再现该音频信号。声音输出设备能够再现任何其他类型的音频信号，例如广播节目、光盘记录等等。

根据本发明的一些示范性实施方式，控制器121可以例如根据从用户111接收的命令设置镜像显示装置140的操作模式。例如，如果镜像显示装置140在镜像模式下操作，那么系统100的用户可以例如通过在输入装置124处按下指定按钮来提供切换命令给输入装置，以便将镜像显示装置 140切换到显示模式。控制器121可接收来自输入装置124的输入，并且可以例如使用信号141控制装置140以切换到操作的显示模式。

根据本发明的一些示范性实施方式，成像装置130可以被安装在各种位置，例如安装在镜像显示装置140的顶部、下方或一侧，从而捕获用户外观的图像，该用户外观图像可以是服装的给定试用的图像、用户111与各种制品(例如，家具)和/或用不同的服装摆出姿势的图像等。在本发明的一些实施方式中，成像装置130可以在用户外观出现在镜像显示装置140中时捕获该用户外观，即，捕获用户外观的镜像图像。在其他实施方式中，成像装置130可以捕获外观，并且控制器121可以生成与由成像设备130捕获的外观对应的镜像。例如，存储器123可以存储指令，该指令在通过控制器执行时可以带来使得由成像装置130所捕获的外观旋转、扭转和/或镜像的任何合适的方法或算法，从而生成表示由装置130捕获的图像的经旋转的图像、经扭转的图像和/或经镜像的图像数据。根据这些实施方式，控制器121 可以控制镜像显示装置140以在操作的显示模式期间显示经旋转的图像、经扭转的图像和/或经镜像的图像。在其他实施方式中，控制器121可以控制镜像显示装置140以在操作的显示模式期间显示与由图像捕获装置130所捕获的图像对应的图像，例如非镜像的图像、非旋转的镜像和/或非扭转的图像。在一些实施方式中，成像装置130可以是对用户111不可见的，可以位于显示装置140的后方，和/或可以嵌入在镜像显示装置140中，该镜像显示装置 140可以是或可以包括例如既能够显示图像也能够捕获图像的LCD-CCD设备。例如，在本发明的一个示范性实施方式中，装置140可以包括例如包括液晶的阵列、屏幕或表面，以执行例如如上所述的镜像显示功能以及执行成像装置130的成像功能，例如，装置140可以包括镜像成像显示装置。

在本发明的一些示范性实施方式中，站110、160和/或170中的一个或多个可以不包括图像捕获装置130；和/或站110、160和/或170中的一个或多个可以不包括镜像显示装置140。例如，系统100的第一站可以仅包括成像装置130，并且可以不包括例如镜像显示装置140。用户111可以使用第一站来捕获第一次试用的用户外观的图像，例如不能够在第一站查看第一次试用的合成图像。用户111随后可以在系统100的另一站查看第一次试用的捕获图像，该系统100可包括镜像显示装置140。

根据本发明的一些示范性实施方式，成像装置130可以以能够捕获发生在镜像显示装置140之前的场景的图像和/或图像序列、视频等的方式放置。附加地或替代地，成像装置130可以以能够捕获从镜像显示装置140 反射的图像的方式放置。例如，成像装置130能够捕获到在镜像显示装置 140之间摆姿势的用户111的图像。在镜像显示装置140之前摆姿势时，用户 111可以查看例如自己在第一次试用服装时的外观。根据由用户111在输入装置124处提供的输入，成像装置130可以捕获用户外观的图像，该用户外观的图像可以是例如服装(例如外套等)的给定试用。应当指出的是，用户 111的试用还可以包括用户111搭配不同对象，这些不同对象可以位于用户 111附近，如家具、工作室设置等等。因此，成像装置130可以捕获例如第一次试用、第二次试用等的用户外观的图像，并且可以经由信号131和信号 30将对应的捕获图像发送到存储装置123。用户111可以在稍后的时刻(例如在第二次试用或其它后续试用之后)获得例如第一次试用的捕获图像，并且可以在第一次试用和第二次试用或者其它试用之间进行比较，例如如下面参考图2A和2B所描述的。

根据本发明的一些示范性实施方式，存储装置123可适于接收表示由成像装置130捕获的图像的数据，并存储外观的图像，更具体而言，存储由成像装置130捕获的例如服装的给定试用的用户外观的图像。用户外观的给定试用的图像可以例如通过控制器121从存储装置123获得，并且通过显示屏140显示。如下面所详细描述，用户111可以在已显示的图像之间进行比较。

根据本发明的一些示范性实施方式，存储装置123可包括表示例如软件算法的数据、请求和/或验证用户识别数据(诸如用户ID、密码、登录时间、生物度量数据等)以能够安全访问站110，如在下面详细描述。例如，控制器121可以例如基于由用户111提供的识别数据控制镜像显示装置 140来显示与用户111的识别对应的图像。例如，用户111可以提供用户识别输入给输入124，该用户识别输入可以包括例如生物度量输入，例如面部识别、手印、指纹、眼印，语音识别等。用户识别输入可包括任何其它合适的输入，例如信用卡、个人身份识别号码(PIN)、密码、智能卡、客户卡、俱乐部卡等等。控制器121例如根据任何合适的方法和/或算法检查在输入装置 124处所提供的用户识别输入是否与可能存储在例如存储装置123或控制中心190中的用户识别数据相匹配。具有验证生物度量输入的能力的软件可以是，例如由Geometric Inc提供的"Active ID FaceVision technology"。如果控制器121使用户111的输入与所存储的用户识别数据相匹配，那么控制器 121可以使用户111能够访问表示例如用户111的先前用户外观的图像的数据。

根据本发明的一些示范性实施方式，存储装置123可以包括表示例如实现附加系统特征的软件算法的数据，该附加系统特征例如在镜像显示装置140上渲染虚拟效果。例如，控制器121能够在镜像显示装置140处渲染与虚拟制品相关联和/或结合的用户外观的图像，该虚拟制品如衣服、收藏品、头饰、发型、家具等等。此外，控制器121能够渲染具有用于模拟例如用户111减重、增重等等的不同身体形态的用户外观在镜像显示装置140处的图像。例如用户111可以在第一次试用时从收藏品中选出特定制品例如西服，并且控制器121可以针对呈现在镜像显示装置140中的用户111的图像虚拟地调整收藏品。控制器121可以将第一次试用的图像存储在存储装置 123中并且可以在第二次试用中执行相同步骤。因此，系统100的用户111能够在收藏品的第一次试用和第二次试用的用户外观之间进行比较。

根据本发明的一些示范性实施方式，控制器121可以提供例如图像和/或视频浏览功能、图像和/或视频回放功能，这些能力和功能可以根据经由输入装置124从用户111接收到的一个或者多个用户命令通过系统100预先限定或者可以例如以即时的方式进行限定。例如，控制器121能够获得先前用户外观的一个或者多个图像并且将这些图像以不同顺序显示在镜像显示装置140上。例如，来自先前试用的图像可以以基本上连续的正向式、反向式或混合式(例如随机存取的)的顺序和/或可以是分步式顺序或任何其它顺序进行显示。此外，如下面所述，来自先前试用的图像可以在镜像显示装置 140处同步地显示。控制器121还能够删除预先捕获的用户外观，可以限制可能存储在存储装置123等中的数据的量，并且可以进而控制在镜像显示装置140上显示的图像的形状、尺寸、颜色等等。

根据本发明的一些示范性实施方式，用户111可以使用能够存储一个或者多个所捕获的图像的便携式存储装置180。便携式存储装置可以包括任意合适的便携式存储装置，例如智能卡、钥匙盘设备(disk-on-key device)等等。用户111可以例如经由存储接口125或经由任何其它适合的数据连接从存储装置123下载例如用户外观的第一次试用的由例如信号50所表示的图像。用户111可以在随后的时刻将例如第一次试用的图像上传到另一场所(例如用户111的家里)或者系统100的另一个站(例如站170)。

在本发明的一些实施方式中，站110可以包括不止一个的镜像显示装置或者可以包括镜像显示装置140，该镜像显示装置140如参考图2A和 2B在下面所描述那样可以被同时分割成两帧。

根据本发明的一些示范性实施方式，控制器121可以例如在存储器123中记录或存储表征用户111的参数。例如，系统100可以包括称重器，该称重器经由控制器121连接到例如存储装置123。控制器121能够在例如制品的试用期间记录例如用户111的重量。因此，用户111可以随后获得可为例如用户111的重量的参数。

现在参考图2A和2B，其示意性地示出了根据本发明的一些示范性实施方式使用交互式系统在外观之间进行比较的步骤。

根据本发明的一些示范性实施方式，镜像显示装置140可以被分割成两帧，其中，一帧可以作为镜框192操作而另一帧191可以可选地作为镜子和作为显示框进行操作。如图2A中所示，用户111可以在镜框192之前摆出第一次试用的姿势，其可以由成像装置130捕获并且存储在存储装置 123中。自此之后，如图2B所示，用户111可以同时查看在帧191中的第一次试用的用户外观和/或任意其它用户外观的图像以及并排地在帧192中的第二次试用的正常镜像外观，并且在第一次试用和第二次试用之间进行比较，所述任意其它用户外观例如存储在存储装置123中的用户外观和/或在网络 150(图1)上接收到的用户外观。

现在参考图3A、3B和3C，其示意性地示出了根据本发明的一些示范性实施方式使用交互式系统在外观之间进行比较的三个连续的阶段。

如图3A所示，系统100的用户可以在其镜像模式下操作的镜像显示装置140中查看用户外观的第一次试用。控制器121可以例如从输入装置124接收用户输入，该用户输入可以包括请求以使用成像装置130来捕获用户外观的第一次试用。结果，成像装置130可以捕获用户外观的第一次试用的图像并且存储装置123可以存储所捕获的图像。

如图3B所示，用户111可以在镜像显示装置140中查看用户外观的第二次试用，该镜像显示装置140可以在操作的镜像模式下操作。然后，当用户111需要查看先前的外观例如用于比较时，控制器121可以经由输入装置124接收用户输入，请求查看第一次试用。在此处，如图3C所示，控制器121可以使用信号141将镜像显示装置140的操作模式改变成显示模式。控制器121还可以控制装置140以显示第一次试用。因此，通过在镜像显示装置140的操作模式之间进行切换，用户111可以将第二次试用的用户外观与第一次试用的用户外观和/或先前存储在存储装置123中的任意其它用户外观进行比较。

现在参考图4，其示意性地示出了根据本发明的一些示范性实施方式能够在一个或者多个不同外观之间进行比较的方法的流程图。虽然本发明并不局限于这个方面，但图4中的方法的一个或者多个操作可以通过系统 100(图1)的一个或者多个要素执行。

如在方框410中所示，该方法可以包括例如设置镜像显示装置的操作模式。例如，用户111(图1)可以将镜像显示装置140(图1)的操作模式初始设置成镜像模式。可选地，显示装置140(图1)可以被设计成，无论新的用户何时登录系统100(图1)都默认在镜像模式下操作。

如在方框420所示，该方法还可以包括例如在镜像显示装置之前摆姿势。例如，用户111(图1)可以在镜像显示装置140(图1)之前摆出姿势，并且检查例如衣服、鞋子和/或任意其它服装的第一次试用的用户外观。

如在方框430所示，该方法还可以包括例如捕获第一次试用的用户外观的图像。例如，用户111(图1)可以提供用户命令给装置120(图 1)，命令成像装置130(图1)来捕获第一次试用的用户外观的图像。

如在方框440所示，该方法还可以包括例如以不同的用户外观在镜像显示装置之前摆姿势。例如，用户111(图1)可以改变一个或者多个环境对象，例如家具和/或服装，再次在可在镜像模式下操作的镜像显示装置 140之前摆出姿势，并且查看第二个用户外观。

如在方框450所示，该方法还可以包括例如在镜像显示装置的操作模式之间进行切换。例如，用户111(图1)可以将镜像显示装置140(图 1)在镜像模式和显示模式之间进行切换。因此，用户111(图1)能够在第一次试用的用户外观和/或任意其它用户外观以及第二次试用的用户外观之间进行比较，该任意其它用户外观例如存储在存储装置123中的用户外观和/或在网络150(图1)上接收到的用户外观。

根据本发明的一些示范性实施方式，对于每次试用的参数，用户 111(图1)可以指示，和/或站110(图1)能够存储，例如自动地存储，所述每次试用的参数，试用的参数例如包括购物参数，诸如服装试用的商店名字、商店地址、价格、时间和/或数据，售货员的姓名等等。用户111(图 1)可以例如将所捕获的用户外观的图像存储在可移动的或便携式的存储装置中，如在上面参考图1所述，并且可以随后查看用户外观的图像，同时能够将每个图像统归到例如特定的存储中等等。此外，用户111可以限定提醒，和/或控制器121(图1)能够生成提醒，和/或在存储装置123中存储提醒，该提醒例如与如折扣、季末折扣等有关的提示。

现在将对于下述实施方式展开讨论，这些实施方式使用由相机例如数字静态相机或视频相机所捕获的图像，并且操纵该图像以使得在该图像被投影在屏幕上时，该图像类似于镜像图像，即，在屏幕实际上是标准镜的情况下用户将看到的图像。

图6是用于理解下述实施方式的示意图，其包括数字屏幕640、相机630以及计算机化图像处理器645，可以生成令人信服的镜像体验。在理想的情况下，相机将能够根据用户眼睛位置在屏幕后的平行平面上移动，以生成令人信服的眼到眼视觉体验。然而，将相机放置在常规屏幕后是不实际的，只因为它将阻挡相机视线。理论上，通过使用半透射屏幕或带有多台相机的多个针孔可能克服这个问题，但实现起来会非常昂贵和复杂。较简单的方法是将相机放置在显示屏上方并且操纵所捕获的图像以便模拟镜子。下面提供了用于适当操作的实施例。

为了补偿用户和屏幕之间的距离的改变，以使用户将如在镜子中那样看到相同尺寸的自身图像，需要自适应FOV。根据一个实施方式，这是通过使用相机的变焦(数字式和/或机械式)来解决的。传统相机具有固定的 FOV或者机械可调的FOV。为了生成自适应的(即连续可变的)FOV，系统需要基于用户踪迹操纵分辨率或者控制相机实时地变焦和聚焦。

此外，图像需要被竖直地翻转以支持镜子的从右到左的动作。这种图像变换可以通过操纵数字图像的像素地址(pixels addresses)相对容易地执行。

如相对于图1所说明的，镜子可以比用户更小并且依然显示全身影像。这能够结合FOV的适当选择和屏幕尺寸的适当选择来实现。该理念是将图像投影在屏幕上，该屏幕具有给予这样视觉的FOV：用户看到在相对于镜子的双倍距离处的反射影像，从而使得全身是可见的，虽然数字屏幕小于用户的高度。这是由图6中的图像A、B和C所体现，这些图像示出了在相对于镜子的不同距离处捕获的用户图像，还示出了通过尤其操纵FOV而得到的相同尺寸的用户身形。在一些实施方式中，图像分辨率还根据用户相对于镜子的距离而改变。例如，对于近距离，一个实施方式可以使用相机阵列并且图像操纵器将利用拼接来减少图像失真。

为了支持三维成像，该设置将需要以与用户眼睛之间的距离对应的距离放置的两个相机或者具有两个有效视觉虚拟点的一个相机。令人信服的3D体验还将需要使用自适应闭环方法，该方法能够改变随距离而变化的 3D图像的创建。当用户在镜中看到自身影像时，他看到了3D的自己，虽然当他靠近镜子或者远离镜子时，其眼睛到其影像的角度改变，这还改变了3D 图像的深度。

如参考图6所说明的，将相机放置在显示屏后方的视线水平上会是太复杂且太昂贵的。因此，在下面的实施方式中，提供了一种实用方法来实现上述的理想系统，其带有位于屏幕周边并且面向用户的固定安装的一个相机或多个相机。主要挑战在于如何自适应地和实时地补偿图像失真，以便创建与在理想设置中所获得用户体验类似的用户体验。图7和8示出了挑战的一些实施例，其使用了将相机放置在数字屏幕上方(即，与用户的视线水平不对应)的实用设置。

图7描绘了在使用安装在屏幕上方并且水平指向的相机的情况下当用户靠近镜子或者远离镜子移动时会出现的情况。假设该系统被校准到中央动态范围，那么当用户远离屏幕时，图像是较小和较高的(在图7中的情景C)，而当用户是靠近屏幕(情景A)时，用户的图像是较大的并且相机的FOV切断了用户图像。此外，当用户接近屏幕时，投影失真变得明显，这意味着用户将不会觉得好像他正在看着镜子中的自己。

为了能够在任意距离捕获到用户的全身，在一个实施方式中，相机位于屏幕的顶部并且向下倾斜，以使得在屏幕前的用户移动能有最大动态范围。如在图8中所描绘，由于相机向下倾斜，因此投影失真大得多并且明显得多。用户越接近相机，他的图像变得越失真。失真本质主要是投影失真——用户看起来更短并且上半身看起来更大。在这种构造中，随着用户远离屏幕，用户的图像也变得越来越小。另一方面，相机的有效的/可用的视场将涵盖屏幕前的较大面积，并且将允许用户变得更接近屏幕而仍然可以看到整个身体的图像。

为了能够从位于用户前方并且空间上从屏幕偏移的相机生成令人信服(扩充的)的镜像体验，使用计算机化方法，用于在所捕获的图像被显示在屏幕上之前操纵所捕获的图像。计算机化方法可以实时地操作或非实时地操作，具体取决于屏幕的操作模式。

计算机化方法接收由相机捕获的图像作为输入，并且执行图像的变换来校正相机的视点和视场，以匹配使用常规镜子会出现的视点。即，当用户向镜子移动靠近或从镜子移动远离时，本应该反射在镜子中的视点将会是不同于由相机捕获的视点。创造性的计算机化方法的实施方式包括基于跟踪该用户的位置的自适应POV(视点)和自适应FOV模块。

具体地，如现有技术中所提出的试图通过仅竖直地翻转图像来解决虚拟镜像问题是不足以创建镜像体验的。在使用相机的情况下，一旦用户变得更接近相机/屏幕，用户的图像就会变得更大，反之亦然，与常规镜子相反，在常规镜子中，不管距离镜子多少，用户将总是以一些不同的 FOV看到大致相同尺寸的自己。此外，越靠近相机则会引入需要以更先进的计算机化方法校正的图像 失真。在屏幕上显示图像之前执行自适应POV和自适应FOV的结果是获得了模仿定位在屏幕位置处的镜子的反射影像这样的图象。此外，为了获得更令人信服的镜像体验，也可包括下面的特征。

根据一个实施方式，计算机化方法还执行从多个相机获得的图像的动态自适应图像拼接。根据该实施方式，系统包含例如定位在不同位置和/或基于多种技术/特性的多个相机，从而改善了图像分辨率、图像精度，扩展了单个相机的FOV，减少了不同用户和不同的用户取向的失真，并且为用户身体匹配创建了更好的模型以补偿相机失真。例如，由于当用户远离屏幕移动时，图像损失了分辨率(较少的像素捕获到用户图像)，因此光学变焦和再聚焦相机是有意义的。问题在于缩窄相机的FOV所带来的成本。为了改善分辨率同时维持FOV，拼接或动态变焦可以同步地实施。

如前述段落所提到的，为了适当地传达镜像体验，系统还可以使用自适应光学变焦。自适应光学变焦增强了图像/视频的质量/分辨率，基于追踪即连续追踪相对于用户的距离。此外，减少了在相机安装在屏幕的一侧时可能会发生的不对称失真。

为了确保图像传输的准确率，平台能够在离散的指示器中进行校准，并且计算机化方法能够插补和推算在屏幕前的不同位置处的准确变换。根据一个实施方式，投影失真能够基于用户追踪和相机位置以解析的方式进行计算。根据另一实施方式，在屏幕前测量图像失真，并且使用该测量信息代替直接投影计算。

计算机化方法被优化以通过利用例如预先离线地并行计算和/或算出每段距离的变换来尽可能地减少延迟，从而在测量相对于用户的距离时，事先准备好映射变换。根据另一实施方式，通过解析地生成每个用户的已计算/测量的视点的投影变换，使用没有校准的直接方法。

以下是一起提供镜像变换的模块的高层次描述。视频获取模块执行：抓取视频，增强视频，相机优化设置并且控制以在现有硬件限制下获得最佳的视频质量。几何测量模块测量或评估相对于用户的距离、用户高度的任意组合，识别眼睛位置和头部姿势，执行3D身体匹配评估等等。相机控制模块针对图像/视频质量和最大化的分辨率对相机进行设置。在多个相机的情况下，将基于用户距离每个相机的距离完成在FOV上的优化以得到最大分辨率。

几何变换模块逐帧接收视频并且接收关联用户几何位置/方向信息，并且将原始图像映射到正确位置且在存在空白像素的情况下填充空白像素。例如，执行几何变换以匹配眼睛，使用户似乎正在看着镜子。即，计算机化方法计算正确的几何变换以使输入视频失真，从而使得用户会看到自己并且会觉得他正在看着自己的眼睛。这种变换在其他情况下也是有用的。例如，当使用计算机执行视频会议时，由于相机定位在计算机监控器或屏幕的上方，因此所得图像总是显示用户正在朝下看，因为用户实质上看着计算机监控器而并没有看着相机。使用所公开的几何变换是这样的情况：当用户实际上依然看着屏幕时，会得到好像用户正在看着相机这样的用户图像。这将得到更加拟人化的会议环境。在视频会议应用中，几何校正与镜像应用类似，但不需要将图像左右倒转。

映射变换模块能够使用不同实施方式来实现。根据一个实施方式，使用了缩放方法，其中几何假设被用来生成每段离用户的距离的缩放校正，以便匹配用户将会在镜子中看到的图像的尺寸。根据另一实施方式，使用了图像投影和缩放方法，其中基于用户距离，计算或测量每段距离以及偏移的空间偏移和眼睛位置、用户/用户-眼睛和相机位置之间的投影变换误差。附加的变换可用来校对光学失真。

根据另一实施方式，使用了一种配准方法，该方法已被证明提供了相当精确的结果。根据这种方法，变换是基于来自偏置式的/投影式的/背向式的相机的原始图像到用户眼睛盯着相机时在用户面前所得的图像的离线真实配准技术进行预编程。基准图像可以利用拼接从一个多相机生成。例如，参考相机位于会降低绝大部分光学失真的相似的高度和距离，例如在视线水平和距离用户2-3m处。配准将实现最佳变换以基于多个指示器匹配眼睛和整个身体。在一个实施例中，在2D或3D校准目标(例如，人/玩偶目标)上的多个指示器(例如，白点)将形成围绕中央身体的二维网格。例如，圆形标贴可以放置在腿上、胸部上、肩膀上、眼睛上等等。为了提高精度，针对在屏幕前的多用户场所/位置，可以重复配准，以获得例如来自宽边、多高度、多距离等等的多个空间偏移。对于每个场所，创建了最佳映射，假定可使用多种配准技术(例如，投影、仿射变换、相似性、多次方或任何组合等等)进行校正的多个失真(突起、桶式、鱼眼或任何组合等等)。

上述的实施方式可以与以下进一步增强方式一起实施。图像拼接可以利用多台相机，这些相机被设置用于提高分辨率质量、使单个相机的失真最小化、或者增加视场。图像拼接要素将根据用户的几何位置被整合拼接。由于相对于虚拟的眼睛位置的偏移会有所不同，因此每个相机将具有其自己的变换校正。多台相机也可用于生成三维视图以改善用户体验。

也可以生成三维红外(3D IR)图像。这样的图像可以被用于生成用户的精确虚拟模型，该虚拟模型然后可用于容许虚拟试衣和增强现实的API。利用增强现实，可以改变背景、插入对象、执行不同衣服的虚拟试衣等。这也可被用来分析用户的身体语言，并将其与增强现实应用程序、虚拟试衣应用程序、游戏、视频会议等等连接。

由于系统记录了图像，因此无论是静止方式或视频方式，都可以在图像上进行各种分析。例如，视频分析和/或存储分析可以用来收集在用户或存储性能方面的信息，例如，他笑了多少次？他享受该体验吗？经估计的年龄、性别等等。各种输入可用于行为分析平台，该行为分析平台可有助于将eComerce融入实际的试穿体验，或添加到任何其他应用程序。例如，系统可以分析用户试穿的一个物品/多个物品，并将其与店铺库存、3D 打印和eComerce网页、eComerce设计师、社会网络等等相连。

现在参考图9，其是本发明的一个实施方式的框图，该实施方式执行图像变换以生成模拟镜子的图像。在图9所示的系统的各种模块可以在编程的通用计算机、DSP、CPU、GPU、相机DSP/ASIC、屏幕DSP/ ASIC、独立计算设备、FPGA卡、DSP器件、ASIC、云并行计算等等上执行。

块930表示一个或多个相机1：n，其使图像流入到图像抓取模块932。块930可以包括静止式和/或视频式相机、红外相机、二维和/或三维相机设置。也可以包括测距仪，例如电声或电子测距仪。

图像抓取模块932捕获来自块930的流式图像，并且可以应用过滤器以改善图像质量。此外，可以根据图像优化的需要执行裁剪或图像大小调整。如果使用了多台相机，那么采集模块932则根据对于更好的质量或更宽的有效视场所需要应用图像拼接。

触发事件模块960是一个平行的过程，其可以直接从图像抓取模块932获得其输入，但它也可以在眼睛匹配模块934之后得到图像。该输入可以在大小、带宽和速率方面进行优化以执行所需的功能。可以驻留在触发事件模块960中的要素实施例包括以下内容。例如基于在预定义区域内的背景减除和改变、模式识别等，识别用户正站在相机930前。根据例如立体相机、3D红外照相机等之间的相关性，测量到用户的距离。根据另一个实施方式，通过作出一些几何假设，使用单个相机测量值来估计相对于用户的距离，这些几何假设如，用户大致站在镜子前且站在平坦的地板上，从而例如可以从测量用户鞋子的位置和用户自屏幕宽边的特殊偏移来推断上述距离、在镜子中的用户高度或用户理论视点。

可以包括人脸识别模块，以便缓解用户界面识别。在操作中，在配准之后，平台应为每个用户保存信息，并且一旦系统识别到用户，系统就可以将用户的数据上传、更新、建议项目等等。利用面部识别，用户无需识别自己，从而节省了时间并且增强了使用的便捷性。面部识别可以是用于外观自动记录的触发事件。在一些实施方式中，每个阶段的记录长度是预先定义的，并且一旦面部识别成功就可以启动。在其他实施方式中，远程控制技术可以被用作触发器，例如作用在移动设备应用程序或专用平板/移动手机/其他遥控设备中。

可以驻留在触发事件模块960中的其他要素包括视频分析 (用来创造有意义的反馈，例如，估计年龄、性别、情绪、其他受欢迎的项目等)、项目识别(以便系统可以容易地将试用的制品连接到库存，增强库存和eComerce平台，用于更好的推荐和更快的结算以及库存计划)、以及手势识别(用于没有输入设备的无缝用户控制)。

眼睛匹配变换模块934在图像显示在屏幕940之前执行图像变换。这得到了作为输入的来自抓取模块932的图像，并且还可以接收已计算的距离或距离和高度或实际的用户视点。眼睛匹配变换模块934计算出所需的映射。所需的映射可基于计算相机和用户理论视点之间的投影角度差 (例如匹配所需的图像缩放和定位)来直接计算。替代地，使用了出厂校准步骤的真实匹配方法可用于在镜子前的离散位置处创建相机和所计算的视点之间的非常精确的变换。此外，也可以使用基础图像和变换，其创建了一个或多个其它参数中的每一个，该其它参数如距离、高度、姿势、在工厂中完成的测量、或当用户站在屏幕之前时的实际时间。

根据用户距离或用户距离和眼睛视点的组合，眼睛匹配变换模块934在相机之前的任意位置创建变换的插值。由于用户身体的不同部位到相机的距离是不等的，因此投影失真产生了这样的影响：越近的身体部位(如头部)相比于远的身体部位(如腿部)由更多的像素成像。因此，用户看起来腿短和头大，即较近的身体部位显得较大而较远的身体部位显得较小。这种映射不是线性的，即，每个像素代表不同区域的长度和宽度(dx， dy)，因此将需要执行像素填充/欠采样抽取(pixel filling/under sampling decimation)以保持轴比例。填充方法可以是来自不同相机投影的任何插补 (近似、线性、三次方、多次方等)或更复杂的填充。例如，相机可以从屏幕的上方和下方进行补偿并更好地估计丢失的像素或正确的眼睛取向。附加的选择是在直视光学镜片(专用透镜/棱镜)中执行一些分析，这将校正大部分的投影变形并将提高分辨率。影响质量的一些调整大小的问题也可以通过机械变焦进行光学补偿。

可包括可选的虚拟试衣/增强现实模块936，以加强用户的体验。模块936从眼睛匹配模块934或从记录模块938获取其输入。眼睛匹配模块934执行图像的变换，并将在下面进一步详细说明。该眼睛匹配模块 934可以用于非镜子的各种应用中，例如用于摄像头、视频会议等。另外，模块936可以从CPU获取输入要素以进行渲染，该CPU维持与库存、数据库、3D打印、eCommerce数据库等的有效连接。使用输入数据，模块936可以渲染将与已转置的图像结合的数字图像。例如，模块936可以用于根据实际尝试和可用库存或用户自定义来改变物品颜色。应当理解的是，模块936 的渲染是不同于常规的虚拟试衣的，因为模块936是对穿在用户身上时所成像的物品执行渲染的。因此，例如，以不同颜色渲染物品不会改变用户正在穿戴的物品的物理外观，而只改变其颜色。因此，用户可以感受到实际物品在其身上，查看其实际上如何影响并改变其体形和外表，查看实际的弯曲和伸展等等。模块936还可以用来添加附件到实际用户的图像或添加真实的虚拟试衣功能到该平台。类似地，模块936可以用于增强背景以改变或创建不同的环境来匹配用户穿戴的物品，例如，针对游衣的海滩背景、针对晚礼服的夜店背景等。

视频/静止图像记录模块938直接从相机抓取器932、从眼睛匹配模块934或从虚拟试衣增强现实模块936接收视频/静止图像。另外，其从控制模块962得到控制信号，以指示何时开始/停止记录、针对每个用户存储哪些信息、以及在哪些视频/静止图像上执行离线附加变换/增强、现实/ 虚拟的试衣/质量增强等等。可用于记录而不加载系统资源(CPU/BUS/ GPU)的方法可以包括在GPU卡中编码/解码功能。

除了在镜像存储器(站)处具有视频/图像的本地副本，图像还可以被自动复制到云服务，并且可以以任何所需大小自动编码。

所述的记录方法还可以修改帧速率、压缩、裁剪、或改变格式、以及修改视频和色彩效果。

除了记录，可选地，系统可以提供镜像视频的实时流。例如，系统将能够将来自任何镜子的实时流显示在网络上，这意味着任何设备将能够观看流，包括镜子到镜子。

控制模块962控制所有其他模块的操作。控制模块962配置系统中的所有的硬件和软件要素，包括相机930、屏幕940、DSP等等。控制模块962包括接口，该接口作为本地站和云基础eComerce 950、其他网络应用程序952、智能电话应用程序954等等之间的连接。将记录在记录模块938 上的信息可以通过无线信号/IR/线立即传递给用户，或者可以由用户授权输送到云基础应用程序如Facebook、谷歌、或其他，或被输送到链接到 eComerce应用程序的公司服务器。

当变换依赖于实际的图像变换时，使用工厂校准模块964。相机相对于屏幕的几何取向可以在工厂中确定/测量，或者可以在现场进行测量，并且偏移可以使校准与出厂状态匹配。另外，校正可以被匹配到镜子设置相对于地面的高度或角度。校准过程可以如下实施。第一步是创建镜像基准，该镜像基准是图像在不同离散距离、特殊取向、不同眼睛反射位置 (即，理论视点)处在镜中应该看起来如何的镜像基准。该基准可以采取多种方式：

1.如图10A所示，相机14位于“假想的”镜子的位置且位于用户的眼睛高度或接近眼睛的高度。带有指示器(例如，白色标识点10)的用户或玩偶被定位在距离相机一定距离处，从而在注视相机时会消除大部分的相机失真的距离。图像的缩放可以被匹配和裁剪以表示镜子中的假想反射像(reflection)的真实大小，或略小。即，所生成的基准图像应当匹配放置在相机位置的镜子中的用户的真实大小、或优选更小以适应屏幕 (具体取决于屏幕的尺寸)。

2.在图10B中，具有指示器的用户或玩偶位于常规镜子12之前。相机定位在用户的位置且位于用户的视线水平，并且使在镜子中的反射成像。基准图像也可采取相机阵列，例如沿着竖直线位于用户前面的相机阵列拍摄，以消除失真。此后，将多个图像拼接以获得具有高分辨率和低失真的均匀图像。在这种情况下，谷歌眼镜也可以是用于校准的一种选择。带有相机的用户/目标将拍摄到自己位于常规镜子前的图像。由于 FOV是固定的，因此需要做的唯一一件事就是针对真实尺寸来调整图像大小。

一旦获得基准图像，则通过将相机放置在其实际的服务位置(例如，在屏幕上方)来拍摄另一图像，这将在本文中称为实际图像。然后，通过将实际图像上的指示器匹配到基准图像的指示器来执行基准图像和实际图像的配准。从配准信息提取能最好地将失真图像带给正确的眼睛和身体取向的变换。另外，根据现场的实际安装的几何形状，可以给变换增加偏移或校正。根据用户距离和眼睛视点，可以在相机前的任何位置处创建插补。

图11是示出了根据本发明的一个实施方式的过程的框图，其可以用于本文所描述的系统中。该过程在1100以工厂校准程序开始，该工厂校准程序可以使用以下步骤作为一个实施例来实现。选择校准目标，例如，玩偶、用户、板等。然后放置目标指示器在目标上，如图10A中所示的标贴10。然后将相机安装在其服务位置，例如，如图8所示在屏幕的上方且向下倾斜，并且被设置以捕获最大范围。目标的快照是在多个位置(即，距离、高度、循环偏移等)获得。另一方面，为简单起见，在屏幕前面沿中央假想线的多个距离处获取图像就足够了。然后通过例如在图10A或10B所示的方法获得一个或多个基准图像。作为一个实施例，相机被定位在屏幕的同一位置的视线水平处。然后使用相同的分配指示器获得相同目标的一个或多个快照。如果只取得一个图像，则该图像应当是在适当的距离处获得以避免相机失真。如果取得多个基准图像，那么这些基准图像应当是在多个距离处获得以便捕获用户靠近镜子时所发生的微小变化。但应当注意的是，如果获得多个对象和多个基准图像，那么在相同距离和相同位置处获得它们，以生成更好的变换将是适当的。可以调整基准图像大小来表示在屏幕上的真实尺寸，即模拟会反映在定位在屏幕位置处的镜子中的尺寸。

一旦获得目标和基准图像，那么取自倾斜相机的失真的目标图像与基准图像使用指示器进行配准，以便表示用户会在位于屏幕位置处的镜子中看起来如何。配准的输出是变换操作器，例如，成组的指示器，每一个都具有两个坐标：一个在输入图像中而一个在基准图像中。可以在多个目标图像和基准图像上尝试不同变换。例如，可以应用多种失真功能，以获得最佳的匹配性能。基本功能将是投影、调整大小、XY变换(偏移)以及从左到右翻转。选择最好的变换组合，并且对于每个校准点生成映射变换。这种映射变换是出厂校准，基于该出厂校准，现场的实时图像将被变换来模拟镜像图像的。应当理解的是，映射可以包括针对实况图像的每个像素或每个部分的不同变换，以便提供镜像反射的最佳表示。

如可以理解的，步骤1100可以在运送系统之前在工厂中实现。另一方面，这个过程也可以在现场进行，特别是当相机和屏幕被作为独立的要素来提供时，从而在不同情况下相机可以相对于屏幕被定位在不同的位置。在这种情况下，可能有益的是，提供诸如玩偶(3d目标)或具有配准标记(2d目标)的板之类的校准目标给系统，以使得用户能够使用标准目标来在现场执行校准。该系统随后将被预编程以执行校准过程并在现场生成变换映射。

一旦系统被安装在其服务位置，则过程是在步骤1105，其中，通过例如帧抓取器获得和抓取用户的实况图像或视频。同时，测量用户的位置，从而确定用户的视点。这可以利用IR测定技术或使用可用的传感器 (诸如例如购自

的

)来完成。在步骤1115，如果需要的话，任选地应用缩放系数来匹配屏幕大小和用户高度。

在步骤1120，选择适当的变换映射，或者对标准工厂校准的映射进行插补，以针对屏幕前的用户特定位置创建正确的映射。然后通过眼睛匹配模块将变换映射应用到实况视频。在这样的背景下，术语“实况”也指由帧抓取器抓取并且可以在被发送到监控器屏幕用于呈现之前驻留在缓冲区中的视频馈送。另外，如果需要的话，借助于变换，在步骤1125，通过插补技术填充缺失像素。在步骤1130，图像从缓冲器被发送到屏幕上来显示。应当理解，借助于商购的快速处理器，步骤1105至1130可以实时执行，使得用户不会感知到在屏幕上呈现图像期间的任何延迟，这在本文中称为“实时”或“实况”表示。

眼睛匹配模块可用于提供更符合日常交往的更自然的环境。例如，在使用PC进行视频通话(诸如通过使用

)时，由于相机通常位于监控器的上方，因此呼叫者似乎看起来远离相机，因为呼叫者实际上正在看着屏幕。这提供了不自然的对话，因为呼叫者在说话时没有相互看着对方。眼睛匹配模块可用于这样的应用以应用变换，使得在监控器上显示的图像看起来好像呼叫者正直视着视频摄像头，虽然呼叫者实际上正看着屏幕，并因而远离视频摄像头。变换可以在发送方或接收方的计算机上完成。例如，使用

的用户可以具有安装在其计算机上的眼睛匹配模块，从而使得无论何时视频摄像头被激活用于视频会议的情况下，眼睛匹配模块都会截获来自视频摄像头的信号并且在允许视频通过Skype应用程序流向其他用户之前应用变换。当其他用户接收到视频信号时，该视频信号已经被转置，使得其他用户看到图像，好像呼叫者在直视视频摄像头。可同样使用的是标准的视频会议系统，如WebEx、Polycom等等。

图12是示出了根据本发明的一个实施方式执行校准和图像变换的模块和过程的框图。块1230表示图像抓取模块，其可以包括一个或多个静止相机或视频相机、红外相机或距离测量传感器、3D相机装置等等。模块1232控制相机优化设置，例如以获得适当的FOV、使在屏幕前的适当的区域成像、设置焦点和/或分辨率等等。模块1260是触发事件模块，其可用于识别屏幕前的用户存在并且启动图像采集和变换过程。在其他时间，该系统可设置在怠速，在屏幕上仅显示背景图像直到检测到用户。

大括号1360包括校准程序，该校准程序将针对配置成用于现场安装的系统而在本文中进行描述，其中相机1230位于显示屏1240的上方，也如在图1中所例示的。校准1260可以在出厂前的工厂内执行或者在安装后的现场处执行。在1261，定位带有指示器的目标，且在1262，获取一组基准图像(使用例如位于视线水平且向前看的相机)，并且获得相应的成组的输入图像(例如，使用位于现场安装位置的相机，该相机位于屏幕上方并且朝下)。在1263，来自每个输入图像的指示器被匹配到相应的基准图像中的相应指示器。由此产生变换向量。根据所寻求的镜像显示质量，在1264任选地微调对应于用户眼睛周围区域的向量。

利用输入图像的指示器与基准图像的匹配，在1265，可确定和选定带来最佳图像匹配的变换参数。可用于变换的参数包括以下各项。高效变换参数是倾斜变换。倾斜变换校正了因相机向下倾斜所引起的图像中的失真。倾斜变换修改了使相机向下所获得的输入图像并且将该图像变换成看起来相机似乎是水平直线定向的(视频引擎也可以校正方位误差)。另一个变换参数是标高平移。标高空间平移变换线性地修改了在利用定位在屏幕之外(例如屏幕上方)的相机获得的图像中的偏移，并且使图像变换为看起来图像 似乎是从位于用户视线水平的屏幕位置所获得的(匹配眼睛高度到屏幕高度处的图像)。水平平移也可以适用于校正相机和屏幕中心之间的错位。对于模仿镜子的另一重要变换是缩放。如上所述，在实际的镜像反射中，随着用户越接近镜子，用户看到的身体图像尺寸的变化非常小。相反，在相机成像中，大小随着相对于相机的距离的变化而变化很大。缩放变换减少了尺寸随着相对于屏幕的距离的变化而变化的影响，从而使得用户在屏幕中看到自身的几乎恒定的尺寸，与到屏幕的距离无关。根据摄像机的位置和 FOV，也可能需要图像的x-y平移。

在实践中，已被证明，执行倾斜、标高(elevation)和缩放的平移提供了相当有说服力的图像，其仅需要从右到左反转以非常有效地模拟镜子反射。为了进一步改进，也可以使用桶式效应变换和鱼眼式变换。此外，可以通过添加照明和阴影、或者人为地对图像像素的强度和/或色调操作、或者物理地通过控制诸如LED的相对于屏幕或用户的策略性位置之类的照明要素，添加深度感知到投影图像。此外，3D效果可以配合使用3D眼镜或者使用裸眼3D技术来创建。在裸眼3D技术中，不同的成组图像被投射到每只眼睛。由于在所描述的实施方式中测量或估计相对于用户和用户眼睛位置的距离，因此可以更容易地通过将不同的成组图像投影到每个用户眼睛来投射3D图像给用户。

在步骤1266，生成并存储变换映射。该变换映射将在1234 使用，以便应用所估计到用户的距离将来自成像1230的实况视频馈送进行变换。可能需要像素填充，具体取决于变换映射操作。例如，使用位于屏幕顶部且向下倾斜的相机将需要倾斜和标高变换，其将提供可使用像素填充来增强的图像。这是可以在1237完成的，并且在1240所得到的图像将被显示在屏幕上。应用变换和像素填充到实况视频可以利用合适处理能力来容易地实时进行。

图13示出了另一实施方式，其中在系统安装之后的现场执行校准和变换映射。在图13的例子中，相机14位于视频屏幕12之上并且向下倾斜。相机14和屏幕12都与控制器18通信并且由控制器18控制。用户设有输入装置16，该输入装置16可以使用有线或无线技术与控制器18相互通信。用户站立在适当的位置，例如距离屏幕12有2-3米，并且通过例如从远程输入装置16输入“校准”命令来启动校准过程。在校准过程期间，实况视频流从相机14被馈送到控制器18，并且控制器将该图像在显示在屏幕12 之前围绕中心垂直轴“翻转”(左到右)。试用输入装置，用户作用于各种变换功能。例如，输入装置可以包括输入按钮，用于校正倾斜、标高和缩放，如在图13中示意性示出。用户的输入命令被发送到控制器18，其然后应用实时变换于视频馈送，从而使得图像是在用户面前实时变化的。用户改变每次变换功能程度直到用户在屏幕上看到了令人信服的图像，在此时，用户可以按下指示校准完成的输入按钮。然后该控制器18保存适当的校准参数，并将这些变换参数使用于今后所有的实况视频馈送。

在图13中所示的另一特征是距离计算。由于相机14相对于屏幕12的位置和倾斜是已知的(例如，借助于将相机安装到屏幕顶部的固定托架)，由相机14所捕获的图像可被用于三角测量和距离计算。例如，当用户显示在由相机14所拍摄的实况视频流时，可以对用户鞋子的尖端执行的三角测量以计算用户相对于屏幕12的距离。此操作可以每固定数n帧地执行，以使得用户距离屏幕的距离可被连续地更新以捕获用户的移动。一旦在镜子前没有用户时可以更新背景——自适应背景方法。

在图13中所示的另一特征是利用灯光营造深度和/或气氛。具体地讲，几个光源17，例如LED阵列，可以被放置在围绕屏幕12的不同位置，并通过控制器18控制。光源17可以被操作以便在图像中创建更多的深度，例如增加阴影和明亮的照明领域。光源17可以是不同的颜色，从而改善现有的照明并创建所显示图像的适当的总体“温度”。光源还可以根据至用户的距离调整，从而创造一致的图像并删除由店内照明创建的伪像。可替代地或附加地，颜色和亮度的改变可以通过控制器在从相机14接收的数字图像上直接地完成。例如，颜色变换可以用于增强图像的镜像外观，例如，在提供图像的参数上进行操作，该参数为：光泽、清晰、锐度、衬底、金属等等。控制器18也可以在图像上添加灯光和/或阴影的虚拟点，以对图像创建更多深度。另外，防反射涂层被设置在屏幕正面，以便除去并减少通常与平板显示器相关联的反射。LED阵列可以连接到光传感器和/或光温度传感器，并且可以被预限定以停留在特定水平的光线和光温度，并且将自动调整。

根据进一步的实施方式，3D成像是利用彼此之间距离为D 的两个相机来实现。距离D被计算为人眼之间的平均距离，一般被称为瞳孔距离(IPD)，这对于成人来讲是约54-68mm。将从距离D处的输入相机获得的基准图像与从两个参考(基准)相机获得的图像进行校准来计算变换，该两个参考相机以也与用户眼睛之间距离近似的空间距离放置。校准基准可以使用

或任何红外3D相机来获得。谷歌眼镜也可以是用于校准的一种选择，其中佩戴谷歌眼镜的用户/目标会在常规镜子前面拍摄自己的图像。由于FOV是固定的，因此需要做的唯一一件事就是调整图像的真实大小。图像变换模块，如控制器18，也可以应用图像调整用于放大/缩小，以使用户能够调节图像到屏幕或聚焦于某个部分。

如可以理解的，虽然上述实施方式中的一些涉及到通过配准图像或其他经验方法创建变换映射，替代地，直接计算相机和理论用户视点之间的失真可以基于解析来执行。使用解析避免了需要任何配准步骤。相反，解析映射变换被创建以校正失真。

然而，图13中的另一个特征是使用因特网或云，用于提供涉及变换和镜像呈现的服务。例如，根据一个实施方式，如果足够快的连接存在，则变换实际上可以在云中执行。在这样的情况下，来自相机14的馈送可以被馈送到服务器181，该服务器181应用了变换并将变换发送回控制器 18，以便显示在监控屏11上。根据另一个实施方式中，来自相机14的图像或来自相机14的经变换的图像可以存储在云中并流至设备，该设备如智能电话183、输入板187和另一监控屏189(诸如平板电视)。这可以在用户试用穿搭时实时地完成，使得用户可以共享体验并且从位于远程位置的外界获得输入。此外，一旦用户离开商店，用户就可以有权访问所有的通过使用智能电话、输入板、PC等所得的图像。应当注意，为了使用户界面简捷，如图 13的监控器189中所示，各种尝试的缩略图可以与当前图像一起进行显示，以使用户能够在视图之间进行选择。

图14示出了用于从相机1430的图像中提取数据的实施方式。触发事件模块1450检测到用户的存在，并激活用于提取数据的过程。相机优化模块1432可用于控制相机以获得最佳图像用于数据提取。在本实施方式中，当相机1430位于屏幕上方并且朝下指向时，可以从例如距离屏幕1m 至4m的地方看到用户鞋子。然而，由于相机指向朝下并且鞋子相比于用户头部位于距离相机较大的距离处，因此失真是最大的。利用上面所讨论的变换映射，在所有距离处实现了显著的失真改进。

此外，根据本实施方式，在1462，用户图像从背景分离。在1464，中央质量通过将用户的二进制图像仅乘以指数矩阵而计算，并且然后得到像素指数的平均值。另外，中央质量(J，k)下方的最小身体像素是通过打开围绕k(中央质量)附近的窗口并且找到较低的动态指数来确定的——这可以假定表示鞋子的边缘。在1468，用户身高是通过找到头顶来计算的，并根据距离相机分辨率、FOV以及相机几何倾斜来估计用户高度。

图15示出了一种实施方式，其中，执行对来自n个相机的图像的拼接。拼接对于在用户正在接近靠近屏幕时提高图像分辨率和FoV特别有利。在图15的实施方式中，n个相机的实况馈送1530，1532，1：n，被拼接在一起。触发事件模块1560可被用于在检测到用户在屏幕的前方时触发拼接。此外，可以提供距离测量值，表示相对于用户的平均距离的单个数值、或多个值(针对每个相机的一个距离值)。相反地或附加地，可以提供多个距离值以指示不同身体部分的不同距离。

每个相机可经受独立的相机优化、1533、1536，并且来自每个相机的馈送会经历不同的几何变换、1560、1562，因为相机的位置和取向相对于用户视点、1564、1562是不同的。叠加决策1570是确定哪里执行拼接最佳的决定因素。如果正在处理具有一个位于屏幕上方和一个位于屏幕下方的两个相机的方案，那么叠加决策将给出最佳切割的指示。由于存在不间断距离测量，因此一旦用户接近镜像就可以保持拼接线几乎是固定的。为达到最佳性能，拼接1572需要根据用户距离相机的距离来进行优化。平滑 1574需要筛选出可在来自不同相机的不同图像之间的交界生成的线。来自不同相机的图像将稍有不同，归因于绝对质量和照明中的差异以及用于每个相机的不同的失真校正。在多行中的图像之间的交织(Interleaving)可用于缓解照明影响。在1576输出拼接图像。

在以上描述的实施方式中，变换映射校正了由相机获得的图像，并且提供了模仿将从镜子反射的图像的图像。如图16所示，以下的实施方式提高了眼睛呈现的质量。该实施方式背后的想法是用经修改的像素覆盖眼睛区域或只覆盖眼睛，所述经修改的像素将产生宽边视图的感觉——即以最极似用户直视镜子中自己的方式呈现眼睛。可以理解，用户将直视着投射在屏幕上的自己，但由于相机不是定位在水平地指向的视线水平处，因此为如由相机捕获的用户眼睛不会被看到直视前方。图16的实施方式解决了此问题。

图16中的大多数要素是类似于图12中的要素，并且具有相同基准，不同之处在于该基准是在16xx系列中。这些要素将不会在这里再次进行说明。相反，注意指向要素1680，其负责眼睛校正。由于缩放已经通过现有的要素进行校正，因此在此阶段需要做的是修复和/或重建内部的眼要素，例如瞳孔、虹膜等，以呈现适当的图像。

模块1680首先使眼睛定位在图像中，并确保用户确实看着屏幕。用于该步骤和用于校正的信息可从历史图像、常规统计的眼睛比例的估计或实际测量值来推断，所述实际测量值是在用户直视相机或一旦用户站得离屏幕足够远而失真在变换映射之后相对较低时所获得。如果用户被发现是看着屏幕，那么对应于眼睛区域的像素要么被变换或实际上由将虹膜和瞳孔定位在向前看的眼睛的中心位置的像素所替代。此外，可扩大巩膜，以模仿直视查看，特别是如果相机被定位在上方并指向向下的情况。

可在任何上述实施方式中实现的另一个特征是变换参数更新的频率。即，当用户静止地站在模拟镜子的屏幕前面时，有时用户可能更倾向于稳定的图像。具有变换映射引擎变化而用户静止，可能会造成不舒服的感觉。另一方面，当用户正在较快地向屏幕移动或从屏幕后移时，较快地更新变换参数可能是合适的。因此，根据该特征，建立了多个行为区域。根据一个实施方式，行为区域仅根据距离设置。例如，当用户正在超过设定的距离量地移动时，视频引擎被更新。根据一个实施方式，如果用户移动小于例如25cm的量，那么变换映射以较低的速度进行，例如每x秒进行，而如果用户移动超过25cm，那么变换映射以第二的、较快的速度更新参数。根据另一实施方式，所述区域根据用户的移动速度设定。例如，如果确定用户正在以小于x cm/秒移动，则使用第一变换更新频率，而如果用户移动速度更快，则使用较快的第二更新频率。

因此，如从上述可以理解，虽然实时视频引擎更新可用于给用户成像，但在监控屏上的呈现变换也可不必实时地改变，具体取决于用户的行为。例如，如果用户相对静止或移动速度很慢，则已转变的参数可以半实时地变化。然后，当使用者开始移动更快或移动了较大距离时，该视频引擎可以更频繁地更新。

应当理解的是，上述实施方式可以用数字(例如，视频) 相机和监控器来实现，其中来自相机的图像被馈送到处理器。该处理器应用变换映射到图像并以显示模式或镜像模式将图像显示在监控器上。从上面的描述应该理解的是，镜像模式可以通过在监控器上显示实况视频馈送来实现，如通过变换映射改变的。即，在镜像模式中，正显示在监控器上的图像是实时拍摄的用户的图像/视频。相反，在显示模式中，正显示的图像是在过去获得的以及从存储获得的图像/视频。存储的图像可以是与从相机馈送的原始图像或已变换的图像。在任意一种情况下，正在以显示模式显示的当前图像是已变换的图像。因此，如果所存储的图像是原始图像，那么在显示器上显示图像之前处理器应用变换映射。

系统是否操作在显示模式或镜像模式可以被视为是一个时间问题：在镜像模式期间，正在被显示在监控器上的图像是相机在那个特定时刻(或在微量允许或不易察觉的较早时间)看到的景象的已变换的图像，而在显示模式期间，正被显示的图像是相机或其他相机更早看到的景象的经变换的图像并且不同于相机当前看到的景象。此问题还涉及感知：在镜像模式期间，由于监控器显示了相机当前看到的景象的经变换的图像，因此观察监控器的用户有着正在看着镜子的感觉，而在显示模式期间，观察监控器的用户有着在查看发生在过去的事件视频的感觉。

应当理解，系统可以是独立实现的并且与显示器屏幕无关。例如，在某些场所(例如，更衣室)，仅可以安装监控器屏幕，而没有任何相机。监控器被配置为与系统通信，以便下载并显示所存储的图像。用户可以与监控器交互以查看所拍摄的先前图像，例如来与当前的装备比较。作为另一个实施例，拍摄的所有图像可以上传到云中，使得用户可以例如使用输入板上的应用程序在电脑或移动设备上查看图像。

如从上面的描述可以理解，本发明的各种实施方式提供了图像变换装置，其包括：图像输入端口，其用于从相机接收数字图像；转置图像输出端口，其用于输出将被显示在监控器上或存储在存储器中的转置图像；以及转置模块，其被编程以从输入端口接收图像并对图像应用变换，其中，所述变换至少包括使图像围绕垂直轴翻转，以便使图像的右侧和左侧颠倒；施加变换映射到图像以修改图像，使得其似乎模仿镜的反射；调整图像大小，以减少由对象的相对于相机的距离改变所造成的变化。在其他实施方式中，提供程序，其在计算机上运行时导致计算机将由相机获得的数字图像转置，以使得已转置的图像类似于从镜子反射所得图像，转置至少包括使图像围绕垂直轴翻转以便反转图像的右侧和左侧；施加变换映射到图像以修改图像，使得其似乎模拟镜子的反射；调整图像大小，以减少由对象的相对于相机的距离改变所造成的变化。程序可以在诸如服务器、个人电脑、平板电脑、智能电话等的任何通用计算机中执行。

根据进一步的实施方式，提供了一种系统，该系统通过使数字屏幕投影了模拟镜像的图像而使用户能够在数字屏幕上查看自己的图像。该系统包括：数字相机，其生成用户的图像的流；具有图像输入端口的控制器，该图像输入端口用于接收来自相机的图像的流并且施加变换到图像上以产生模拟用户在镜子中的反射的经变换的图像；具有输出端口的控制器，该输入端口用于输出将被显示在监控器上的经转置的图像的流；以及存储设施，其存储经变换的图像。控制器还具有互联网连接，用于上传经转置的图像的流到云中。该系统还使得客户能够从云中下载和观看已变换的图像。

在各种实施方式中，控制器应用变换到图像流，其包括：将图像围绕垂直轴翻转，以便反转图像的右侧和左侧；施加变换映射到图像以修改图像，使得其看起来模仿镜子的反射；以及调整图像大小，以减少由对象的相对于相机的距离改变所造成的变化。映射基本上重新分配了新地址给原始图像的每个像素。变换映射使得图像看似取自位于视线水平的高度且水平指向的相机。变换映射包括至少倾斜变换和标高变换，其中倾斜变换将图像变换来模拟相机的倾斜，且标高变换将图像 变换来模拟改变相机的标高。

变换映射可以包括角度、倾斜、方位、缩放、空间平移 (即，标高线性偏移或水平偏移)等。最终变换是用于生成单独失真的单独变换的矩阵乘法。

在其它实施方式中，提供了一种用于增强视频会议或视频电话的系统。该系统包括：变换引擎，其用于变换由定位在监控器屏幕的外周的视频相机所拍摄的图像，使得直视屏幕的用户的图像看上去用户没有直视相机。变换引擎接收图像流并且变换图像，从而提供看起来用户直视相机的图像。所述变换包括角度、倾斜、方位、缩放、空间平移(即，标高线性偏移或水平偏移)的校正的任何组合等。变换还可以包括用已修改的像素覆盖眼睛区域或者仅覆盖眼睛，该已修改的像素将创建广角视图的感觉——即以最极似用户直视相机的方式呈现眼前。

在各种实施中，该方法还包括通过跟踪用户的眼睛之间距离或头部大小来计算相对于图像中呈现的用户的距离，并相应地缩放图像。例如，根据一个实施方式，使用在用户的眼睛之间的预期距离即瞳孔距离 (IPD)、距离相机的平均距离来对系统进行编程。在美国，95％的成人男性具有70mm的IPD，而对于女性而言为65mm。当在相机的前面感测到用户时，系统可以首先确定是男性或是女性，或简单地直接进入测距程序并使用平均IPD数值，例如68mm。对于范围测量，系统识别图像中的瞳孔，并缩放图像以便匹配预期的IPD。随着视频图像连续流出，系统缩放图像，以保持恒定的IPD并匹配预期的IPD。以这种方式，当用户远离或更接近相机移动时，投影在监控器屏幕上的图像中的用户的大小将保持大约相同，从而模拟在镜上的反射。如可以理解的，该系统可以使用其他的标准测量值，如耳朵之间的距离等，但使用眼睛将使其更简单，因为该系统可以很容易识别眼睛。然而，如果用户戴了太阳镜，那么系统可能不得不求助于基于其它身体部位的其它测量。该切换可以动态进行，即，如果系统找到了眼睛，则使用 IPD，但如果没有，则回到身体的其它部位。

此外，可以使用效果过滤器，例如照明过滤效果、反光纹理效果、颜色光谱滤波器以创建金属感等等。类似地，可以控制相机的快门定时、传感器增益、白光平衡以及它们的任何组合，以修改所得的图像。在各种不同的实施方式中，这些参数是基于感兴趣的动态区域(动态RIO)来控制的，以使得施加到参数的变化仅涉及图像中的选定区域，而不是整个图像。例如，这些参数可以根据到用户的距离进行修改和更新，并限定于ROI，该ROI是围绕用户的窗。例如，用户的图像可以从背景中分离出来，并且参数只适用于属于用户图像的像素。

在进一步的实施方式中，增强的实时视频效果是通过执行例如以第一帧速率记录具有高分辨率的视频并且以更高的帧速率操作显示以便使视频流畅来实现的。此外，所接收的视频流的背景可以用存储在系统中的人造背景替换。可以使用附加的视频处理，以在图像中添加或改变配件或其他要素的颜色或纹理。此外，对于视频会议和其它应用程序，可以在没有垂直翻转图像的情况下进行变换。

虽然本发明的某些特征已在本文中进行说明和描述，但对于本领域技术人员而言，可存在许多修改、替换、变化和等同方式。因此，可以理解的是，所附权利要求旨在覆盖落入本发明的实质精神内的所有这些修改和变化。

Claims (17)

1.一种用于通过执行无序步骤操作具有监控器、相机和处理器的系统以便在所述监控器上显示镜像模拟图像的方法，所述无序步骤包括：

从第一相机获取第一数字图像；

判定用户与相机的距离；

使所述图像围绕竖直轴线翻转，以便将所述图像的右侧和左侧颠倒；

施加变换映射到所述图像以修改所述图像，从而使其看起来模拟镜子的反射；

调整所述图像的大小，以减少由对象到所述相机距离的改变所造成的变化；

使用户的眼睛定位在所述数字图像中；

变换或替代眼睛的像素，从而将虹膜和瞳孔定位在向前看的眼睛的中心位置；

在执行了所述调整所述图像的大小和所述变换或替代眼睛的像素之后，将所述图像显示在所述监控器上。

2.根据权利要求1所述的方法，其中，所述变换或替代眼睛的像素还包括扩大眼睛的巩膜。

3.根据权利要求1所述的方法，其中，判定用户与相机的距离包括跟踪用户的眼睛之间距离。

4.根据权利要求1所述的方法，其中，判定用户与相机的距离包括识别用户的鞋子和对所述鞋子进行三角测量。

5.根据权利要求1所述的方法，为了补偿用户的距离的改变，以使用户看到相同尺寸的所述图像，还执行自适应的用户视场。

6.根据权利要求1所述的方法，还包括以下步骤：

获取基准图像；

执行所述数字图像与所述基准图像的配准；

使用由所述配准获得的数据来生成所述变换映射。

7.根据权利要求1所述的方法，还包括施加平移变换，以在所述监控器的显示区域内移动所述图像。

8.根据权利要求1所述的方法，还包括改变所述监控器的单个或成组像素的光亮强度，以便增强所述图像中的阴影或光亮。

9.根据权利要求1所述的方法，还包括施加桶式效应变换和鱼眼式变换中的至少一种。

10.根据权利要求1所述的方法，还包括：执行标高空间平移以线性地修改所述图像中的偏移，以匹配用户眼睛高度到屏幕高度处的所述图像。

11.根据权利要求1所述的方法，还包括像素填充步骤，其中，像素图像被外插到执行了所述调整所述图像的大小和所述变换或替代眼睛的像素之后所残留的空白像素中。

12.根据权利要求1所述的方法，还包括以下步骤：

从第二相机获取第二数字图像；

将所述第一数字图像和所述第二数字图像拼接；

将已拼接的图像显示在所述监控器上。

13.根据权利要求12所述的方法，其中，所述第一相机的视场和所述第二相机的视场重叠，并且该方法还包括重叠决定步骤，以确定视场的重叠部分中的最佳位置来执行所述拼接。

14.根据权利要求13所述的方法，还包括平滑操作以校正由所述拼接步骤造成的伪像。

15.根据权利要求1所述的方法，其中，在来自所述相机的实况视频馈送的图像序列上执行所述无序步骤。

16.根据权利要求15所述的方法，还包括：

判定呈现在所述实况视频馈送中的用户移动距离；以及

根据所述移动距离改变在所述图像序列上执行所述无序步骤的速率。

17.根据权利要求15所述的方法，在数字存储装置中存储所述实况视频馈送，并且选择性地在镜像模式或显示模式中的一种模式下操作所述系统，其中，在所述镜像模式期间，在所述监控器上显示所述相机在特定时刻看到的图像的经变换的图像，而在所述显示模式期间，在所述监控器上显示所述相机过去看到的以及从所述数字存储装置取得的图像的经变换的图像。

Images