CN101038676A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101038676A
CN101038676A CNA2007100885908A CN200710088590A CN101038676A CN 101038676 A CN101038676 A CN 101038676A CN A2007100885908 A CNA2007100885908 A CN A2007100885908A CN 200710088590 A CN200710088590 A CN 200710088590A CN 101038676 A CN101038676 A CN 101038676A
Authority
CN
China
Prior art keywords
data
pixel
polygon
polygonal
juxtaposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100885908A
Other languages
English (en)
Other versions
CN100520828C (zh
Inventor
渕江孝明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101038676A publication Critical patent/CN101038676A/zh
Application granted granted Critical
Publication of CN100520828C publication Critical patent/CN100520828C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理装置,包括:产生部分,被配置用于将分别包括预定数量的在第一方向上并置的多边形的多边形组以这些多边形组在基本上垂直于第一方向的第二方向上被并置的顺序相继确定为作为产生过程的对象的对象块、并且产生构成多边形单元中对象块的多边形的顶点数据;以及确定部分,被配置用于将与构成相对于所述对象块作为所述对象块的前一对象块的前一紧邻对象块的那些多边形中位于所述前一紧邻对象块的边界部分中的那些多边形相对应的图像数据存储到用于存储数据块单元中的像素数据的存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。

Description

图像处理装置和图像处理方法
相关申请的交叉引用
本发明包含与在2006年3月17日向日本专利局提交的日本专利申请JP 2006-074719相关的主题,这里通过引用将其全部内容包含在内。
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
在相关技术中,在虚拟三维空间中进行图像转换的图像转换装置产生由诸如三角形的多边形的组合所构成的主体形状模型,并进行将图像附着到该模型的纹理贴图以进行图像转换。图像转换装置在例如日本专利公开No.2002-83316中被公开。
如上所述的这种图像转换装置产生纹理地址用于纹理贴图,其中纹理地址代表将被最终输出到将在纹理贴图中被附着的图像上的转换后图像的每个像素在对应于该像素的多边形单元中的位置。然后,为每个像素将纹理地址存储到存储器中。这时,图像转换装置将纹理地址存储到与对应于屏幕上纹理地址的像素位置相对应的存储器的地址中。
参照图1A、1B、2A和2B描述作为一组多边形集的网格的实例。
图1示出了方格形式的网格1。具体地,网格1由多个方形1C形成,其中每个方形由多边形1A和另一多边形1B形成,并且被设置在水平方向和垂直于水平方向的竖直方向上的格子中。网格1被用于在涉及固定方向上的转换、诸如翻页或摇动(page turn or wave)时的建模。例如,如果对图1A中所示的网格1进行页面翻转,则网格1显示如图1B中看到的这种形状。
图2A示出了同心网格2。具体地,网格2由多个四边形2C形成,其中每个四边形由多边形2A和另一多边形2B形成,并且被设置在径向和基本垂直于径向的圆周方向上。网格2被用于在涉及诸如波纹的同心转换时的建模。例如,如果对图2A所示的网格2执行波纹,则网格2显示如图2B中看到的这种形状。
图像转换装置首先利用上述的网格1或网格2生成转换后的模型,然后基于与形成模型的多边形的顶点相关的数据(这种数据以下被称作顶点数据)执行多边形单元的顶点操作,诸如建模转换,例如平行移动、放大或缩小或旋转、剪贴、用于投影到屏幕上的透视投影转换等。然后,图像转换装置进行光栅化、深度测试、纹理贴图等,以将作为顶点操作结果所得到的多边形单元的顶点数据转换成与像素相关的数据(这种数据以下被称作像素数据),并输出所得到的图像作为转换之后的图像。
应该注意,每个顶点数据包括例如顶点单元数据,诸如例如顶点在建模坐标系上的坐标值、纹理地址和写系数(writing coeffcient)。同时,每个像素数据包括代表将屏幕上的像素与虚视点(virtual eyepoint)相互连接的直线穿过平面的点的z坐标的z数据、纹理地址、写系数以及代表像素在输出图像上的位置的数据(该数据以下被称作位置数据)。
为了使图像转换装置进行高精确度的转换,必需使用小尺寸的多边形。但是,这导致如下问题,即例如当缓存被用于将在深度测试时包括在像素数据中的z数据存储到存储器中时,缓存的命中率被劣化,从而导致对存储器的存取的增加。
这一问题参照图3到5描述。
应该注意,参照图3到5给出的下列描述是在假设不执行图像转换的情况下进行的。同时还假设,在图3到5中,所使用的缓存被配置成使得包括在水平方向和竖直方向上并置的四个像素的4×4像素的z数据形成作为缓存的存储单元的缓存块。
图3示出模型10,其使用由多边形111、112、113、114、115、......、11n1、11n1+1、......、112n1、112n1+1、......、113n1......形成的方格。要注意,在没有必要区分各个多边形时,多边形被总称为多边形11。
要注意,在图3中,包括白色或空心圆标记和黑色或实心圆标记的圆形标记中的每一个代表一个像素,并且圆形标记的颜色的白色和黑色代表缓存块之间的边界。具体地,由白色圆形标记所代表的像素和由黑色圆形标记所代表的像素的z数据属于彼此不同的缓存块。此外,彼此不相邻的白色圆形标记的像素的z数据或彼此不相邻的黑色圆形标记的像素的z数据属于互不相同的缓存块。
例如,参照图3,由方形12围住的由黑色圆形标记所代表的151到154、15m1+1到15m1+4、152m1+1到152m1+4和153m1+1到153m1+4这16个像素;由方形13围住的由白色圆形标记所代表的155到158、15m1+5到15m1+8、152m1+5到152m1+8和153m1+5到153m1+8这16个像素的z数据、以及由方形14围住的由黑色圆形标记所代表的159到1512、15m1+9到15m1+12、152m1+9到152m1+12和153m1+9到153m1+12这16个像素的z数据属于互不相同的缓存块。要注意,在没有必要区分像素时,像素在下文中被总称为像素15。
图像转换装置为构成图3的模型10的多边形11以多边形11被设置在其中的水平方向上的顺序、即以由图3中箭头标记A所指示的方向的顺序产生顶点数据。
具体地,图像转换装置首先为沿着竖直方向上最上面一行并置的n1个多边形111到11n1以多边形111、112、113、114、115、......、11n1的顺序、即以多边形在水平方向上并置的顺序产生多边形11单元的顶点数据。然后,图像转换装置为沿着竖直方向上上面第二行并置的n1个多边形11n1+1到112n1以多边形11n1+1、......、112n1的顺序、即以多边形在水平方向上并置的顺序产生多边形11单元的顶点数据。之后,图像转换装置为沿着竖直方向上上面第三行并置的n1个多边形112n1+1到113n1以多边形112n1+1、......、113n1的顺序、即以多边形在水平方向上并置的顺序产生多边形11单元的顶点数据。之后,上面第四行以及随后行中的多边形11的顶点数据被类似地相继产生。
此外,图像转换装置为以上述方式所产生的顶点数据执行顶点操作,并且以顶点数据被获得的顺序对顶点数据进行光栅化以得到像素数据。
换句话说,图像转换装置以多边形111、112、113、114、115、......、11n1、11n1+1、......、112n1、112n1+1、......、113n1......的顺序得到多边形11的顶点数据的顶点操作结果,并以这一顺序进行光栅化。因此,以分别对应于多边形111、112、113、114、115、......、11n1、11n1+1、......、112n1、112n1+1、......、113n1......的像素151、152、153、154、155、......、15m1、15m1+1、......、152m1、152m1+1、......、153m1......的顺序得到像素15的像素数据。
此外,图像转换装置利用存储在存储器中的z数据以获得图像数据的顺序对作为光栅化结果而得到的图像数据进行深度测试。
具体地,图像转换装置首先从存储器中读出由作为缓存块的方形12所包围的像素151到154、15m1+1到15m1+4、152m1+1到152m1+4、153m1+1到153m1+4的z数据。然后,图像转换装置连续地对像素151到154的z数据与作为光栅化结果而得到的像素151到154的像素数据中所包括的z数据按顺序分别进行相互比较,从而进行深度测试。
然后,图像转换装置首先从存储器中读出由作为缓存块的方形13所包围的像素155到158、15m1+5到15m1+8、152m1+5到152m1+8和153m1+5到153m1+8的z数据。然后,图像转换装置相继地对像素155到158的z数据与作为光栅化结果而得到的像素155到158的像素数据中所包括的z数据按顺序分别进行相互比较,从而进行深度测试。之后,像素159到15m1的z数据被以类似的方式进行比较以进行深度测试。
这时,因为可以被存储到缓存中的缓存块的数量被限制,所以当要读出新的缓存块时,图像转换装置从作为偶尔需要的最旧的缓存块开始按顺序清除缓存块。
相应地,当图像转换装置在像素159到15m1的像素数据的深度测试之后将要对像素15m1+1进行深度测试时,包括在当执行像素151到154的深度测试时从存储器中读出作为缓存块的方形12中的16个像素15的z数据通常被从缓存中清除。
因此,当要执行像素15m1+1的深度测试时,图像转换装置必需再次读出包括在方形12中的16个像素15的缓存块。换句话说,图像转换装置必需将每个缓存块读出三次。
图4示出了使用由多边形21构成的同心网格的模型20,图5示出了使用由多边形31构成的同心网格的另一模型30。
在图4中,图像转换装置以多边形21被安排的径向上的顺序产生顶点数据并进行构成模型20的多边形21的顶点操作和光栅化,从而得到像素数据。
具体地,图像转换装置从位于模型20中心O附近的多边形21开始按顺序产生顶点数据并执行在径向B1上并置的多边形21的顶点操作和光栅化。然后,图像转换装置从位于中心O的多边形21开始按顺序产生顶点数据并执行位于前面提到的多边形21右侧的那些多边形21的顶点操作和光栅化。之后,多边形21的顶点数据被产生,并且顶点操作和光栅化被类似地执行。
因此,图像转换装置必需在每次对与并置在投影方向B1和B2上的多边形21相对应并且与像素相对应的像素数据进行深度测试时从存储器中读出例如被包括在作为缓存块的方形22中的那些像素的z数据。
另一方面,在图5中,图像转换装置在设置在多边形31上的同心圆上按顺序产生顶点数据并执行构成图5的模型30的多边形31的顶点操作和光栅化,从而得到像素数据。
具体地,图像转换装置以多边形31被设置在其上的同心圆的顺序产生顶点数据并执行在圆周方向C1上同心并置的多边形31的顶点操作和光栅化。然后,图像转换装置以多边形31在箭头标记C2方向上并置的顺序产生顶点数据并进行在多边形31的外侧相邻并且以箭头标记C2同心并置的多边形31的顶点操作和光栅化。之后,多边形31的顶点数据被产生,并且顶点操作和光栅化被类似地执行。
因此,图像转换装置在每次对与在对应于像素的圆周方向C1到C4上并置的多边形31相对应的图像数据进行深度测试时必需从存储器中读出例如包括在方形32中的像素的z数据。换句话说,图像转换装置必需将每个缓存块读出四次。
发明内容
如果在不同于与上述顶点数据的产生顺序的方向相对应的方向上并置小的且与缓存块的z数据相对应的多个多边形,则通常由于清除的发生而必需将每个缓存块读出多次。换句话说,缓存的命中效率低。
因此,在多边形尺寸被减小以实现高精确度的转换的情况下,存储器的带宽必须被增加,从而导致功耗的增加或生产成本的增加。
因此,期望提供一种对存储器的存取效率增加并且能够高精确度且低功耗地转换图像的图像处理装置和图像处理方法。
根据本发明的一个实施例,提供了一种图像处理装置,其包括:产生部分,被配置用于将分别包括预定数量的在第一方向上并置的多边形所构成的多边形组以这些多边形组在基本上垂直于第一方向的第二方向上被并置的顺序相继确定为作为产生过程的对象的对象块、并且生成多边形单元的构成对象块的多边形的顶点数据;以及确定部分,被配置用于将与构成相对于该对象块的作为该对象块前一对象块的紧邻的前一对象块的那些多边形中位于该紧邻的前一对象块的边界部分中的那些多边形相对应的图像数据存储到用于存储数据块单元的像素数据的存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。
确定部分可以基于构成数据块的像素数据的数量确定构成多边形组并且在第一方向上并置的多边形的数量。在这种情况下,确定部分可以基于要被存储到存储部分中的数据块的数量确定构成多边形组且在第一方向上并置的多边形的数量。此外,确定部分基于多边形的长度确定构成多边形组且在第一方向上并置的多边形的数量。
图像处理装置还可以包括:顶点数据变换部分,被配置用于对由产生部分所产生的顶点数据进行变换过程,使得由与顶点数据相对应的顶点所限定的多边形可以被放大或缩小;以及像素数据变换部分,被配置用于进行将由顶点数据变换部分所变换的顶点数据变换成像素数据的变换过程。
在这种情况下,确定部分可以基于构成数据块的像素数据的数量确定构成多边形组且在第一方向上并置的多边形的数量。此外,确定部分可以基于要被存储到存储部分中的数据块的数量确定构成多边形组且在第一方向上并置的多边形的数量。而且,确定部分可以基于多边形的长度确定构成多边形组且在第一方向上并置的多边形的数量。
图像处理装置可以被配置成使得像素数据包括像素的z数据,并且图像处理装置还包括:转换处理部分,被配置用于比较包括在由像素数据变换部分所变换的像素数据中的z数据与包括在与该像素数据相对应的像素的被存储在存储部分中的像素数据中的z数据,以进行对由像素构成的图像进行转换的转换过程。
根据本发明的另一实施例,提供了一种图像处理方法,包括:产生步骤,将分别由预定数量的在第一方向上并置的多边形构成的多边形组以这些多边形组在基本上垂直于第一方向的第二方向上被并置的顺序相继确定为作为产生过程的对象的对象块、并且生成多边形单元的构成对象块的多边形的顶点数据;以及确定步骤,将与构成相对于该对象块的作为该对象块前一对象块的紧邻的前一对象块的那些多边形中位于该紧邻的前一对象块的边界部分中的那些多边形相对应的图像数据存储到用于存储数据块单元的像素数据的存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。
在图像处理装置和图像处理方法中,分别由预定数量的在第一方向上并置的多边形所构成的多边形组被以这些多边形组在基本上垂直于第一方向的第二方向上被并置的顺序相继确定为作为产生过程对象的对象块。然后,生成多边形单元的构成对象块的多边形的顶点数据。然后,将与构成相对于该对象块的作为该对象块前一对象块的紧邻的前一对象块的那些多边形中位于该紧邻的前一对象块的边界部分中的那些多边形相对应的图像数据存储到存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。
通过图像处理装置和图像处理方法,图像可以被转换。
此外,通过图像处理装置和图像处理方法,提高了对存储部分的存取效率,并且因此,可以低功耗地实现具有高精确度的图像转换。
结合附图,根据下面的描述和所附权利要求,本发明的上述和其它特征以及优点将变得很清楚,在附图中,相同的部分或单元由相同的标号指代。
附图说明
图1A和1B是示出方格形式的网格实例的示意图;
图2A和2B是示出同心圆形式的网格实例的示意图;
图3、4和5是图示顶点数据的传统产生顺序的不同实例的示意图;
图6是示出本发明被应用到其中的图像处理系统的配置实例的框图;
图7是图示图像转换过程的流程图;
图8是示出在图6中示出的外部存储器的具体配置和地址产生过程实例的框图;
图9是图示地址产生过程的流程图;
图10、11和12是图示图像处理系统产生顶点数据的不同顺序的示意图;
图13是图示图像处理系统的输出过程的流程图;
图14是示出图像处理装置的配置实例的框图;以及
图15是示出记录和再现装置的配置实例的框图。
具体实施方式
图6示出了本发明被应用到其中的图像处理系统的配置实例。
现在参照图6,所示的图像处理系统51包括数据图像特殊效果装置(数字多效装置:Digital Multi Effects apparatus)(以下简称为DME)61、外部存储器62和另一外部存储器63。图像处理系统51进行作为被输入到其中的场单元图像的输入图像的缩小、放大、类型改变、旋转、向左或向右翻转、反转或移动,或者对输入图像应用特殊效果以转换输入图像,并输出所得到的帧单元图像。特殊效果可以是例如在水平方向或竖直方向上的镶嵌效果(mosaic effect)、均一效果(postalization)、负/正翻转效果或散焦效果。
应该注意,输入图像由像素的代表亮度信号、色差信号和用于键控的键(key)信号的像素值形成。此外,图像处理系统51的部件根据存储在外部存储器63中的程序执行各种过程。
DME 61由例如IC(集成电路)、LST等形成。DME 61包括预处理部分71、水平滤波器72、竖直滤波器73、IP(隔行逐行:InterlaceProgressive)变换部分74、RAM(随机存取存储器)模块75、插补(interpolation)操作部分76、添加部分77、存储控制部分78和地址产生部分79。
DME 61接收作为在纹理贴图时要被应用的图像的输入图像以及被提供给其的定时信号。输入图像被提供给预处理部分71。定时信号被提供给DME 61的部件,使得这些部件可以响应于定时信号而执行相应过程。
预处理部分71响应于从地址产生部分79提供给其的指令信号对输入图像应用诸如镶嵌、均一和正/负翻转效果的特殊效果。具体地,预处理部分71对像素单元中形成输入图像的像素中预定的一些像素进行滤波过程,以对输入图像应用镶嵌效果。此外,预处理部分71改变形成输入图像的像素的像素值的等级数,以对输入图像应用均一化。而且,预处理部分71使形成输入图像的像素的像素值的等级反转,从而对输入图像应用正/负翻转。预处理部分71将通过应用特殊效果而得到的场单元图像提供给水平滤波器72。
水平滤波器72接收从地址产生部分79提供给其的水平方向上的缩小比例。然后,为了消除在图像被缩小时所出现的水平方向上的重叠部分,水平滤波器72在水平方向上对从预处理部分71所接收的场单元图像执行与所接收的缩小比例相对应的滤波过程。此外,水平滤波器72响应于从地址产生部分79提供给其的指令信号对来自预处理部分71的场单元图像在水平方向上应用散焦作为特殊效果。水平滤波器72将通过在水平方向上应用滤波过程或散焦过程而得到的场单元图像通过存储控制部分78提供给外部存储器62,使得图像被存储到外部存储器62中。
竖直滤波器73接收从地址产生部分79提供给其的竖直方向上的缩小比例。此外,为了消除在图像被缩小时所出现的竖直方向上的重叠部分,竖直滤波器73在竖直方向上对从存储控制部分78提供给其的并在竖直方向上从外部存储器62中读出的场单元图像进行与所接收的缩小比例相对应的滤波过程。此外,竖直滤波器73响应于从地址产生部分79提供给其的指令信号对来自存储控制部分71的场单元图像在竖直方向上应用散焦作为特殊效果。竖直滤波器73将通过在竖直方向上应用滤波过程或散焦过程而得到的场单元图像提供给IP变换部分74。竖直滤波器73还通过存储控制部分78将图像提供给外部存储器62,使得图像被存储到外部存储器62中。
IP变换部分74通过参照另一位于该图像紧邻前面的场单元图像以及该紧邻的前一图像前面的另一场单元图像来对从竖直滤波器73提供给其的场单元图像(隔行图像:interlaced image)进行IP变换。这两个前面的图像被从存储控制部分78提供到IP变换部分74。IP变换部分74将通过IP变换而得到的帧单元图像(逐行图像:progressiveimage)提供给RAM模块75。
RAM模块75存储来自IP变换部分74的帧单元图像。此外,RAM模块75基于从地址产生部分79所提供的纹理地址的整数部分、即输入图像上作为插补操作部分76的插补操作的对象的那些像素(以下称作插补像素)的坐标的水平方向上坐标值的整数部分和竖直方向上坐标值的整数部分来进行读出操作。RAM模块75从构成已被存储在RAM模块75中的帧单元图像的像素的像素值中读出将被用于插补像素的插补的不同像素的多个像素值作为像素值组。例如,RAM模块75读出插补像素周围的不同像素的64个像素值作为像素值组。RAM模块75将所读出的像素值组提供给插补操作部分76。
应该注意,对于输入图像上的坐标系,构成输入图像的像素在水平方向和竖直方向上的坐标值都是整数值。
插补操作部分76基于纹理地址的小数部分-即从地址产生部分79所提供的输入图像上插补像素的坐标的水平和竖直方向上的坐标值的小数部分-以及从RAM模块75所提供的像素值组执行插补操作,以对插补像素的像素值进行插补来执行纹理贴图。插补操作部分76通过存储控制部分78将插补后的帧单元图像提供给外部存储器62,以被存储到外部存储器62中。
添加部分77利用写系数为从地址产生部分79提供给其的每个插补像素应用浓淡处理(shading)。添加部分77输出添加后的图像作为转换后的图像。
存储控制部分78控制到和从外部存储器62的写入和读出。具体地,存储控制部分78将用于控制写入到外部存储器62的控制信号提供给外部存储器62,并且将从水平滤波器72、竖直滤波器73或插补操作部分76所提供的图像提供给外部存储器62,使得图像被写入外部存储器62中。
此外,存储控制部分78将用于控制从外部存储器62读出图像的控制信号提供给外部存储器62以控制从外部存储器62的读出。而且,存储控制部分78提供从外部存储器62所读出的图像作为对竖直滤波器73、IP变换部分74和添加部分77的控制的结果。
地址产生部分79响应于来自用户的转换输入图像的指令而控制图像处理系统51的部件。此外,地址产生部分79控制到和从外部存储器63的写入以及读出。
具体地,地址产生部分79将处理的中间结果或最终结果与用于控制写入到外部存储器63以被存储到外部存储器63中的控制信号一起提供给外部存储器63,并且使得处理的中间或最终结果被写入到外部存储器63中。此外,地址产生部分79将用于控制从外部存储器63读出处理的中间结果或最终结果的控制信号提供给外部存储器63,以控制从外部存储器63的读出,从而从外部存储器63读出处理的中间或最终结果。地址产生部分79的细节在下面参照图8描述。
现在,参照图7描述由图6的图像处理系统51所执行的用以转换输入图像的图像转换过程。例如在将输入图像输入到图像处理系统51中时开始图像转换过程。
在步骤S1,预处理部分71响应于从地址产生部分79提供给其的指令信号而对输入图像执行诸如镶嵌、均一化或正/负翻转的过程。然后,预处理部分71将通过该过程所得到的场单元图像提供给水平滤波器72,之后,过程前进到步骤S2。要注意,如果没有从地址产生部分79提供指令信号,则处理跳过步骤S1并前进到步骤S2。
在步骤S2,水平滤波器72响应于从地址产生部分79提供给其的水平方向上的缩小比例而对来自预处理部分71的场单元图像执行对应于水平方向上缩小比例的滤波过程。此外,水平滤波器72响应于从地址产生部分79所提供的指令信号而对图像执行水平方向上的散焦过程作为用于特殊效果。然后,水平滤波器72将通过对图像执行水平方向上的滤波过程和/或散焦过程而得到的场单元图像提供给存储控制部分78。
在步骤S2的过程之后,处理前进到步骤S3,在该步骤,存储控制部分78将从水平滤波器72提供给其的场单元图像连同用于控制写入到外部存储器62的控制信号一起提供给外部存储器62,使得图像可以被存储到外部存储器62中。在步骤S3的过程之后,处理前进到步骤S4,在该步骤,存储控制部分78将用于控制从外部存储器62读出图像的控制信号提供给外部存储器62。因此,在步骤S3被存储的场单元图像在竖直方向上被从外部存储器62中读出,并被提供到竖直滤波器73。
在步骤S4的过程之后,处理前进到步骤S5,在该步骤,竖直滤波器73响应于从地址产生部分79所提供的竖直方向上的缩小比例而对从存储控制部分78所提供的场单元图像执行对应于竖直方向上缩小比例的滤波过程。此外,竖直滤波器73响应于从地址产生部分79所提供的指令信号而对场单元图像执行竖直方向上的散焦过程作为特殊效果。然后,竖直滤波器73将通过滤波过程和/或散焦过程所得到的场单元图像提供给IP变换部分74,并且还提供给存储控制部分78。
在步骤S5的过程之后,处理前进到步骤S6,在该步骤,存储控制部分78将从存储控制部分78所提供的场单元图像连同用于控制写入到外部存储器62的控制信号一起提供给外部存储器62,使得图像被存储到外部存储器62中。在步骤S6的过程之后,处理前进到步骤S7。在步骤S7,存储控制部分78将用于控制从外部存储器62读出图像的控制信号提供给外部存储器62,以从外部存储器62读出位于该场单元图像紧邻前面的且在紧邻的前一操作循环中被步骤S6的过程存储的场单元图像以及紧邻的前一场单元图像,并将读出的图像提供给IP变换部分74。
在步骤S7的过程之后,处理前进到步骤S8,在该步骤,IP转换部分74参照在步骤S7从存储控制部分78提供给它的两个图像,以对在步骤S5从竖直滤波器73所提供的场单元图像进行IP变换。然后,IP变换部分74将通过IP变换所得到的帧单元图像提供给RAM模块75。
在步骤S9,RAM模块75存储来自IP变换部分74的帧单元图像,之后,处理前进到步骤S10。
在步骤S10,RAM模块75基于从地址产生部分79所提供的纹理地址的整数部分,从构成已被存储的帧单元图像的像素的像素值中读出将被用于插补像素的插补的不同像素的多个像素值作为像素值组。像素值组被提供给插补操作部分76。
在步骤S10的过程之后,处理前进到步骤S11,在该步骤,插补操作部分76基于从地址产生部分79所提供的纹理地址的小数部分以及从RAM模块75所提供的像素值组进行插补操作,以对插补像素的像素值进行插补。然后,插补操作部分76将插补后的图像提供给存储控制部分78。
在步骤S11的过程之后,处理前进到步骤S12,在该步骤,存储控制部分78将来自插补操作部分76的图像连同用于控制到外部存储器62的写入的控制信号一起提供给外部存储器62,使得图像被存储到外部存储器62中。在步骤S12的过程之后,处理前进到步骤S13,在该步骤,存储控制部分78将用于控制从外部存储器62读出图像的控制信号提供给外部存储器62,以读出在步骤S12所存储的图像。之后,处理前进到步骤S14。
在步骤S14,添加部分77利用从地址产生部分79提供给它的写系数给图像添加浓淡处理。然后,添加部分77输出添加后的图像作为变换后的图像,从而结束处理。
要注意,前面描述的图7的图像转换过程的步骤S1到S9的过程在插补前的像素单元中执行,而步骤S10到S14的过程在插补像素单元中执行。
图8示出了图6所示外部存储器63和地址产生部分79的详细配置实例。
现在参照图8,所示的外部存储器63包括存储器101、z数据存储器102、另一z数据存储器103和地址存储器104。
同时,地址产生部分79包括CPU(中央处理单元)121、顶点操作部分122、DDA(数字微分分析器)设置部分123、DDA 124和深度测试部分125、z数据缓存126、切换部分127、地址缓存128、存储控制部分129和输出部分130。
CPU 121根据存储在外部存储器63的存储器101中的程序控制图像处理系统51的部件。
例如,CPU 121响应于用户的指令而将指示镶嵌效果、均一效果或负/正翻转效果的指令信号提供给预处理部分71。此外,CPU 121响应于用户的指令将指示水平方向散焦的指令信号提供给水平滤波器72,或者将指示竖直方向散焦的指令信号提供给竖直滤波器73。
而且,CPU 121响应于用户的指令将水平方向上的缩小比例提供给水平滤波器72,并将竖直方向上的缩小比例提供给竖直滤波器73。此外,CPU 121响应于用户的建模操作而在多边形单元中以预定顺序产生关于构成与转换后的帧单元图像相对应的模型的多边形的顶点的数据(以下称作顶点数据)。然后,CPU 121将所产生的顶点数据提供给顶点操作部分122。下面参照图10到13描述顶点数据的产生顺序。
此外,CPU 121控制到和从存储器101的写入以及读出。例如,CPU 121将处理的中间结果或最终结果连同用于控制到存储器101的写入的控制信号一起提供给存储器101,使得处理的中间结果或最终结果被存储到存储器101中。此外,CPU 121将用于控制从存储器101读出的控制信号提供给存储器101,以从存储器101中读出处理的中间结果或最终结果,并执行如上所述的各种过程。
顶点操作部分122基于从CPU 121所提供的顶点数据而在多边形单元中执行顶点操作,并将顶点操作在多边形单元中所获得的顶点数据提供给DDA设置部分123。DDA设置部分123基于来自顶点操作部分122的多边形单元的顶点数据计算DDA 124所必需的参数,诸如由屏幕上位置的改变而引起的纹理地址的变化。DDA设置部分123将多边形单元的顶点数据和参数提供给DDA 124。
DDA 124基于从DDA设置部分123所提供的参数将多边形单元的顶点数据变换成像素数据。DDA 124将变换所得到的像素数据提供给深度测试部分125。深度测试部分125使用来自DDA 124的像素数据和存储在z数据缓存126中的对应于该像素数据的像素的像素数据,以执行阴影面擦除过程。
具体地,深度测试部分125向z数据缓存126发出读出与包括在来自DDA 124的像素数据中的位置数据相关联的像素单元的地址(以下称作z数据像素单元地址)相关联存储的z数据的请求。然后,深度测试部分125从z数据缓存126获得响应于该请求所读出的z数据。
然后,深度测试部分125比较该z数据与包括在来自DDA 124的像素数据中的z数据,以执行判断与来自DDA 124的像素数据相对应的多边形(以下被适当地称作新多边形)相对于与已被存储在z数据缓存126中的z数据相对应的多边形(以下被适当地称作旧多边形)是否位于虚视点侧的深度测试。
深度测试部分125响应于深度测试的结果,将包括在相对于旧多边形位于虚视点侧的新多边形的像素数据中的写系数和z数据连同与该像素元素相对应的z数据像素单元地址一起提供给z数据缓存126。因此,z数据缓存126用新多边形的z数据和写系数来更新与来自深度测试部分125的z数据像素单元地址相关联存储的旧多边形的z数据和写系数。
此外,深度测试部分125将包括在相对于旧多边形位于虚视点侧的新多边形的像素数据中的纹理地址连同与包括在像素数据中的位置数据相对应的像素单元地址(该地址以下称作纹理像素单元地址)一起输出到地址缓存128。
z数据缓存126将缓存块单元的z数据和写数据作为与存储z数据和写系数的z数据存储器102或103中缓存块单元的地址(以下被称为z数据缓存块单元地址)相关联的缓存块临时存储到缓存块区域中。
而且,z数据缓存126基于从深度测试部分125所提供的z数据像素单元地址在已被存储在其中的z数据中搜索与深度测试部分125要求读出的z数据像素单元地址相对应的z数据。具体地,z数据缓存126搜索包括与来自深度测试部分125的z数据像素单元地址相对应的z数据缓存块单元地址相关联存储的请求的目标的z数据的缓存块,并将缓存块中的请求的目标的z数据确定为搜索结果。
如果搜索到请求目标的z数据,则z数据缓存126将搜索结果的z数据和相应的写系数提供给深度测试部分125。如果没有搜索到请求目标的z数据,即如果没有存储包括请求目标的z数据的缓存块,则z数据缓存126如下发送。z数据缓存126将与从深度测试部分125所提供的z数据像素单元地址相对应的z数据缓存块单元地址连同z数据一起发送到切换部分127,以请求切换部分127读出请求对象的z数据和相应的写系数。因此,z数据和写系数在来自z数据存储器102或103的块单元中被读出。
z数据缓存126还将响应于请求而从切换部分127所提供的缓存块单元的z数据和写系数暂时作为缓存块而与在请求时被发送到切换部分127的z数据缓存块单元地址相关联地存储到缓存块区域中。然后,z数据缓存126将z数据提供到深度测试部分125。
此外,z数据缓存126在其没有缓存块区域可以存储时执行缓存块的清除。具体地,z数据缓存126决定作为清除对象的缓存块,读出该缓存块和与该缓存块相关联的z数据缓存块单元地址,并将缓存块和z数据缓存块单元地址连同清除请求一起提供给切换部分127。
切换部分127控制到和从z数据存储器102和103的写入和读出。具体地,切换部分127响应于输出部分130或z数据缓存126的请求而将待控制的z数据存储器从外部存储器63的z数据存储器102和103中的一个切换到另一个。例如,切换部分127响应于来自z数据缓存126的读出请求而从z数据存储器102和103的一个中读出存储在来自z数据缓存126的z数据缓存块单元地址中的缓存块单元的z数据和写系数。切换部分127将所读出的z数据和写系数提供给z数据缓存126。
此外,切换部分127响应于来自z数据缓存126的清除请求而将被提供给它的z数据和写系数作为缓存块存储到从z数据存储器102和103之一中z数据缓存126所提供的z数据缓存块单元地址中。
此外,切换部分127响应于来自输出部分130的请求而从z数据存储器102和103中另一个中读出z数据和写系数,并将z数据和写系数提供给输出部分130。之后,切换部分127清除存储在z数据存储器102和103中另一个的z数据和写系数。
如上所述,z数据存储器102和z数据存储器103之一存储用于深度测试部分125比较的z数据和相应的写系数,而z数据存储器102和103中的另一个存储通过输出部分130所输出的深度测试结束后的z数据和写系数。
换句话说,切换部分127在每次与一个帧的模型相对应的像素数据被提供给深度测试部分125时都进行切换。
地址缓存128将缓存块单元的纹理地址作为缓存块而与存储缓存块的地址存储器104中的缓存块单元的地址(以下称作纹理缓存块单元地址)相关联地暂时存储在缓存块区域中。地址缓存128基于来自深度测试部分125的纹理像素单元地址,将包括与纹理像素单元地址一起所输出的纹理地址的缓存块单元的纹理地址作为缓存块而与存储缓存块的地址存储器104中缓存块单元的地址(以下称作纹理缓存块单元地址)相关联地暂时存储在缓存块区域中。
此外,地址缓存128基于从深度测试部分125所提供的纹理像素单元地址而从已被存储在其中的纹理地址中搜索与纹理像素单元地址相对应的纹理。具体地,地址缓存128搜索包括与对应于纹理像素单元地址的纹理缓存块单元地址相关联地存储的对应于来自深度测试部分125的纹理像素单元地址的纹理地址的缓存块。然后,地址缓存128将这样搜索到的缓存块确定为搜索结果。
如果搜索到纹理地址,则地址缓存128将搜索结果的纹理地址更新为来自深度测试部分125的纹理地址。如果没有搜索到纹理地址,则地址缓存128将与从深度测试部分125所提供的纹理像素单元地址相对应的纹理缓存块单元地址连同纹理一起发送到存储控制部分129,从而请求存储控制部分129读出与纹理像素单元地址相对应的纹理地址。因此,纹理缓存地址在缓存块单元中被从地址存储器104中读出。
此外,地址缓存128将响应于请求而从存储控制部分129提供给它的缓存块单元中的纹理地址作为缓存块而与在请求时被发送到存储控制部分129的纹理缓存块单元地址相关联地暂时存储到缓存块区域中。
此外,当地址缓存128没有缓存块区域能够存储时,地址缓存128执行缓存块的清除。具体地,地址缓存128确定清除对象的缓存块,读出该缓存块和与该缓存块相关联的纹理缓存块单元地址等,并将这样读出的纹理缓存块单元地址等连同清除请求一起提供给存储控制部分129。
存储控制部分129控制可以由SDRAM等构成的地址存储器104的写入和读出。具体地,存储控制部分129响应于来自地址缓存128的读出请求而从地址存储器中读出被存储在来自地址缓存128的纹理缓存块单元地址的缓存块单元的纹理地址。然后,存储控制部分129将这样读出的纹理地址提供给地址缓存128。
此外,存储控制部分129响应于来自地址缓存128的请求,将从缓存块单元中地址缓存128作为缓存块而提供的缓存块单元的纹理地址存储到连同缓存块一起提供的地址存储器104的纹理缓存块单元地址中,以校正被存储在地址存储器104中的纹理地址。
此外,存储控制部分129响应于来自输出部分130的请求而从地址存储器104读出纹理地址,并将所读出的纹理地址提供给输出部分130。之后,存储控制部分129清除存储在地址存储器104中的被读出纹理地址。
输出部分130向存储控制部分129发出以像素顺序读出从添加部分77所输出的转换后像素的z数据和写系数的请求,并发出读出纹理地址的请求。输出部分130对于从响应于请求而从切换部分127提供给它的z数据和写系数,将z数据输出到另一DME等,并将写系数输出到添加部分77。此外,输出部分130将响应于请求而从存储控制部分129提供给它的纹理地址的整数部分提供给RAM模块75,并将纹理地址的小数部分提供给插补操作部分76。
现在,参照图9描述通过地址产生部分79的产生纹理地址的地址产生过程。该地址产生过程例如在用户执行建模操作时开始。要注意,为与转换后的帧单元图像相对应的每一个模型执行图9的地址产生过程。
在步骤S31,CPU 121响应于用户的建模操作而以预定顺序产生构成与转换后图像相对应的模型的多边形的顶点数据,并将所产生的顶点数据提供给顶点操作部分122。
在步骤S31的过程之后,处理前进到步骤S32,在该步骤,顶点操作部分122基于从CPU 121所提供的顶点数据对每个多边形进行顶点操作。顶点操作部分122将通过顶点操作所得到的多边形单元的顶点数据提供给DDA设置部分123。
在步骤S32的过程之后,处理前进到步骤S33,在该步骤S33,DDA设置部分123基于来自顶点操作部分122的多边形单元的顶点数据计算DDA 124所必需的参数。DDA设置部分123将多边形单元的顶点数据和参数提供给DDA 124。
在步骤S33的过程之后,处理前进到步骤S34,在该步骤,DDA124基于从DDA设置部分123所提供的参数将多边形单元的顶点数据变换成像素数据,并将像素数据提供给深度测试部分125。
在步骤S34的过程之后,过程前进到步骤S35,在该步骤,深度测试部分125向z数据缓存126发出读出与来自DDA 124的像素数据相对应的像素的z数据的请求。然后,深度测试部分125获得响应于请求所读出的z数据。
在步骤S35的过程之后,过程前进到步骤S36,在该步骤,深度测试部分125比较在步骤S35所获得的z数据与包括在来自DDA 124的像素数据中的z数据,以执行判断新多边形相对于旧多边形是否位于虚视点侧的深度测试。
在步骤S36的过程之后,过程前进到步骤S37,在该步骤,深度测试部分125判断新多边形相对于旧多边形是否位于虚视点侧。
如果在步骤S37判断新多边形相对于旧多边形位于虚视点侧,则深度测试部分125将包括在与新多边形相对应的像素数据中的z数据和写系数以及z数据像素单元地址提供给z数据缓存126。此外,深度测试部分125将纹理地址和纹理像素单元地址提供给地址缓存128。
之后,在步骤S38,z数据缓存126与z数据像素单元地址相关联地存储来自深度测试部分125的z数据和写系数,以用新多边形的z数据和写系数更新旧多边形的z数据和写系数。
在步骤S38的过程之后,过程前进到步骤S39,在该步骤,地址缓存128与纹理像素单元地址相关联地存储纹理地址。
当在步骤S37判断新多边形相对于旧多边形不位于虚视点侧时,即,当旧多边形相对于新多边形位于虚视点侧时,或者在步骤S39的过程之后,过程前进到步骤S40。在步骤S40,深度测试部分125判断是否已经为所有与一帧的模型相对应且从DDA 124所提供的z数据执行了深度测试。如果判断还没有为所有z数据执行深度测试,则过程返回到步骤S35,使得类似地执行从步骤S35开始的步骤的过程。
另一方面,如果在步骤S40判断已经为所有z数据执行了深度测试,则过程前进到步骤S41,在该步骤,z数据缓存126和地址缓存128执行缓存块的清除。
具体地,z数据缓存126通过切换部分127将存储在缓存块区域中的缓存块和与缓存块相关联地存储的z数据缓存块单元地址提供给z数据存储器102或103。
此外,地址缓存128将存储在缓存块区域中的缓存块和与缓存块相关联地存储的z数据缓存块单元地址通过存储控制部分129提供给地址存储器104。
要注意,这时,z数据缓存126和地址缓存128可以执行所有缓存块的清除或者可以执行已经对其进行了更新的缓存块的清除。
在图9的地址产生过程之后,输出部分130以从添加部分77输出像素的顺序从切换部分127获得像素的z数据和写系数。然后,输出部分130将z数据输出到另一DME等,并将写系数提供给添加部分77。此外,输出部分130从存储控制部分129获得像素的纹理地址,并将纹理地址的整数部分提供给RAM模块75,同时它将纹理地址的小数部分提供给插补操作部分76。
现在,参照图10到12描述图8所示的CPU 121产生多边形顶点数据的顺序。
图10示出使用与图3所示的相同的方格形式的网格的模型10。
现在参照图10,缓存块由4×4像素的z数据和写系数构成。这类似地也适用于以下参照图11描述的另一模型。此外,在图10中,所示的模型10不处于图像的转换后状态。
在图10中,CPU 121将分别包括12个在竖直方向上并置的多边形的多边形组以这些多边形组在水平方向上并置的顺序相继地确定为用于产生顶点数据的产生过程的对象块(这种块以下称作处理对象块)。然后,CPU 121以多边形在竖直方向上并置的顺序产生多边形单元的构成处理对象块的多边形的顶点数据。
要注意,在下面的描述中,与将被确定为处理对象块的多边形组的顺序相对应的方向线(在图10的实例中,水平方向)被适当的称作基本移动线。此外,与处理对象块中被相继确定为产生过程对象的多边形顺序相对应的方向(在图10的实例中,竖直方向)以下称作移动方向。
这里,形成处理对象块的多边形的数量(该数量以下称作移动量)被确定为使得,当为处理对象块执行产生过程时,位于当前对象处理块与紧邻的前一处理对象块之间的边界上并且对应于该紧邻的前面对象块中多边形的像素数据可以保留在z数据缓存126中,即可以不被从z数据缓存126中清除。
具体地,例如,如果缓存块包括总共x×x个像素的z数据和写系数,其中,x个像素在水平方向和竖直方向上并置,并且N个缓存块可以被存储到z数据缓存126中,则在建模坐标系上像素的水平方向和竖直方向上的长度是1的情况下,移动量的最大值由下式(1)表示:
M=floor((x×N-Margin)/Mesh_Size)      (1)
其中,函数floor()代表不超过括号中的值的最大整数,并且Mesh_Size是模型10在竖直方向上的距离,即多边形11在竖直方向上的长度。此外,Margin是预先确定的值,使得即使在执行图像的转换的情况下,与位于当前对象处理块与紧邻的前一处理对象块之间边界的那些多边形相对应的像素数据可以不被从z数据缓存126中清除。
具体地,在上述式子(1)中,基于其中不执行图像转换的情况确定最大值M,并且在考虑其他其中执行图像转换的情况下,减去由Margin所给出的量。
等于或低于以上述方式所确定的最大值M的数被确定为移动量。要注意,随着移动量增加,缓存的命中效率增加。
在图10中,如上所述,最大值M是12,移动量是12。
在这种情况下,CPU 121首先将总共包括12个在竖直方向上并置的多边形111、112、11n1+1、11n1+2、112n1+1、112n1+2、113n1+1、113n1+2、114n1+1、114n1+2、115n1+1、115n1+2的多边形组确定为处理对象块150。然后,CPU 121以所提到的多边形顺序在多边形11的单元中进行产生过程。
这里,顶点操作部分122、DDA设置部分123和DDA 124以流水线方式处理通过从CPU 121所输出的过程产生的顶点数据。因此,与多边形11相对应的图像数据被以多边形111、112、11n1+1、11n1+2、112n1+1、112n1+2、113n1+1、113n1+2、114n1+1、114n1+2、115n1+1、115n1+2的顺序提供给深度测试部分125。
换句话说,像素151、152、15m1+1、15m1+2、152m1+1、152m1+2、153m1+1、153m1+2、154m1+1、154m1+2、155m1+1、155m1+2、156m1+1、156m1+2、157m1+1、157m1+2的图像数据以该顺序被提供给深度测试部分125。因此,深度测试部分125以这个顺序从z数据缓存126中读出像素15的z数据,并对z数据进行深度测试。
在这种情况下,z数据缓存126首先通过切换部分127从z数据存储器102或103中读出由作为缓存块的方形12包围的像素151到154、15m1+1和15m1+4、152m1+1到152m1+4和153m1+1到153m1+4的z数据,并存储所读出的z数据。然后,深度测试部分125相继地分别比较像素151、152、15m1+1、15m1+2、152m1+1、152m1+2、153m1+1、153m1+2的z数据与包括在从DDA 124所提供的像素151、152、15m1+1、15m1+2、152m1+1、152m1+2、153m1+1、153m1+2中的z数据,以进行深度测试。
然后,z数据缓存126从z数据存储器102或103中读出由作为缓存块的方形161包围的像素154m1+1到154m1+4、155m1+1到155m1+4、156m1+1到156m1+4、157m1+1到157m1+4的z数据,并存储所读出的z数据。然后,深度测试部分125相继地将像素154m1+1、154m1+2、155m1+1、155m1+2、156m1+1、156m1+2、157m1+1、157m1+2的z数据与包括在从DDA124所提供的像素154m1+1、154m1+2、155m1+1、155m1+2、156m1+1、156m1+2、157m1+1、157m1+2的像素数据中的z数据分别进行比较,以进行深度测试。
之后,深度测试部分125利用与通过产生过程所产生的像素数据相对应的像素数据执行深度测试,其中将在水平方向上与处理对象块150相邻的处理对象块确定为处理对象。但是,移动量被确定为使得与位于当前处理对象块151与紧邻的前一处理对象块150之间边界上的多边形112、11n1+2、112n1+2、113n1+2、114n1+2、115n1+2相对应的像素数据可以不被从z数据缓存126中清除,即与方形12和161相对应的缓存块可以如上所述地不被从z数据缓存126中清除。因此,z数据缓存126只需利用两个缓存块执行深度测试,而不必读出新的缓存块。
此外,深度测试部分125随后利用与由产生过程所产生的顶点数据相对应的像素数据进行深度测试,其中在水平方向上与处理对象块151相邻的处理对象块152被确定为处理对象。但是,因为移动量被确定为使得与位于当前处理对象块152和紧邻的前一处理对象块151之间边界上的多边形11相对应的像素数据可以不如上所述地被从z数据缓存126中清除,z数据缓存126只需重新读出由作为缓存块的方形13和162包围的像素15的z数据和写系数,而不必读出由作为缓存块的方形12和161包围的像素15的z数据和写系数。
如上所述,CPU 121将分别包括12个在竖直方向上并置的多边形的多边形组按照这些多边形组在水平方向上并置的顺序相继确定为处理对象块,然后按照这些多边形在竖直方向上并置的顺序产生多边形单元的构成处理对象块的多边形的顶点数据。因此,z数据缓存126不需要将每个缓存块读出多次。换句话说,z数据缓存126的命中效率被增强。
因此,同样在多边形的大小被减小以进行高精确度的转换时,图像处理系统51不需要增加z数据存储器102和103的带宽,并且可以实现高精确度的带宽,同时功耗或生成成本的增加被抑制。
图11示出了表示在执行以顺时针方向旋转由图10的模型10所表示的图像的转换时的转换后图像的模型170。
在图11中,CPU 121将分别包括12个在由图11中的箭头标记b所指示的方向上并置的多边形的多边形组以这些多边形组在垂直于箭头标记b的方向的、由另一箭头标记a指示的方向上并置的顺序相继确定为处理对象块。然后,CPU 121以多边形在箭头标记b的方向上并置的顺序产生多边形单元的构成处理对象块的多边形的顶点数据。换句话说,在图11中,基本移动线是箭头标记a的方向上的线,而移动方向是箭头标记b的方向。
这里假设,图11中的移动量是根据上面给出的式子(1)所确定的最大值M。要注意,在这种情况下,式子(1)的Mesh_Size是在箭头标记b的方向上模型170的间距,即多边形171在箭头标记b的方向上的长度。
在这种情况下,CPU 121首先将在竖直方向上并置的总共12个多边形1711、1712、171n6+1、171n6+2、1712n6+1、1712n6+2、1713n6+1、1713n6+2、1714n6+1、1714n6+2、1715n6+1、1715n6+2确定为处理对象块180,并以这个顺序执行多边形171的单元中的产生过程。但是,因为顶点操作部分122执行剪贴,所以与多边形171相对应的顶点数据被以多边形171n6+2、1712n6+1、1712n6+2、1713n6+1、1713n6+2、1714n6+1、1714n6+2、1715n6+1、1715n6+2的顺序提供给DDA 124。
相应地,DDA 124将多边形171以多边形171n6+2、1712n6+1、1712n6+2、1713n6+1、1713n6+2、1714n6+1、1714n6+2、1715n6+1、1715n6+2的顺序分别变换为相应像素1723、1724、172m2+3、1722m2+2、1722m2+3、1723m2+2、1723m2+3、1724m2+2、1725m2+1、1725m2+2的像素数据。然后,DDA 124将所得到的像素数据提供给深度测试部分125。
深度测试部分125从z数据缓存126中以从DDA 124将z数据提供给它的顺序读出像素172的z数据,并执行深度测试。
这时,z数据缓存126首先通过切换部分127从z数据存储器102或103中读出由作为缓存块的方形173所包围的像素1721到1724、172m2+1到172m2+4、1722m2+1到1722m2+4和1723m2+1到1723m2+4的z数据,并存储所读出的z数据。然后,深度测试部分125相继地将像素1723、1724、172m2+3、1722m2+2、1722m2+3、1723m2+2、1723m2+3与包括在从DDA 124所提供的像素1723、1724、172m2+3、1722m2+2、1722m2+3、1723m2+2、1723m2+3的像素的像素数据中的z数据分别进行比较,以进行深度测试。
然后,z数据缓存126从z数据存储器102或103中读出由作为缓存块的方形174所包围的像素1724m2+1到1724m2+4、1725m2+1到1725m2+4、1726m2+1到1726m2+4和1727m2+1到1727m2+4的z数据,并存储所读出的z数据。然后,深度测试部分125相继地将像素1724m2+4、1725m2+1、1725m2+2的z数据与包括在从DDA 124所提供的像素1724m2+2、1725m2+1、1725m2+2的像素数据中的z数据分别进行比较,以进行深度测试。
之后,深度测试部分125利用与通过产生过程所产生的顶点数据相对应的像素数据进行深度测试,其中,在由箭头标记a所指示的方向上与处理对象块180相邻的处理对象块181被确定为处理对象。但是,因为移动量被确定为使得与位于当前处理对象块181与紧邻的前一处理对象块182之间边界上的多边形171相对应的像素数据可以不被从z数据缓存126中清除,所以z数据缓存126只需读出重新被作为缓存块的方形175和176所包围的像素172的z数据和写系数,而不必读出由作为缓存块的方形173和174所包围的像素172的z数据和写系数。
如上所述,同样在图像处理系统51执行图像转换的情况下,CPU121将分别包括12个在箭头标记b所指示的方向上并置的多边形的多边形组以这些多边形组在由箭头标记a所指示的方向上被并置的顺序相继确定为处理对象块。然后,CPU 121以多边形在箭头标记b的方向上并置的顺序产生多边形单元的构成处理对象块的多边形的顶点数据。从而,z数据缓存126的命中效率被增强。
图12示出使用由多边形201所构成的同心网格的模型200。
现在参照图12,CPU 121将分别包括5个在径向上并置的多边形201的多边形组以这些多边形组在圆周方向上并置的顺序相继确定为处理对象块。然后,CPU 121以多边形在径向上并置的顺序产生多边形单元的构成处理对象块的多边形的顶点数据。换句话说,在图12中,基本移动线是在圆周方向上延伸的线,移动方向是径向。
这里假设,图12中的移动量是根据上面给出的式子(1)所确定的最大值M。要注意,在这种情况下,式子(1)的Mesh_Size是投影方向上模型200的间距,即多边形201在多边形的投影方向上的长度。
CPU 121首先将分别包括5个在投影方向上并置的多边形201的多边形组确定为处理对象块202,并以多边形201在投影方向上并置的顺序在多边形201的单元中进行产生过程。
因此,与构成处理对象块202的多边形201相对应的像素数据被以这些多边形201在投影方向被并置的顺序提供给深度测试部分125。深度测试部分125以从DDA 124提供z数据的顺序从z数据缓存126中读出包括在像素数据中的z数据,以进行深度测试。
这时,z数据缓存126首先通过切换部分127从z数据存储器102或103中读出由作为缓存块的方形210所包围的像素的z数据,并存储所读出的z数据。然后,深度测试部分125相继地将与从DDA 124所提供的像素数据相对应的像素的z数据与包括在从DDA 124所提供的像素数据中的z数据分别进行比较,以进行深度测试。
然后,z数据缓存126从z数据存储器102或103中读出由作为缓存块的方形211所包围的像素的z数据,并存储所读出的z数据。然后,深度测试部分125相继地将与从DDA 124所提供的像素数据相对应的像素的z数据与包括在从DDA 124所提供的像素数据中的z数据分别进行比较,以进行深度测试。
之后,深度测试部分125利用与通过产生过程所产生的顶点数据相对应的像素数据执行深度测试,其中,在圆周方向上与处理对象块202相邻的处理对象块203被确定为处理对象。但是,因为移动量被确定为使得与位于当前处理对象块203和紧邻的前一处理对象块202之间边界上的多边形201相对应的像素数据可以不被从z数据缓存126中清除,所以z数据缓存126不必读出重新由作为缓存块的方形210和211所包围的像素的z数据和写系数。
如上所述,同样在模型由同心网格模型200构成的情况下,CPU121将分别包括5个在投影方向上并置的多边形的多边形组以这些多边形组在圆周方向上并置的顺序相继确定为处理对象块。然后,CPU121以这些多边形在投影方向上并置的顺序产生多边形单元的构成处理对象块的多边形的像素数据。因此,z数据缓存126的命中效率被增强。
要注意,虽然以上参照图10到12描述了在深度测试中用于z数据的z数据缓存126的命中效率,但是类似地增强了存储纹理地址中地址缓存128的命中效率。
此外,通过上面给出的式子(1),基于其中上述没有执行图像转换的情况确定最大值M。因此,当通过顶点操作部分122在建模变换中执行放大或缩小时,必需进行修正。具体地,在执行放大的情况下,必需减少移动量,但是在执行缩小的情况下,必需增加移动量。
相应地,如果放大/缩小比例由S表示,则移动量的最大值M可以通过将其乘以放大/缩小比例S的倒数而通过下式(2)来表示:
M=floor((x×N-Margin)/Mesh_Size/S)    (2)
要注意,如果在式子(2)中不涉及放大或缩小,则因为放大/缩小比例S为1,所以式子(2)等同于式子(1)。因此,同样在不涉及放大或缩小时,最大值M满足式子(2)。换句话说,不管是否执行放大或缩小,最大值M都可以由式子(2)表示。
现在,参照图13描述CPU 121所执行的将顶点数据输出到顶点操作部分122的输出过程。该输出过程对应于图9的步骤S31。
在步骤S51,CPU 121将第一基本移动线上的第一多边形组确定为处理对象块。然后,过程前进到步骤S52。
在步骤S52,CPU 121从处理对象块中的多边形中将移动方向上的第一多边形确定为处理对象。然后,过程前进到步骤S53。
在步骤S53,CPU 121执行产生多边形单元中处理对象的多边形的顶点数据的产生过程,并将所得到的顶点数据提供给顶点操作部分122。顶点数据被用于图9的步骤S32的顶点操作。
在步骤S53的过程之后,过程前进到步骤S54,在该步骤,CPU121判断当前处理对象块的产生过程是否完成,即是否产生当前处理对象块的所有多边形的顶点数据。然后,如果判断当前处理对象块的产生过程还没有完成,则过程前进到步骤S55。
在步骤S55,CPU 121从当前处理对象块中的多边形中将当前处理对象多边形在移动方向上的下一个多边形确定为新的处理对象。然后,过程返回步骤S53,使得如上描述的过程被重复。
另一方面,如果在步骤S54判断当前处理对象块的产生过程完成,即如果当前处理对象是处理对象块中移动方向上的最后一个多边形,则过程前进到步骤S56。在步骤S56,CPU 121判断当前处理对象块是否是当前基本移动线上的最后一个处理对象块。
如果在步骤S56判断当前处理对象块不是当前基本移动线上的最后一个处理对象块,则过程前进到步骤S57。在步骤S57,CPU 121将当前基本移动线上的下一个多边形组判断为处理对象块。之后,过程返回到步骤S53。
另一方面,如果在步骤S56判断当前处理对象块是当前基本移动线上的最后一个处理对象块,则过程前进到步骤S58。在步骤S58,CPU 121判断当前基本移动线是否是最后一个基本移动线。
如果在步骤S58判断当前基本移动线不是最后一个基本移动线,则过程前进到步骤S59,在该步骤,CPU 121将下一基本移动线的第一多边形组确定为处理对象块。
另一方面,如果在步骤S58判断当前基本移动线是最后一个基本移动线,则过程结束。
现在,参照图14描述包括DME 11的图像处理装置250。
图像处理装置250包括根据存储在ROM(只读存储器)252中或者记录在记录部分258中的程序执行各种过程的CPU(中央处理单元)251和DME 11。将由CPU 121执行的程序、将由CPU 251使用的数据等被适当地存储到RAM(随机存取存储器)253中。DME 11、CPU 251、ROM 252和RAM 253通过总线254相互连接。
此外,输入/输出接口255通过总线254被连接到CPU 251。包括键盘、鼠标、麦克风、用于接收从未示出的远程控制器所发送的指令的接收部分等的输入部分256以及包括显示单元、扬声器等的输出部分257被连接到输入/输出接口255。CPU 251响应于从输入部分256所输入的指令执行各种过程。然后,CPU 251将过程的结果输出到输出部分257。
例如,CPU 251响应于从输入部分256所输入的指令控制DME11执行输入图像的缩小、放大、类型改变、旋转、向左和向右翻转、倒转或移动或者对输入图像应用特殊效果。然后,CPU 251控制输出部分257以基于从DME 11所输出的图像显示图像。
连接到输入/输出接口255的记录部分258包括例如硬盘,并存储将由CPU 251执行的程序和各种数据。通信部分259通过诸如互联网或局域网的网络与外部装置通信。要注意,可以通过通信部分259获得记录在记录部分258中的程序。
连接到输入/输出接口255的驱动260在诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质261被加载到其中时驱动可移动介质261,以获得记录在可移动介质261上的程序或数据。所获得的程序或数据被传递给记录部分258并在必要时被其记录。
现在,参照图15描述包括DME 11的记录和再现装置300的实例。
记录和再现装置300包括根据存储在ROM 306中或记录在记录部分305上的程序执行各种过程的CPU 301和DME 11。将由CPU 301执行的程序、数据等被适当地存储到RAM 307中。DME 11、CPU 301、ROM 306和RAM 307通过总线相互连接。
此外,输入I/F(接口)309和输出控制部分310通过总线被连接到CPU 301。输入部分308被连接到输入I/F 309,并且包括键盘、鼠标、麦克风、用于接收从未示出的远程控制器等所发送的指令的接收部分、用于拾取图像拾取对象的图像的图像拾取部分等。同时,输出部分311被连接到输出控制部分310,并且包括显示单元、扬声器等。CPU 301响应于从输入部分308通过输入I/F 309输入给它的指令而执行各种过程。CPU 301通过输出控制部分310将过程的结果输出到输出部分311。
例如,CPU 301响应于被从输入部分308输入给它的指令控制DME 11以执行输入图像的缩小、放大、类型改变、旋转、向左和向右翻转、倒转或移动,或者对输入图像应用特殊效果。而且,CPU 301通过输出控制部分310控制输出部分311以基于从DME 11所输出的图像显示图像。
此外,编码/解码电路302以及记录和再现控制部分304通过总线被连接到CPU 301。编码/解码电路302在必要时将例如通过输入部分308的图像拾取而得到的图像保留到缓冲存储器303中,并在CPU 301的控制下根据诸如JPEG(联合图像专家组)或MPEG(运动图像专家组)系统的预定编码系统对图像进行编码。然后,编码/解码电路302通过记录和再现控制部分304将由编码所得到的图像记录到记录部分305中。
记录和再现控制部分304在CPU 301的控制下控制记录部分305的记录和再现。具体地,记录和再现控制部分304控制记录部分305以记录从编码/解码电路302所提供的图像或者将从记录部分305所读出的图像提供给编码/解码电路302。编码/解码电路302在CPU 301的控制下对来自记录和再现控制部分304的图像进行解码,并将通过解码所得到的图像例如作为输入图像而提供给DME 11。
本发明可以被应用于例如GPU(图形处理单元)。
要注意,在本说明书中,描述被记录在程序记录介质中的程序的步骤在顺序上可以、但不是必须以所述的顺序在时间上串行地被处理,并且包括被并行或单独执行而不是在时间上串行执行的过程。
此外,在本说明书中,术语“系统”被用于代表包括多个设备或装置的整个装置。
虽然已经使用具体术语描述了本发明的优选实施例,但是这种描述只是为了说明的目的,并且应该理解,可以进行改变和变化而不脱离下面权利要求的精神或范围。

Claims (10)

1、一种图像处理装置,包括:
产生部分,被配置用于将分别包括预定数量的在第一方向上并置的多边形的多边形组以所述多边形组在基本垂直于所述第一方向的第二方向上被并置的顺序相继确定为作为产生过程的对象的对象块,并且生成多边形单元的构成对象块的多边形的顶点数据;以及
确定部分,被配置用于将与构成相对于所述对象块作为所述对象块的前一对象块的前一紧邻对象块的那些多边形中位于所述前一紧邻对象块的边界部分中的那些多边形相对应的图像数据存储到用于存储数据块单元的像素数据的存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。
2、根据权利要求1的图像处理装置,其中,所述确定部分基于构成数据块的像素数据的数量确定构成多边形组并且在第一方向上并置的多边形的数量。
3、根据权利要求2的图像处理装置,其中,所述确定部分基于被存储到所述存储部分中的数据块的数量确定构成多边形组且在第一方向上并置的多边形的数量。
4、根据权利要求3的图像处理装置,其中,所述确定部分基于多边形的长度确定构成多边形组且在第一方向上并置的多边形的数量。
5、根据权利要求1的图像处理装置,还包括:
顶点数据变换部分,被配置用于对由所述产生部分所产生的顶点数据进行变换过程,使得由与顶点数据相对应的顶点所界定的多边形可以被放大或缩小;以及
像素数据变换部分,被配置用于进行将由所述顶点数据变换部分所变换的顶点数据变换成像素数据的变换过程。
6、根据权利要求5的图像处理装置,其中,所述确定部分基于构成数据块的像素数据的数量确定构成多边形组且在第一方向上并置的多边形的数量。
7、根据权利要求6的图像处理装置,其中,所述确定部分基于将被存储到所述存储部分中的数据块的数量确定构成多边形组且在第一方向上并置的多边形的数量。
8、根据权利要求7的图像处理装置,其中,所述确定部分基于多边形的长度确定构成多边形组且在第一方向上并置的多边形的数量。
9、根据权利要求1的图像处理装置,其中,像素数据包括像素的z数据,并且所述图像处理装置还包括:
转换处理部分,被配置用于比较被包括在由所述像素数据变换部分所变换的像素数据中的z数据与被包括在与所述像素数据相对应的像素的被存储在所述存储部分中的像素数据中的z数据,以执行对由像素构成的图像进行转换的转换过程。
10、一种图像处理方法,包括如下步骤:
将分别包括预定数量的在第一方向上并置的多边形的多边形组以所述多边形组在基本垂直于第一方向的第二方向上被并置的顺序相继确定为作为产生过程的对象的对象块,并且生成多边形单元的构成对象块的多边形的顶点数据;以及
将与构成相对于所述对象块作为所述对象块的前一对象块的前一紧邻对象块的那些多边形中位于所述前一紧邻对象块的边界部分中的那些多边形相对应的图像数据存储到用于存储数据块单元的像素数据的存储部分中,以确定构成多边形组并且在第一方向上并置的多边形的数量。
CNB2007100885908A 2006-03-17 2007-03-16 图像处理装置和图像处理方法 Expired - Fee Related CN100520828C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006074719A JP4492567B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム
JP2006074719 2006-03-17

Publications (2)

Publication Number Publication Date
CN101038676A true CN101038676A (zh) 2007-09-19
CN100520828C CN100520828C (zh) 2009-07-29

Family

ID=38517289

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007100885908A Expired - Fee Related CN100520828C (zh) 2006-03-17 2007-03-16 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8134557B2 (zh)
JP (1) JP4492567B2 (zh)
CN (1) CN100520828C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798532A (zh) * 2020-08-03 2020-10-20 广州市宝绅科技应用有限公司 一种基于质心重合的网屏编码方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413477B2 (en) * 2010-05-10 2016-08-09 Microsoft Technology Licensing, Llc Screen detector
US9508011B2 (en) 2010-05-10 2016-11-29 Videosurf, Inc. Video visual and audio query
US9311708B2 (en) 2014-04-23 2016-04-12 Microsoft Technology Licensing, Llc Collaborative alignment of images
JP2016076758A (ja) * 2014-10-03 2016-05-12 株式会社東芝 再生装置、符号化装置、および再生方法
US9979693B2 (en) * 2016-01-28 2018-05-22 Fiber Logic Communications, Inc. IP allocation method for use in telecommunication network automatic construction
CN113129406B (zh) * 2019-12-31 2024-03-22 菜鸟智能物流控股有限公司 一种数据处理方法、装置及电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2971765B2 (ja) 1993-12-28 1999-11-08 松下電器産業株式会社 多角形描画方法及び多角形描画装置
US5563995A (en) * 1993-12-28 1996-10-08 Matsushita Electric Industrial Co., Ltd. Method and system for directly drawing a convex polygon having a given number of vertices with high speed
JP3638637B2 (ja) * 1994-06-17 2005-04-13 株式会社ナムコ ポリゴンデータ変換装置及び3次元シミュレータ装置
US5886702A (en) * 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US6057852A (en) * 1997-04-30 2000-05-02 Hewlett-Packard Company Graphics accelerator with constant color identifier
JP3804328B2 (ja) * 1999-03-02 2006-08-02 株式会社セガ 画像処理装置及び画像処理方法
JP2001092989A (ja) * 1999-07-21 2001-04-06 Sega Corp 画像処理方法及びその装置
JP4408152B2 (ja) * 1999-08-05 2010-02-03 株式会社バンダイナムコゲームス テクスチャマッピング方法及びテクスチャマッピング装置
JP3502024B2 (ja) * 1999-09-10 2004-03-02 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、記録媒体および画像処理方法
US7184051B1 (en) * 1999-09-10 2007-02-27 Sony Computer Entertainment Inc. Method of and apparatus for rendering an image simulating fluid motion, with recording medium and program therefor
JP2001118082A (ja) * 1999-10-15 2001-04-27 Toshiba Corp 描画演算処理装置
US6717577B1 (en) * 1999-10-28 2004-04-06 Nintendo Co., Ltd. Vertex cache for 3D computer graphics
JP4487400B2 (ja) * 2000-09-08 2010-06-23 ソニー株式会社 画像変形装置及びその画像変形方法
JP3363137B2 (ja) * 2000-11-29 2003-01-08 コナミ株式会社 当たり判定方法、その装置、当たり判定処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
JP3740011B2 (ja) * 2000-11-29 2006-01-25 コナミ株式会社 画像表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、画像表示制御装置及び方法
JP3638568B2 (ja) * 2001-06-08 2005-04-13 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記録した記録媒体、画像処理装置及び方法
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
JP2003058902A (ja) * 2001-08-21 2003-02-28 Nintendo Co Ltd グラフィックシステムインターフェース
JP4390574B2 (ja) * 2003-03-31 2009-12-24 富士通株式会社 複数のポリゴンから構成される3次元モデルを2次元平面に投影する際の陰線を消去する陰線処理方法
TWI247220B (en) * 2004-01-16 2006-01-11 Via Tech Inc 3D image processing method
JP4560711B2 (ja) * 2004-06-22 2010-10-13 株式会社セガ 画像処理
US7881818B2 (en) * 2005-10-07 2011-02-01 Esko Ip Nv Flexible packaging incorporating two-dimensional graphics

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798532A (zh) * 2020-08-03 2020-10-20 广州市宝绅科技应用有限公司 一种基于质心重合的网屏编码方法及系统
CN111798532B (zh) * 2020-08-03 2021-03-16 广州市宝绅科技应用有限公司 一种基于质心重合的网屏编码方法及系统
US11508093B2 (en) 2020-08-03 2022-11-22 Guangzhou Baoshen Science & Applied Technologies Co., Ltd. Screen coding methods and systems based on mass center coincidence

Also Published As

Publication number Publication date
US8134557B2 (en) 2012-03-13
JP4492567B2 (ja) 2010-06-30
US20070216677A1 (en) 2007-09-20
JP2007249796A (ja) 2007-09-27
CN100520828C (zh) 2009-07-29

Similar Documents

Publication Publication Date Title
CN101038676A (zh) 图像处理装置和图像处理方法
CN1305009C (zh) 图像处理装置和图像处理方法
CN1249632C (zh) 处理图像的方法和设备
CN1845178A (zh) 使用各向异性纹理映射的图像绘制方法和图像绘制设备
CN1612614A (zh) 帧内预测编码方法
CN1496535A (zh) 图像处理装置和图像处理方法、存储介质及计算机程序
CN1917578A (zh) 数据处理设备、数据处理方法及程序
CN1123230C (zh) 图象解码方法
CN1197082C (zh) 使用存储器的方法、两维数据存取存储器以及操作处理设备
CN1595973A (zh) 隔行视频流到逐行视频流的转换方法与系统
CN1307782A (zh) 图象编码/解码方法以及记录该程序的记录媒体
CN1678074A (zh) 用于在分层运动估计中产生运动矢量的方法和装置
CN1178165C (zh) 图象处理装置、图象处理方法
CN1266582C (zh) 大视图分块缓冲显示方法
CN1320825C (zh) 图像译码方法、图像译码装置
CN1227624C (zh) 物体领域信息产生方法和设备
CN1250194A (zh) 活动图像合成装置
CN1833449A (zh) 发送装置、图像处理系统、图像处理方法、程序及记录媒体
CN101038664A (zh) 图像处理设备和图像处理方法
CN1206612C (zh) 用于重现具有畸变的反射性组构表面的方法和设备
CN1932836A (zh) 网格方向、比例、变换和调制估算
CN1118897A (zh) 字符图形产生装置和方法
CN1148964C (zh) 图像处理装置图像处理方法
CN1175377C (zh) 图像处理装置及方法
CN1269673A (zh) 编码设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20130316