JP4487959B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP4487959B2
JP4487959B2 JP2006074718A JP2006074718A JP4487959B2 JP 4487959 B2 JP4487959 B2 JP 4487959B2 JP 2006074718 A JP2006074718 A JP 2006074718A JP 2006074718 A JP2006074718 A JP 2006074718A JP 4487959 B2 JP4487959 B2 JP 4487959B2
Authority
JP
Japan
Prior art keywords
data
unit
address
word
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006074718A
Other languages
English (en)
Other versions
JP2007249795A (ja
Inventor
孝明 渕江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006074718A priority Critical patent/JP4487959B2/ja
Priority to US11/685,418 priority patent/US7768521B2/en
Priority to CNB2007100885912A priority patent/CN100485719C/zh
Publication of JP2007249795A publication Critical patent/JP2007249795A/ja
Application granted granted Critical
Publication of JP4487959B2 publication Critical patent/JP4487959B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、データを記憶するメモリに対するアクセス効率を維持しつつ、メモリ帯域を節約し、消費電力と製造コストを削減することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
従来、仮想3次元空間上における画像の変形を行う画像変形装置は、3角形などの多角形からなるポリゴンの組み合わせで構成される物体形状のモデルを作成し、そのモデルに画像を貼り付けるテクスチャマッピングを行うことにより、画像の変形を行う(例えば、特許文献1参照)。
このような画像変形装置は、テクスチャマッピングのために、最終的に出力される変形後の画像の各画素に表示される画像の、テクスチャマッピングにおいて貼り付けられる画像上の位置を表すテクスチャアドレスを、その画素に対応するポリゴン単位で生成し、画素ごとにメモリに記憶する。
このとき、画像変形装置は、テクスチャアドレスを、そのテクスチャアドレスに対応する画素の、スクリーン上の位置に対応するアドレスに記憶する。従って、ポリゴンごとに生成されたテクスチャアドレスは、メモリ上のランダムなアドレスに画素ごとに記憶される。即ち、テクスチャアドレスを記憶するためには、メモリへのランダムなアクセスが必要となる。
ところで、読み出しと書き込みが可能なメモリとしては、SRAM(Static Random Access Memory),SDRAM(Synchronous Dynamic Random Access Memory)などがある。例えば、コスト的にSRAMより有利なSDRAMは、データの一括読み書き(Burst Read/Burst Write)を行うことで、メモリへのアクセス効率を向上させている。
従って、画像変形装置は、SDRAMを、テクスチャアドレスを記憶するメモリとして用いる場合、テクスチャアドレスの一括書き込みを行うために、ライトバック方式のキャッシュを用いて、テクスチャアドレスの書き込みを行う。
この場合、まず最初に、キャッシュは、書き込み対象とするテクスチャアドレスを記憶するSDRAM上のアドレスを含む、連続した複数のSDRMA上アドレスに、既に記憶されているテクスチャアドレスを、SDRAMから、キャッシュの記憶単位であるキャッシュブロック(キャッシュライン)単位で読み込み、記憶する。
次に、キャッシュは、書き込み対象であるテクスチャアドレスを記憶するSDRAM上のアドレスに対応するキャッシュブロックサイズの領域(以下、キャッシュブロック領域という)に、書き込み対象であるテクスチャアドレスを上書きする。そして、キャッシュブロックの追い出しを行う場合、キャッシュは、その上書きされたキャッシュブロック領域のテクスチャアドレスを、そのテクスチャアドレスに対応するSDRAM上のアドレスに、一括して書き込む。
以上のようにして、キャッシュが、SDRAMから、SDRAM上の連続した複数のアドレスに記憶されているテクスチャアドレスを、キャッシュブロックとして、キャッシュブロック単位で一括して読み込み、キャッシュ上で、SDRAM上のランダムなアドレスに記憶されているテクスチャアドレスの更新を行うことにより、テクスチャアドレスを、SDRAMに一括して書き込むことができる。
特開2002−83316号公報
しかしながら、キャッシュによる、SDRAMからのテクスチャアドレスの読み込みは、テクスチャアドレスをSDRAMに一括して書き込むために行われるものであり、読み込まれたテクスチャアドレスが、実際の処理に使用されることはない。即ち、画像変形装置は、テクスチャアドレスをSDRAMに一括して書き込むために、SDRAMに対して無駄なアクセスをする必要がある。即ち、画像変形装置は、メモリ帯域を無駄に使用することになる。
その結果、画像変形装置は、メモリに高速でアクセスしたり、複数個のメモリを並列に並べて用意する必要があり、消費電力や製造コストが高くなる。
本発明は、このような状況に鑑みてなされたものであり、データを記憶するメモリに対するアクセス効率を維持しつつ、メモリ帯域を節約し、消費電力と製造コストを削減するようにするものである。
本発明の一側面の画像処理装置は、複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、前記ワード単位のデータを出力する出力手段と、前記出力手段により出力されたワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段と、前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する供給手段とを備え、前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、前記記憶手段は、前記修正フラグをマスク信号として用いて、前記供給手段により供給されるアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶することにより、自分自身が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記供給手段から供給される複数ワード単位のデータを構成するデータに修正する。
前記一時記憶手段はまた、前記複数ワード単位のデータに対応付けて、その複数ワード単位のデータを前記記憶手段に優先的に供給するかどうかを表す供給情報を記憶し、前記供給手段は、前記供給情報に基づいて、前記一時記憶手段に記憶されている複数ワード単位のデータから、供給対象とする複数ワード単位のデータを選択し、その供給対象とする複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する。
前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータを含む複数ワード単位のデータに比べて、そのワード単位のデータよりも時間的に前に記憶されたワード単位のデータを含む複数ワード単位のデータを、前記記憶手段に優先的に供給するように、記憶対象であるワード単位のデータを含む複数ワード単位のデータに対応付けて、前記供給情報を記憶する。
前記画像処理装置は、ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成手段と、前記頂点データを、前記ポリゴンに対応する画素に関する画素単位のデータである画素データに変換する変換手段とをさらに設け、前記出力手段は、前記画素データを、前記ワード単位のデータとして出力する。
本発明の一側面の画像処理方法は、複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、前記ワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段とを備える画像処理装置、前記ワード単位のデータを出力しそのワード単位のデータを前記一時記憶手段に記憶させるとともに、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給し、前記修正フラグをマスク信号として用いて、前記記憶手段の、前記記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶させることにより、前記記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記記憶手段に供給され複数ワード単位のデータを構成するデータに修正るステップを含む。
本発明の一側面のプログラムは、複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、前記ワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段とを備える画像処理装置を制御するコンピュータに行わせるプログラムにおいて、前記ワード単位のデータを出力しそのワード単位のデータを前記一時記憶手段に記憶させるとともに、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給し、前記修正フラグをマスク信号として用いて、前記記憶手段の、前記記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶することにより、前記記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記記憶手段に供給され複数ワード単位のデータを構成するデータに修正るステップを含む。
本発明の一側面においては、ワード単位のデータが出力されそのワード単位のデータが一時記憶手段に記憶されるとともに、そのワード単位のデータに対応する修正フラグが、修正する必要があるデータであることを表す修正フラグに変更され、一時記憶手段に記憶されている複数ワード単位のデータと、対応するアドレスおよび修正フラグとが読み出されて、記憶手段に供給され、修正フラグをマスク信号として用いて、記憶手段の、記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータが記憶されることにより、記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみが、そのデータに対応する、記憶手段に供給され複数ワード単位のデータを構成するデータに修正される。
以上のように、本発明の一側面によれば、画像を変形することができる。
また、本発明の一側面によれば、データを記憶するメモリに対するアクセス効率を維持しつつ、メモリ帯域を節約し、消費電力と製造コストを削減することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置(例えば、図1の画像処理システム51)は、第1に、
複数ワード単位(例えば、キャッシュブロック単位)で、所定のアドレス(例えば、テクスチャキャッシュブロック単位アドレス)に、前記ワード単位のデータを記憶する記憶手段(例えば、図3のアドレスメモリ104)と、
前記ワード単位のデータを出力する出力手段(例えば、図3のデプステスト部125)と、
前記出力手段により出力されたワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段(例えば、図5のアレイ141)と、
前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する供給手段(例えば、図5の制御部143)と
を備え、
前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し(例えば、図7のステップS55の処理)、
前記記憶手段は、前記修正フラグをマスク信号として用いて、前記供給手段により供給されるアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶することにより、自分自身が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記供給手段から供給される複数ワード単位のデータを構成するデータに修正する。
本発明の一側面の画像処理装置は、
前記一時記憶手段はまた、前記複数ワード単位のデータに対応付けて、その複数ワード単位のデータを前記記憶手段に優先的に供給するかどうかを表す供給情報(例えば、追い出し制御情報)を記憶し、
前記供給手段は、前記供給情報に基づいて、前記一時記憶手段に記憶されている複数ワード単位のデータから、供給対象とする複数ワード単位のデータを選択し(例えば、図8のステップS71の処理)、その供給対象とする複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する(例えば、図8のステップS73の処理)。
本発明の一側面の画像処理装置は、
前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータを含む複数ワード単位のデータに比べて、そのワード単位のデータよりも時間的に前に記憶されたワード単位のデータを含む複数ワード単位のデータを、前記記憶手段に優先的に供給するように、記憶対象であるワード単位のデータを含む複数ワード単位のデータに対応付けて、前記供給情報を記憶する(例えば、図7のステップS56の処理)。
本発明の一側面の画像処理装置は、第2に、
ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成手段(例えば、図3のCPU121)と、
前記頂点データを、前記ポリゴンに対応する画素に関する画素単位のデータである画素データに変換する変換手段(例えば、図3のDDA124)と
をさらに備え、
前記出力手段は、前記画素データを、前記ワード単位のデータとして出力する。
本発明の一側面の画像処理方法は、
複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段(例えば、図3のアドレスメモリ104)と、前記ワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段(例えば、図5のアレイ141)とを備える画像処理装置(例えば、図1の画像処理システム51)
前記ワード単位のデータを出力し(例えば、図4のステップS37)
そのワード単位のデータを前記一時記憶手段に記憶させるとともに、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し(例えば、図7のステップS55)、
前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給し(例えば、図8のステップS73)、
前記修正フラグをマスク信号として用いて、前記記憶手段の、前記記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶させることにより、前記記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記記憶手段に供給され複数ワード単位のデータを構成するデータに修正
ステップを含む。
図1は、本発明を適用した画像処理システム51の構成例を示すブロック図である。
図1の画像処理システム51は、デジタル画像特殊効果装置(Digital Multi Effects(DME))61、外部メモリ62、および外部メモリ63から構成される。画像処理システム51は、入力されたフィールド単位の画像である入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果(例えば、モザイク、ポスタリゼーション、ネガポジ反転、水平方向または垂直方向のデフォーカスなど)を施すことにより、入力画像を変形し、変形後のフレーム単位の画像を出力する。
なお、入力画像は、各画素の輝度信号、色差信号、およびキーイングに用いられるキー信号を表す値である画素値から構成される。また、画像処理システム51の各部は、外部メモリ63に記憶されているプログラムにしたがって、各種の処理を実行する。
DME61は、例えばIC(Integrated Circuit)やLSIなどにより構成される。DME61は、前処理部71、水平フィルタ72、垂直フィルタ73、IP(Interlace Progressive)変換部74、RAM(Random Access Memory)モジュール75、補間演算部76、付加部77、メモリ制御部78、およびアドレス生成部79から構成される。
DME61には、テクスチャマッピングにおいて貼り付けられる画像である入力画像とタイミング信号が供給される。入力画像は、前処理部71に供給される。タイミング信号は、DME61の各部に供給され、各部はタイミング信号に応じて処理を行う。
前処理部71は、アドレス生成部79から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、ネガポジ反転などの特殊効果を施す。具体的には、前処理部71は、入力画像を構成する画素のうちの、所定の画素に対して画素単位でフィルタ処理を行うことにより、入力画像にモザイクを施す。また、前処理部71は、入力画像を構成する各画素の画素値の階調数を変更することにより、入力画像にポスタリゼーションを施す。さらに、前処理部71は、入力画像を構成する各画素の画素値の階調を反転することにより、入力画像にネガポジ反転を施す。前処理部71は、特殊効果を施した結果得られる、フィールド単位の画像を、水平フィルタ72に供給する。
水平フィルタ72は、アドレス生成部79から供給される水平方向の縮小率に応じて、画像を縮小する場合に生じる水平方向のエリアシング成分を除去するために、前処理部71からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ72は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。水平フィルタ72は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部78を介して、外部メモリ62に供給させ、記憶させる。
垂直フィルタ73は、アドレス生成部79から供給される垂直方向の縮小率に応じて、画像を縮小する場合に生じる垂直方向のエリアシング成分を除去するために、メモリ制御部78から供給される、外部メモリ62から垂直方向に読み出されたフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ73は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。垂直フィルタ73は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像を、IP変換部74に供給するとともに、メモリ制御部78を介して外部メモリ62に供給させ、記憶させる。
IP変換部74は、垂直フィルタ73から供給される、フィールド単位の画像(インタレース画像)を、メモリ制御部78から供給される、その画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像とを参照してIP変換する。IP変換部74は、IP変換の結果得られるフレーム単位の画像(プログレッシブ画像)を、RAMモジュール75に供給する。
RAMモジュール75は、IP変換部74からのフレーム単位の画像を記憶する。また、RAMモジュール75は、アドレス生成部79から供給される、テクスチャアドレスの整数部、即ち補間演算部76による補間演算の対象とする画素(以下、補間画素という)の入力画像上の座標における水平方向の座標値の整数部および垂直方向の座標値の整数部に基づいて、既に記憶されているフレーム単位の画像を構成する各画素の画素値から、補間画素の補間に用いる複数の画素の画素値、例えば補間画素の周辺の64個の画素の画素値を画素値群として読み出し、補間演算部76に供給する。
なお、入力画像上の座標において、入力画像を構成する画素の水平方向および垂直方向の座標値は、整数値となるようになっている。
補間演算部76は、アドレス生成部79から供給される、テクスチャアドレスの小数部、即ち補間画素の入力画像上の座標における水平方向および垂直方向の座標値の小数部と、RAMモジュール75から供給される画素値群とに基づいて、補間演算を行い、補間画素の画素値を補間することにより、テクスチャマッピングを行う。補間演算部76は、補間後のフレーム単位の画像を、メモリ制御部78を介して外部メモリ62に供給させ、記憶させる。
付加部77は、アドレス生成部79から供給されるライティング係数を用いて陰影を付加し、付加後の画像を変形後の画像として出力する。
メモリ制御部78は、外部メモリ62に対する書き込みおよび読み出しを制御する。具体的には、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号を外部メモリ62に供給するとともに、水平フィルタ72、垂直フィルタ73、または補間演算部76から供給される画像を外部メモリ62に供給し、その画像を外部メモリ62に書き込ませる。
また、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより読み出しを制御し、これにより外部メモリ62から読み出された画像を、垂直フィルタ73、IP変換部74、および付加部77に供給する。
アドレス生成部79は、ユーザからの指令に応じて、各部を制御し、入力画像を変形する。また、アドレス生成部79は、外部メモリ63に対する書き込みおよび読み出しを制御する。
具体的には、アドレス生成部79は、外部メモリ63への書き込みを制御するための制御信号とともに、処理の途中結果や処理結果を外部メモリ63に供給し、記憶させる。また、アドレス生成部79は、外部メモリ63からの処理の途中結果や処理結果の読み出しを制御するための制御信号を、外部メモリ63に供給することにより、読み出しを制御し、外部メモリ63から処理の途中結果や処理結果を読み出す。アドレス生成部79の詳細は、図3を参照して後述する。
次に、図2を参照して、図1の画像処理システム51が入力画像を変形する画像変形処理について説明する。この画像変形処理は、例えば、画像処理システム51に入力画像が入力されたとき開始される。
ステップS1において、前処理部71は、アドレス生成部79から供給される指示信号に応じて、入力画像に対して、モザイク、ポスタリゼーション、またはネガポジ反転を施す。そして、前処理部71は、その結果得られるフィールド単位の画像を水平フィルタ72に供給し、ステップS2に進む。なお、アドレス生成部79から指令信号が供給されない場合、処理はステップS1をスキップして、ステップS2に進む。
ステップS2において、水平フィルタ72は、アドレス生成部79から供給される水平方向の縮小率に応じて、前処理部71からのフィールド単位の画像に対して、水平方向の縮小率に対応するフィルタ処理を行う。また、水平フィルタ72は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、水平方向のデフォーカスを施す。そして、水平フィルタ72は、フィルタ処理や水平方向のデフォーカスを施した結果得られる、フィールド単位の画像を、メモリ制御部78に供給する。
ステップS2の処理後は、ステップS3に進み、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号とともに、水平フィルタ72から供給されるフィールド単位の画像を、外部メモリ62に供給し、その画像を記憶させる。ステップS3の処理後は、ステップS4に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、ステップS3で記憶されるフィールド単位の画像を垂直方向に、外部メモリ62から読み出し、垂直フィルタ73に供給する。
ステップS4の処理後は、ステップS5に進み、垂直フィルタ73は、アドレス生成部79から供給される垂直方向の縮小率に応じて、メモリ制御部78から供給されるフィールド単位の画像に対して、垂直方向の縮小率に対応するフィルタ処理を行う。また、垂直フィルタ73は、アドレス生成部79から供給される指示信号に応じて、特殊効果として、垂直方向のデフォーカスを施す。そして、垂直フィルタ73は、フィルタ処理や垂直方向のデフォーカスを施した結果得られる、フィールド単位の画像をIP変換部74に供給するとともに、メモリ制御部78に供給する。
ステップS5の処理後は、ステップS6に進み、メモリ制御部78は、外部メモリ62への書き込みを制御するための制御信号とともに、垂直フィルタ73から供給されるフィールド単位の画像を、外部メモリ62に供給し、その画像を記憶させる。ステップS6の処理後は、ステップS7に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、直前のステップS6の処理で記憶させたフィールド単位の画像の直前のフィールド単位の画像と、直前の前のフィールド単位の画像を、外部メモリ62から読み出し、IP変換部74に供給する。
ステップS7の処理後は、ステップS8に進み、IP変換部74は、ステップS5で垂直フィルタ63から供給されるフィールド単位の画像を、ステップS7でメモリ制御部78から供給される2枚の画像を参照してIP変換する。そして、IP変換部74は、IP変換の結果得られるフレーム単位の画像を、RAMモジュール75に供給する。
ステップS9において、RAMモジュール75は、IP変換部74からのフレーム単位の画像を記憶し、ステップS10に進む。
ステップS10において、RAMモジュール75は、アドレス生成部79から供給されるテクスチャアドレスの整数部に基づいて、既に記憶されているフレーム単位の画像を構成する各画素の画素値から、補間画素の補間に用いる複数の画素の画素値を画素値群として読み出し、補間演算部76に供給する。
ステップS10の処理後は、ステップS11に進み、補間演算部76は、アドレス生成部79から供給されるテクスチャアドレスの小数部と、RAMモジュール75から供給される画素値群とに基づいて、補間演算を行い、補間画素の画素値を補間する。そして、補間演算部76は、補間後の画像をメモリ制御部78に供給する。
ステップS11の処理後は、ステップS12に進み、メモリ制御部78は、外部メモリ72への書き込みを制御するための制御信号とともに、補間演算部76からの画像を外部メモリ62に供給し、その画像を記憶させる。ステップS12の処理後は、ステップS13に進み、メモリ制御部78は、外部メモリ62からの画像の読み出しを制御するための制御信号を外部メモリ62に供給することにより、ステップS12で記憶される画像を読み出し、ステップS14に進む。
ステップS14において、付加部77は、アドレス生成部79から供給されるライティング係数を用いて陰影を付加する。そして、付加部77は、付加後の画像を変形後の画像として出力し、処理は終了する。
なお、上述した図2の画像変形処理のステップS1乃至S9の処理は、補間前の画素単位で行われ、ステップS10乃至S14の処理は、補間画素単位で行われる。
図3は、図1の外部メモリ63とアドレス生成部79の詳細構成例を示すブロック図である。
図3の外部メモリ63は、メモリ101、zデータメモリ102、zデータメモリ103、およびアドレスメモリ104により構成される。
また、アドレス生成部79は、CPU(Central Processing Unit)121、頂点演算部122、DDA(Digital Differential Analyzer)設定部123、DDA124、デプステスト部125、zデータキャッシュ126、切替部127、アドレスキャッシュ128、メモリ制御部129、および出力部130により構成される。
CPU121は、外部メモリ63のメモリ101に記憶されているプログラムにしたがって、画像処理システム51の各部を制御する。
例えば、CPU121は、ユーザの指示に応じて、モザイク、ポスタリゼーション、またはネガポジ反転を指示するための指示信号を、前処理部71に供給する。また、CPU121は、ユーザの指示に応じて、水平方向のデフォーカスを指示するための指示信号を水平フィルタ72に供給したり、垂直方向のデフォーカスを指示するための指示信号を垂直フィルタ73に供給する。
また、CPU121は、ユーザの指示に応じて、水平方向の縮小率を水平フィルタ72に供給するとともに、垂直方向の縮小率を垂直フィルタ73に供給する。さらに、CPU121は、ユーザのモデリングの作業に応じて、変形後のフレーム単位の画像に対応するモデルを構成する各ポリゴンの頂点に関するデータ(以下、頂点データという)を、所定の順序で、ポリゴン単位で生成し、頂点演算部122に供給する。
なお、頂点データは、例えば、モデリング座標上の頂点の座標値、テクスチャアドレス、ライティング係数などの頂点単位のデータにより構成される。
また、CPU121は、メモリ101に対する書き込みおよび読み出しを制御する。例えば、CPU121は、メモリ101への書き込みを制御する制御信号とともに、処理の途中結果や処理結果をメモリ101に供給し、処理の途中結果や処理結果をメモリ101に記憶させる。また、CPU121は、メモリ101からの読み出しを制御する制御信号を供給することにより、メモリ101から処理の途中結果や処理結果を読み出し、上述した各種の処理を行う。
頂点演算部122は、CPU121から供給される頂点データに基づいて、ポリゴン単位で、平行移動、拡大縮小、回転などのモデリング変換、クリッピング、スクリーンへの投影を行う透視投影変換などの頂点演算を行い、その結果得られるポリゴン単位の頂点データを、DDA設定部123に供給する。DDA設定部123は、頂点演算部122からのポリゴン単位の頂点データに基づいて、例えば、スクリーン上の位置の変化に応じたテクスチャアドレスの変化分などの、DDA124に必要なパラメータを計算する。DDA設定部123は、ポリゴン単位の頂点データとパラメータをDDA124に供給する。
DDA124は、DDA設定部123から供給されるパラメータに基づいて、ポリゴン単位の頂点データを、画素データに変換する。なお、画素データは、仮想視点とスクリーン上の画素を結ぶ直線が面と交わる点のz座標を表すzデータ、テクスチャアドレス、ライティング係数、出力画像上の画素の位置を表すデータ(以下、位置データという)などの画素単位のデータにより構成される。また、以下では、テクスチャアドレスは、1ワードのデータであるものとする。
DDA124は、変換の結果得られた画素データを、デプステスト部125に供給する。デプステスト部125は、DDA124からの画素データと、zデータキャッシュ126に記憶されている、その画素データに対応する画素の画素データとを用いて、陰面消去の処理を行う。
具体的には、デプステスト部125は、DDA124からの画素データに含まれる位置データに対応する画素単位のアドレス(以下、zデータ画素単位アドレスという)に対応付けて記憶されているzデータの読出を、zデータキャッシュ126に要求し、その要求に応じて読み出されたzデータを取得する。
そして、デプステスト部125は、そのzデータと、DDA124からの画素データに含まれるzデータとを比較することにより、DDA124からの画素データに対応するポリゴン(以下、適宜、新ポリゴンという)が、既にzデータキャッシュ126に記憶されているzデータに対応するポリゴン(以下、適宜、古ポリゴンという)よりも仮想視点側に位置するかどうかを判定するデプステスト(深度テスト)を行う。
デプステスト部125は、デプステストの結果に応じて、古ポリゴンよりも仮想視点側に位置する新ポリゴンの画素データに含まれるzデータとライティング係数を、その画素データに対応するzデータ画素単位アドレスとともに、zデータキャッシュ126に供給する。その結果、zデータキャッシュ126は、デプステスト部125からのzデータ画素単位アドレスに対応付けて記憶されている古ポリゴンのzデータとライティング係数を、新ポリゴンのzデータとライティング係数に更新する。
また、デプステスト部125は、古ポリゴンよりも仮想視点側に位置する新ポリゴンの画素データに含まれるテクスチャアドレスを、その画素データに含まれる位置データに対応する画素単位のアドレス、即ちワード単位のテクスチャアドレスごとのアドレス(以下、テクスチャワード単位アドレスという)とともに、アドレスキャッシュ128に出力する。
zデータキャッシュ126は、キャッシュブロック単位のzデータとライティング係数を、キャッシュブロックとして、それらが記憶されるzデータメモリ102または103上のキャッシュブロック単位のアドレス(以下、zデータキャッシュブロック単位アドレスという)に対応付けて、キャッシュブロック領域に一時的に記憶する。なお、以下では、キャッシュブロック単位は、16ワードであるものとする。
また、zデータキャッシュ126は、デプステスト部125から供給されるzデータ画素単位アドレスに基づいて、既に記憶しているzデータから、デプステスト部125から読出が要求された、そのzデータ画素単位アドレスに対応するzデータを検索する。即ち、zデータキャッシュ126は、デプステスト部125からのzデータ画素単位アドレスに対応するzデータキャッシュブロック単位アドレスに対応付けて記憶されている、要求対象のzデータを含むキャッシュブロックを検索し、そのうちの要求対象のzデータを検索結果とする。
要求対象のzデータが検索された場合、zデータキャッシュ126は、検索結果であるzデータと、対応するライティング係数とを、デプステスト部125に供給する。要求対象のzデータが検索されない場合、即ち要求対象のzデータを含むキャッシュブロックが記憶されていない場合、zデータキャッシュ126は、そのzデータとともにデプステスト部125から供給されたzデータ画素単位アドレスに対応するzデータキャッシュブロック単位アドレスを、切替部127に送信することにより、要求対象のzデータと、対応するライティング係数の読出を切替部127に要求し、zデータメモリ102または103から、zデータとライティング係数をキャッシュブロック単位で読み出す。
zデータキャッシュ126はまた、要求に応じて切替部127から供給されてくる、キャッシュブロック単位のzデータとライティング係数を、キャッシュブロックとして、要求時に切替部127に送信したzデータキャッシュブロック単位アドレスに対応付けてキャッシュブロック領域に一時的に記憶し、そのzデータをデプステスト部125に供給する。
また、zデータキャッシュ126は、記憶可能なキャッシュブロック領域がない場合、キャッシュブロックの追い出しを行う。具体的には、zデータキャッシュ126は、追い出しの対象となるキャッシュブロックを決定し、そのキャッシュブロック、並びに、それに対応付けられているzデータキャッシュブロック単位アドレスを読み出し、追い出しの要求とともに切替部127に供給する。
切替部127は、zデータメモリ102と103に対する書き込みおよび読み出しを制御する。具体的には、切替部127は、zデータキャッシュ126の要求または出力部130の要求に応じて、制御するzデータメモリを、外部メモリ63のzデータメモリ102および103の一方から他方に切り換える。例えば、切替部127は、zデータキャッシュ126からの読出の要求に応じて、zデータメモリ102および103の一方から、zデータキャッシュ126からのzデータキャッシュブロック単位アドレスに記憶されている、キャッシュブロック単位のzデータとライティング係数を読み出し、zデータキャッシュ126に供給する。
また、切替部127は、zデータキャッシュ126からの追い出しの要求に応じて、zデータメモリ102および103の一方の、zデータキャッシュ126から供給されるzデータキャッシュブロック単位アドレスに、キャッシュブロックとして供給されたzデータとライティング係数を記憶させる。
さらに、切替部127は、出力部130からの要求に応じて、zデータメモリ102および103の他方から、zデータとライティング係数を読み出し、出力部130に供給する。その後、切替部127は、zデータメモリ102および103の他方に記憶されている、読み出されたzデータとライティング係数をクリアする。
以上のように、zデータメモリ102およびzデータメモリ103の一方は、デプステスト部125における比較用のzデータと対応するライティング係数とを記憶し、他方は、出力部130を介して出力されるデプステスト終了後のzデータとライティング係数とを記憶する。
即ち、切替部127は、1フレーム分のモデルに対応する画素データがデプステスト部125に供給されるごとに切替を行う。
アドレスキャッシュ128は、デプステスト部125からのテクスチャワード単位アドレスに基づいて、それとともに出力されるテクスチャアドレスを含むキャッシュブロック単位のテクスチャアドレスを、キャッシュブロックとして、それが記憶されるアドレスメモリ104上のキャッシュブロック単位のアドレス(以下、テクスチャキャッシュブロック単位アドレスという)に対応付けて、キャッシュブロック領域に一時的に記憶する。
また、アドレスキャッシュ128は、記憶可能なキャッシュブロック領域がない場合、キャッシュブロックの追い出しを行う。具体的には、アドレスキャッシュ128は、追い出しの対象となるキャッシュブロックを決定し、そのキャッシュブロック、それに対応付けられているテクスチャキャッシュブロック単位アドレスなどを読み出し、追い出しの要求とともにメモリ制御部129に供給する。
なお、アドレスキャッシュ128の詳細は、図5乃至図8を参照して後述する。
メモリ制御部129は、SDRAMなどにより構成されるアドレスメモリ104に対する書き込みおよび読み出しを制御する。具体的には、メモリ制御部129は、アドレスキャッシュ128からの要求に応じて、アドレスキャッシュ128からキャッシュブロックとして供給されるキャッシュブロック単位のテクスチャアドレスを、アドレスメモリ104の、そのキャッシュブロックとともに供給されるテクスチャキャッシュブロック単位アドレスに、キャッシュブロック単位で記憶させることにより、アドレスメモリ104に記憶されているテクスチャアドレスを修正する。
このとき、メモリ制御部129は、メモリ制御部129から供給される、後述するワード単位の修正フラグをライトマスク信号として用いて、キャッシュブロック単位のテクスチャアドレスをアドレスメモリ104に記憶させることにより、アドレスメモリ104に記憶されている、そのキャッシュブロック単位のテクスチャアドレスに対応するテクスチャアドレスのうち、修正する必要があるテクスチャアドレスのみを修正する。
また、メモリ制御部129は、出力部130からの要求に応じて、アドレスメモリ104から、テクスチャアドレスを読み出し、出力部130に供給する。その後、メモリ制御部129は、アドレスメモリ104に記憶されている、読み出されたテクスチャアドレスをクリアする。
出力部130は、付加部77から出力する変形後の画素の順に、その画素のzデータとライティング係数の読出を切替部127に要求するとともに、テクスチャアドレスの読出をメモリ制御部129に要求する。出力部130は、要求に応じて切替部127から供給されるzデータとライティング係数のうち、zデータを他のDMEなどに出力するとともに、ライティング係数を付加部77に供給する。また、出力部130は、要求応じてメモリ制御部129から供給されるテクスチャアドレスのうちの整数部をRAMモジュール75に供給するとともに、小数部を補間演算部76に供給する。
次に、図4を参照して、アドレス生成部79がテクスチャアドレスを生成するアドレス生成処理について説明する。このアドレス生成処理は、例えばユーザがモデリングの作業を行ったとき、開始される。なお、図4のアドレス生成処理は、変形後のフレーム単位の画像に対応するモデルごとに行われる。
ステップS31において、CPU121は、ユーザのモデリングの作業に応じて、変形後の画像に対応するモデルを構成する各ポリゴンの頂点データを、所定の順序で生成し、頂点演算部122に供給する。
ステップS31の処理後は、ステップS32に進み、頂点演算部122は、CPU121から供給される頂点データに基づいて、ポリゴンごとに頂点演算を行う。頂点演算部122は、頂点演算の結果得られる、ポリゴン単位の頂点データを、DDA設定部123に供給する。
ステップS32の処理後は、ステップS33に進み、DDA設定部123は、頂点演算部122からのポリゴン単位の頂点データに基づいて、DDA124に必要なパラメータを計算する。DDA設定部123は、ポリゴン単位の頂点データとパラメータをDDA124に供給する。
ステップS33の処理後は、ステップS34に進み、DDA124は、DDA設定部123から供給されるパラメータに基づいて、ポリゴン単位の頂点データを、画素データに変換し、デプステスト部125に供給する。
ステップS34の処理後は、ステップS35に進み、デプステスト部125は、zデータキャッシュ126に、DDA124からの画素データに対応する画素のzデータの読出を要求し、その要求に応じて読み出されたzデータを取得する。
ステップS35の処理後は、ステップS36に進み、デプステスト部125は、ステップS35で取得されたzデータと、DDA124からの画素データに含まれるzデータとを比較することにより、新ポリゴンが、古ポリゴンよりも仮想視点側に位置するかどうかを判定するデプステストを行う。
ステップS36の処理後は、ステップS37に進み、デプステスト部125は、デプステストの結果に応じて、新ポリゴンが古ポリゴンよりも仮想視点側に位置するかどうかを判定する。
ステップS37において、新ポリゴンが古ポリゴンよりも仮想視点側に位置すると判定された場合、デプステスト部125は、その新ポリゴンに対応する画素データに含まれるzデータおよびライティング係数と、zデータ画素単位アドレスとを、zデータキャッシュ126に供給するとともに、テクスチャアドレスとテクスチャワード単位アドレスを、アドレスキャッシュ128に供給する。
その後、ステップS38において、zデータキャッシュ126は、デプステスト部125からのzデータとライティング係数を、zデータ画素単位アドレスに対応付けて記憶することにより、古ポリゴンのzデータとライティング係数を、新ポリゴンのzデータとライティング係数に更新する。
ステップS38の処理後は、ステップS39に進み、アドレスキャッシュ128は、テクスチャアドレスを、テクスチャワード単位アドレスに対応付けて記憶する。
ステップS37において、新ポリゴンが古ポリゴンよりも仮想視点側に位置しない、即ち古ポリゴンが新ポリゴンよりも仮想視点側に位置すると判定された場合、またはステップS39の処理後は、ステップS40に進み、デプステスト部125は、DDA124から供給される、1フレーム分のモデルに対応するすべてのzデータについて、デプステストを行ったかどうかを判定し、すべてのzデータについてデプステストを行ってないと判定した場合、ステップS35に戻り、以降の処理を同様に行う。
また、ステップS40において、すべてのzデータについてデプステストを行ったと判定された場合、ステップS41に進み、zデータキャッシュ126とアドレスキャッシュ128は、キャッシュブロックの追い出しを行う。
即ち、zデータキャッシュ126は、キャッシュブロック領域に記憶されているキャッシュブロック、および、それに対応付けて記憶されているzデータキャッシュブロック単位アドレスを、切替部127を介してzデータメモリ102または103に供給する。
なお、このとき、zデータキャッシュ126は、すべてのキャッシュブロック領域に記憶されているキャッシュブロックの追い出しを行ってもよいし、更新が行われたキャッシュブロックの追い出しだけを行うようにしてもよい。
また、アドレスキャッシュ128は、すべてのキャッシュブロックを追い出し対象とした、後述する図8の追い出し処理を行う。
図4のアドレス生成処理の後、出力部130は、付加部77から出力する画素の順に、その画素のzデータとライティング係数を切替部127から取得し、zデータを他のDMEなどに出力するとともに、ライティング係数を付加部77に供給する。また、出力部130は、その画素のテクスチャアドレスをメモリ制御部129から取得し、そのテクスチャアドレスのうちの整数部をRAMモジュール75に供給するとともに、小数部を補間演算部76に供給する。
次に、図5は、アドレスキャッシュ128の詳細構成例を示している。
図5のアドレスキャッシュ128は、2ウェイのセットアソシアティブマッピング方式のキャッシュであり、2組のアレイ141および142と、制御部143とから構成される。
アレイ141は、キャッシュブロックアドレスアレイ151とキャッシュブロックアレイ161から構成され、アレイ142は、キャッシュブロックアドレスアレイ152とキャッシュブロックアレイ162から構成される。
キャッシュブロックアドレスアレイ151は、キャッシュブロックアレイ161を構成するキャッシュブロック領域161Aの数のキャッシュブロック情報151Aにより構成される。キャッシュブロック情報151Aは、エントリ番号、アドレス情報、ワード単位の修正フラグ、および追い出し制御情報から構成される。エントリ番号は、キャッシュブロックアレイ161を構成する各キャッシュブロック領域161Aに付与された番号であり、キャッシュブロック領域161Aに対応している。
図5の例では、キャッシュブロックアレイ161は、64個のキャッシュブロック領域161Aから構成されており、各キャッシュブロック領域161Aには、それぞれ0(「000000」)乃至63(「111111」)の番号のいずれかが付与されている。従って、エントリ番号は、0乃至63のいずれかの番号である。
アドレス情報は、対応するエントリ番号151Aが付与されたキャッシュブロック領域161Aに記憶されている、キャッシュブロック単位のテクスチャアドレスが記憶されるテクスチャキャッシュブロック単位アドレスの情報である。
ワード単位の修正フラグは、対応するキャッシュブロック領域161Aに記憶されるワード単位のテクスチャアドレスが、そのテクスチャアドレスに対応するアドレスメモリ104に記憶されているテクスチャアドレスを修正する必要があるデータであるかどうかをワード単位で表すフラグである。
追い出し制御情報は、対応するキャッシュブロック領域161Aに対して、そのキャッシュブロック領域161Aに付与されたエントリ番号と同一のエントリ番号が付与されたキャッシュブロックアレイ162のキャッシュブロック領域162Aより優先的にキャッシュブロックの追い出しを行うかどうかを表す情報である。
キャッシュブロックアレイ161は、エントリ番号の0乃至64のいずれかの番号が付与された64個のキャッシュブロック領域161Aにより構成される。各キャッシュブロック領域161Aは、キャッシュブロックである16ワードのテクスチャアドレス、即ち16個の画素の画素データに含まれるテクスチャアドレスを、キャッシュブロックとして記憶する。
以上のように、アレイ141は、エントリ番号を用いて、キャッシュブロックアドレスアレイ151のキャッシュブロック情報151Aと、キャッシュブロックアレイ161のキャッシュブロック領域161Aに記憶されるキャッシュブロックとを対応付けている。
なお、アレイ142は、アレイ141と同様に構成されるので、説明は省略するが、図5の例では、アレイ142のキャッシュブロックアドレスアレイ152のエントリ番号「000011」に対応付けて、アドレス情報「0001 0011 1100 10」が記憶されている。
制御部143には、デプステスト部125からテクスチャアドレスと、テクスチャワード単位アドレスとが供給される。制御部143は、テクスチャワード単位アドレスに基づいて、テクスチャアドレスを、キャッシュブロックアレイ161または162に記憶させる。また、制御部143は、デプステスト部125からのテクスチャアドレスを記憶可能なキャッシュブロック領域161Aと162Aに、既に記憶されている他のテクスチャアドレスが記憶されている場合、キャッシュブロックの追い出しを行う。
なお、以下では、アレイ141と142を区別する必要がない場合、それらをまとめてアレイ140といい、キャッシュブロックアドレスアレイ151と152を区別する必要がない場合、それらをまとめてキャッシュブロックアドレスアレイ150という。また、キャッシュ情報151Aと152Aを区別する必要がない場合、それらをまとめてキャッシュ情報150Aといい、キャッシュブロックアレイ161と162を区別する必要がない場合、それらをまとめてキャッシュブロックアドレスアレイ160という。
さらに、キャッシュブロック領域161Aと162Aを区別する必要がない場合、それらをまとめてキャッシュブロック領域160Aという。
図6は、デプステスト部125がアドレスキャッシュ128に供給するテクスチャワード単位アドレスの例を示している。
図6の1段目は、テクスチャワード単位アドレスを16進数で表したものであり、2段目は、テクスチャワード単位アドレスを2進数で表したものである。即ち、図6のテクスチャワード単位アドレスは、16進数で表すと、「13C834」となり、2進数で表すと、「0001 0011 1100 1000 0011 0100」となっている。
図6の24ビットのテクスチャワード単位アドレスは、上位から順に、14ビットのアドレス情報、6ビットのエントリ番号、および4ビットのオフセットが配置されることにより構成される。ここで、オフセットとは、テクスチャアドレスを、キャッシュブロック領域160Aの先頭から何ワード目に記憶するかを表す情報である。
図5の制御部143は、デプステスト部125から、図6に示したテクスチャワード単位アドレスが供給された場合、そのテクスチャワード単位アドレスのうちの、上位14ビットのアドレス情報「0001 0011 1100 10」と、6ビットのエントリ番号「000011」とから、キャッシュブロックアドレスアレイ150の、エントリ番号「000011」に対応付けて、アドレス情報「0001 0011 1100 10」が記憶されているかどうかを判定する。
図5のキャッシュブロックアドレスアレイ152には、エントリ番号「000011」に対応付けて、アドレス情報「0001 0011 1100 10」が記憶されているので、キャッシュブロックアレイ162のエントリ番号「000011」が付与されたキャッシュブロック領域162Aの先頭から、オフセット「0100」で表される8ワード目に、デプステスト部125からのテクスチャアドレスを記憶する。
次に、図7を参照して、アドレスキャッシュ128が、テクスチャアドレスを記憶する記憶処理について説明する。この記憶処理は、図4のステップS39に対応する。
ステップS51において、制御部143は、2個のキャッシュブロックアレイ160内のキャッシュブロック領域160Aのうちのいずれかが、デプステスト部125から供給されるテクスチャワード単位アドレスに対応するキャッシュブロック領域としてヒットしたかどうかを判定する。具体的には、制御部143は、キャッシュブロックアドレスアレイ150と151のいずれかの、テクスチャワード単位アドレス(図6)に含まれるエントリ番号に対応するキャッシュブロック情報150Aに、テクスチャワード単位アドレスに含まれるアドレス情報が含まれているかどうかを判定する。
ステップS51において、ヒットしていないと判定された場合、ステップS52に進み、制御部143は、キャッシュブロックを追い出す追い出し処理を行う。この追い出し処理の詳細は、図8を参照して後述する。
ステップS52の処理後は、ステップS53に進み、制御部143は、追い出し対象とされたキャッシュブロック領域160Aに対応するキャッシュブロック情報150Aのアドレス情報として、デプステスト部125からのテクスチャワード単位アドレスに含まれるアドレス情報を記憶する。
ステップS51において、ヒットしたと判定された場合、または、ステップS53の処理後は、ステップS54に進み、制御部143は、追い出し対象とされたキャッシュブロック領域160Aの先頭から、デプステスト部125からのテクスチャワード単位アドレスに含まれるオフセットが表すワード目に、テクスチャアドレスを記憶させる。
ステップS54の処理後は、ステップS55に進み、制御部143は、追い出し対象とされたキャッシュブロック領域160Aに対応するキャッシュブロック情報150A、即ちステップS53で記憶されたアドレス情報を含むキャッシュブロック情報150Aの、ステップS52でテクスチャアドレスが記憶されたワード目に対応するワード単位の修正フラグを、修正する必要があるデータであることを表す値である「1」に設定する。
ステップS55の処理後は、ステップS56において、制御部143は、追い出し対象とされたキャッシュブロック領域160Aに対応するキャッシュブロック情報150Aと、そのキャッシュブロック情報150Aに含まれるエントリ番号と同一のエントリ番号を含む、他のキャッシュブロックアドレスアレイ150に記憶されるキャッシュブロック情報150Aとに含まれる2個の追い出し制御情報を更新する。
例えば、制御部143は、この2個の追い出し制御情報のうち、ステップS55で設定されたワード単位の修正フラグとともに、キャッシュブロック情報150Aに含まれる追い出し制御情報を、優先的に追い出さないことを表す情報に更新し、他の追い出し制御情報を、優先的に追い出すことを表す情報に更新する。
これにより、同一のエントリ番号が付与されたキャッシュブロック領域160Aのうち、より前にテクスチャアドレスが記憶されたキャッシュブロック領域160Aに対する追い出しを、優先的に行うことができる。即ち、いまデプステスト部125から供給されたテクスチャアドレスを含むキャッシュブロックに比べて、そのテクスチャアドレスより前に記憶されたテクスチャアドレスを含むキャッシュブロックが、優先的にアドレスメモリ104に供給される。
次に、図8を参照して、図7のステップS52の追い出し処理について説明する。
ステップS71において、制御部143は、デプステスト部125から供給されるテクスチャワード単位アドレスに含まれるエントリ番号と同一のエントリ番号とともにキャッシュブロック情報150Aに含まれる2個の追い出し制御情報に基づいて、その2個の追い出し制御情報のうち、優先的に追い出すことを表す追い出し制御情報に対応するキャッシュブロック領域160Aに記憶されるキャッシュブロックを、追い出し対象とするキャッシュブロックとして選択し、ステップS72に進む。
ステップS72において、制御部143は、追い出し対象とするキャッシュブロックに対応するワード単位の修正フラグがすべて「0」であるかどうかを判定し、すべて「0」ではないと判定した場合、ステップS73に進む。
ステップS73において、制御部143は、追い出し対象とするキャッシュブロックを読み出すとともに、対応するキャッシュブロック情報151Aに含まれるアドレス情報が表すテクスチャキャッシュブロック単位アドレスと、ワード単位の修正フラグとを読み出し、テクスチャアドレスとテクスチャキャッシュブロック単位アドレスを、メモリ制御部129を介してアドレスメモリ104に供給するとともに、ワード単位の修正フラグをライトマスク信号として、メモリ制御部129を介してアドレスメモリ104に供給する。
この後、メモリ制御部129が、制御部143からのライトマスク信号を用いて、アドレスメモリ104のテクスチャキャッシュブロック単位アドレスに、制御部143から供給される16ワードのテクスチャアドレスを記憶させることにより、アドレスメモリ104は、自分自身が記憶しているテクスチャアドレスのうち、修正フラグの「1」に対応するテクスチャアドレスを、そのテクスチャアドレスに対応する、制御部143から供給される16ワードのテクスチャアドレスを構成するテクスチャアドレスに修正することができる。
ステップS72において、ワード単位の修正フラグがすべて「0」であると判定された場合、またはステップS73の処理後は、図7のステップS52に戻り、ステップS53以降の処理が行われる。
以上のように、制御部143は、ワード単位の修正フラグを記憶するので、それをライトマスク信号として、16ワードのテクスチャアドレスとともに送信することにより、アドレスメモリ104は、16ワードのテクスチャアドレスのうち、修正する必要があるワードのテクスチャアドレスだけを修正することができる。
その結果、アドレスキャッシュ128は、アドレスメモリ104への一括書き込みを行うために、アドレスメモリ104に記憶されているテクスチャアドレスを、アドレスキャッシュ128上で修正する必要がないので、アクセス効率を維持するために、不要な読み込みを行う必要がなく、メモリ帯域を節約することができる。これにより、消費電力と製造コストを削減することができる。
次に、図9を参照して、図1のDME61が組み込まれた画像処理装置201の例について説明する。
図9のCPU251とDME61は、ROM(Read Only Memory)252、または記録部258に記録されているプログラムにしたがって各種の処理を実行する。RAM(Random Access Memory)253には、CPU251が実行するプログラムやデータなどが適宜記憶される。これらのDME61、CPU251、ROM252、およびRAM253は、バス254により相互に接続されている。
CPU251にはまた、バス254を介して入出力インターフェース255が接続されている。入出力インターフェース255には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部256、ディスプレイ、スピーカなどよりなる出力部257が接続されている。CPU251は、入力部256から入力される指令に対応して各種の処理を実行する。そして、CPU251は、処理の結果を出力部257に出力する。
例えば、CPU251は、入力部256から入力される指令に対応して、DME61を制御し、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU251は、DME61から出力される変形後の画像に基づいて、画像を出力部257に表示させる。
入出力インターフェース255に接続されている記録部258は、例えばハードディスクからなり、CPU251が実行するプログラムや各種のデータを記憶する。通信部259は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。なお、記録部258に記録されるプログラムは、通信部259を介して取得されるようにしてもよい。
入出力インターフェース255に接続されているドライブ260は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア261が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部258に転送され、記録される。
次に、図10を参照して、図1のDME61が組み込まれた記録再生装置300の例について説明する。
図10のCPU301とDME61は、ROM306または記録部305に記録されているプログラムにしたがって各種の処理を実行する。RAM307には、CPU301が実行するプログラムやデータなどが適宜記憶される。これらのDME61、CPU301、ROM306、およびRAM307は、バスにより相互に接続されている。
CPU301にはまた、バスを介して入力I/F(Interface)309と出力制御部301が接続されている。入力I/F309には、キーボード、マウス、マイクロホン、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、被写体を撮像する撮像部などよりなる入力部308が接続され、出力制御部301には、ディスプレイ、スピーカなどよりなる出力部311が接続されている。CPU301は、入力部308から入力I/F309を介して入力される指令に対応して、各種の処理を実行する。そして、CPU301は、処理の結果を、出力制御部301を介して出力部311に出力する。
例えば、CPU301は、入力部308から入力される指令に対応して、入力画像を縮小、拡大、型の変更、回転、左右反転もしくは上下反転、または移動させたり、入力画像に特殊効果を施す。そして、CPU301は、DME61から出力される変形後の画像に基づいて、画像を、出力制御部310を介して出力部311に表示させる。
さらに、CPU301には、バスを介して、符号化/復号回路302と記録再生制御部304が接続されている。符号化/復号回路302は、CPU301の制御により、例えば入力部308により撮像された結果得られる画像を、必要に応じて、バッファメモリ303に保持させながら、JPEG(Joint Photographic Experts Group)、MPEG(Moving Picture Experts Group)などの所定の符号化方式で符号化する。そして、符号化/復号回路302は、符号化の結果得られる画像を、記録再生制御部304を介して、記録部305に記録させる。
記録再生制御部304は、CPU301の制御により、記録部305に対する記録と再生を制御する。即ち、記録再生制御部304は、符号化/復号回路302から供給される画像を記録部305に記録させたり、記録部305から読み出した画像を、符号化/復号回路302に供給する。符号化/復号回路302は、CPU301の制御により、記録再生制御部304からの画像を復号し、その結果得られる画像を、例えば入力画像としてDME61に供給する。
本発明は、例えばGPU(Graphics Processing Unit)に適用することができる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 画像変形処理を説明するフローチャートである。 外部メモリとアドレス生成部の詳細構成例を示すブロック図である。 アドレス生成処理を説明するフローチャートである。 アドレスキャッシュの詳細構成例を示す図である。 テクスチャワード単位アドレスの例を示す図である。 記憶処理を説明するフローチャートである。 追い出し処理を説明するフローチャートである。 画像処理装置の構成例を示すブロック図である。 記録再生装置の構成例を示すブロック図である。
符号の説明
51 画像処理システム, 61 DME, 104 アドレスメモリ, 125 デプステスト部, 128 アドレスキャッシュ, 141 アレイ, 142 アレイ

Claims (6)

  1. 複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、
    前記ワード単位のデータを出力する出力手段と、
    前記出力手段により出力されたワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段と、
    前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する供給手段と
    を備え、
    前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、
    前記記憶手段は、前記修正フラグをマスク信号として用いて、前記供給手段により供給されるアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶することにより、自分自身が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記供給手段から供給される複数ワード単位のデータを構成するデータに修正する
    画像処理装置。
  2. 前記一時記憶手段はまた、前記複数ワード単位のデータに対応付けて、その複数ワード単位のデータを前記記憶手段に優先的に供給するかどうかを表す供給情報を記憶し、
    前記供給手段は、前記供給情報に基づいて、前記一時記憶手段に記憶されている複数ワード単位のデータから、供給対象とする複数ワード単位のデータを選択し、その供給対象とする複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給する
    請求項1に記載の画像処理装置。
  3. 前記一時記憶手段は、前記ワード単位のデータを記憶する場合、そのワード単位のデータを含む複数ワード単位のデータに比べて、そのワード単位のデータよりも時間的に前に記憶されたワード単位のデータを含む複数ワード単位のデータを、前記記憶手段に優先的に供給するように、記憶対象であるワード単位のデータを含む複数ワード単位のデータに対応付けて、前記供給情報を記憶する
    請求項2に記載の画像処理装置。
  4. ポリゴンの頂点に関するデータである頂点データを、ポリゴン単位で生成する生成手段と、
    前記頂点データを、前記ポリゴンに対応する画素に関する画素単位のデータである画素データに変換する変換手段と
    をさらに備え、
    前記出力手段は、前記画素データを、前記ワード単位のデータとして出力する
    請求項1に記載の画像処理装置。
  5. 複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、前記ワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段とを備える画像処理装置
    前記ワード単位のデータを出力し
    そのワード単位のデータを前記一時記憶手段に記憶させるとともに、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、
    前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給し、
    前記修正フラグをマスク信号として用いて、前記記憶手段の、前記記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶させることにより、前記記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記記憶手段に供給され複数ワード単位のデータを構成するデータに修正
    ステップを含む画像処理方法。
  6. 複数ワード単位で、所定のアドレスに、前記ワード単位のデータを記憶する記憶手段と、前記ワード単位のデータを含む前記複数ワード単位のデータと、前記アドレス、および、その複数ワード単位のデータを構成する前記ワード単位のデータが、そのデータに対応する前記記憶手段に記憶されているデータを修正する必要があるデータであるかどうかを前記ワード単位で表す修正フラグとを対応付けて、一時的に記憶する一時記憶手段とを備える画像処理装置を制御するコンピュータに行わせるプログラムにおいて、
    前記ワード単位のデータを出力し
    そのワード単位のデータを前記一時記憶手段に記憶させるとともに、そのワード単位のデータに対応する修正フラグを、修正する必要があるデータであることを表す修正フラグに変更し、
    前記一時記憶手段に記憶されている複数ワード単位のデータと、対応する前記アドレスおよび前記修正フラグとを読み出し、前記記憶手段に供給し、
    前記修正フラグをマスク信号として用いて、前記記憶手段の、前記記憶手段に供給されアドレスに、そのアドレスとともに供給される複数ワード単位のデータを記憶させることにより、前記記憶手段が記憶しているデータのうち、修正する必要があるデータであることを表す修正フラグに対応するデータのみを、そのデータに対応する、前記記憶手段に供給され複数ワード単位のデータを構成するデータに修正
    ステップを含むプログラム。
JP2006074718A 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP4487959B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006074718A JP4487959B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム
US11/685,418 US7768521B2 (en) 2006-03-17 2007-03-13 Image processing apparatus and image processing method
CNB2007100885912A CN100485719C (zh) 2006-03-17 2007-03-16 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006074718A JP4487959B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007249795A JP2007249795A (ja) 2007-09-27
JP4487959B2 true JP4487959B2 (ja) 2010-06-23

Family

ID=38517303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006074718A Expired - Fee Related JP4487959B2 (ja) 2006-03-17 2006-03-17 画像処理装置および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US7768521B2 (ja)
JP (1) JP4487959B2 (ja)
CN (1) CN100485719C (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306402A (zh) * 2011-09-16 2012-01-04 中山大学 一种移动可视媒体的三维图形处理系统
CN102521793B (zh) * 2011-12-01 2014-06-18 福州瑞芯微电子有限公司 实现节省图像存储空间的存储控制装置和方法
KR102066659B1 (ko) 2013-08-13 2020-01-15 삼성전자 주식회사 그래픽 프로세싱 유닛, 이를 포함하는 그래픽 프로세싱 시스템 및 이의 동작 방법
US9979693B2 (en) * 2016-01-28 2018-05-22 Fiber Logic Communications, Inc. IP allocation method for use in telecommunication network automatic construction
KR102651126B1 (ko) * 2016-11-28 2024-03-26 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
CN110309014B (zh) * 2019-07-05 2023-06-20 西安微电子技术研究所 一种全行编解码sram编码器数据读写结构及数据读写方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867727A (en) * 1992-06-24 1999-02-02 Fujitsu Limited System for judging read out transfer word is correct by comparing flag of transfer word and lower bit portion of read destination selection address
JPH08110875A (ja) 1994-10-12 1996-04-30 Matsushita Electric Ind Co Ltd 主記憶制御装置
US5909698A (en) 1997-03-17 1999-06-01 International Business Machines Corporation Cache block store instruction operations where cache coherency is achieved without writing all the way back to main memory
WO1998054905A1 (en) * 1997-05-30 1998-12-03 Sony Corporation Image mapping device and method, and image generating device and method
BR9906458A (pt) * 1998-05-20 2000-09-19 Sony Computer Entertainment Inc Dispositivo de processamento de imagens, método e meio de distribuição
JP3804328B2 (ja) * 1999-03-02 2006-08-02 株式会社セガ 画像処理装置及び画像処理方法
JP4228455B2 (ja) 1999-03-04 2009-02-25 株式会社セガ 画像処理方法及び画像処理装置
JP2000285019A (ja) 1999-03-31 2000-10-13 Nec Ibaraki Ltd キャッシュ制御回路
JP2000089985A (ja) 1999-08-20 2000-03-31 Mitsubishi Electric Corp コンピュ―タのバッファキャッシュ管理方法
JP4482996B2 (ja) 2000-01-26 2010-06-16 ソニー株式会社 データ記憶装置とその方法および画像処理装置
JP4487400B2 (ja) 2000-09-08 2010-06-23 ソニー株式会社 画像変形装置及びその画像変形方法
US6862027B2 (en) 2003-06-30 2005-03-01 Microsoft Corp. System and method for parallel execution of data generation tasks
JP2005062946A (ja) 2003-08-12 2005-03-10 Fuji Xerox Co Ltd メモリ制御装置
JP4137903B2 (ja) 2005-03-14 2008-08-20 株式会社ルネサステクノロジ グラフィックス表示装置およびグラフィックスプロセッサ

Also Published As

Publication number Publication date
CN100485719C (zh) 2009-05-06
US20070216695A1 (en) 2007-09-20
JP2007249795A (ja) 2007-09-27
US7768521B2 (en) 2010-08-03
CN101038664A (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
US8102428B2 (en) Content-aware video stabilization
US6940511B2 (en) Graphics texture processing methods, apparatus and computer program products using texture compression, block overlapping and/or texture filtering
CN108536405B (zh) 用于数据处理系统的显示控制器及其操作方法
JP5120987B2 (ja) 画像処理のための装置および方法、およびシステム
JP4487959B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO1999052077A1 (fr) Dispositif et procede de trace d'images, et support associe
CA2163839A1 (en) Method and apparatus for mapping texture
JP4971442B2 (ja) ピクセルデータ変換のための画像処理装置及び方法
JP4122573B2 (ja) 画像処理方法及び画像処理プログラムを記録した記録媒体
US11004427B2 (en) Method of and data processing system for providing an output surface
JP4492567B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2007013874A (ja) 画像特殊効果装置,グラフィックスプロセッサ,プログラム及び記録媒体
US20190005924A1 (en) Data processing systems
JP4265791B2 (ja) 法線マップデータ生成方法、描画処理方法および描画処理装置
JP4919805B2 (ja) 矩形画像描画装置、矩形画像描画方法、及び集積回路
JP2007249791A (ja) 画像処理装置および画像処理方法、並びにプログラム
US7382376B2 (en) System and method for effectively utilizing a memory device in a compressed domain
WO1998050887A1 (fr) Processeur d'images et procede de traitement d'images
JP3971448B2 (ja) 描画装置及び描画方法
JP4465844B2 (ja) 画像処理装置および方法、並びに記録媒体
WO2024087971A1 (zh) 用于图像处理的方法、装置及存储介质
JPH10187124A (ja) 描画装置および描画方法
TWM591679U (zh) 具有線緩衝器的影像校正系統
US20060268014A1 (en) System and method for efficiently supporting image deformation procedures in an electronic device
JP2003108059A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100322

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees