JP6190170B2 - Space / gradation reduction apparatus and program - Google Patents
Space / gradation reduction apparatus and program Download PDFInfo
- Publication number
- JP6190170B2 JP6190170B2 JP2013120010A JP2013120010A JP6190170B2 JP 6190170 B2 JP6190170 B2 JP 6190170B2 JP 2013120010 A JP2013120010 A JP 2013120010A JP 2013120010 A JP2013120010 A JP 2013120010A JP 6190170 B2 JP6190170 B2 JP 6190170B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- reduction
- space
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims description 221
- 238000000354 decomposition reaction Methods 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 8
- 230000006866 deterioration Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 21
- 238000009499 grossing Methods 0.000 description 9
- 238000011946 reduction process Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
本発明は、原画像の解像度(標本化周波数)の縮小(空間縮小)及び階調数の削減(階調削減)を行い、空間・階調削減画像を生成する空間・階調削減装置及びプログラムに関する。 The present invention relates to a space / tone reduction apparatus and program for generating a space / tone-reduced image by reducing the resolution (sampling frequency) of an original image (space reduction) and reducing the number of gradations (gradation reduction). About.
従来、原画像の空間縮小処理を行う技術や、原画像の階調削減処理を行う技術が知られている。空間縮小処理は、例えば画素の単純間引きやウェーブレット分解などにより行うことができる。階調削減処理は、例えば階調数の単純削減やLloyd-Max法などにより行うことができる。Lloyd-Max法とは、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにする手法である(非特許文献1及び2参照)。 Conventionally, a technique for performing space reduction processing of an original image and a technique for performing gradation reduction processing of an original image are known. Spatial reduction processing can be performed by, for example, simple pixel thinning or wavelet decomposition. The gradation reduction process can be performed by, for example, simple reduction of the number of gradations or the Lloyd-Max method. The Lloyd-Max method is a method of examining the histogram showing the frequency for each tone value (luminance value) of the image and assigning more tones as the tone value has a higher frequency when performing tone reduction. (See Non-Patent Documents 1 and 2).
その他、空間縮小した後でRGB空間からYIQ空間へ変換後、量子化及び符号化を行うことを特徴とし、色空間をRGBからYIQに変換することで,人の目につきにくい色差成分等の情報量を削減する方法が知られている(特許文献1参照)。 In addition, after converting the space from RGB space to YIQ space, quantization and encoding are performed. By converting the color space from RGB to YIQ, information such as color difference components that are not easily noticeable by humans A method for reducing the amount is known (see Patent Document 1).
しかし、原画像の空間縮小処理及び階調削減処理を行うには、空間縮小処理と階調削減処理とを別々に適用する必要がある。このため、効率的な処理を行うことができず、また、空間縮小処理と階調削減処理とを一元的に最適化することはできなかった。 However, in order to perform space reduction processing and gradation reduction processing of an original image, it is necessary to separately apply space reduction processing and gradation reduction processing. For this reason, efficient processing cannot be performed, and space reduction processing and gradation reduction processing cannot be optimized in an integrated manner.
かかる事情に鑑みてなされた本発明の目的は、効率的且つ高精度に空間・階調削減画像を得ることができる空間・階調削減装置及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide a space / gradation reduction apparatus and program capable of obtaining a space / gradation reduction image efficiently and with high accuracy.
上記課題を解決するため、本発明に係る空間・階調削減装置は、原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する空間・階調削減装置であって、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、を備え、前記階調削減部は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、を備え、前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする。 In order to solve the above problems, a space / tone reduction device according to the present invention is a space / tone reduction device that generates a space / tone reduction image by performing tone reduction processing and space reduction processing of an original image. A gradation reduction unit that generates gradation reduction images by performing gradation reduction processing on the original image using j parameters (j ≧ 1), and k gradation reduction images (k ≧ 1). 1) a space reduction unit that generates a space reduction / gradation image of j × k (where j × k ≧ 2) by performing space reduction processing using the parameters of 1), and the j × k space / gradation An optimization unit that compares the reduced image with the original image and selects a space / tone-reduced image with the least deterioration, and the gradation reducing unit uses the j noise thresholds to Generate j noise-removed images from which isolated points are removed from the original image, or use j gradation threshold values to generate a graph of the original image. A histogram weighted so that the gradation value of the gradation image is higher than the histogram of the noise-removed image or the original image. A gradation determination unit that generates the j gradation-reduced images by the Lloyd-Max method used as training data, and the noise threshold or the gradation threshold is associated with a space reduction ratio or a gradation reduction ratio The correspondence table is associated with the noise threshold or the gradation threshold to be smaller as the spatial reduction ratio is higher, or the gradation reduction ratio is higher as the spatial reduction ratio is higher. The noise threshold value or the gradation threshold value is associated so as to increase.
さらに、本発明に係る空間・階調削減装置において、前記空間縮小部は、解像度の縮小劣化過程を模擬した関数、又はウェーブレット分解を用いて前記空間・階調削減画像を生成することを特徴とする。 Furthermore, in the space / gradation reduction apparatus according to the present invention, the space reduction unit generates the space / tone reduction image using a function that simulates a resolution reduction deterioration process or wavelet decomposition. To do.
さらに、本発明に係る空間・階調削減装置において、前記最適化部は、前記原画像に対する空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を選択することを特徴とする。 Furthermore, in the space / gradation reduction apparatus according to the present invention, the optimization unit calculates a power spectrum difference value and a histogram difference value of the space / gradation reduction image with respect to the original image, and a total value of both is the smallest. It is characterized by selecting a space / tone-reduced image.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間・階調削減装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the space / gradation reduction apparatus.
本発明によれば、効率的且つ高精度に空間・階調削減画像を得ることができるようになる。 According to the present invention, an image with reduced space and gradation can be obtained efficiently and with high accuracy.
まず、本発明の概要について説明する。以下の説明において、原画像を階調削減処理し、且つ空間縮小処理することを「空間・階調削減処理」といい、空間・階調削減処理された画像のことを「空間・階調削減画像」という。 First, an outline of the present invention will be described. In the following explanation, gradation reduction processing and space reduction processing of an original image are referred to as “space / gradation reduction processing”, and images subjected to space / gradation reduction processing are referred to as “space / gradation reduction processing”. It is called “image”.
図1は、本発明に係る空間・階調削減処理の概要を説明する図である。図1に示す例では、「8K×4K解像度、10bit階調」の原画像から「4K×2K解像度、8bit階調」の空間・階調削減画像を生成する際の処理概要を示している。本発明に係る空間・階調削減装置は、原画像をまず階調削減処理して「8K×4K解像度、8bit階調」の複数の階調削減画像を生成する。次に、この複数の階調削減画像を「4K×2K解像度、8bit階調」の画像に空間縮小し、複数の空間・階調削減画像を生成する。そして、原画像を基準として、階調削減処理及び空間縮小処理に用いたパラメータを一元的に最適化し、最適な空間・階調削減画像を選択する。 FIG. 1 is a diagram for explaining the outline of the space / gradation reduction processing according to the present invention. The example shown in FIG. 1 shows an outline of processing when generating a space / gradation-reduced image of “4K × 2K resolution, 8 bit gradation” from an original image of “8K × 4K resolution, 10 bit gradation”. The space / gradation reduction apparatus according to the present invention first performs gradation reduction processing on an original image to generate a plurality of gradation reduction images of “8K × 4K resolution, 8 bit gradation”. Next, the plurality of gradation-reduced images are spatially reduced to an image of “4K × 2K resolution, 8-bit gradation” to generate a plurality of space / gradation-reduced images. Then, using the original image as a reference, the parameters used for gradation reduction processing and space reduction processing are optimized in an integrated manner, and an optimal space / tone reduction image is selected.
以下、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail.
(第1の実施形態)
図2は、本発明の第1の実施形態に係る空間・階調削減装置の構成例を示すブロック図である。図2に示すように、空間・階調削減装置1は、階調削減部10と、空間縮小部20と、最適化部30とを備える。
(First embodiment)
FIG. 2 is a block diagram showing a configuration example of the space / gradation reduction apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the space / gradation reduction apparatus 1 includes a
[階調削減部について]
まず、階調削減部10について説明する。階調削減部10は、原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20に出力する。階調削減処理は、従来の階調数の単純削減やLloyd-Max法などにより行うことができる。ただし、階調数の単純削減では画像劣化が大きい。また、Lloyd-Max法では度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえるが、視覚的かつ信号処理の観点からは最適な階調削減とはいえない。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。そこで、以下に説明するように雑音、グラデーション、又は双方を考慮して階調削減処理を行うのが好適である。
[About gradation reduction part]
First, the
図3は、階調削減部10の構成例を示すブロック図である。図3に示す例では、階調削減部10は、周波数分解部11と、雑音閾値決定部12と、雑音除去画像生成部13と、グラデーション閾値決定部14と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。ここでは、雑音及びグラデーションの双方を考慮する場合について説明するが、雑音閾値決定部12及び雑音除去画像生成部13を備えないで原画像のグラデーションのみを考慮するようにしてもよく、また、グラデーション閾値決定部14及びグラデーション画像生成部15を備えないで原画像の雑音のみを考慮するようにしてもよい。
FIG. 3 is a block diagram illustrating a configuration example of the
周波数分解部11は、原画像を周波数分解(例えば、ウェーブレットパケット分解)して、複数の周波数帯域成分を生成し、雑音閾値決定部12、雑音除去画像生成部13、グラデーション閾値決定部14、及びグラデーション画像生成部15に出力する。周波数帯域成分を解析することにより、後述するように雑音閾値及びグラデーション閾値を決定する。以下では、説明の便宜上、周波数分解成分のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。
The frequency decomposition unit 11 performs frequency decomposition (for example, wavelet packet decomposition) on the original image to generate a plurality of frequency band components, a noise threshold
図4は、周波数分解部11による空間方向の周波数分解処理を説明する図である。図4では、原画像を空間方向に2階ウェーブレットパケット分解した場合の分解図を示しており、太線は1階ウェーブレットパケット分解の各周波数帯域を示している。図4に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図4に示すように、左上は空間最低周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分)となり、右下は空間最高周波数帯域成分(周波数分解部11により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分)となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。 FIG. 4 is a diagram for explaining frequency resolution processing in the spatial direction by the frequency resolution unit 11. FIG. 4 shows an exploded view when the original image is subjected to the second-order wavelet packet decomposition in the spatial direction, and the thick line indicates each frequency band of the first-order wavelet packet decomposition. In the example of wavelet packet decomposition shown in FIG. 4, frequency decomposition is performed equally on the low frequency side and the high frequency side in the spatial direction. In this exploded view, the spatial frequency component is a higher frequency component on the right side in the horizontal direction and a higher frequency component on the lower side in the vertical direction. Therefore, as shown in FIG. 4, the upper left is the lowest spatial frequency band component (the lowest frequency component among the plurality of frequency resolved components generated by the frequency resolving unit 11), and the lower right is the highest spatial frequency band component ( (The band component having the highest frequency among the plurality of frequency decomposition components generated by the frequency decomposition unit 11). Note that frequency decomposition may be performed in the time direction in addition to the spatial direction.
図4では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部131にて原画像の画素単位で孤立点(雑音)を除去することができるようにするために、周波数分解部11はデシメーション無し(すなわち、周波数帯域成分の画像サイズの縮小無し)で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。
For convenience of explanation, FIG. 4 shows an exploded view when wavelet packet decomposition is performed with decimation, but an isolated point (noise) is removed in pixel units of the original image by an isolated
雑音閾値決定部12は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合(以下、「空間最高周波数帯域成分の割合」という)を、各要素位置について算出する。そして、雑音閾値決定部12は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部13に出力する。例えば、0%から、空間最高周波数帯域成分の割合の平均値までをa等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が10%、a=5とすると、2%、4%、6%、8%、10%が雑音閾値となる。雑音閾値決定部12により決定された雑音閾値は、補助情報(パラメータ情報)として最適化部30に出力される。
The noise threshold
雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び雑音閾値決定部12により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。
The noise-removed
図5は、雑音除去画像生成部13の構成例を示すブロック図である。図5に示すように、雑音除去画像生成部13は、孤立点検出部131と、再構成部132とを備える。
FIG. 5 is a block diagram illustrating a configuration example of the noise removal
孤立点検出部131は、周波数分解部11により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部131は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部131は、雑音閾値決定部12により決定された複数の雑音閾値のうちの1つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Th1を超える要素の値を1とし、雑音閾値Th1以下の要素の値を0とする2値化画像Bを生成する。
The isolated
孤立点検出部131は、2値化画像Bの要素値が1である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Th2とを比較する。2値化画像Bの判定領域内の要素値の合計値が閾値Th2を超える場合には、当該要素は孤立点要素ではないと判定し、2値化画像Bの判定領域内の要素値の合計値が閾値Th2以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。
The isolated
図6は、孤立点検出部131による孤立点判定処理を説明する図である。図6に示す例では、判定領域は3×3要素である。閾値Th2を1とすると、2値化画像Bの要素値が1となる要素素の周囲の8要素の要素値が0であるときのみ、2値化画像Bの要素値が1である要素を孤立要素とみなす。よって、閾値Th2=1の場合、図中の要素P1は孤立点要素であると判定され、要素P2と要素P3は孤立点要素と判定されない。
FIG. 6 is a diagram for explaining isolated point determination processing by the isolated
そして、孤立点検出部131は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を0とし、再構成部132に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。
Then, the isolated
再構成部132は、孤立点検出部131から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をn階ウェーブレットパケット再構成する。
The
グラデーション閾値決定部14は、周波数分解部11により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合(以下、「空間最低周波数帯域成分の割合」という)を、各要素位置について算出する。そして、グラデーション閾値決定部14は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部15に出力する。例えば、空間最低周波数帯域成分の割合の平均値から100%までをb等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が90%、b=5とすると、90%、92%、94%、96%、98%がグラデーション閾値となる。グラデーション閾値決定部14により決定されたグラデーション閾値は、補助情報として最適化部30に出力される。
The gradation threshold
グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及びグラデーション閾値決定部14により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。
The gradation
図7は、グラデーション画像生成部15の構成例を示すブロック図である。図7に示すように、グラデーション画像生成部15は、グラデーション領域検出部151と、再構成部152とを備える。
FIG. 7 is a block diagram illustrating a configuration example of the gradation
グラデーション領域検出部151は、周波数分解部11により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部151は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部151は、グラデーション閾値決定部14により決定された複数のグラデーション閾値のうちの1つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部152に出力する。
The gradation
再構成部152は、グラデーション領域検出部151から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部16に出力する。例えば、周波数分解部11においてn階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をn階ウェーブレット再構成する。
The
階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率(階調削減ビット数)に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。
The gradation reduction initial
図8は、階調削減初期情報生成部16の構成例を示すブロック図である。図8に示すように、階調削減初期情報生成部16は、ヒストグラム生成部161と、重み付け部162と、階調変換テーブル生成部163とを備える。
FIG. 8 is a block diagram illustrating a configuration example of the gradation reduction initial
ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。
The
重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調決定部17に出力する。例えば、グラデーション画像の階調値の度数を、所定の1を超える値(例えば、1.2)を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調決定部17にて階調削減を行う際に、グラデーション領域により多くの階調を割り当てることができる。
The
階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成し、階調決定部17に出力する。階調変換テーブルは、原画像の色深度がnビット(階調数2n)、階調削減ビット数がmビットの場合、nビットを(n−m)ビットに線形変換する階調変換テーブルである。
The gradation conversion
図9は、階調削減部10がグラデーション閾値決定部14及びグラデーション画像生成部15を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、雑音除去画像生成部13により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成する。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。
FIG. 9 is a block diagram illustrating a configuration example of the gradation reduction initial
図10は、階調削減部10が雑音閾値決定部12及び雑音除去画像生成部13を備えない場合の階調削減初期情報生成部16の構成例を示すブロック図である。この場合、ヒストグラム生成部161は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部162に出力する。重み付け部162は、グラデーション画像生成部15により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部161により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けし、重み付けしたヒストグラムを訓練データとする。階調変換テーブル生成部163は、階調削減率に応じて階調変換テーブルを生成する。
FIG. 10 is a block diagram illustrating a configuration example of the gradation reduction initial
階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調決定部17は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。
The
また、階調決定部17は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、補助情報として最適化部30に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。
In addition, the
雑音除去画像生成部13は、雑音閾値決定部12により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部15は、グラデーション閾値決定部14により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部12により決定された雑音閾値がa個、グラデーション閾値決定部14により決定されたグラデーション閾値がb個の場合には、階調削減初期情報生成部16によりa×b種類の訓練データが生成され、階調決定部17によりj=a×b枚の階調削減画像(階調削減画像群)が生成される。
The noise-removed
[空間縮小部について]
次に、空間縮小部20について説明する。空間縮小部20は、階調削減部10により生成されたj枚の階調削減画像をそれぞれk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成し、最適化部30に出力する。
[About the space reduction section]
Next, the
図11は、空間縮小部20の構成例を示すブロック図である。図11に示す例では、空間縮小部20は、平滑化部21と、縮小部22とを備える。
FIG. 11 is a block diagram illustrating a configuration example of the
平滑化部21は、階調削減画像群をそれぞれ平滑化処理して平滑化画像群を生成し、縮小部22に出力する。平滑化は、解像度の縮小劣化過程(ぼやけ)を模擬した関数を用いて階調拡大画像を畳み込むことで処理する。解像度の縮小劣化過程を模擬した関数として、例えば、点拡がり関数(PSF:Point spread function)又はガウシアン関数を用いることができる。平滑化部21は、タップ数、分散値、ゲイン情報などを変更したk個の関数(パラメータ)を用いて平滑化処理を行う。また、平滑化部21は、用いた関数のタップ数、分散値、ゲイン情報を、補助情報として最適化部30に出力する。
The smoothing
縮小部22は、平滑化部21により生成された平滑化画像群をそれぞれ目標解像度になるように空間縮小処理し、空間・階調削減画像群を生成し、最適化部30に出力する。空間縮小処理は、単純間引きにより行ってもよいし、平滑化画像を目標解像度になるようウェーブレット分解し、その空間低周波数成分を空間・階調削減画像としてもよい。ウェーブレット分解を行った場合には、そのフィルタの情報も補助情報として最適化部30に出力される。
The
[最適化部について]
次に、最適化部30について説明する。最適化部30は、空間縮小部20により生成されたj×k枚(但し、j×k≧2)の空間・階調削減画像から、原画像と比較して最も劣化の少ない(最も差分の少ない)画像を選択して出力する。例えば、原画像とパワースペクトルの概形、ヒストグラムの概形、又はその両者の概形が最も近い画像を最も劣化の少ない画像とすることができる。また、最適化部30は、階調削減部10及び空間縮小部20により生成された補助情報を入力し、選択した空間・階調削減画像に対応する補助情報を、最適補助情報として出力する。最適補助情報を出力することにより、該最適補助情報及び空間・階調削減画像を用いて、元の原画像を復元することができるようになる。
[About the optimization unit]
Next, the
図12は、最適化部30の処理の一例を説明する図である。図12に示す例では、最適化部30は、原画像に対する各空間・階調削減画像のパワースペクトル差分値及びヒストグラム差分値を算出し、両者の合計値が最も小さい空間・階調削減画像を最も劣化の少ない画像として選択する。
FIG. 12 is a diagram for explaining an example of processing of the
具体的には、最適化部30は、パワースペクトル差分値を算出するために、原画像及び空間・階調削減画像群をそれぞれn階ウェーブレット分解する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各n階帯域のRMS(Root Mean Square)パワー値の差分合計値のα倍の値を算出する。なお、図12では空間・階調削減画像の水平方向の解像度が原画像の1/2倍の場合を示している。
Specifically, the
また、最適化部30は、ヒストグラム差分値を算出するために、原画像及び空間・階調削減画像群のヒストグラムを求め、各ヒストグラムのレベルをmレベルに量子化する。そして、原画像及び空間・階調削減画像の組み合わせごとに、各mレベルの頻度の差合計値のβ倍の値を計算する。なお、図12では空間・階調削減画像の階調数が原画像の1/4倍の場合を示している。ここで、α及びβは外部から設定可能であり、空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与えることができる。
Further, the
最後に、最適化部30は、パワースペクトル差分値及びヒストグラム差分値の和をパワースペクトル・ヒストグラム差分値として算出し、この値が最小となる空間・階調削減画像を選択する。
Finally, the
以上説明したように、空間・階調削減装置1は、階調削減部10により原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成し、空間縮小部20によりj枚の階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する。そして、最適化部30によりj×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する。このため、空間・階調削減装置1によれば、階調削減処理と空間縮小処理とを個別に行う場合よりも、効率的且つ高精度に空間・階調削減画像を得ることができる。
As described above, the space / gradation reduction apparatus 1 performs gradation reduction processing on the original image using the j (j ≧ 1) parameters by the
また、前記階調削減部10は、j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部(雑音除去画像生成部13又はグラデーション画像生成部15)と、雑音除去画像又は原画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、原画像の階調を削減したj枚の階調削減画像を生成する階調決定部17と、を備えるのが好適である。雑音又はグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。また、空間縮小前に階調削減を行うことで、不要な雑音成分が折り返し成分として空間削減画像に含まれるのを防止することができる。
Further, the
なお、雑音及びグラデーションの双方を考慮する場合には、雑音除去画像生成部13によりa個の雑音閾値を用いて、原画像から孤立点を除去したa枚の雑音除去画像を生成し、b個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるb枚のグラデーション画像を生成し、階調決定部17によりj=a×b枚の階調削減画像を生成する。
When both noise and gradation are taken into consideration, the noise-removed
(第2の実施形態)
次に、本発明による第2の実施形態について説明する。図13は、本発明の第2の実施形態に係る空間・階調削減装置の構成を示すブロック図である。図13に示すように、空間・階調削減装置2は、階調削減閾値決定部40と、階調削減部100と、空間縮小部20と、最適化部30とを備える。第2の実施形態の空間・階調削減装置2は、第1の実施形態の空間・階調削減装置1と比較して、階調削減閾値決定部40を更に設けて、第1の実施形態の空間・階調削減装置1と異なる方法で階調削減時の閾値を決定する。空間縮小部20及び最適化部30については第1の実施形態と同一であるため、説明を省略する。
(Second Embodiment)
Next, a second embodiment according to the present invention will be described. FIG. 13 is a block diagram showing a configuration of a space / gradation reduction apparatus according to the second embodiment of the present invention. As illustrated in FIG. 13, the space / gradation reduction apparatus 2 includes a gradation reduction threshold determination unit 40, a
階調削減閾値決定部40は、空間縮小率及び/又は階調削減率に基づいて、雑音閾値及び/又はグラデーション閾値を決定し、階調削減部100に出力する。ここでは、空間縮小率及び階調削減率に基づいて、雑音閾値及びグラデーション閾値を決定する場合について説明する。
The gradation reduction threshold determination unit 40 determines a noise threshold and / or a gradation threshold based on the space reduction rate and / or the gradation reduction rate, and outputs the noise threshold and / or gradation threshold to the
階調削減閾値決定部40は、空間縮小率及び階調削減率と、雑音閾値及びグラデーション閾値とを対応付けた対応表を予め有する。対応表の例を表1に示す。空間縮小率と、雑音閾値及びグラデーション閾値との関係については、空間縮小率が高くなるほど、雑音閾値及びグラデーション閾値を小さくする。空間縮小率が高い場合は、雑音成分の折り返しによる影響は少なく、またグラデーション領域検出を高い精度で行う必要はないためである。また、階調削減率と、雑音閾値及びグラデーション閾値との関係については、階調削減率が高くなるほど、雑音閾値及びグラデーション閾値を大きくするのが好適である。階調削減率が高い場合は、雑音に階調を割り当てないように雑音除去閾値を高く設定する必要があり、また疑似輪郭防止のためにグラデーション領域検出閾値を高く設定する必要があるからである。つまり、表1では、N1<N2<N3<N4、G1<G2<G3<G4とする。 The gradation reduction threshold determination unit 40 has a correspondence table in which the space reduction ratio and gradation reduction ratio are associated with the noise threshold and the gradation threshold in advance. An example of the correspondence table is shown in Table 1. Regarding the relationship between the spatial reduction ratio, the noise threshold value, and the gradation threshold value, the noise threshold value and the gradation threshold value are decreased as the spatial reduction ratio increases. This is because when the space reduction ratio is high, the influence of the aliasing of the noise component is small, and it is not necessary to detect the gradation area with high accuracy. As for the relationship between the gradation reduction rate, the noise threshold value, and the gradation threshold value, it is preferable to increase the noise threshold value and the gradation threshold value as the gradation reduction rate increases. This is because when the gradation reduction rate is high, it is necessary to set a high noise removal threshold so that gradation is not assigned to noise, and it is necessary to set a high gradation area detection threshold to prevent false contours. . That is, in Table 1, it is assumed that N 1 <N 2 <N 3 <N 4 and G 1 <G 2 <G 3 <G 4 .
表1の対応表を用いて雑音閾値及びグラデーション閾値を決定する場合、空間縮小処理に対する重みα、及び階調削減処理に対する重みβを用いるのが好適である。例えば、空間縮小率が1/2、階調削減率が1/8の場合に表1を用いて雑音閾値N及びグラデーション閾値Gを求めると、N=(αN4+βN3)/2、G=(αG4+βG3)/2となる。空間縮小処理の精度を重視する場合はαに大きな重みを与え、階調削減処理の精度を重視する場合はβに大きな重みを与える。なお、雑音閾値及びグラデーション閾値の組を複数組選択するようにしてもよい。 When the noise threshold value and the gradation threshold value are determined using the correspondence table of Table 1, it is preferable to use the weight α for the space reduction process and the weight β for the gradation reduction process. For example, when the space reduction ratio is 1/2 and the gradation reduction ratio is 1/8, the noise threshold value N and the gradation threshold value G are obtained using Table 1, N = (αN 4 + βN 3 ) / 2, G = (ΑG 4 + βG 3 ) / 2. When importance is attached to the accuracy of the space reduction process, a large weight is given to α, and when importance is attached to the accuracy of the gradation reduction process, a large weight is assigned to β. A plurality of sets of noise threshold values and gradation threshold values may be selected.
図14は、階調削減部100の構成例を示すブロック図である。図14に示す例では、階調削減部10は、周波数分解部11と、雑音除去画像生成部13と、グラデーション画像生成部15と、階調削減初期情報生成部16と、階調決定部17とを備える。各構成部の詳細な処理内容は第1の実施形態で説明した通りであるため、ここでは概略のみ述べる。
FIG. 14 is a block diagram illustrating a configuration example of the
雑音除去画像生成部13は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部16に出力する。
The noise removal
グラデーション画像生成部15は、周波数分解部11により生成された周波数帯域成分、及び階調削減閾値決定部40により決定されたグラデーション閾値を用いて原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部16に出力する。
The gradation
階調削減初期情報生成部16は、雑音除去画像生成部13により生成された雑音除去画像、及びグラデーション画像生成部15により生成されたグラデーション画像に基づいて訓練データを生成するとともに、階調削減率に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調決定部17に出力する。
The gradation reduction initial
階調決定部17は、階調削減初期情報生成部16により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。また、階調決定部17は逆量子化テーブルを生成し、補助情報として最適化部30に出力する。
The
以上説明したように、空間・階調削減装置2は、階調削減閾値決定部40を更に備え、雑音閾値又は前記グラデーション閾値を、該閾値と、空間縮小率又は階調削減率とを対応付けた対応表に基づいて決定する。このため、空間・階調削減装置2によれば、第1の実施形態の空間・階調削減装置1と同様の効果に加え、雑音閾値又は前記グラデーション閾値を迅速に決定して処理時間を短縮することができるようになる。 As described above, the space / gradation reduction apparatus 2 further includes the gradation reduction threshold determination unit 40, and associates the noise threshold or the gradation threshold with the threshold and the space reduction ratio or gradation reduction ratio. Determine based on the correspondence table. Therefore, according to the space / gradation reduction apparatus 2, in addition to the same effect as the space / gradation reduction apparatus 1 of the first embodiment, the noise threshold or the gradation threshold is quickly determined to shorten the processing time. Will be able to.
なお、上述した空間・階調削減装置1,2として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、空間・階調削減装置1,2の各機能を実現する処理内容を記述したプログラムを当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。 In addition, a computer can be used to function as the space / gradation reduction devices 1 and 2 described above, and such a computer describes processing contents for realizing each function of the space / gradation reduction devices 1 and 2. This program can be realized by storing the program in a storage unit of the computer, and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.
このように、本発明は原画像の階調削減処理及び空間縮小処理を行って空間・階調削減画像を生成する任意の用途に有用である。 As described above, the present invention is useful for any application for generating a space / gradation reduced image by performing gradation reduction processing and space reduction processing of an original image.
1,2 空間・階調削減装置
10 階調削減部
11 周波数分解部
12 雑音閾値決定部
13 雑音除去画像生成部
14 グラデーション閾値決定部
15 グラデーション画像生成部
16 階調削減初期情報生成部
17 階調決定部
20 空間縮小部
21 平滑化部
22 縮小部
30 最適化部
40 階調削減閾値決定部
100 階調削減部
131 孤立点検出部
132 再構成部
151 グラデーション領域検出部
152 再構成部
161 ヒストグラム生成部
162 重み付け部
163 階調変換テーブル生成部
DESCRIPTION OF SYMBOLS 1, 2 Space |
Claims (4)
原画像をj個(j≧1)のパラメータを用いて階調削減処理してj枚の階調削減画像を生成する階調削減部と、
前記階調削減画像をk個(k≧1)のパラメータを用いて空間縮小処理してj×k枚(但し、j×k≧2)の空間・階調削減画像を生成する空間縮小部と、
前記j×k枚の空間・階調削減画像を前記原画像と比較して、最も劣化の少ない空間・階調削減画像を選択する最適化部と、
を備え、
前記階調削減部は、
j個の雑音閾値を用いて、原画像から孤立点を除去したj枚の雑音除去画像を生成するか、又はj個のグラデーション閾値を用いて、原画像のグラデーション領域のみからなるj枚のグラデーション画像を生成する画像生成部と、
前記雑音除去画像又は前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして用いるLloyd-Max法により、前記j枚の階調削減画像を生成する階調決定部と、
を備え、
前記雑音閾値又は前記グラデーション閾値は、空間縮小率又は階調削減率と対応付けた対応表に基づいて決定され、
前記対応表は、前記空間縮小率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が小さくなるように対応付けているか、あるいは、前記階調削減率が高くなるほど、前記雑音閾値又は前記グラデーション閾値が大きくなるように対応付けていることを特徴とする空間・階調削減装置。 A space / gradation reduction apparatus for generating a space / gradation reduction image by performing gradation reduction processing and space reduction processing of an original image,
A gradation reduction unit that performs gradation reduction processing on the original image using j (j ≧ 1) parameters to generate j gradation-reduced images;
A space reduction unit that performs space reduction processing on the gradation-reduced images using k (k ≧ 1) parameters to generate j × k (where j × k ≧ 2) space / gradation reduction images; ,
An optimization unit that compares the j × k space / gradation-reduced images with the original image and selects a space / gradation-reduced image with the least deterioration;
With
The gradation reduction unit
Generate j noise-removed images by removing isolated points from the original image using j noise thresholds, or use j gradation thresholds and j gradations consisting only of the gradation area of the original image An image generation unit for generating an image;
According to the Lloyd-Max method using as a training data a histogram weighted so as to increase the frequency of the gradation value of the gradation image with respect to the histogram of the noise-removed image or the original image, the j gradation-reduced images. A gradation determining unit for generating
With
The noise threshold or the gradation threshold is determined based on a correspondence table associated with a space reduction rate or a gradation reduction rate,
The correspondence table associates such that the noise threshold or the gradation threshold decreases as the spatial reduction ratio increases, or the noise threshold or the gradation threshold increases as the gradation reduction ratio increases. that are associated so that spatial tone reduction device you characterized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120010A JP6190170B2 (en) | 2013-06-06 | 2013-06-06 | Space / gradation reduction apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120010A JP6190170B2 (en) | 2013-06-06 | 2013-06-06 | Space / gradation reduction apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014238657A JP2014238657A (en) | 2014-12-18 |
JP6190170B2 true JP6190170B2 (en) | 2017-08-30 |
Family
ID=52135789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013120010A Active JP6190170B2 (en) | 2013-06-06 | 2013-06-06 | Space / gradation reduction apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6190170B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7057694B2 (en) * | 2018-03-27 | 2022-04-20 | 日本放送協会 | Image denoising device and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4056277B2 (en) * | 2002-03-27 | 2008-03-05 | 富士フイルム株式会社 | Color reduction processing apparatus and color reduction processing method |
JP5452337B2 (en) * | 2010-04-21 | 2014-03-26 | 日本放送協会 | Image coding apparatus and program |
-
2013
- 2013-06-06 JP JP2013120010A patent/JP6190170B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014238657A (en) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rahman et al. | Tripartite sub-image histogram equalization for slightly low contrast gray-tone image enhancement | |
WO2014186886A1 (en) | System and method having transparent composite model for transform coefficients | |
Lee et al. | Two-stage false contour detection using directional contrast and its application to adaptive false contour reduction | |
Sonker et al. | Comparison of histogram equalization techniques for image enhancement of grayscale images of dawn and dusk | |
Ernawan et al. | The optimal quantization matrices for JPEG image compression from psychovisual threshold | |
Maragatham et al. | Contrast enhancement by object based histogram equalization | |
JP2014146988A (en) | Dynamic image encoder | |
JP6190170B2 (en) | Space / gradation reduction apparatus and program | |
JP6174903B2 (en) | Spatial / gradation super-resolution device and program | |
JP6807795B2 (en) | Noise reduction device and program | |
JP2015132930A (en) | Space super-resolution and gradation interpolation device and program | |
JP2006295877A5 (en) | ||
JP5934031B2 (en) | Gradation reduction apparatus and program | |
JP5878785B2 (en) | Gradation reduction apparatus and program | |
KR102401783B1 (en) | Image displaying apparatus and method of controlling the same | |
JP5837844B2 (en) | Pseudo contour region detection device and program | |
JP6163022B2 (en) | Encoding apparatus and program | |
Taujuddin et al. | Progressive Pixel-to-Pixel Evaluation to Obtain the Hard and Smooth Region for Image Compression | |
JP6030896B2 (en) | Gradation reduction apparatus and program | |
CN103793892A (en) | Image processing apparatus and image processing method | |
Agarwal | Bit planes histogram equalization for tone mapping of high contrast images | |
KR101854611B1 (en) | Image Processing Method Based on Weight Assignment using Entropy | |
JP6388476B2 (en) | Encoding apparatus and program | |
JP6101009B2 (en) | Gradation reduction coding apparatus, gradation restoration decoding apparatus, and programs thereof | |
JP5934019B2 (en) | Gradation restoration device and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6190170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |