JP6409938B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP6409938B2 JP6409938B2 JP2017199688A JP2017199688A JP6409938B2 JP 6409938 B2 JP6409938 B2 JP 6409938B2 JP 2017199688 A JP2017199688 A JP 2017199688A JP 2017199688 A JP2017199688 A JP 2017199688A JP 6409938 B2 JP6409938 B2 JP 6409938B2
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- raw data
- imaging
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Camera Data Copying Or Recording (AREA)
- Studio Devices (AREA)
Description
本技術は、RAW撮影を行う撮像装置およびこの撮像装置により撮影されたRAWデータに対するポストプロダクションを行うポストプロダクション装置に関する。 The present technology relates to an imaging apparatus that performs RAW imaging and a post-production apparatus that performs post-production on RAW data captured by the imaging apparatus.
撮影された映像素材を含む様々な映像シーンが連結して構成される映像コンテンツの作成工程では、カメラを用いてシーンを撮像する作業、撮像された画像ソースを後処理(ポストプロダクション処理)する作業が順次行われる。これらの作業を効率的に行うためのコンテンツ作成システムが提案されている(たとえば、特許文献1参照)。 In the video content creation process, which consists of various video scenes that include captured video material, the task of capturing a scene using a camera and the post-processing (post-production process) of the captured image source Are performed sequentially. A content creation system for efficiently performing these operations has been proposed (for example, see Patent Document 1).
特許文献1に記載のコンテンツ作成システムでは、ポストプロダクション処理において、撮影時に設定されるカメラ設定値と、映像を調整する効果補正値との2種類の補正パラメータが用いられる。カメラ設定値は、撮影時における設定値で、たとえば、露出、ホワイトバランス、ガンマ補正、カラー調整など、カメラの各機能を設定する値を含む。一方、効果補正値は、所望の画質を得るために撮影後の映像の補正に用いられる設定値である。たとえば、露出、ホワイトバランス、ガンマ補正、3D効果、トリミング、ズームなど、映像の効果に関する属性を調整する値を含む。ポストプロダクション処理時には、ユーザが操作入力部を介して設定した補正パラメータ値や、データベースに蓄積されている過去の編集情報に設定されている補正パラメータ値などが使われる。 In the content creation system described in Patent Document 1, two types of correction parameters are used in the post-production process, which are a camera setting value set at the time of shooting and an effect correction value for adjusting video. The camera setting value is a setting value at the time of shooting, and includes values for setting each function of the camera such as exposure, white balance, gamma correction, and color adjustment. On the other hand, the effect correction value is a setting value used for correcting a video after shooting in order to obtain a desired image quality. For example, it includes values for adjusting attributes relating to image effects such as exposure, white balance, gamma correction, 3D effect, trimming, and zoom. During post-production processing, correction parameter values set by the user via the operation input unit, correction parameter values set in past editing information stored in the database, and the like are used.
近年、撮影現場において撮像装置に各種のパラメータを与えることで、現像後の画像を確認することができるようになってきている。さらには、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みが検討されている。 In recent years, it has become possible to confirm an image after development by giving various parameters to the image pickup apparatus at the shooting site. Furthermore, a mechanism is being studied in which parameters used in the imaging apparatus are transmitted to the post-production apparatus side as metadata together with RAW data and reflected in development in the post-production.
本技術は、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みのさらなる高機能化を実現して、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることのできる撮像装置および画像処理装置を提供することにある。 This technology realizes further enhancement of the mechanism to transmit the parameters used in the imaging device as metadata along with the RAW data to the post-production device side and reflect them in the development in the post-production. An object of the present invention is to provide an imaging apparatus and an image processing apparatus that can reproduce an image intended by a person etc. more quickly and accurately in a post-production field, and can improve the work efficiency of the post-production.
上記の課題を解決するために、本技術に係る撮像装置は、
撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部とを具備する。
In order to solve the above-described problem, an imaging apparatus according to the present technology includes:
An imaging unit that performs imaging and generates RAW data;
A first converter that converts the generated RAW data into image data by interpolation;
An acquisition unit for acquiring an exposure index value corresponding to the illuminance of the shooting environment;
A first correction unit that corrects the value of the image data based on the exposure index value;
And an output unit that outputs the RAW data and the acquired exposure index value in association with each other.
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有するものであってよい。 The acquisition unit may include an illuminance acquisition unit that acquires a measurement value from an illuminometer and converts the measurement value into the exposure index value.
前記取得部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力するようにしてもよい。
The acquisition unit further acquires information on an effective area for post-production of image data,
The output unit may output the RAW data and the acquired information on the effective area in association with each other.
前記取得部は、画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力するようにしてもよい。
The acquisition unit further acquires information for color correction of image data,
The output unit may output the RAW data and the acquired information for color correction in association with each other.
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。 The information for color correction may be ASC-CDL (The American Society of Cinematographers Color Decision List).
上記の課題を解決するために、本技術に係る画像処理装置は、
撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する。
In order to solve the above-described problem, an image processing apparatus according to the present technology includes:
An input unit for inputting RAW data output from the imaging apparatus and an exposure index value related to the RAW data;
A second conversion unit for converting the RAW data into image data by interpolation;
And a second correction unit that corrects the value of the image data based on the exposure index value.
前記入力部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
上記の画像処理装置は、前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部をさらに具備するものであってよい。
The input unit further inputs information about an effective area for post-production of image data,
The image processing apparatus may further include a cutout unit that cuts out a portion corresponding to the effective area from the image data based on information on the effective area.
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
上記の画像処理装置は、前記色修正のための情報をもとに前記画像データの色修正を行う色修正部をさらに具備するものであってよい。
The input unit further inputs information for color correction of the image data,
The image processing apparatus may further include a color correction unit that corrects the color of the image data based on the information for color correction.
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。 The information for color correction may be ASC-CDL (The American Society of Cinematographers Color Decision List).
以上のように、本技術によれば、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることができる。 As described above, according to the present technology, an image intended by a photographer or a photography supervisor can be reproduced more quickly and accurately in the post-production field, and the work efficiency of the post-production can be improved. Can do.
以下、本技術に係る実施形態を説明する。
本実施形態は、RAW撮像記録を行う撮像装置と、この撮像装置によって撮像されたRAWデータとこのRAWデータに対する現像用のメタデータを取得してポストプロダクションを行うポストプロダクション装置に関する。
Hereinafter, embodiments according to the present technology will be described.
The present embodiment relates to an imaging apparatus that performs RAW imaging and recording, and a post-production apparatus that performs post-production by acquiring RAW data imaged by the imaging apparatus and development metadata for the RAW data.
この撮像装置では、カメライメージャにより撮像されたRAWデータに対して色補間処理、増感/減感処理、ゲイン調整、色調整などが行われることによって得られた画像データを撮影現場の撮影者や撮影監督者等がリアルタイムで確認することができるように、当該画像データを撮像装置に接続されたモニターや、撮像装置に設けられたビューファインダに表示させることができる。撮影者や撮影監督者等は、モニターやビューファインダに表示された画像データを確認しつつ、当該画像データに対する現像用の各種のパラメータをメタデータの一部として設定することができる。 In this imaging apparatus, image data obtained by performing color interpolation processing, sensitization / desensitization processing, gain adjustment, color adjustment, etc. on RAW data captured by a camera imager The image data can be displayed on a monitor connected to the imaging apparatus or a viewfinder provided in the imaging apparatus so that a radiographer or the like can check in real time. A photographer, a photography supervisor, or the like can set various parameters for development of the image data as part of the metadata while confirming the image data displayed on the monitor or viewfinder.
ここで、メタデータには、
1.ポストプロダクション装置において自動的に画像データに反映されるもの。
2.ポストプロダクション装置において画像データに対して任意に反映されるもの。すなわち、撮影現場の撮影者や撮影監督者等がポストプロダクションを行う作業者に対して「このように現像して欲しい」といった推奨的なメタデータとがある。
前者を「第1のメタデータ」、後者を「第2のメタデータ」と呼び分けることとする。
Here, the metadata includes
1. What is automatically reflected in the image data in a post-production device.
2. What is arbitrarily reflected in image data in a post-production device. In other words, there is recommended metadata such as “I want you to develop in this way” for a worker who a post-production by a photographer or a film supervisor at the shooting site.
The former is called “first metadata”, and the latter is called “second metadata”.
第1のメタデータには、さらに、使用するカメライメージャの種類に対応して一意に決まるパラメータと、撮影時に人為的に設定されたパラメータとがある。 The first metadata further includes parameters uniquely determined according to the type of camera imager to be used, and parameters artificially set at the time of shooting.
そして撮像装置は、RAWデータと上記のメタデータとを互いに関連付けてポストプロダクション装置に伝送する。 Then, the imaging apparatus associates the RAW data and the above metadata with each other and transmits them to the post-production apparatus.
ポストプロダクション装置では、撮像装置より伝送されたRAWデータとメタデータを取得し、RAWデータの現像に対して第1のメタデータが自動的に反映され、その結果がポストプロダクション装置に接続されたモニターに表示される。また、第2のメタデータは、ポストプロダクションの作業者からの指示のもとRAWデータの現像に適宜反映される。これにより撮影者や撮影監督者等が意図する画像データおよび推奨される画像データをポストプロダクションの場において再現することができる。 In the post-production device, RAW data and metadata transmitted from the imaging device are acquired, the first metadata is automatically reflected in the development of the RAW data, and the result is connected to the post-production device. Is displayed. The second metadata is appropriately reflected in the development of the RAW data under the instruction from the post production operator. As a result, the image data intended by the photographer, the film supervisor, and the like and the recommended image data can be reproduced in the post-production field.
上記の第1のメタデータとしては、例えば以下がある。
1.撮影ガンマ(Capture Gamma Equation)
撮影ガンマには、例えば、Scene Linear、Cine-Log、そしてソニーが開発したS-Logなどがある。
2.ホワイトバランス(White Balance)
3.イメージャ感度(ISO Sensitivity)
4.RAWデータのブラック/グレー/ホワイトの値(RAW Code Value)
5.CDL適用ガンマ(Gamma For CDL)
ここで撮影ガンマ、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマは、撮像装置に使用されたカメライメージャの種類によって一意に決まるパラメータである。ホワイトバランスとイメージャ感度は撮影時に撮影者等によって選択されたデータである。
Examples of the first metadata include the following.
1. Capture Gamma Equation
Examples of shooting gamma include Scene Linear, Cine-Log, and Sony-developed S-Log.
2. White balance
3. Imager sensitivity (ISO Sensitivity)
4). RAW data black / gray / white values (RAW Code Value)
5. CDL application gamma (Gamma For CDL)
Here, the shooting gamma, the RAW data black / gray / white value, and the CDL application gamma are parameters uniquely determined by the type of the camera imager used in the imaging apparatus. White balance and imager sensitivity are data selected by the photographer at the time of shooting.
上記の第2のメタデータとしては、例えば以下がある。
1.EI(Exposure Index Of Photo Meter)
EIは、照度計から得られた照度に対応する露出指標値である。このEIとイメージャ感度の値をもとに画像データに対するゲイン調整などの処理が行われる。
Examples of the second metadata include the following.
1. EI (Exposure Index Of Photo Meter)
EI is an exposure index value corresponding to the illuminance obtained from the illuminometer. Based on the values of EI and imager sensitivity, processing such as gain adjustment for image data is performed.
2.エフェクティブマーカ(Effective Marker)
エフェクティブマーカは、撮影された画像データの中で撮影現場の撮影者や撮影監督者等が意図する有効エリアを特定するための情報である。ポストプロダクション装置では、このエフェクティブマーカの情報をもとに画像データから有効な領域の切り出しなどが行われる。
2. Effective Marker
The effective marker is information for identifying an effective area intended by a photographer, a supervisor of photography, or the like in the photographed image data. In the post-production device, an effective area is cut out from the image data based on the information of the effective marker.
3.ASC−CDL(The American Society of Cinematographers Color Decision List)
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色修正のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。
3. ASC-CDL (The American Society of Cinematographers Color Decision List)
ASC-CDL is information for color correction defined by the American Cinematographers Association (ASC). In ASC-CDL, a color is defined for each RGB by three parameters: offset (output value when input is zero), slope (input / output gain), and power (input / output gun marker characteristic).
これらの第2のメタデータは、いずれも撮影現場の撮影者や撮影監督者等によって適宜選択される。撮像装置では、これら第2のメタデータが反映された画像をモニターを通して見ることができる。 These second metadata are appropriately selected by a photographer at the shooting site, a shooting supervisor, or the like. In the imaging apparatus, an image in which the second metadata is reflected can be viewed through the monitor.
撮像装置で設定された第1のメタデータおよび第2のメタデータは、例えば、XML(Extensible Markup Language)形式などのファイルとしてまとめられ、RAWデータのファイルと関連付けて、ストレージに保存、あるいは通信媒体を通じてポストプロダクション装置などに伝送される。 The first metadata and the second metadata set in the imaging apparatus are collected as a file in XML (Extensible Markup Language) format, for example, and stored in a storage or a communication medium in association with a RAW data file. Is transmitted to post-production equipment.
以下、本技術に係る第1の実施形態を図面をもとに説明する。
[撮像装置]
図1は本技術に係る一実施形態の撮像装置100の構成を示すブロック図である。
同図に示すように、本実施形態の撮像装置100は、カメライメージャ101、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT(Input Device Transform)処理部105、第1の色修正部106、第1のODT(Onput Device Transform)処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111を有する。
Hereinafter, a first embodiment according to the present technology will be described with reference to the drawings.
[Imaging device]
FIG. 1 is a block diagram illustrating a configuration of an
As shown in the figure, the
撮像装置100は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/Fなどのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106、第1のODT処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111として動作させる。
The
カメライメージャ101(撮像部)は、RAW撮影用のイメージャであり、例えばCMOS(Complementary Metal Oxide Semiconductor)などである。
RAWファイル書き出し部102は、カメライメージャ101により得られたRAWデータをそのままファイル120に書き出す。
The camera imager 101 (imaging unit) is an imager for RAW shooting, and is, for example, a complementary metal oxide semiconductor (CMOS).
The RAW
第1のディベイヤ処理部103(第1の変換部)は、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。 The first debayer processing unit 103 (first conversion unit) generates an RGB image (image data) by performing color interpolation on the RAW data.
第1の増感/減感・ゲイン調整・カラースペース変換部104(第1の補正部)は、第1のディベイヤ処理部103により変換された画像データに対して増感処理及び減感処理などを行う。第1の増感/減感・ゲイン調整・カラースペース変換部104は、増感処理及び減感処理が施された画像データに対して、第1のメタデータ取得部109より取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータ取得部110にて取得された第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースをカメライメージャ101のカラースペースから標準のカラースペースに変換する。
The first sensitization / desensitization / gain adjustment / color space conversion unit 104 (first correction unit) performs sensitization processing, desensitization processing, and the like on the image data converted by the first
第1のIDT処理部105は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データを、第1のメタデータ取得部109より取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色調整のための値に変換する。
The first
第1の色修正部106は、第1のIDT処理部105によって変換された画像データに第2のメタデータ取得部110により取得したASC−CDLを適用して色の修正を行う。
The first
第1のODT処理部107は、第1の色修正部106により色修正された画像データのカラースペースを撮像装置100に接続されたモニターのカラースペースに変換して当該モニターに出力する。
The first
エフェクティブマーカ合成部108は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データに、第2のメタデータ取得部110により取得されたエフェクティブマーカ(Effective Marker)のグラフィックスを合成してビューファインダに出力する。
The
第1のメタデータ取得部109は、第1のメタデータである撮影ガンマ、ホワイトバランス、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマを取得して、カメライメージャ101、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106に供給する。
The first
第2のメタデータ取得部110は、第2のメタデータであるEI、エフェクティブマーカ(Effective Marker)、ASC−CDLを取得して、第1の増感/減感・ゲイン調整・カラースペース変換部104、エフェクティブマーカ合成部108、第1の色修正部106に供給する。
The second
第2のメタデータ取得部110は、EIを取得するEI取得部112(照度取得部)を有する。EI取得部112は、照度計113より有線または無線で送信された測定値をリアルタイムに取得し、露出指標値であるEI(Exposure Index of Photo Meter)の値に変換する。また、第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を有する。グラフィカルユーザインタフェース(GUI)114を通じて撮影者や撮影監督などより入力されたエフェクティブマーカ(Effective Marker)およびASC−CDLを受け付けることによってこれらを取得する。
The second
伝送部111(出力部)は、撮像装置100にて得られたRAWデータおよびメタデータとを互いに関連付けて後段の処理環境(ポストプロダクション装置200など)へ伝送する。
The transmission unit 111 (output unit) associates the RAW data and the metadata obtained by the
[ポストプロダクション装置]
図2は本技術に係る一実施形態のポストプロダクション装置200の構成を示すブロック図である。
同図に示すように、本実施形態のポストプロダクション装置200(画像処理装置)は、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207を有する。
[Post production equipment]
FIG. 2 is a block diagram illustrating a configuration of the
As shown in the figure, the post-production device 200 (image processing device) of the present embodiment includes a RAW data /
ポストプロダクション装置200は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/F、モニター、マウスやキーボードなどの入力装置などのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207として動作させる。
The
RAWデータ・メタデータ取得部201(入力部)は、撮像装置100より伝送されたRAWファイルおよびメタデータを取得する。
The RAW data / metadata acquisition unit 201 (input unit) acquires a RAW file and metadata transmitted from the
第2のディベイヤ処理部202(第2の変換部)は、撮像装置100と同様、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。
Similar to the
第2の増感/減感・ゲイン調整・カラースペース変換部203(第2の補正部)は、第2のディベイヤ処理部202により変換されたRGB画像(画像データ)に対して増感処理及び減感処理などを行う。第2の増感/減感・ゲイン調整・カラースペース変換部203は、増感処理及び減感処理が施された画像データに対して、RAWデータ・メタデータ取得部201によって取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースを撮像装置100のカメライメージャ101のカラースペースから標準のカラースペースに変換する。
The second sensitization / desensitization / gain adjustment / color space conversion unit 203 (second correction unit) performs sensitization processing and RGB image (image data) converted by the second
第2のIDT処理部204は、第2の増感/減感・ゲイン調整・カラースペース変換部203より出力された画像データを、RAWデータ・メタデータ取得部201によって取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色修正のための値に変換する。
The second
第2の色修正部205(色修正部)は、第2のIDT処理部204によって変換された画像データにRAWデータ・メタデータ取得部201により取得したASC−CDLを適用して色の修正を行う。
The second color correction unit 205 (color correction unit) applies the ASC-CDL acquired by the RAW data /
エフェクティブマーカ処理部206(切り出し部)は、第2の色修正部205によって色修正が施された画像データから、RAWデータ・メタデータ取得部201により取得された第2のメタデータに属するエフェクティブマーカ(Effective Marker)をもとに有効エリアの切り出し、リサイズなどの処理を行う。
The effective marker processing unit 206 (cutout unit) is an effective marker belonging to the second metadata acquired by the RAW data /
第2のODT処理部207は、エフェクティブマーカ処理部206によって切り出し、リサイズなどが施された画像データのカラースペースをポストプロダクション装置200に接続されたモニターのカラースペースに変換して当該モニターに出力する。
The second
[第2のメタデータに基づく処理について]
本実施形態では、撮像装置100において、EI、エフェクティブマーカ、ASC−CDLが、RAWデータの現像処理に反映させることを推奨する目的の第2のメタデータとして設定され、RAWデータおよび第1のメタデータと共にポストプロダクション装置200に伝送される。したがって、撮像装置100とポストプロダクション装置200のそれぞれにおいて、同一の第2のメタデータを共有することができ、撮影者や撮影監督者等が推奨する画像データをポストプロダクションの場において再現することができる。
[Processing based on second metadata]
In the present embodiment, in the
次に、EI、エフェクティブマーカ、ASC−CDLに基づく処理について説明する。但し、本技術は以下の処理そのものに特徴を有するものではない。 Next, processing based on EI, effective markers, and ASC-CDL will be described. However, the present technology is not characterized by the following processing itself.
(EIを用いたゲイン調整)
次に、撮像装置100およびポストプロダクション装置200でのEIに基づく処理の例を説明する。
撮像装置100において、第2のメタデータ取得部110のEI取得部112は、照度計113より有線または無線で送信された測定値(dB)をリアルタイムに受信し、これを図3に示す表を用いてEI(Exposure Index of Photo Meter)の値に変換する。表に示されるように、EIは、"200"から"3200"までの範囲において決められる複数の整数値を少なくともカバーし、"800"を基準値とする。
(Gain adjustment using EI)
Next, an example of processing based on EI in the
In the
撮像装置100およびポストプロダクション装置200において増感/減感・ゲイン調整・カラースペース変換部(103,203)は、以下の式によってRAWデータのホワイトの値に適用するゲインを算出する。
EI/イメージャ感度 ・・・(1)
したがって、第1のメタデータとして与えられたイメージャ感度(ISO Sensitivity)の値を"800"、EIを"1600"としたとき、RAWデータのホワイトの値に適用するゲインの値として"2"が求められる。
In the
EI / imager sensitivity (1)
Therefore, when the imager sensitivity (ISO Sensitivity) value given as the first metadata is “800” and the EI is “1600”, “2” is the gain value applied to the white value of the RAW data. Desired.
図4は、増感/減感・ゲイン調整・カラースペース変換部(103,203)が画像データに割り当てるゲインを示すグラフである。RAWデータのブラックの値はカメライメージャ101のシャッタオフ時の値であることから照度依存性は無視することができるとしてゲインは"1"で固定である。RAWデータのホワイトの値に適用するゲインの値として"2"が上記の計算方法によって算出された場合、ブラックからホワイトまでの範囲のRAWデータの値に対して"1"から"2"までの範囲のゲインが比例的に割り当てられる。
FIG. 4 is a graph showing gains assigned to image data by the sensitization / desensitization / gain adjustment / color space conversion unit (103, 203). Since the black value of the RAW data is the value when the
より具体的には、RAW Code Valueのブラックの値(固定値)が"512"、RAW Code Valueのホワイトの値(測定値)が"2992"とした場合、(2992−512)×2=5472がゲイン調整されたホワイトの値となる。 More specifically, when the black value (fixed value) of RAW Code Value is “512” and the white value (measured value) of RAW Code Value is “2992”, (2992-512) × 2 = 5472 Is the gain-adjusted white value.
以上のように本実施形態では、EIを第2のメタデータとしてポストプロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が撮像装置100に接続されたモニターで見ていた明るさの画像をポストプロダクション装置200において再現することができる。これにより、ポストプロダクションの作業効率を向上させることができる。
As described above, in the present embodiment, since the EI is transmitted to the
[エフェクティブマーカを用いた処理]
次に、撮像装置100およびポストプロダクション装置200でのエフェクティブマーカに基づく処理を説明する。
エフェクティブマーカは、撮影者が意図したフレーミングを表現することを目的とするメタデータである。エフェクティブマーカは、図5に示すように、有効エリアマーカのペイロードの画枠に対する縮小率(長片の比率)を示すEffective Marker Coverageと、有効エリアマーカのアスペクト比を示すEffective Marker Aspect Ratioとからなる。第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を通じてユーザより、マーカの縮小率の値を取得し、モニターの画面のアスペクト比との相関により、Effective Marker CoverageとEffective Marker Aspect Ratioを決定する。このエフェクティブマーカは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。
[Processing using effective markers]
Next, processing based on the effective marker in the
The effective marker is metadata intended to express the framing intended by the photographer. As shown in FIG. 5, the effective marker includes an Effective Marker Coverage indicating a reduction ratio (a ratio of long pieces) to the image frame of the payload of the effective area marker, and an Effective Marker Aspect Ratio indicating an aspect ratio of the effective area marker. . The second
図6に示すように、撮像装置100では、エフェクティブマーカ合成部108が、第2のメタデータ取得部110によって取得されたエフェクティブマーカのメタデータをもとにビューファインダに表示された画像125にエフェクティブマーカのグラフィックス130を合成して表示させる。
一方、ポストプロダクション装置200では、エフェクティブマーカ処理部206が、RAWデータ・メタデータ取得部201によって取得されたエフェクティブマーカのメタデータをもとに、画像データから有効エリアを切り出し、切り出された画像データをもとの解像度まで拡大する。
As illustrated in FIG. 6, in the
On the other hand, in the
このように、エフェクティブマーカを第2のメタデータとしてポストロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が意図する有効エリアの切り出し処理などをポストプロダクション装置200において迅速に行うことができる。これにより、ポストプロダクションの作業効率を向上させることができる。
As described above, the effective marker is transmitted as the second metadata to the
[ASC−CDLに基づく色修正]
次に、撮像装置100およびポストプロダクション装置200でのASC−CDLに基づく色修正について説明する。
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色調整のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。なお、ASC−CDLに基づく色修正の詳細については、"ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax,ASC-CDL_Release1.2,Joshua Pines and David Reisner,2009-05-04"などに開示される。
[Color correction based on ASC-CDL]
Next, color correction based on ASC-CDL in the
ASC-CDL is information for color adjustment defined by the American Cinematographers Association (ASC). In ASC-CDL, a color is defined for each RGB by three parameters: offset (output value when input is zero), slope (input / output gain), and power (input / output gun marker characteristic). Details of color correction based on ASC-CDL are disclosed in "ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax, ASC-CDL_Release1.2, Joshua Pines and David Reisner, 2009-05-04". Is done.
撮像装置100において、第2のメタデータ取得部110は、例えば、図7に示すように、グラフィカルユーザインタフェース(GUI)114を用いてユーザより与えられた、RGB毎のオフセット、スロープ、パワーの各値を取得し、これらを1つのまとめてASC−CDLを作成する。図7のグラフィカルユーザインタフェース(GUI)114においては、RGB毎のオフセット、スロープ、パワーの各値は、スライドゲージまたはアップ/ダウンボタンを操作することによってそれぞれ個別にユーザが選択することができる。設定されたASC−CDLは、画像表示エリア131に表示された画像にリアルタイムに反映されることで、ユーザは画像の色の変化を確認しながらASC−CDLの設定を行うことができる。
In the
このASC−CDLは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。これにより、撮影者や撮影監督等が意図する色修正をポストプロダクション装置200の第2の色修正部205にて実行させることができ、この結果、ポストプロダクションの作業効率を向上させることができる。
This ASC-CDL is transmitted as second metadata together with the RAW data and the first metadata to the
以上、本技術に係る一実施形態を説明したが、本技術は次のような変形も可能である。
照度計113と撮像装置100との通信にはワイヤレス通信を採用することが有益である。また、照度計113は撮像装置100に一体に設けられていてもよい。
The embodiment according to the present technology has been described above, but the present technology can be modified as follows.
It is beneficial to employ wireless communication for communication between the
上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLを第2のメタデータとして撮像装置100からポストプロダクション装置200に伝送することとしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つを第2のメタデータとして伝送するようにしてもよい。さらに、上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLをポストプロダクション装置200において自動的に現像に反映されることのないメタデータとして扱うこととしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つはポストプロダクション装置200において自動的に現像に反映されるメタデータとして扱うように変更してもよい。
In the above embodiment, the EI, the effective marker, and the ASC-CDL are transmitted as the second metadata from the
なお、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 In addition, this technique is not limited only to the above-mentioned embodiment, Of course, a various change can be added in the range which does not deviate from the summary of this invention.
本技術は以下のような構成も採ることができる。
(1)撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部と
を具備する撮像装置。
(2)前記(1)に記載の撮像装置であって、
請求項1に記載の撮像装置であって、
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有する
撮像装置。
(3)前記(1)から(2)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力する
撮像装置。
(4)前記(1)から(3)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力する
撮像装置。
(5)前記(1)から(4)のうちいずれか1つに記載の撮像装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
撮像装置。
(6)撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する画像処理装置。
(7)前記(6)に記載の画像処理装置であって、
前記入力部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部を
さらに具備する画像処理装置。
(8)前記(6)から(7)のうちいずれか1つに記載の画像処理装置であって、
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
前記色修正のための情報をもとに前記画像データの色修正を行う色修正部を
さらに具備する画像処理装置。
(9)前記(6)から(8)のうちいずれか1つに記載の画像処理装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
画像処理装置。
This technique can also take the following configurations.
(1) an imaging unit that performs imaging and generates RAW data;
A first converter that converts the generated RAW data into image data by interpolation;
An acquisition unit for acquiring an exposure index value corresponding to the illuminance of the shooting environment;
A first correction unit that corrects the value of the image data based on the exposure index value;
An imaging apparatus comprising: an output unit that outputs the RAW data and the acquired exposure index value in association with each other.
(2) The imaging apparatus according to (1),
The imaging apparatus according to claim 1,
The acquisition unit includes an illuminance acquisition unit that acquires a measurement value from an illuminometer and converts the measurement value into the exposure index value.
(3) The imaging apparatus according to any one of (1) to (2),
The acquisition unit further acquires information on an effective area for post-production of the image data,
The output unit outputs the RAW data and the acquired information regarding the effective area in association with each other.
(4) The imaging apparatus according to any one of (1) to (3),
The acquisition unit further acquires information for color correction of the image data,
The output unit outputs the RAW data and the acquired information for color correction in association with each other.
(5) The imaging apparatus according to any one of (1) to (4),
The information for color correction is ASC-CDL (The American Society of Cinematographers Color Decision List).
(6) an input unit for inputting RAW data output from the imaging apparatus and an exposure index value related to the RAW data;
A second conversion unit for converting the RAW data into image data by interpolation;
An image processing apparatus comprising: a second correction unit that corrects the value of the image data based on the exposure index value.
(7) The image processing apparatus according to (6),
The input unit further inputs information about an effective area for post-production of the image data,
An image processing apparatus, further comprising: a cutout unit that cuts out a portion corresponding to the effective area from the image data based on information on the effective area.
(8) The image processing apparatus according to any one of (6) to (7),
The input unit further inputs information for color correction of the image data,
An image processing apparatus, further comprising: a color correction unit that corrects the color of the image data based on the information for color correction.
(9) The image processing apparatus according to any one of (6) to (8),
The information for color correction is an image processing apparatus which is ASC-CDL (The American Society of Cinematographers Color Decision List).
100…撮像装置
101…カメライメージャ
102…RAWファイル書き出し部
103…第1のディベイヤ処理部
104…増感/減感・ゲイン調整・カラースペース変換部
105…第1のIDT処理部
106…第1の色修正部
107…第1のODT処理部
108…エフェクティブマーカ合成部
109…第1のメタデータ取得部
110…第2のメタデータ取得部
111…伝送部
112…EI取得部
113…照度計
114…グラフィカルユーザインタフェース
200…ポストプロダクション装置
201…RAWデータ・メタデータ取得部
202…第2のディベイヤ処理部
203…増感/減感・ゲイン調整・カラースペース変換部
204…第2のIDT処理部
205…第2の色修正部
206…エフェクティブマーカ処理部
207…第2のODT処理部
DESCRIPTION OF
Claims (16)
前記撮像時に自動的に生成される第1のメタデータを取得する第1のメタデータ取得部と、
前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定された情報を含む第2のメタデータを取得する第2のメタデータ取得部と、
前記RAWデータと前記第1のメタデータと前記第2のメタデータとを互いに関連付けて出力する出力部とを備え、
前記第1のメタデータ取得部は、前記撮像時のISO感度を前記第1のメタデータとして取得し、
前記第2のメタデータ取得部は、画像の色に関する設定情報を前記第2のメタデータとして取得する
撮像装置。 An imaging unit that performs imaging and generates RAW data;
A first metadata acquisition unit that acquires first metadata automatically generated at the time of imaging;
A second metadata acquisition unit that acquires second metadata including information set by a user for an image based on the RAW data displayed on the display unit after the imaging;
An output unit that outputs the RAW data, the first metadata, and the second metadata in association with each other;
The first metadata acquisition unit acquires the ISO sensitivity at the time of imaging as the first metadata,
The second metadata acquisition unit acquires setting information related to an image color as the second metadata.
請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein information for a user to select as a setting for an image based on the RAW data is displayed on the display unit together with the image based on the RAW data.
請求項2に記載の撮像装置。 The imaging device according to claim 2, wherein an image reflecting the information selected by the user is displayed on the display unit together with information selected by the user as a setting for an image based on the RAW data.
請求項2に記載の撮像装置。 The imaging device according to claim 2, wherein an image in which the user operation is reflected in real time is displayed on the display unit in response to a user operation on information for the user to select.
請求項1から4のうちいずれかの1つに記載の撮像装置。 The imaging device according to any one of claims 1 to 4, wherein the second metadata acquisition unit acquires the second metadata by a button operation by a user.
請求項5に記載の撮像装置。 The imaging device according to claim 5, wherein the second metadata acquisition unit acquires the second metadata by an up / down button operation by a user.
請求項1から6のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to claim 1, wherein the output RAW data, the first metadata, and the second metadata are recorded on a recording medium.
請求項1から7のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to claim 1, wherein the second metadata is information for image processing in an external image processing apparatus.
請求項1から8のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 8, wherein the setting information relating to the color of the image is an ASC-CDL (The American Society of Cinematographers Color Decision List).
請求項1から9のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 9, wherein the second metadata acquisition unit acquires information about an effective area of an image based on the RAW data as the second metadata.
請求項1から10のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 10, wherein the second metadata acquisition unit includes an illuminance acquisition unit that acquires a measurement value from an illuminometer and converts the measurement value into an exposure index value.
請求項8に記載の撮像装置。 The imaging apparatus according to claim 8, wherein the second metadata is automatically reflected on image data to be displayed on the external image processing apparatus.
請求項1から12のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a conversion unit that performs an interpolation process on the RAW data.
請求項1から12のうちいずれかの1つに記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a color correction unit that performs processing for correcting a color of an image based on the RAW data.
請求項14に記載の撮像装置。 The imaging device according to claim 14, wherein the color correction unit performs processing for correcting the color of the image based on the RAW data based on the second metadata including setting information related to the color of the image. .
第1のメタデータ取得部が、前記撮像時に自動的に生成されるISO感度を第1のメタデータとして取得し、
第2のメタデータ取得部が、前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定された、前記画像の色に関する設定情報を第2のメタデータとして取得し、
出力部が、前記RAWデータと前記第1のメタデータと前記第2のメタデータとを互いに関連付けて出力する
画像処理方法。 RAW data generated by imaging of the imaging unit is acquired,
A first metadata acquisition unit acquires, as first metadata, an ISO sensitivity that is automatically generated at the time of imaging;
A second metadata acquisition unit acquires, as second metadata, setting information relating to the color of the image set by the user for the image based on the RAW data displayed on the display unit after the imaging;
An image processing method in which an output unit associates and outputs the RAW data, the first metadata, and the second metadata.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199688A JP6409938B2 (en) | 2017-10-13 | 2017-10-13 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199688A JP6409938B2 (en) | 2017-10-13 | 2017-10-13 | Imaging apparatus and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091242A Division JP6229809B2 (en) | 2017-05-01 | 2017-05-01 | Imaging apparatus and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181748A Division JP6769466B2 (en) | 2018-09-27 | 2018-09-27 | Image pickup device and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018038053A JP2018038053A (en) | 2018-03-08 |
JP6409938B2 true JP6409938B2 (en) | 2018-10-24 |
Family
ID=61567808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017199688A Active JP6409938B2 (en) | 2017-10-13 | 2017-10-13 | Imaging apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6409938B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7318237B2 (en) | 2019-03-08 | 2023-08-01 | 三井化学株式会社 | Nonwoven fabric, laminate, covering sheet, and method for producing nonwoven fabric |
CN111696050A (en) * | 2020-05-11 | 2020-09-22 | 江苏省互联网行业管理服务中心 | Desensitization tool oriented to process parameter curve graph |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4369585B2 (en) * | 2000-02-07 | 2009-11-25 | 富士フイルム株式会社 | Image processing device |
JP3808742B2 (en) * | 2000-10-06 | 2006-08-16 | 富士写真フイルム株式会社 | Pseudo zoom camera |
JP4115177B2 (en) * | 2002-07-04 | 2008-07-09 | 富士フイルム株式会社 | Image processing method, image processing apparatus, and image processing program |
JP3960335B2 (en) * | 2002-07-12 | 2007-08-15 | セイコーエプソン株式会社 | Output image adjustment of image data |
JP4402488B2 (en) * | 2004-03-18 | 2010-01-20 | オリンパス株式会社 | Image processing device |
JP2006203573A (en) * | 2005-01-20 | 2006-08-03 | Konica Minolta Photo Imaging Inc | Imaging apparatus, image processor, and image recording apparatus |
JP2006287365A (en) * | 2005-03-31 | 2006-10-19 | Seiko Epson Corp | Digital camera |
CA2631893A1 (en) * | 2005-12-16 | 2007-06-21 | Thomson Licensing | Method, apparatus and system for providing reproducible digital imagery products from digitally captured images |
JP5311937B2 (en) * | 2008-09-05 | 2013-10-09 | キヤノン株式会社 | Imaging apparatus and image display method |
-
2017
- 2017-10-13 JP JP2017199688A patent/JP6409938B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018038053A (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6136086B2 (en) | Imaging apparatus and image processing apparatus | |
JP3974964B2 (en) | Image processing device | |
US9294750B2 (en) | Video conversion device, photography system of video system employing same, video conversion method, and recording medium of video conversion program | |
US20110239100A1 (en) | Inspection information processing apparatus and method | |
JP2005252711A (en) | Photographing system using digital still camera and photographing control method | |
JP6409938B2 (en) | Imaging apparatus and image processing method | |
US8094205B2 (en) | Imaging apparatus, image processing method and computer program for smoothing dynamic range of luminance of an image signal, color conversion process | |
JP6049425B2 (en) | Imaging apparatus, image processing apparatus, and control method | |
US8334910B2 (en) | Image capturing apparatus, information processing apparatus, and control methods thereof | |
JP6229809B2 (en) | Imaging apparatus and image processing method | |
JP4143425B2 (en) | Image processing method and apparatus, and image processing program | |
JP6769466B2 (en) | Image pickup device and image processing method | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
JP2014107838A (en) | Imaging apparatus, image processing apparatus, image processing system, and control method | |
JP2004349842A (en) | Method and program for correcting composite image | |
US20060050954A1 (en) | Image processing method, computer program product, and image processing apparatus | |
US8810645B2 (en) | System and method for the profiling and calibration of film scanners | |
JP2004222076A (en) | Image processing program and method | |
JP5976422B2 (en) | Electronic camera | |
JP2009017172A (en) | Image processor and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180910 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6409938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |