JP5795853B2 - 測量システム - Google Patents

測量システム Download PDF

Info

Publication number
JP5795853B2
JP5795853B2 JP2010264070A JP2010264070A JP5795853B2 JP 5795853 B2 JP5795853 B2 JP 5795853B2 JP 2010264070 A JP2010264070 A JP 2010264070A JP 2010264070 A JP2010264070 A JP 2010264070A JP 5795853 B2 JP5795853 B2 JP 5795853B2
Authority
JP
Japan
Prior art keywords
image data
imaging
image
surveying
zoom magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010264070A
Other languages
English (en)
Other versions
JP2012112896A (ja
Inventor
富男 稲葉
富男 稲葉
Original Assignee
株式会社ソーキ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソーキ filed Critical 株式会社ソーキ
Priority to JP2010264070A priority Critical patent/JP5795853B2/ja
Publication of JP2012112896A publication Critical patent/JP2012112896A/ja
Application granted granted Critical
Publication of JP5795853B2 publication Critical patent/JP5795853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、測量手段と、当該測量手段に設定された撮像手段と、当該撮像手段で撮像された被撮像対象の画像データに、水平軸および/または鉛直軸を示す十字線画像データを合成する画像合成手段を有する測量システムに関する。
視準点までの距離や所定方向を基準とした角度を計測できる測量装置は、測量精度の観点から視野角が狭いものが一般的である。ところが、近年、土木施工の現場から、測量位置を含む広範囲の画像を表示させたいとの要望がある。そのため、広い視野角の光学系の望遠レンズおよびCCDカメラからなる撮像手段を用いて、測量位置を含む広範囲の画像を撮像し、モニターに表示させている。
さらに、上記撮像手段で撮影された画像に十字線画像を合成してモニターに表示させることが行なわれている(特許文献1参照)。
特開2009−139319号公報
しかしながら、上記特許文献1の撮像手段は、光学系の望遠レンズを用いているため、ズーム動作でレンズ位置が変動して光軸中心が一定に保てずに、ズーム前後で十字線の交点と視準とがずれてしまうものもある。これは、十字線画像を撮像範囲の中心に位置するように常に画像合成することで確認される。例えば、図11にズーム前後の撮像画像の変化を示す。十字線画像)の交点は、撮像範囲(太枠内)の上下・左右の中心座標を原点にして位置しているが、被撮像対象(構造物)と十字線画像の交点位置とが、ズーム倍率0倍とズーム倍率10倍とのズーム前後で異なっており、十字線画像に対し、被撮像対象(構造物)が右側に移動している。従来は、このような問題が生じないように、ズーム動作でレンズ位置が変動しない高精度の光学系の望遠レンズを用いていた。また、測量精度上問題のないズーム範囲で、ズーム動作をさせており、測量精度を考慮しているため実際に使用可能なズーム倍率には限界があった。すなわち、高精度の光学系の望遠レンズを検査して選択する作業や、装置コストが膨らむという問題、ズーム倍率の使用限界範囲等の問題が存在し、改善が要望されていた。
また、撮像手段として、簡単に入手できる一般的なデジタルビデオカメラ、監視カメラ等を用いる場合にも上記の問題が生じる。すなわち、光学系ズーム機構を採用したズーム動作において、レンズ位置が変動して光軸中心が一定に保てずに、ズーム前後で十字線の交点と視準とがずれてしまうものもある。さらに、測量手段とは別に撮像手段を測量目的で使用したい要望があり、この場合に、撮像手段で撮像された画像データに鉛直軸を入れたいとの要望がある。
本発明は、上記実情に鑑みてなされたものであり、光学系ズーム機構のズーム前後において被撮像対象と十字線画像との合成位置が維持可能な測量システムを提供することを目的とする。また、撮像手段で撮像された画像データに鉛直軸をいれることができ、光学系ズーム機構のズーム前後において被撮像対象と鉛直軸との合成位置が維持可能な撮像システムを提供することを目的とする。
上記課題を解決するため本発明は、水平に設置され、かつ光軸方向の被撮像対象に設置された視準点までの距離および/または所定方向を基準とした当該視準の角度を計測する測量手段と、当該測量手段の視準軸に平行に設定され、かつ光学系ズーム機構を有する撮像手段と、当該撮像手段で任意のズーム倍率で撮像された被撮像対象の画像データに、水平軸および/または鉛直軸を示す十字線を含む十字線画像データを合成する画像合成手段と、前記画像合成手段で合成された合成画像データを表示する表示手段と、を有する測量システムであって、
前記撮像手段の前記光学系ズーム機構に起因した任意のズーム倍率mごとの光軸中心のズレ情報を予め記憶している記憶手段をさらに有し、
前記画像合成手段は、第1のズーム倍率で撮像された第1画像データと前記十字線画像データを合成した際における当該第1画像データと当該十字線画像データとの合成位置関係を任意のズーム倍率mでも維持するように、前記記憶手段に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと前記十字線画像データとを合成することを特徴とする。
この構成によれば、第1のズーム倍率で撮像された画像データとそれに合成された十字線画像データの十字線交点との合成位置関係(相対的位置)を維持して、第2のズーム倍率においても同じ合成位置関係(相対的位置)で第2のズーム倍率で撮像された画像データと十字線画像データとを合成できる。例えば、図1に示すように、ズーム倍率0倍と10倍のズーム前後において、十字線画像と被撮像対象(構造物)との合成位置(相対的位置)は同じになる。すなわち、ズーム前後において、十字線交点と目標点(あるいは視準点)の位置がずれない測量システムを提供することができる。
「十字線」は水平線および/または鉛直線を示す。十字線は、ライン同士が交差している形態も含み、例えば、ライン同士が直交している場合に水平線および鉛直線を示しているものとしてもよく、いずれか一方のラインの長さがその他方のラインよりも長くてもよい。「十字線画像」は、例えば、図1に示すような十字線(水平線、鉛直線)、2本線以上の十字線等が挙げられる。測量時の撮像では、視準と十字線の交点が重なるように設定する。また、十字線の交点は、点でもよいが、円、任意のマークで示してもよい。また、十字線は、実線、点線等でもよく、その太さ、色は適宜設定可能である。また、十字線画像の交点が、表示画面あるいは撮像手段で撮像された撮像範囲の上下左右(縦横)の中心位置になるように画像合成されることが視認性や他の構造物との相対的位置確認のために好ましい。例えば、十字線が表示画面の上下左右(縦横)の中心に表示される。
「第1のズーム倍率」は、0倍に限定されず、任意の倍率でもよい。「第2のズーム倍率」は、「第1のズーム倍率」の拡大倍率に限定されず、縮小倍率であってもよい。例えば、「第1のズーム倍率」を10倍にし、「第2のズーム倍率」を0倍あるいは20倍等に設定してもよい。
光軸中心のズレは、レンズ位置の移動等の光学系ズーム機構に起因して生じる。光軸中心のズレ情報は、例えば、ズーム倍率0倍における目標点(視準点)の水平角および鉛直角を基準とした、他のズーム倍率mでの目標点の水平角および鉛直角の差で示すことができ、また、ズーム倍率0倍での目標点の(画素)座標と、他のズーム倍率での目標点の(画素)座標との差で示すことができる。光軸中心のズレ情報は、予め記憶手段に記憶され、画像合成処理の際に読み出される構成でもよく、記憶手段から読み出したズレ情報をテンポラリーメモリに保存させておき、それを利用する構成でもよい。また、測量システムが備える通信手段で、所定のタイミングで外部装置から光軸中心のズレ情報のデータを受信し、記憶手段に記憶してもよい。
上記発明において、前記光軸中心のズレ情報が、第1のズーム倍率で撮像された第1画像データと、撮像手段の撮像エリアに対して予め合成位置が固定されている十字線画像データの十字線交点との重複画素位置を原点画素座標とした場合に、その他のズーム倍率mで撮像された第n画像データと当該十字線画像データの十字線交点との重複画素位置と、前記原点画素座標との画素差である相対的画素座標として設定されており、
前記画像合成手段は、第2のズーム倍率で撮像された第2画像データと、当該第2のズーム倍率に係る前記相対的画素座標に基づき合成位置をオフセットした前記十字線画像データとを合成する、または、
前記画像合成手段は、予め合成位置が固定されている十字線画像データと、第2のズーム倍率に係る相対的画素座標に基づき合成位置をオフセットした当該第2のズーム倍率で撮像された第2画像データとを合成することを特徴とする。
この構成によれば、予め設定されている相対的画素座標に基づいて、任意のズーム倍率mで撮像された画像データと十字線画像データとを合成することができる。相対的画素座標は、例えば、ズーム倍率0倍における原点画素座標(X、Y)を基準にして、その他のズーム倍率5倍、10倍等における画素座標(X+1ピクセル、Y+2ピクセル)、(X+2ピクセル、Y−2ピクセル)等のように設定することができる。
第1の合成方法として、画像合成手段は、第2のズーム倍率で撮像された第2画像データと、当該第2のズーム倍率に係る相対的画素座標に基づき合成位置をオフセットした十字線画像データとを合成する。これは、撮像された画像データに対して、十字線画像データの合成位置をオフセットして合成する構成である。例えば、相対的画素座標に基づいてオフセットした場合に、図2に示すように十字線の交点がズーム後に右に移動して表示される。
また、第2の合成方法として、画像合成手段は、予め合成位置が固定されている十字線画像データと、第2のズーム倍率に係る相対的画素座標に基づき合成位置をオフセットした当該第2のズーム倍率で撮像された第2画像データとを合成する。例えば、十字線(が表示画面の上下左右(縦横)の中心になるように撮像された画像データと合成される設定である場合に、撮像した画像データを相対的画素座標に基づいてオフセットして合成することで、常に十字線を表示画面の上下左右(縦横)の中心に位置させることができる。
なお、上記第1の合成方法では、十字線の交点がズーム前後に移動して表示されることになる。しかし、合成画像データ中の十字線の交点が、いずれのズーム倍率mにおいても表示画面の上下および左右の中心に位置するように表示されることが視認性の観点から好ましい。例えば、表示手段の表示制御部が、十字線画像データの画像合成の後に、十字線の交点が表示画面の縦横中心位置になるように表示制御する。これにより、図2のようにズーム前後で十字線の交点が画面の上下左右の中心から移動したように表示されるのではなく、常に画面の上下左右の中心に位置するように構成できる。さらに、十字線の交点が撮像範囲(表示画面)の中央位置に無い場合に、オペレータが十字線交点をその中央位置に移動するように調節する作業を省けるため、操作性にも優れる。
また、表示手段の表示制御部は、撮像手段で撮像された画像データ(さらに、当該画像データと十字線画像データとの合成画像データ)と、測量手段の撮像部で撮像された画像データとを、モニター上の複数表示画面に同時に表示したり、一つの画面を切り替える等して夫々別個に表示するように表示制御することができる。
上記発明において、前記光軸中心のズレに起因してズーム前後で撮像された画像データが所定軸周りに回転して表示される場合に、前記記憶手段は、第1のズーム倍率で撮像された第1画像データを基準として、その他のズーム倍率mで撮像された第n画像データの相対的回転角度を、前記光軸中心のズレ情報に含ませて予め記憶しており、
前記画像合成手段は、前記水平軸および/または鉛直軸を示す十字線画像データと、第2のズーム倍率で撮像された第2画像データとを第2のズーム倍率に係る相対的回転角度に基づきオフセットして合成することを特徴とする。
この構成によれば、光軸中心のズレに起因してズーム前後で撮像された画像データが所定中心(例えば、光軸)に対して回転して表示される場合においても、画像合成手段が、十字線画像データと、第2のズーム倍率で撮像された第2画像データとを、第2のズーム倍率に係る相対的回転角度に基づきオフセットして合成するため、表示画面では、回転が補正された撮像画像を確認できる。画像合成において、上記オフセットは、撮像された画像データに対して行われることが好ましい。
上記発明において、前記記憶手段は、被撮像対象が設置されるべき位置の位置情報および/または所定物の位置情報と、前記被撮像対象および/または所定物の仮想表示用の画像データである補助線画像データをさらに記憶し、
前記位置情報に基づいて、前記被撮像対象および/または所定物の仮想表示を可能とするように、前記撮像手段で撮像された画像データに前記補助線画像データを合成する補助線画像合成手段とをさらに有するが好ましい。
この構成によれば、被撮像対象(視準)または所定物(例えば、境界ライン、基準物となり得る構造物)の位置情報に基づいて被撮像対象および/または所定物の仮想表示(補助線画像)を現時点で撮像されている画像データと共に表示できるため、例えば、被撮影対象の設置位置に被撮影対象を誘導するのに適しており、また、経時的位置変動によるズレ情報を視覚的に確認することが容易になる。
「補助線画像」は、被撮像対象または所定物の仮想表示を示す画像であり、被撮像対象または所定物の外観を模したラインや単なるライン等でもよく、例えば、被撮像対象が斜杭の場合に、斜杭の補助線を図3に示すような斜線(破線)で構成できる。また、境界線の補助線を図4のような境界ライン(破線)で構成できる。なお、補助線画像データは、図3、4のように十字線の交点と交わるように構成されるものに限定されない。また、補助線画像のラインは、実線、点線等でもよく、その太さ、色は適宜設定可能である。
「位置情報」は、例えば、GPS位置情報、測量システムの基準点からの位置情報であり、二次元位置情報に限定されず、三次元的位置情報でもよい。この位置情報には、被撮像対象および所定物を識別する識別情報が含まれ、この識別情報に応じて、補助線画像の種類が自動的に選択されることが好ましい。この場合、補助線画像データも記憶手段に予め記憶されている。例えば、補助線画像データが直線ラインに設定される場合、始点と終点の3次元位置座標データが記憶手段に記憶されている。そして、この位置情報が予め記憶手段に記憶されており、この記憶手段から読み出された位置情報の識別情報に基づいて補助線画像(直線ライン)が選択され、位置情報に基づいた位置で撮像された画像データに合成されるように構成できる。また他の例として、撮像された画像データを画像処理して、被撮像対象の輪郭を抽出し、この輪郭ライン(一部でもよい)を、位置情報に基づいた位置で撮像された画像データに合成する構成もできる。
さらに、補助線画像データを画像データと合成処理する際には、上記の十字線画像データの画像合成手段の機能による合成処理と同様に、補助線画像合成手段は、第1のズーム倍率で撮像された第1画像データと補助線画像データを合成した際における当該第1画像データと当該補助線画像データとの合成位置関係を任意のズーム倍率mでも維持可能なように、記憶手段に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと補助線画像データとを合成することができ、上記の画像合成手段の第1または第2の合成方法を適用できる。
また、他の発明である撮像システムは、予め水平に設置された撮像手段と、
前記撮像手段で撮像された被撮像物の画像データに鉛直軸を示す鉛直軸線データを合成する画像合成手段と、
前記画像合成手段で合成された合成画像データを表示する表示手段と、
前記撮像手段の前記光学系ズーム機構に起因した任意のズーム倍率mごとの光軸中心のズレ情報を予め記憶している記憶手段を有し、
前記画像合成手段は、第1のズーム倍率で撮像された第1画像データと前記鉛直軸線画像データを合成した際における当該第1画像データと当該鉛直軸線画像データとの合成位置関係を任意のズーム倍率mでも維持するように、前記記憶手段に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと前記鉛直軸線画像データとを合成することを特徴とする。
これによって、撮像手段で撮像された画像データに鉛直軸をいれることができ、かつ、光学系ズーム機構のズーム前後において被撮像対象と鉛直軸との合成位置を維持することができる。また、上記測量システムで説明した第1の合成方法および第2の合成方法を用いて、ズーム前後の画像データに鉛直軸線画像を合成することができる。
また、上記発明の一実施形態として、測量システムは、撮像手段および測量手段を少なくとも有する装置本体と、撮像手段および/または測量手段を遠隔操作するためのコントローラとを備え、
前記装置本体が、撮像手段で得られた画像データをコントローラへ送信する第1通信手段を備え、
前記コントローラが、前記第1通信手段から送信された画像データを受信する第2通信手段と、前記第2通信手段で受信された画像データを前記十字線画像データと画像合成する前記画像合成手段と、画像合成された合成画像データを表示する表示手段と、前記撮像手段および/または測量手段を遠隔操作するための遠隔操作指示入力を受け付ける入力手段と、前記入力手段で受け付けた遠隔操作指示に基づいて、前記撮像手段および/または測量手段に対して遠隔操作可能に制御する遠隔操作制御手段を有する。
この構成によれば、撮像手段等を備える装置本体を、それから離れた位置のコントローラで遠隔操作し、装置本体から送信された画像データをモニター上に表示したりして確認することができ、装置本体の夫々にオペレータが常にはりついている必要がなく省人化を図れるので好ましい。
また、上記発明の一実施形態として、測量システムは、撮像手段および測量手段を少なくとも有する複数の装置本体と、前記複数の装置本体の撮像手段および/または測量手段を遠隔操作するための1つのコントローラとを備え、
前記各々の装置本体が、撮像手段で得られた各画像データを当該装置本体を識別する識別情報と共にコントローラへ送信する第1通信手段を備え、
前記コントローラが、前記複数の装置本体の第1通信手段の各々から送信された画像データおよび識別情報と共に受信する第2通信手段と、前記第2通信手段で受信された画像データを識別情報に基づいて前記十字線画像データと画像合成する前記画像合成手段と、画像合成された合成画像データを表示する表示手段と、前記複数の装置本体の各々の撮像手段および/または測量手段を遠隔操作するための遠隔操作指示入力を受け付ける入力手段と、前記入力手段で受け付けた遠隔操作指示に基づいて、前記複数の装置本体の各々の撮像手段および/または測量手段に対して遠隔操作可能に制御する遠隔操作制御手段を有する。
この構成によれば、撮像手段等を備える装置本体の夫々を、それらから離れた位置の一つのコントローラで遠隔操作し、夫々の装置本体から送信された画像データを、モニター上の複数画面に同時に表示したり、画面を切り替える等して夫々別個に表示したりして確認することができ、複数の装置本体の夫々にオペレータが常にはりついている必要がなく省人化を図れるので好ましい。遠隔操作は、例えば、ズーム倍率を変えての撮像操作、複数の撮像手段の切換、通信ON/OFF等の操作が例示される。さらに、光軸方向調整のための角度調節機構(各種回転機構)、測量手段等を遠隔操作するように構成でき、遠隔操作可能な測量システムを好適に構成することができる。また、装置本体を整準機構(水平台)に設置固定する場合に、整準機構を遠隔操作して鉛直角を微調整するように構成できる。
撮像した画像データと十字線を合成した画像のモニター表示の一例を示す図 撮像した画像データと十字線を合成した画像のモニター表示の一例を示す図 撮像した画像データと十字線を合成した画像のモニター表示の一例を示す図 撮像した画像データと十字線を合成した画像のモニター表示の一例を示す図 実施形態1の測量システムの機能について説明するための図 実施形態1の測量システムの機構について説明するための図 2つの測量システムを用いて2方向から構造物を撮像した構成の説明図 相対的画素座標データおよび回転角度の一例の図 実施形態2の測量システムの機能について説明するための図 ズーム前後で回転した画像の補正処理について説明するための図 従来の撮像した画像データと十字線を合成した画像のモニター表示の一例を示す図
(実施形態1)
実施形態1に係る測量システムの機能構成について図5および図6を参照しながら説明する。測量システムは、撮像手段11および測量手段14が遠隔操作コントローラ20によって遠隔操作可能に構成されている。遠隔操作コントローラ20は、例えば、コンピュータと各種機能を実現するための処理手順を含むソフトウエアによって実現することができ、また、専用回路やファームウエア等との組合せで構成することもできる。測量手段14は、装置本体10が水平台(整準機構)に据え付けられていることで、水平設置される。
撮像手段11は、光学系の望遠レンズ機構およびCCDカメラ、CMOSカメラ等の撮像素子を用いることで、構造物全体を広く見渡せることができる。また、光学系のズーム機能のほかに、電子式ズーム機能も備えていてもよい。図6に示すように、撮像手段11は、装置本体10の上部に水平に固定される。よって、測量手段14の光軸方向と平行に調整されて固定される。また、撮像手段11は、静止画および/または動画を撮像する構成である。
角度調節機構12は、撮像手段11の光軸方向を水平軸周りに回転する回転機構と、鉛直軸周りに回転する回転機構を有して構成できる。角度調節機構12は、後述する遠隔操作手段22の遠隔操作命令に応じて機能させることができる。また、上下回転用のツマミ6a、左右回転用のツマミツマミ6bを回転することで、手動で各種回転機構を回転させることができる。
測量手段14は、例えばレーザ光または赤外光等の照射光を光軸方向に照射して視準点(例えば、被撮像対象に設置された全方位プリズム)からの反射光を検出し、当該照射光と反射光との位相差を算出して視準点までの距離を計測する測距部と、水平線を基準とした測量手段本体の水平角と、その水平線に対する鉛直線を基準とした測量手段本体の鉛直角を上記各種回転機構の回転角度から算出する角度情報算出部とを有して構成できる。測量手段14と撮像手段11の両方に対して各種回転機構が同時作用するように測量手段14と撮像手段15は、それらの光軸方向が平行に固定される構成が好ましい。
遠隔制御手段22は、入力手段21で受け付けた遠隔操作指示を第2通信手段24を介して第1通信手段15に送信し、ズーム倍率を変えての撮像操作、撮像手段11の切換、通信ON/OFF等の遠隔操作を実行することができる。また、遠隔制御手段22は、光軸方向調整のための角度調節機構(各種回転機構)、測量手段14等を遠隔操作できる。また、遠隔制御手段22は、撮像手段11および測量手段14の装置本体10を整準機構(不図示)に設置固定する場合に、この整準機構を遠隔操作して鉛直角を微調整するように構成できる。
(ズーム前後の画像のオフセット処理)
画像合成手段25は、撮像手段11で撮像され画像データに十字線画像データを合成する機能である。画像合成処理の方法は、公知の方法を適用でき、例えば、スーパーインポーズ処理を用いることができる。画像合成手段25は、ズーム倍率をキーにして上記オフセット値(図8参照)に応じた合成位置に十字線画像データを、撮像された画像データに合成する。例えば、図1に示すように、ズーム倍率0倍と10倍のズーム前後において、十字線の交点と被撮像対象(構造物)との重複位置(画素)は一致し、被撮像対象(構造物)に対する十字線画像の相対位置は同じである。
また、画像合成手段25は、第2のズーム倍率で撮像された画像データと、当該第2のズーム倍率に係るオフセット値(相対的画素座標)に基づき合成位置をオフセット(補正)した十字線画像データを合成することができる。また別実施形態として、画像合成手段25は、予め合成位置が固定されている十字線画像データと、第2のズーム倍率に係る相対的画素座標に基づき合成位置をオフセットした当該第2のズーム倍率で撮像された画像データを合成することができる。図8(a)に示すように、記憶手段23に各ズーム倍率のオフセット値(ズーム倍率0倍に対する相対的画素座標)が予め記憶されている。このオフセット値は、光学系ズーム機構に起因したものであり、第1のズーム倍率で撮像された第1画像データと、予め合成位置が固定されている十字線画像データの十字線交点との重複画素位置を原点画素座標とした場合に、その他のズーム倍率mで撮像された第n画像データと当該十字線画像データの十字線交点との重複画素位置と、前記原点画素座標との画素差である相対的画素座標として設定されている。
さらに、撮像手段11に電子式ズーム機能が備えられている場合に、この電子式ズーム機能によって生じる、ズーム前後の画像の位置変動を補正することが好ましい。電子式ズームに係るオフセット値も、上記と同様の操作で求めることができ、第1のズーム倍率で撮像された第1画像データと、予め合成位置が固定されている十字線画像データの十字線交点との重複画素位置を原点画素座標とした場合に、その他のズーム倍率mで撮像された第n画像データと当該十字線画像データの十字線交点との重複画素位置と、前記原点画素座標との画素差である相対的画素座標をオフセット値として設定し、記憶手段23に記憶しておく。そして、画像合成手段25は、電子式ズームの際に、上記電子式ズームに係るオフセット値を用いて画像合成処理を実行する。また、光学系ズームと電子式ズームを併用した場合には、それら両方のオフセット値を用いて画像合成処理を実行する。
(ズーム前後で回転した画像のオフセット処理)
また、光軸中心のズレに起因してズーム前後で撮像された画像データが所定軸(例えば光軸)周りに回転して表示される場合がある。このような場合に、記憶手段23は、第1のズーム倍率で撮像された第1画像データを基準として、その他のズーム倍率m(例えば5,10,15倍等)で撮像された第n画像データの相対的回転角度を、光軸中心のズレ情報に含ませて予め記憶しておく。例えば、図8(b)に示すように、記憶手段23は、ズーム倍率0倍を基準として、各ズーム倍率ごとの相対的回転角度を記憶している。
図10(a)で示すように、ズーム倍率0倍で撮像された直杭の構造物は、十字線の鉛直ラインに沿っているが、光軸中心のズレに起因した撮像画像の回転の問題が生じる場合には、図10(b)で示すように、例えばズーム倍率15倍において、直杭の構造物が十字線の鉛直ラインに対し時計周り(光軸周り)に「+2」°傾いて表示されてしまう。この問題を解決するために、画像合成手段25は、ズーム倍率15倍に係る相対的回転角度(+2°)に基づきズーム倍率15倍で撮像された直杭の構造物を回転させて、十字線と合成する(直杭の構造物を−2°回転させて合成する)。よって、表示画面では、回転が補正された直杭の構造物の画像を確認できる。
また、画像合成手段25は、オフセット値を考慮して、いずれのズーム倍率によっても、十字線交点が表示画面の上下左右の中心に位置するように合成画像データを作成するように構成できる。また、別実施形態として、表示手段29の表示制御部が、いずれのズーム倍率によっても、十字線交点が表示画面の上下左右の中心に位置するように合成画像を表示するように構成できる。
(補助線画像の合成処理)
補助線画像合成手段27は、位置情報が記憶されている記憶手段23から識別情報を含む位置情報と補助線画像データを読み出し、この識別情報に基づいて補助線画像(例えば、直線ライン)を選択し、撮像された画像データに補助線画像データを位置情報に基づいた位置に合成する。例えば、図3に示すように、表示画面に斜杭の補助線が斜線(破線)で表示される。あるいは、図4に示すように、表示画面に境界線を示す補助線(破線)が表示される。また、補助線画像データは、図3、4のように十字線の交点と交わるように合成されており、これによってオペレータの確認が容易となる。また、補助線画像合成手段27は、第1のズーム倍率で撮像された第1画像データと補助線画像データを合成した際における当該第1画像データと当該補助線画像データとの合成位置関係を任意のズーム倍率でも維持可能なように、記憶手段23に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと補助線画像データとを合成することができ、上記の画像合成手段25の第1または第2の合成方法を適用できる。
(その他の構成)
第1、第2通信手段15、24は、データの送受信を行う通信装置であり、無線、有線通信を問わないが、遠隔操作の観点から無線通信が好ましい。入力手段21は、例えば、ジョイスティック、タッチパネル、専用キーボード、マウス、音声認識入力装置等で構成され、撮像システムを遠隔操作するための遠隔操作指示入力を受け付ける機能を有する。記憶手段23は、例えば、半導体記憶装置、ハードディスク、各種メディア等の記憶機能を発揮するもので構成できる。表示手段29は、例えば、液晶表示装置、有機EL表示装置、CRT表示装置等を有して構成できる。
(十字線画像の合成位置のオフセット処理)
装置本体10は、三脚や整準装置等の架台上(不図示)に設置される。上記の角度調節機構12により、装置本体10を、架台に対して相対的に移動させて、装置本体10の視準方向(光軸方向)を調節できる。回転機構駆動制御部13は、角度調節機構12の水平角、鉛直角の情報を検出し、遠隔操作コントローラ20に送信する。また、上記の測量手段14で得られた視準までの距離情報は遠隔操作コントローラ20に送信される。また、測量手段14の接眼部141に接眼カメラ7が設置され、撮像された画像データは遠隔操作コントローラ20に送信される。また、撮像手段11で撮像された画像データおよび撮像条件データは遠隔操作コントローラ20に送信される。
遠隔操作コントローラ20は、装置本体10から送信された上記の各種データを処理する。接眼カメラ7で撮像された画像データは、表示手段29の所定のウインドウ画面に表示される。画像合成手段25は、撮像手段11で撮像された画像データに、記憶手段23から読み出された十字線画像データを、ズーム倍率0倍に応じたオフセット値(図8の右に0ピクセル、上に0ピクセル)に基づいて合成位置を補正して画像合成する。ここでは、十字線の交点が撮像画像の上下左右の中心に位置に固定され、その位置を原点座標とする。これにより生成された合成画像データは、表示手段29の所定のウインドウ画面に表示される(図1のズーム倍率0倍の図を参照)。この合成画像データと上記接眼カメラ7で撮像された画像データとを同時に表示する構成とすることで、オペレータは、広視野角の映像と、狭い視野角の測量手段14の望遠鏡5の映像を同時に見ることができるため、視認性の点で好ましい。
オペレータが、入力手段21を用いて、ズーム倍率を0倍から10倍にズームアップする指示をした場合、遠隔制御手段22が、ズーム倍率10倍とする指令を装置本体10に送信する。装置本体10の撮像手段11は、この指令に基づいて、光学系レンズを移動させてズーム倍率を10倍に設定する。ズーム倍率10倍の画像データが遠隔操作コントローラ20に送信される。そして、画像合成手段25は、撮像手段11で撮像された画像データに、十字線画像データを、ズーム倍率10倍に応じたオフセット値(図8の右に+3ピクセル、上に+2ピクセル)に基づいて合成位置を補正して画像合成する。これにより生成された合成画像データは、表示手段29の所定のウインドウ画面に表示される(図1のズーム倍率10倍の図を参照)。また、十字線の交点が表示画面の上下左右の中心に位置するように、オフセット値に基づく画像処理或いは表示制御がなされてもよい。
(補助線画像の表示処理)
以下において、補助線画像を破線の直線ラインとして説明し、上記同様に十字線も同時に表示する。被撮像対象が杭である場合に、遠隔操作コントローラ20の入力手段21を用いて、杭の識別情報を入力するように構成してもよい。杭の設置されるべき位置情報は記憶手段23に予め記憶されていてもよく、所定のタイミングで第2通信手段24が受信した位置情報を記憶手段23に記憶させたものでもよい。
補助線画像合成手段27は、記憶手段23から杭の位置情報を読み出し、位置情報に基づいた位置になるように直線ライン(破線)データを撮像手段11で撮像された画像データに画像合成する。この際に、十字線の交点と直線ライン(補助線画像)が交わるように画像合成される。上述のようにズーム倍率を変更した場合には、十字線と同様に、直線ラインもオフセット値に基づく位置補正が施されて画像合成される。
図7は、2つの測量システムを用いて2方向から構造物(斜杭)を監視している状態を示している。第1測量システムの撮像手段11aおよび測量手段(不図示)と、第2測量システムの撮像手段11bおよび測量手段(不図示)がそれぞれ整準装置上に設置されている。それぞれの遠隔操作コントローラの表示手段のモニターに、図面下部に示すように、撮像手段11a、11bのそれぞれで撮像して得られた画像データに十字線および補助線(破線)が合成された合成画像が表示される。補助線(破線)の表示位置(合成位置)が撮像手段11a、11bのそれぞれの位置に応じて異なっている。これは、それぞれの撮像手段11a、11bを基準点とした場合に、構造物の三次元位置が異なっているからである。第1、第2測量システムの補助線画像合成手段27は、撮像手段11a、11bのそれぞれの基準点と構造物の位置情報に基づいて、補助線画像の合成位置を適切に算出して合成する。なお、別実施形態として、撮像手段11aおよび測量手段(不図示)と、撮像手段11bおよび測量手段(不図示)とを、1つの遠隔操作コントローラ(不図示)で遠隔操作する構成もできる。
また、既に上述した図4は、測量システムを用いて構造物を監視している状態を示している。施工区域としての境界線が予め設定されており、その位置情報が記憶手段23に記憶されている。不図示の遠隔操作コントローラの表示手段に、図4に示すように、測量システムの撮像手段11で撮像して得られた画像データに十字線および境界線用補助線(破線)が合成された合成画像が表示される。補助線画像合成手段27は、測量システムの基準点と境界線の位置情報に基づいて、境界線用補助線画像の合成位置を適切に算出して合成する。
(その他の測量機構の構成)
測量手段14は公知の構成を適用できるが、以下において、測量手段14の機能、機構構成の一例を説明する。装置本体10に測量用の望遠鏡5が内蔵され、この望遠鏡5の光軸は、照射光の光軸と平行になるように調整されている。装置本体10においては、接眼部51には着脱構造(不図示)としての雌ねじが形成され、対物部52にはバランス錘73を固定するための固定機構72が形成されている。さらに、装置本体10の上部には撮像手段11を取り付けるための取付機構(不図示)が形成されている。回転ツマミ6は、装置本体10(撮像手段11および測量手段14)の光軸方向を上下左右に回転移動させるための手動操作用の1対の回転ツマミであり、上下回転用のツマミ6a、左右回転用のツマミ6bで構成される。
オペレータが、以上の構成の装置本体10を使用して測量する場合には、望遠鏡5の接眼部51をオペレータの肉眼でのぞきながら、回転ツマミ6を操作して測量対象の地点を視準し、その視準点までの距離情報を測量手段14によって得て、その視準点の角度情報を回転機構の水平角および鉛直角から得て、これらの測量情報を、装置本体10の不図示の記憶手段に記憶させ、また、不図示のモニターに表示させるように構成できる。以上の測量機能付きの装置本体10は、例えば、公知のトータルステーションと同等の機能を備えて構成できる。
図6において、望遠鏡5の接眼部51に着脱可能に接眼カメラ7が設置され、望遠鏡5の光軸方向にある視準点を含む画像を撮像素子を用いて撮像して電気信号に変換し接眼カメラ画像データとして出力できる。この接眼カメラ7としては、必要に応じてレンズ等の光学系を備えてもよい。この接眼カメラ7は、ねじで螺合する方式、磁石で吸着させる方式、若しくはばねで押さえつけて固定する方式などの着脱構造によって、望遠鏡5の接眼部51に、簡単且つ正確に装着することができる。接眼カメラ7を望遠鏡5の接眼部51に装着することによって、装置本体10の前後(光軸に直交する水平軸回り)の重量バランスが崩れるので、望遠鏡5の対物レンズ52の周囲に、固定機構72によってバランス調整用のバランス錘73を装着し得るように構成されている。
撮像手段11は、装置本体10に着脱可能もしくは一体に取り付けられている。この撮像手段11は、その撮像方向(光軸方向)にある視準点を含む画像を撮像して電気信号に変換して画像データとして出力するように構成されている。この撮像手段11の光軸は、望遠鏡5の光軸と平行になるように調整することができる。この撮像手段11は、遠隔操作コントローラ20からの命令信号に応じてズーム倍率を可変にし、画像データとともに撮像時点でのズーム倍率、シャッター速度などの撮像条件情報を出力することができる。
上記回転機構のモータを直接駆動しない方法として、以下の構成が例示される。回転ツマミ駆動装置9は、装置本体10に備えられた回転ツマミ6を遠隔操作するために着脱可能なユニットである。この回転ツマミ駆動装置9を装置本体10に装着すると、1対の駆動ギア9a,9bの外周面の凹凸が前記回転ツマミ6a,6bの外周面の凹凸と噛み合うので、前記駆動ギア9a,9bを図示しないモータで正逆回転駆動することによって、オペレータが直接手動操作しているように、光軸方向を所望の方向に向けることができる。
(実施形態2)
実施形態2は、図9に示すように、装置本体10に画像合成機能等の構成要素を組み込んだ構成である。同一の符号は、同様の機能を有するため、詳細な説明は省略する。
第1通信手段15は、画像合成手段25で生成された合成画像データ(十字線および/または補助線(直線ライン))を遠隔の表示装置30に送信する。表示装置30は第2通信手段24を介して合成画像データを受信し、表示手段32の液晶モニター等に表示させることができる。装置本体10で合成画像データを作成して、表示装置30で合成画像データを表示しており、表示装置30は、いわゆる監視モニターの機能を有する。さらに、表示装置30は、録画装置(不図示)を有して構成し、合成画像データを録画するように構成できる。また、装置本体10の表示手段(不図示)に合成画像データを表示させることもできる。
(実施形態3)
以上の実施形態1および2の測量システムは、測量手段14を有する構成であったが、測量手段14を有さない撮像システムとして構成することができる。
また、撮像手段11を汎用のデジタルビデオカメラや監視カメラ等で構成することができる。例えば、所定の基準点において整準装置上に載置したデジタルビデオカメラで撮像された画像データ(ズーム倍率の情報を含む)を通信手段を介して、コンピュータ(汎用パソコン)で構成されたコントローラに送信する。コントローラは、上記各種機能要素を実現するためのソフトウエアが予めインストールされている。そして、受信した画像データに十字線および/または補助線を画像合成し、モニターに表示させることができる。また、デジタルビデオカメラのズーム倍率を変更した際に、十字線や補助線の位置補正を上記と同様にオフセット値を用いて画像合成できる。
(撮像システム)
撮像システムは、予め水平に設置された撮像手段(例えば、デジタルビデオカメラや監視カメラ)と、前記撮像手段で撮像された被撮像物の画像データに鉛直軸を示す鉛直軸線データを合成する画像合成手段と、前記画像合成手段で合成された合成画像データを表示する表示手段と、前記撮像手段の前記光学系ズーム機構に起因した任意のズーム倍率mごとの光軸中心のズレ情報を予め記憶している記憶手段を有する。そして、この画像合成手段は、第1のズーム倍率で撮像された第1画像データと前記鉛直軸線画像データを合成した際における当該第1画像データと当該鉛直軸線画像データとの合成位置関係を任意のズーム倍率mでも維持するように、前記記憶手段に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと前記鉛直軸線画像データとを合成する。
上記撮像手段が予め水平に設置されているため、撮像エリアの横ラインが水平に設定されていると仮定することで、鉛直軸線画像を簡単に画像データに合成することができる。
別の実施形態の一例を以下に示す。一般のビデオカメラや監視カメラ等の撮像手段の場合、機器を水平に設置したとしてもそれに伴って機器内部のCCD素子等で構成された撮像エリアが水平になっているとは限らない。機器内部のCCD素子基板が歪んで組み込まれている場合がある。そこで、高精度が要求される測量目的においては、鉛直軸を予め鉛直であることが分かっている付近の建物、重力による振り子等を用いてキャリブレーションする。または、被撮像対象中の建物を鉛直軸とみなして設定する。例えば、前記画像合成手段の画像解析部が、前記撮像手段で撮像された被撮像物の画像データを画像解析して、鉛直方向を示すラインを判断する。これによって当該鉛直方向のラインに鉛直軸線を合成できる。例えば、遠方の高層ビル、地面に垂直な建造物、直杭等の垂直ラインを公知の画像処理手法を用いて解析する。また、画像合成手段は、鉛直軸線が表示画面の横中心位置になるように、被撮像物の画像データに鉛直軸線データを合成することが視認性の観点から好ましい。
1 測量システム
10 装置本体
11、11a、11b 撮像手段
12 角度調整機構
13 回転機構駆動制御部
14 測量手段
15 第1通信手段
20 遠隔操作コントローラ
21 入力手段
22 遠隔制御手段
23 記憶手段
24 第2通信手段
25 画像合成手段
27 補助線画像合成手段
28 角度調節用演算部
29、32 表示手段
30 表示装置

Claims (5)

  1. 水平に設置され、かつ光軸方向の被撮像対象に設置された視準点までの距離および/または所定方向を基準とした当該視準点の角度を計測する測量手段と、当該測量手段の視準軸に平行に設定され、かつ光学系ズーム機構を有する撮像手段と、当該撮像手段で任意のズーム倍率で撮像された被撮像対象の画像データに、水平軸および/または鉛直軸を示す十字線を含む十字線画像データを合成する画像合成手段と、前記画像合成手段で合成された合成画像データを表示する表示手段と、を有する測量システムであって、
    前記撮像手段の前記光学系ズーム機構に起因した任意のズーム倍率mごとの光軸中心のズレ情報を予め記憶している記憶手段をさらに有し、
    前記画像合成手段は、第1のズーム倍率で撮像された第1画像データと前記十字線画像データを合成した際における当該第1画像データと当該十字線画像データとの合成位置関係を任意のズーム倍率mでも維持するように、前記記憶手段に記憶されている光軸中心のズレ情報に基づいて、第2のズーム倍率で撮像された第2画像データと前記十字線画像データとを合成する構成であり、
    前記光軸中心のズレ情報が、第1のズーム倍率で撮像された第1画像データと、撮像手段の撮像エリアに対して予め合成位置が固定されている十字線画像データの十字線交点との重複画素位置を原点画素座標とした場合に、その他のズーム倍率mで撮像された第n画像データと当該十字線画像データの十字線交点との重複画素位置と、前記原点画素座標との画素差である相対的画素座標として設定されており、
    前記画像合成手段は、第2のズーム倍率で撮像された第2画像データと、当該第2のズーム倍率に係る前記相対的画素座標に基づき合成位置をオフセットした前記十字線画像データとを合成する、または、
    前記画像合成手段は、予め合成位置が固定されている十字線画像データと、第2のズーム倍率に係る相対的画素座標に基づき合成位置をオフセットした当該第2のズーム倍率で撮像された第2画像データとを合成することを特徴とする測量システム。
  2. 前記光軸中心のズレに起因してズーム前後で撮像された画像データが所定軸周りに回転して表示される場合に、前記記憶手段は、第1のズーム倍率で撮像された第1画像データを基準として、その他のズーム倍率mで撮像された第n画像データの相対的回転角度を、前記光軸中心のズレ情報に含ませて予め記憶しており、
    前記画像合成手段は、前記水平軸および/または鉛直軸を示す十字線画像データと、第2のズーム倍率で撮像された第2画像データとを第2のズーム倍率に係る相対的回転角度に基づきオフセットして合成することを特徴とする請求項1に記載の測量システム。
  3. 前記記憶手段は、被撮像対象が設置されるべき位置の位置情報および/または所定物の位置情報と、前記被撮像対象および/または所定物の仮想表示用の画像データである補助線画像データをさらに記憶し、
    前記位置情報に基づいて、前記被撮像対象および/または所定物の仮想表示を可能とするように、前記撮像手段で撮像された画像データに前記補助線画像データを合成する補助線画像合成手段とをさらに有する請求項1または2に記載の測量システム。
  4. 前記測量システムは、前記撮像手段および前記測量手段を少なくとも有する装置本体と、前記撮像手段および/または前記測量手段を遠隔操作するためのコントローラとを備え、
    前記装置本体が、前記撮像手段で得られた画像データをコントローラへ送信する第1通信手段を備え、
    前記コントローラが、前記第1通信手段から送信された画像データを受信する第2通信手段と、前記第2通信手段で受信された画像データを前記十字線画像データと画像合成する前記画像合成手段と、画像合成された合成画像データを表示する表示手段と、前記撮像手段および/または前記測量手段を遠隔操作するための遠隔操作指示入力を受け付ける入力手段と、前記入力手段で受け付けた遠隔操作指示に基づいて、前記撮像手段および/または測量手段に対して遠隔操作可能に制御する遠隔操作制御手段を有する、請求項1〜3のいずれか1項に記載の測量システム。
  5. 前記測量システムは、前記撮像手段および前記測量手段を少なくとも有する複数の装置本体と、前記複数の装置本体の前記撮像手段および/または前記測量手段を遠隔操作するための1つのコントローラとを備え、
    前記各々の装置本体が、前記撮像手段で得られた各画像データを当該装置本体を識別する識別情報と共にコントローラへ送信する第1通信手段を備え、
    前記コントローラが、前記複数の装置本体の第1通信手段の各々から送信された画像データおよび識別情報と共に受信する第2通信手段と、前記第2通信手段で受信された画像データを識別情報に基づいて前記十字線画像データと画像合成する前記画像合成手段と、画像合成された合成画像データを表示する表示手段と、前記複数の装置本体の各々の撮像手段および/または測量手段を遠隔操作するための遠隔操作指示入力を受け付ける入力手段と、前記入力手段で受け付けた遠隔操作指示に基づいて、前記複数の装置本体の各々の撮像手段および/または測量手段に対して遠隔操作可能に制御する遠隔操作制御手段を有する、請求項1〜3のいずれか1項に記載の測量システム。
JP2010264070A 2010-11-26 2010-11-26 測量システム Active JP5795853B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010264070A JP5795853B2 (ja) 2010-11-26 2010-11-26 測量システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010264070A JP5795853B2 (ja) 2010-11-26 2010-11-26 測量システム

Publications (2)

Publication Number Publication Date
JP2012112896A JP2012112896A (ja) 2012-06-14
JP5795853B2 true JP5795853B2 (ja) 2015-10-14

Family

ID=46497253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010264070A Active JP5795853B2 (ja) 2010-11-26 2010-11-26 測量システム

Country Status (1)

Country Link
JP (1) JP5795853B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174199B1 (ja) * 2016-05-24 2017-08-02 五洋建設株式会社 誘導方法及び画像表示システム
JP6174198B1 (ja) * 2016-05-24 2017-08-02 五洋建設株式会社 測量装置及び測量方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4354076B2 (ja) * 2000-03-13 2009-10-28 オリンパス株式会社 画枠センタリング調整方法および撮像装置
JP2002094877A (ja) * 2000-09-18 2002-03-29 Sony Corp 電子カメラ装置及び手振れ補正方法
JP4024719B2 (ja) * 2003-04-14 2007-12-19 株式会社トプコン 電子式測量装置
JP5028164B2 (ja) * 2006-07-03 2012-09-19 タイワン インスツルメント カンパニー リミテッド 測量機
JP2008293400A (ja) * 2007-05-28 2008-12-04 Panasonic Corp 映像監視システム及び監視領域設定方法
JP2009016941A (ja) * 2007-06-29 2009-01-22 Funai Electric Co Ltd 撮像装置
JP2009139319A (ja) * 2007-12-10 2009-06-25 Sooki:Kk 画像送信機能付き測量装置、撮像ユニット、測量方法

Also Published As

Publication number Publication date
JP2012112896A (ja) 2012-06-14

Similar Documents

Publication Publication Date Title
JP5060358B2 (ja) 測量システム
JP6654649B2 (ja) 欠陥検出装置及びプログラム
JP6472814B2 (ja) 測量機及びプログラム
JP5473689B2 (ja) 斜杭の打設管理方法
JP6174199B1 (ja) 誘導方法及び画像表示システム
JP2008311804A (ja) 撮像装置および撮像方法
JP6823482B2 (ja) 三次元位置計測システム,三次元位置計測方法,および計測モジュール
JP6118518B2 (ja) 測量装置及びプログラム
WO2008089789A1 (en) Aiming of a geodetic instrument
JP2005106505A (ja) 画像間対応点検出装置および画像間対応点検出方法
JP6899436B2 (ja) 算出システム、プログラム及びターゲット
JP2007147422A (ja) 計測システム、画像処理装置及び方法
JP2000275044A (ja) 柱の建込み計測方法及びその装置
JP5795853B2 (ja) 測量システム
JP2009139319A (ja) 画像送信機能付き測量装置、撮像ユニット、測量方法
JP5550853B2 (ja) 画像送信機能付き測量装置、および測量方法
JP2012061587A (ja) ロボットのティーチングシステム
JP6355767B2 (ja) 測量装置及びプログラム
JP4135934B2 (ja) 電子機器
JP5793777B2 (ja) 鉛直指示機
JP6174198B1 (ja) 測量装置及び測量方法
JP2019219206A (ja) 測定システム
JP2007199083A (ja) 測量装置
JP2004085539A (ja) 測量システム
JP6036213B2 (ja) アダプタ、及びカメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R150 Certificate of patent or registration of utility model

Ref document number: 5795853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250