JP7011913B2 - Vehicle road surface drawing device - Google Patents
Vehicle road surface drawing device Download PDFInfo
- Publication number
- JP7011913B2 JP7011913B2 JP2017176577A JP2017176577A JP7011913B2 JP 7011913 B2 JP7011913 B2 JP 7011913B2 JP 2017176577 A JP2017176577 A JP 2017176577A JP 2017176577 A JP2017176577 A JP 2017176577A JP 7011913 B2 JP7011913 B2 JP 7011913B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- irradiation
- pattern light
- pattern
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Description
本発明は、自動車といった車両において走行する路面に情報を描画する装置に関する。 The present invention relates to a device that draws information on a road surface traveling in a vehicle such as an automobile.
特許文献1では、自動車からパターン光を照射して自動車の進路を路面に描画する。これにより、歩行者などに自動車の進路の情報を与えることができる。
In
しかしながら、路面は、パターン光による描画を視認するために適したものであるとは限らない。
たとえば路面に設置されたマンホールカバーは鋳物であり、他のアスファルトの部分と異なる反射特性を有する。このため、パターン光の一部がマンホールカバーにかかることにより、パターン光による像が路面に描けない可能性がある。
特に、雨が降っている場合、路面やマンホールカバーの表面は濡れてしまい、光を反射し難くなる。
However, the road surface is not always suitable for visually recognizing the drawing by the pattern light.
For example, a manhole cover installed on the road surface is a casting and has different reflection characteristics from other asphalt parts. For this reason, there is a possibility that an image due to the pattern light cannot be drawn on the road surface because a part of the pattern light is applied to the manhole cover.
In particular, when it is raining, the road surface and the surface of the manhole cover get wet, making it difficult to reflect light.
このように、路面の状態に応じてパターン光による路面描画をコントロールする必要がある。 In this way, it is necessary to control the road surface drawing by the pattern light according to the state of the road surface.
本発明に係る車両の路面描画装置は、車両が走行する路面または前記車両の周囲へ向けてパターン光を照射可能な照射装置と、前記路面に照射された前記パターン光による路面描画像を検出する検出装置と、検出された前記路面描画像が視認に適したものでない場合、前記照射装置による前記パターン光の照射を変更または中止させる制御部と、を有する。 The vehicle road surface drawing device according to the present invention detects an irradiation device capable of irradiating a pattern light toward the road surface on which the vehicle is traveling or the periphery of the vehicle, and a road surface drawing image by the pattern light irradiated on the road surface. It has a detection device and a control unit for changing or stopping the irradiation of the pattern light by the irradiation device when the detected road surface drawing image is not suitable for visual recognition.
好適には、前記パターン光による前記路面描画像についての、視認に適した状態の情報を記憶する記憶部、を有し、前記制御部は、前記記憶部にあらかじめ記憶されている視認に適した状態の前記情報との比較に基づいて、検出された前記路面描画像が視認に適したものであるか否かを判断する、とよい。 Preferably, the control unit has a storage unit that stores information in a state suitable for visual recognition of the road surface drawing image by the pattern light, and the control unit is suitable for visual recognition that is stored in advance in the storage unit. It is preferable to determine whether or not the detected road surface drawing image is suitable for visual recognition based on the comparison with the information of the state.
好適には、前記制御部は、前記路面描画像の一部が欠けている場合または歪んでいる場合、前記路面における前記パターン光の照射位置または照射範囲を、前記路面についての前記一部に対応する部分との重なりを無くすまたは減らすように変更する、とよい。 Preferably, when the part of the road surface drawing image is missing or distorted, the control unit corresponds the irradiation position or irradiation range of the pattern light on the road surface to the part of the road surface. It is advisable to change it so that the overlap with the part to be removed is eliminated or reduced.
好適には、前記制御部は、前記照射装置に前記パターン光を照射させながら、前記パターン光の照射位置または照射範囲を変更する、とよい。 Preferably, the control unit changes the irradiation position or irradiation range of the pattern light while irradiating the irradiation device with the pattern light.
好適には、前記制御部は、前記照射装置による前記パターン光の照射を中断し、前記パターン光の照射を、変更した照射位置または照射範囲にて再開する、とよい。 Preferably, the control unit interrupts the irradiation of the pattern light by the irradiation device and restarts the irradiation of the pattern light at the changed irradiation position or irradiation range.
好適には、前記制御部は、前記路面描画像の全体に欠けがある場合または歪みがある場合、前記照射装置による前記パターン光の照射を中止する、とよい。 Preferably, the control unit stops the irradiation of the pattern light by the irradiation device when the entire road surface drawing image is chipped or distorted.
好適には、前記制御部は、前記パターン光の変更した照射位置または照射範囲においても欠けまたは歪みがある場合、または前記照射装置による変更能力の限界にまで変更した状態においても欠けまたは歪みがある場合、前記照射装置による前記パターン光の照射を中止する、とよい。 Preferably, the control unit is chipped or distorted even when the patterned light is chipped or distorted in the modified irradiation position or range, or even when it is modified to the limit of the ability to be modified by the irradiation device. In this case, it is advisable to stop the irradiation of the pattern light by the irradiation device.
好適には、前記制御部は、前記路面描画像の明るさが不足している場合、または鮮明でない場合、前記照射装置から照射される前記パターン光の光量を増加させる、とよい。 Preferably, the control unit increases the amount of the pattern light emitted from the irradiation device when the brightness of the road surface drawing image is insufficient or not clear.
好適には、前記制御部は、前記照射装置に前記パターン光を照射させながら、前記パターン光の光量を変更する、とよい。 Preferably, the control unit changes the amount of the pattern light while irradiating the irradiation device with the pattern light.
好適には、前記制御部は、前記照射装置による前記パターン光の照射を中断し、前記パターン光の照射を、変更した光量にて再開する、とよい。 Preferably, the control unit interrupts the irradiation of the pattern light by the irradiation device and restarts the irradiation of the pattern light with a changed amount of light.
好適には、前記制御部は、前記パターン光の変更した光量においても明るさが不足している場合または鮮明でない場合、前記照射装置による前記パターン光の照射を中止する、とよい。 Preferably, the control unit stops the irradiation of the pattern light by the irradiation device when the brightness is insufficient or not clear even with the changed light amount of the pattern light.
好適には、前記制御部は、前記路面描画像の色彩が視認に適していない場合、前記照射装置から照射される前記パターン光の色彩を変更する、とよい。 Preferably, the control unit changes the color of the pattern light emitted from the irradiation device when the color of the road surface drawing image is not suitable for visual recognition.
好適には、前記制御部は、前記照射装置に前記パターン光を照射させながら、前記パターン光の色彩を変更する、とよい。 Preferably, the control unit changes the color of the pattern light while irradiating the irradiation device with the pattern light.
好適には、前記制御部は、前記照射装置による前記パターン光の照射を中断し、前記パターン光の照射を、変更した色彩にて再開する、とよい。 Preferably, the control unit interrupts the irradiation of the pattern light by the irradiation device and restarts the irradiation of the pattern light with the changed color.
好適には、前記制御部は、前記パターン光の変更した色彩においても視認に適していない場合、前記照射装置による前記パターン光の照射を中止する、とよい。 Preferably, the control unit stops the irradiation of the pattern light by the irradiation device when the color of the pattern light is not suitable for visual recognition.
好適には、前記制御部は、前記車両の走行中には、前記照射装置による前記パターン光の照射を中止する、とよい。 Preferably, the control unit stops the irradiation of the pattern light by the irradiation device while the vehicle is traveling.
本発明では、車両が走行する路面または車両の周囲へ向けて照射されたパターン光による路面描画像を、検出装置により検出する。そして、制御部は、検出された路面描画像が視認に適したものでない場合、照射装置によるパターン光の照射を変更または中止させる。
よって、路面についてのパターン光により路面描画がなされる範囲にたとえばマンホールカバーや水溜まりが存在して路面描画像が欠けたり歪んだりしている場合、路面描画像が視認に適したものでないとして、照射装置によるパターン光の照射を変更または中止できる。路面に描画された像の状態に応じて、パターン光による路面描画をコントロールすることができる。視認に適した状態で、路面に像を描画できる。
In the present invention, the detection device detects the road surface drawing image by the pattern light emitted toward the road surface on which the vehicle travels or the periphery of the vehicle. Then, when the detected road surface drawing image is not suitable for visual recognition, the control unit changes or stops the irradiation of the pattern light by the irradiation device.
Therefore, if, for example, a manhole cover or a puddle exists in the range where the road surface is drawn by the pattern light on the road surface and the road surface drawing image is chipped or distorted, the road surface drawing image is considered to be unsuitable for visual recognition and irradiated. Irradiation of pattern light by the device can be changed or stopped. It is possible to control the road surface drawing by the pattern light according to the state of the image drawn on the road surface. An image can be drawn on the road surface in a state suitable for visual recognition.
以下、本発明の実施形態を、図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[第1実施形態]
図1は、本発明の第1実施形態に係る自動車1およびそれが走行する路面30の一例の説明図である。
図1の自動車1では、車体の前部にヘッドライト2が設けられている。自動車1は、運転手の操作に基づいて、たとえば夜間においてヘッドライト2を点灯させながら車道を走行する。路面30がヘッドライト2の光に照らされることにより、運転手は進行方向の路面30などの状態を確認できる。
[First Embodiment]
FIG. 1 is an explanatory diagram of an example of an
In the
ところで、自動車1では、自動車1からパターン光を照射して自動車1の進路を路面30に情報(路面描画像)を描画することが考えられる。これにより、歩行者や運転者などに対して、自動車1の進路などの情報を与えることができる。
しかしながら、自動車1が走行する路面30は、パターン光による描画を視認するために適したものであるとは限らない。アスファルト、石畳、コンクリートなどの路面材料がある。また、黒色かがった路面30もあれば、白色がかった路面30もある。
また、路面30には、マンホールカバーなどの構造物が設置されることがある。マンホールカバーは、基本的に鋳物である。
特に、雨が降っている場合、路面30やマンホールカバーの表面は濡れ、光を反射し難くなる。
このように路面30には様々な反射特性が存在する。
したがって、パターン光を照射して路面30に像を描画する場合、路面30の状態に応じて路面描画をコントロールすることが望ましい。
By the way, in the
However, the
Further, a structure such as a manhole cover may be installed on the
In particular, when it is raining, the
As described above, the
Therefore, when drawing an image on the
図2は、第1実施形態に係る自動車1の路面描画装置10の構成の説明図である。
自動車1に搭載される図2の路面描画装置10は、出力部11、ヘッドライト2、パターン光データの記憶部12、カメラ13、制御部14、要否判断部15、車速センサ16、を有する。
ここで、出力部11、パターン光データの記憶部12、制御部14、および要否判断部15は、1チップマイクロコンピュータに実現されてよい。
FIG. 2 is an explanatory diagram of the configuration of the road
The road
Here, the
ヘッドライト2は、通常のビーム光の照射の他に、パターン光を照射可能なものである。特に、パターン光のたとえば照射範囲、照射方向などを調整可能なものであることが望ましい。
The
記憶部12は、パターン光データを記憶する。パターン光データは、たとえば図1に示すように横断歩道を示すラダーパターンの光データでよい。この他にも運転者に路面30や路肩の凹凸を把握させるためのグリットパターンの光データでよい。記憶部12は、複数種類のパターン光データを記憶してよい。
また、記憶部12は、パターン光による路面描画像についての、視認に適した状態の情報を記憶する。ここでは、たとえばパターン光による路面描画像についての、視認に適した形状の情報を記憶する。
The
Further, the
出力部11は、パターン光の照射をする場合、記憶部12からパターン光データを選択して読み込み、これをヘッドライト2に照射させる。
なお、出力部11は、ヘッドライト2にパターン光データを連続的に照射させても、間欠的に照射させてもよい。
これにより、ヘッドライト2は、自動車1が走行する路面30または自動車1の周囲へ向けてパターン光を照射する。
When irradiating the pattern light, the
The
As a result, the
カメラ13は、たとえばフロントガラスの内側などに設けられ、自動車1の周囲前方を撮像する。撮像範囲には、ヘッドライト2によるビーム光またはパターン光の照射範囲が含まれる。これにより、撮像した画像には、路面30などに照射されたパターン光の画像成分が含まれる。
このように、カメラ13は、路面30に照射されたパターン光による路面描画像を検出する。
The
In this way, the
要否判断部15は、パターン光の照射の要否を判断する。たとえば、カメラ13の撮像画像に歩行者が認識された場合、図示外の明るさセンサにより周囲が暗いことが検出された場合、ヘッドライト2が点灯状態に操作された場合、要否判断部15はパターン光の照射を必要と判断し、それ以外の場合には不要と判断する。
The
制御部14は、要否判断部15がパターン光の照射を必要と判断している場合、出力部11にパターン光の照射を開始させる。制御部14は、出力部11に対して、照射させるパターン光の選択を指示してよい。
また、制御部14は、カメラ13の撮像画像に基づいて、検出されたパターン光について判断し、パターン光の照射を制御する。
たとえば記憶部12に記憶される情報との比較により、検出された路面描画像が視認に適したものでない場合、パターン光の照射を変更または中止させる。
When the
Further, the
For example, if the detected road surface drawing image is not suitable for visual recognition by comparison with the information stored in the
車速センサ16は、たとえば加速度センサやGPS(Global Positioning System)受信機であり、自動車1の移動速度を検出する。
The
図3は、パターン光の照射開始制御の一例を示すフローチャートである。
図3の照射開始制御は、パターン光の照射をしていない期間において周期的に実行される。
FIG. 3 is a flowchart showing an example of irradiation start control of pattern light.
The irradiation start control of FIG. 3 is periodically executed during a period during which the pattern light is not irradiated.
図3の照射開始制御において、要否判断部15は、パターン光の照射の要否を判断する(ステップST1)。
たとえば、要否判断部15は、車速センサ16の検出に基づいて自動車1の停車を判断する。
そして、自動車1が停車している状態においてカメラ13の撮像画像に歩行者が認識された場合、パターン光の照射を必要と判断する。
また、図示外の明るさセンサにより周囲が暗いことが検出された場合、パターン光の照射を必要と判断する。
また、ヘッドライト2が点灯状態に操作された場合、パターン光の照射を必要と判断する。
それ以外の場合には、要否判断部15は、パターン光の照射を不要と判断する。この場合、図3の照射開始制御はそのまま終了する。
In the irradiation start control of FIG. 3, the
For example, the
Then, when a pedestrian is recognized in the image captured by the
If it is detected by a brightness sensor (not shown) that the surroundings are dark, it is determined that pattern light irradiation is necessary.
Further, when the
In other cases, the
パターン光の照射が必要である場合、制御部14は、要否判断部15の判断結果に基づいて、パターン光の照射を開始させる。
具体的には、制御部14は、照射するパターン光データの選択を出力部11へ指示し(ステップST2)、さらにパターン光の照射開始を出力部11へ指示する(ステップST3)。
出力部11は、指定されたパターン光データを記憶部12から読み込み、パターン光データの出力を開始する。
これにより、路面30には、たとえば図1に示すように横断歩道を示すラダーパターンが描画される。
When it is necessary to irradiate the pattern light, the
Specifically, the
The
As a result, a ladder pattern indicating a pedestrian crossing is drawn on the
図4は、路面30の状態に応じて、パターン光の照射を変更または終了する制御の一例を示すフローチャートである。
図4の照射変更制御は、パターン光を照射している期間において周期的に実行される。
図4の照射変更制御は、図3の照射開始制御によりパターン光の照射が開始された直後から開始されてよい。
FIG. 4 is a flowchart showing an example of control for changing or ending the irradiation of the pattern light according to the state of the
The irradiation change control of FIG. 4 is periodically executed during the period of irradiating the pattern light.
The irradiation change control of FIG. 4 may be started immediately after the irradiation of the pattern light is started by the irradiation start control of FIG.
図4の照射変更制御において、要否判断部15は、パターン光の照射の要否を判断する。具体的には、車速センサ16の検出に基づいて自動車1の停車を判断する(ステップST11)。
そして、自動車1が停車状態にない場合、すなわち自動車1の走行中には、制御部14は、要否判断部15の判断に基づいて出力部11へパターン光の照射の終了を指示する(ステップST17)。出力部11は、パターン光の照射を終了する。
In the irradiation change control of FIG. 4, the
Then, when the
自動車1が停車状態にある場合、制御部14は、カメラ13から撮像画像のデータを取得する(ステップST12)。
次に、制御部14は、撮像画像に含まれるパターン光によるラダーパターンの成分を抽出する。制御部14は、たとえば撮像画像をエッジ処理することによりラダーパターンの成分を抽出できる。これにより、制御部14は、路面30に照射されたラダーパターンの成分を検出できる。
When the
Next, the
次に、制御部14は、抽出したラダーパターンについて評価判定する(ステップST13)。
制御部14は、パターン光により路面30に描画されたラダーパターンの像が、たとえば記憶部12にあらかじめ記憶されている視認に適した形状の情報との比較に基づいて、ラダーパターンと認識可能な形状であるか否かを評価判定する。
そして、路面描画像がラダーパターンと認識可能なものである場合、制御部14は、描画する像の変更を不要と判断する(ステップST14)。この場合、制御部14は、図4の制御を終了する。
Next, the
The
Then, when the road surface drawing image is recognizable as a ladder pattern, the
これに対して、路面描画像がラダーパターンと認識可能なものではない場合、制御部14は、描画する像の変更制御を実施する(ステップST15)。
制御部14は、出力部11に対して、パターン光の変更を指示する。出力部11は、指示に基づいて、路面30に照射するパターン光を変更する。
On the other hand, when the road surface drawing image is not recognizable as a ladder pattern, the
The
また、制御部14は、出力部11に対してパターン光の変更を指示した後、さらに変更後の画像について視認可能なものとなったか評価判定する(ステップST16)。
制御部14は、カメラ13から撮像画像のデータを取得し、撮像画像に含まれる変更後のラダーパターンが視認可能なものであるか否かを評価判定する。
そして、路面描画像がラダーパターンと認識可能なものに変更されている場合、制御部14は、図4の制御を終了する。
Further, after instructing the
The
Then, when the road surface drawing image is changed to one that can be recognized as a ladder pattern, the
これに対して、路面描画像がラダーパターンと認識可能なものではない場合、制御部14は、出力部11へパターン光の照射の終了を指示する(ステップST17)。出力部11は、パターン光の照射を終了する。
これにより、変更したパターン光においても視認性に欠ける場合、またはヘッドライト2の能力を超えて限界まで変更した状態においても視認性に欠ける場合、パターン光の照射が中止され得る。視認に適さない路面描画像が路面30に描画され続けないようにできる。
On the other hand, when the road surface drawing image is not recognizable as a ladder pattern, the
As a result, if the changed pattern light lacks visibility, or if the visibility is poor even when the
図5は、路面30についてのパターン光の照射範囲の一部にマンホールまたは水たまりがある場合のパターン光の変更制御の一例を示す説明図である。
図5(A)では、ラダーパターンが描画された路面30が描画されている。そして、その描画範囲の一部に、マンホールカバー31が位置する。このため、ラダーパターンが描画された路面30を撮像した路面描画像では、ラダーパターンの形状の一部がマンホールカバー31により欠ける。
この場合、制御部14は、ラダーパターンの描画範囲からマンホールカバー31が外れるように、描画位置をたとえば手前にずらすように変更する。
図5(B)には、変更制御した後のラダーパターンが描画された路面30が描画されている。図5(B)では、マンホールカバー31の手前側にラダーパターンが描画されている。よって、これを撮像した路面描画像では、ラダーパターンの全体が意図したラダー形状に描画される。
なお、制御部14は、描画位置を変更するのではなく、描画範囲(描画サイズ)をたとえば小さく変更してもよい。たとえば止まれマークを路面30に描画する場合、描画範囲を小さくしたとしても歩行者により視認可能である。
また、図5(B)のようにラダーパターンの描画範囲とマンホールカバー31とを完全に重ならないように変更するのではなく、それらの重なりを減らすように変更制御してもよい。
FIG. 5 is an explanatory diagram showing an example of control of changing the pattern light when there is a manhole or a puddle in a part of the irradiation range of the pattern light for the
In FIG. 5A, the
In this case, the
In FIG. 5B, the
The
Further, instead of changing the drawing range of the ladder pattern and the
図6は、路面30についてのパターン光の照射範囲に対して全体的にマンホールまたは水たまりがある場合のパターン光の変更制御の一例を示す説明図である。
図6(A)では、ラダーパターンが描画された路面30が描画されている。そして、その描画範囲の複数の箇所に、マンホールカバー31が位置する。このため、ラダーパターンが描画された路面30を撮像した路面描画像では、ラダーパターンが全体的に複数のマンホールカバー31により欠ける。
この場合、制御部14は、パターン光の照射を中止する。
図6(B)には、変更制御によりラダーパターンの描画を中止した路面30が描画されている。
FIG. 6 is an explanatory diagram showing an example of control of changing the pattern light when there is a manhole or a puddle as a whole with respect to the irradiation range of the pattern light for the
In FIG. 6A, the
In this case, the
In FIG. 6B, the
なお、制御部14は、たとえばラダーパターンを変更前の図6(A)の照射状態から変更後の図6(B)の照射状態へ変更する制御において、変更前のパターン光の照射を中断し、その後には変更した目標照射位置または目標照射範囲にて変更後のパターン光の照射を再開してよい。
または、制御部14は、変更前のパターン光の照射状態から、変更後の目的とする照射状態へ切り替える際に、パターン光の照射を継続しながら、パターン光の照射位置または照射範囲を目標照射位置または目標照射範囲へ向けて段階的に変更するようにしてもよい。
The
Alternatively, when switching from the irradiation state of the pattern light before the change to the target irradiation state after the change, the
以上のように、本実施形態では、自動車1が走行する路面30または自動車1の周囲へ向けて照射されたパターン光による路面描画像を、カメラ13により検出する。そして、制御部14は、検出された路面描画像がたとえば記憶部12にあらかじめ記憶されている視認に適した形状の情報との比較に基づいて、視認に適したものでない場合、ヘッドライト2によるパターン光の照射を変更または中止させる。
よって、路面30についてのパターン光により路面描画がなされる範囲にたとえばマンホールカバー31や水溜まりが存在して路面描画像が欠けたり歪んだりしている場合、路面描画像が視認に適したものでないとして、ヘッドライト2によるパターン光の照射を変更または中止できる。路面30に描画された像の状態に応じて、パターン光による路面描画をコントロールすることができる。視認に適した状態で、路面30に像を描画できる。
As described above, in the present embodiment, the
Therefore, if, for example, a
本実施形態では、自動車1が走行する路面30または自動車1の周囲へ向けて照射されたパターン光による路面描画像を、カメラ13により検出する。そして、制御部14は、検出された路面描画像が視認に適したものでない場合、ヘッドライト2によるパターン光の照射を変更または中止させる。
たとえば、路面描画像の一部が欠けている場合または歪んでいる場合、路面30におけるパターン光の照射位置または照射範囲を、路面30についての該一部に対応する部分との重なりを無くすまたは減らすように変更する。これにより、欠けや歪みが発生していない像を路面30に描画し得る。
この他にもたとえば、路面描画像の全体に欠けがある場合または歪みがある場合、ヘッドライト2によるパターン光の照射を中止する。
よって、路面30についてのパターン光により路面描画がなされる範囲にたとえばマンホールカバー31や水溜まりが存在して路面描画像が欠けたり歪んだりしている場合、路面描画像が視認に適したものでないとして、ヘッドライト2によるパターン光の照射を変更または中止できる。路面30の状態に応じて、パターン光による路面描画をコントロールすることができる。視認に適した状態で、路面30に像を描画できる。
In the present embodiment, the
For example, if a part of the road surface image is missing or distorted, the irradiation position or range of the pattern light on the
In addition to this, for example, if the entire road surface drawing image is missing or distorted, the irradiation of the pattern light by the
Therefore, if, for example, a
本実施形態では、パターン光の照射位置または照射範囲を変更する場合、ヘッドライト2にパターン光を照射させながら、パターン光の照射位置または照射範囲を目標照射位置または目標照射範囲へ段階的に変更する。よって、制御部14は、目標照射位置または目標照射範囲へ変更している間に検出される路面描画像について視認に適したものであるか否かを判断できる。そして、視認に適した状態まで変更した段階で、パターン光の照射位置または照射範囲を維持させることができる。
In the present embodiment, when the irradiation position or irradiation range of the pattern light is changed, the irradiation position or irradiation range of the pattern light is gradually changed to the target irradiation position or target irradiation range while irradiating the
本実施形態では、パターン光の照射位置または照射範囲を変更する場合、ヘッドライト2によるパターン光の照射を中断し、パターン光の照射を、変更した目標照射位置または目標照射範囲にて再開する。よって、変更する場合には直ちに目標照射位置または目標照射範囲へ変更し、視認に適した路面描画像を形成し得る。
In the present embodiment, when the irradiation position or irradiation range of the pattern light is changed, the irradiation of the pattern light by the
本実施形態では、パターン光の変更した照射位置または照射範囲においても欠けまたは歪みがある場合、またはヘッドライト2による変更能力の限界にまで変更した状態においても欠けまたは歪みが残る場合、ヘッドライト2によるパターン光の照射を中止する。これにより、視認に適した状態にない像を路面30に描画し続けないようにできる。
In the present embodiment, when the pattern light is chipped or distorted even in the changed irradiation position or irradiation range, or when the
本実施形態では、自動車1の走行中には、ヘッドライト2によるパターン光の照射を中止する。よって、路面30についてのパターン光の照射範囲が走行により移動する場合において、過去の照射範囲の検出結果に基づいて新たな照射範囲についての変更制御を実施しないようにできる。
In the present embodiment, the irradiation of the pattern light by the
[第2実施形態]
次に、本発明の第2実施形態について説明する。以下の説明では、主に第1実施形態との相違点について説明する。第1実施形態に対応する構成要素については第1実施形態と同一の符号を使用して、その説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the following description, the differences from the first embodiment will be mainly described. The same reference numerals as those of the first embodiment are used for the components corresponding to the first embodiment, and the description thereof will be omitted.
本実施形態の照射変更制御では、制御部14は、図4の評価判定ステップST13において、第1実施形態で説明した判定に加えて、パターン光により路面30に描画されたラダーパターンの像の絶対的な明るさが、視認するために不足しているか否かを評価判定する。制御部14は、たとえば記憶部12にあらかじめ記憶されている視認に適した明るさの情報との比較に基づいて判断すればよい。また、制御部14は、ラダーパターンの像そのものが視認できる程度に鮮明であるか否かを判断してもよい。
そして、ラダーパターンの像が視認可能なものである場合、制御部14は、描画する像の変更を不要と判断する(ステップST14)。この場合、制御部14は、図4の制御を終了する。
In the irradiation change control of the present embodiment, in the evaluation determination step ST13 of FIG. 4, in addition to the determination described in the first embodiment, the
Then, when the image of the ladder pattern is visible, the
これに対して、ラダーパターンの像の明るさが不足して視認可能なものであると言えない場合、制御部14は、描画する像の変更制御を実施する(ステップST15)。
制御部14は、出力部11に対して、パターン光の光量を増加させる指示をする。出力部11は、指示に基づいて、路面30に照射するパターン光の光量を増加させる。
On the other hand, when the brightness of the image of the ladder pattern is insufficient and it cannot be said that the image is visible, the
The
また、制御部14は、出力部11に対してパターン光の変更を指示した後、さらに変更後の画像について視認可能なものとなったか評価判定する(ステップST16)。
制御部14は、カメラ13から撮像画像のデータを取得し、撮像画像に含まれる変更後のラダーパターンの明るさが視認可能なものであるか否かを評価判定する。
そして、路面描画像の明るさがラダーパターンと視認可能なものに変更されている場合、制御部14は、図4の制御を終了する。
Further, after instructing the
The
Then, when the brightness of the road surface drawing image is changed to one that can be visually recognized as the ladder pattern, the
これに対して、路面描画像の明るさがラダーパターンと認識可能なものではない場合、制御部14は、出力部11へパターン光の照射の終了を指示する(ステップST17)。出力部11は、パターン光の照射を終了する。
これにより、変更したパターン光においても視認性に欠ける場合、またはヘッドライト2の能力を超えて限界まで変更した状態においても視認性に欠ける場合、パターン光の照射が中止され得る。視認に適さない路面描画像が路面30に描画され続けないようにできる。
On the other hand, when the brightness of the road surface drawing image is not recognizable as a ladder pattern, the
As a result, if the changed pattern light lacks visibility, or if the visibility is poor even when the
図7は、路面描画像の明るさが不足する場合のパターン光の変更制御の一例を示す説明図である。
図7(A)では、ラダーパターンが薄く描画された路面30が描画されている。ラダーパターンが薄くなる要因としては、たとえばラダーパターンの絶対的な明るさが不足している場合などが考えられる。
この場合、制御部14は、ラダーパターンが明るく鮮明となるように、パターン光の光量を増加させるように変更する。
図7(B)には、変更制御した後のラダーパターンが描画された路面30が描画されている。図7(B)では、ラダーパターンが明るく描画されて鮮明となっている。よって、歩行者に視認し易くなっている。
FIG. 7 is an explanatory diagram showing an example of control for changing the pattern light when the brightness of the road surface drawing image is insufficient.
In FIG. 7A, the
In this case, the
In FIG. 7B, the
図8は、路面描画像の明るさが変更をしても不足する場合のパターン光の変更制御の一例を示す説明図である。
図8(A)では、ラダーパターンが薄く描画された路面30が描画されている。
この場合、制御部14は、ラダーパターンが明るく鮮明となるように、パターン光の光量を増加させるように変更する。
しかしながら、図8(B)の場合、図7の場合とは異なり、パターン光の光量を増加させたとしても依然明るさが不足して鮮明でない。
この場合、制御部14は、パターン光の照射を中止する。
図8(C)には、変更制御によりラダーパターンの描画を中止した路面30が描画されている。
FIG. 8 is an explanatory diagram showing an example of control for changing the pattern light when the brightness of the road surface drawing image is insufficient even if the brightness is changed.
In FIG. 8A, the
In this case, the
However, in the case of FIG. 8B, unlike the case of FIG. 7, even if the amount of the pattern light is increased, the brightness is still insufficient and the image is not clear.
In this case, the
In FIG. 8C, the
なお、制御部14は、たとえばラダーパターンを変更前の図7(A)の照射状態から変更後の図7(B)の照射状態へ変更する制御において、変更前のパターン光の照射を中断し、その後には変更した目標光量にて変更後のパターン光の照射を再開してよい。
または、制御部14は、変更前のパターン光の光量から、変更後の目的とする光量へ切り替える際に、パターン光の照射を継続しながら、パターン光の光量を目標光量へ向けて段階的に変更するようにしてもよい。
The
Alternatively, when switching from the light amount of the pattern light before the change to the target light amount after the change, the
以上のように、本実施形態では、たとえば路面描画像の絶対的な明るさが、記憶部12にあらかじめ記憶されている視認に適した明るさの情報に対して不足している場合、または像そのものが鮮明でない場合、ヘッドライト2から照射されるパターン光の光量を増加させる。これにより、光量が不足していない像を路面30に描画し得る。
この他にもたとえば、パターン光の変更した光量においても明るさが不足している場合または鮮明でない場合、ヘッドライト2によるパターン光の照射を中止する。
よって、路面描画像の絶対的な明るさが不足している場合、または像そのものが鮮明でない場合、路面描画像が視認に適したものでないとして、ヘッドライト2によるパターン光の照射の光量を変更または中止できる。路面30の状態に応じて、パターン光による路面描画をコントロールすることができる。視認に適した状態で、路面30に像を描画できる。
As described above, in the present embodiment, for example, when the absolute brightness of the road surface drawing image is insufficient for the information of the brightness suitable for visual recognition stored in advance in the
In addition to this, for example, if the brightness is insufficient or not clear even with the changed amount of light of the pattern light, the irradiation of the pattern light by the
Therefore, if the absolute brightness of the road surface drawing image is insufficient, or if the image itself is not clear, it is considered that the road surface drawing image is not suitable for visual recognition, and the amount of light of the pattern light irradiation by the
本実施形態では、パターン光の照射位置または照射範囲を変更する場合、ヘッドライト2にパターン光を照射させながら、パターン光の光量を目標光量まで段階的に変更する。よって、制御部14は、目標光量へ変更している間に検出される路面描画像について視認に適したものであるか否かを判断できる。そして、視認に適した状態まで変更した段階で、パターン光の光量を維持させることができる。
In the present embodiment, when the irradiation position or irradiation range of the pattern light is changed, the light amount of the pattern light is changed stepwise to the target light amount while irradiating the
本実施形態では、パターン光の照射光量を変更する場合、ヘッドライト2によるパターン光の照射を中断し、パターン光の照射を、変更した目標光量にて再開する。よって、変更する場合には直ちに目標光量へ変更し、視認に適した路面描画像を形成し得る。
In the present embodiment, when the irradiation light amount of the pattern light is changed, the irradiation of the pattern light by the
本実施形態では、パターン光の変更した照射光量を変更しても光量が不足する場合、またはヘッドライト2による変更能力の限界にまで変更した状態においても光量の不足が残る場合、ヘッドライト2によるパターン光の照射を中止する。これにより、視認に適した状態にない像を路面30に描画し続けないようにできる。
In the present embodiment, when the light amount is insufficient even if the changed irradiation light amount of the pattern light is changed, or when the light amount remains insufficient even when the change ability by the
[第3実施形態]
次に、本発明の第3実施形態について説明する。以下の説明では、主に第2実施形態との相違点について説明する。第2実施形態に対応する構成要素については第1実施形態と同一の符号を使用して、その説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the following description, the differences from the second embodiment will be mainly described. The same reference numerals as those of the first embodiment are used for the components corresponding to the second embodiment, and the description thereof will be omitted.
本実施形態の照射変更制御では、制御部14は、図4の評価判定ステップST13において、第1実施形態および第2実施形態で説明した判定に加えて、パターン光により路面30に描画されたラダーパターンの像の色彩が、視認に適しているか否かを評価判定する。制御部14は、たとえば記憶部12にあらかじめ記憶されている視認に適した色彩の情報との比較に基づいて判断すればよい。
そして、ラダーパターンの像が視認可能な色彩である場合、制御部14は、描画する像の変更を不要と判断する(ステップST14)。この場合、制御部14は、図4の制御を終了する。
In the irradiation change control of the present embodiment, in the evaluation determination step ST13 of FIG. 4, in addition to the determination described in the first embodiment and the second embodiment, the
Then, when the image of the ladder pattern has a visible color, the
これに対して、ラダーパターンの像の色彩が視認に適したものであると言えない場合、制御部14は、描画する像の変更制御を実施する(ステップST15)。
制御部14は、出力部11に対して、パターン光の色彩を変更する指示をする。出力部11は、指示に基づいて、路面30に照射するパターン光の色彩を変更する。
On the other hand, when it cannot be said that the color of the image of the ladder pattern is suitable for visual recognition, the
The
また、制御部14は、出力部11に対してパターン光の変更を指示した後、さらに変更後の画像について視認可能なものとなったか評価判定する(ステップST16)。
制御部14は、カメラ13から撮像画像のデータを取得し、撮像画像に含まれる変更後のラダーパターンの色彩が視認に適したものであるか否かを評価判定する。
そして、路面描画像の色彩が視認に適したものに変更されている場合、制御部14は、図4の制御を終了する。
Further, after instructing the
The
Then, when the color of the road surface drawing image is changed to one suitable for visual recognition, the
これに対して、路面描画像の色彩が視認に適したものではない場合、制御部14は、出力部11へパターン光の照射の終了を指示する(ステップST17)。出力部11は、パターン光の照射を終了する。
これにより、変更したパターン光においても視認性に欠ける場合、またはヘッドライト2の能力を超えて限界まで変更した状態においても視認性に欠ける場合、パターン光の照射が中止され得る。視認に適さない路面描画像が路面30に描画され続けないようにできる。
On the other hand, when the color of the road surface drawing image is not suitable for visual recognition, the
As a result, if the changed pattern light lacks visibility, or if the visibility is poor even when the
図9は、路面描画像の色彩が視認に適していない場合のパターン光の変更制御の一例を示す説明図である。
図9(A)では、ラダーパターンが描画された路面30が描画されている。ラダーパターンの色彩として所望の色が出ていないため、路面描画像が視認し難い。
この場合、制御部14は、ラダーパターンが視認し易くなるように、パターン光の色彩を変更する。たとえば色彩を強くする。
図9(B)には、変更制御した後のラダーパターンが描画された路面30が描画されている。図9(B)では、ラダーパターンの色彩が変更されて鮮明となっている。よって、歩行者に視認し易くなっている。
FIG. 9 is an explanatory diagram showing an example of control of changing the pattern light when the color of the road surface drawing image is not suitable for visual recognition.
In FIG. 9A, the
In this case, the
In FIG. 9B, the
図10は、路面描画像の色彩が変更をしても視認に適していない場合のパターン光の変更制御の一例を示す説明図である。
図10(A)では、ラダーパターンが目立たなく描画された路面30が描画されている。
この場合、制御部14は、ラダーパターンが目立って視認し易くなるように、パターン光の色彩を変更する。
しかしながら、図10(B)の場合でも、図9の場合とは異なり、パターン光の色彩を変更したとしても依然視認し易くなっていない。
この場合、制御部14は、パターン光の照射を中止する。
図10(C)には、変更制御によりラダーパターンの描画を中止した路面30が描画されている。
FIG. 10 is an explanatory diagram showing an example of control of changing the pattern light when the color of the road surface drawing image is changed but not suitable for visual recognition.
In FIG. 10A, the
In this case, the
However, even in the case of FIG. 10B, unlike the case of FIG. 9, even if the color of the pattern light is changed, it is still not easy to see.
In this case, the
In FIG. 10C, the
なお、制御部14は、たとえばラダーパターンを変更前の図9(A)の照射状態から変更後の図9(B)の照射状態へ変更する制御において、変更前のパターン光の照射を中断し、その後には変更した目標色彩にて変更後のパターン光の照射を再開してよい。
または、制御部14は、変更前のパターン光の色彩から、変更後の目的とする色彩へ切り替える際に、パターン光の照射を継続しながら、パターン光の色彩を目標色彩へ向けて段階的に変更するようにしてもよい。
The
Alternatively, when switching from the color of the pattern light before the change to the target color after the change, the
以上のように、本実施形態では、たとえば路面描画像の絶対的な色彩が視認に適していない場合、ヘッドライト2から照射されるパターン光の色彩を変更させる。これにより、適した色彩の像を路面30に描画し得る。
この他にもたとえば、パターン光の変更した色彩においても視認に適していない場合、ヘッドライト2によるパターン光の照射を中止する。
よって、路面描画像の絶対的な色彩が視認に適していない場合、路面描画像が視認に適したものでないとして、ヘッドライト2によるパターン光の色彩を変更または中止できる。路面30の状態に応じて、パターン光による路面描画をコントロールすることができる。視認に適した状態で、路面30に像を描画できる。
As described above, in the present embodiment, for example, when the absolute color of the road surface drawing image is not suitable for visual recognition, the color of the pattern light emitted from the
In addition to this, for example, if the color in which the pattern light is changed is not suitable for visual recognition, the irradiation of the pattern light by the
Therefore, when the absolute color of the road surface drawing image is not suitable for visual recognition, the color of the pattern light by the
本実施形態では、パターン光の照射位置または照射範囲を変更する場合、ヘッドライト2に前記パターン光を照射させながら、パターン光の色彩を目標色彩まで段階的に変更する。よって、制御部14は、目標色彩へ変更している間に検出される路面描画像について視認に適したものであるか否かを判断できる。そして、視認に適した状態まで変更した段階で、パターン光の色彩を維持させることができる。
In the present embodiment, when the irradiation position or irradiation range of the pattern light is changed, the color of the pattern light is changed stepwise to the target color while irradiating the
本実施形態では、パターン光の色彩を変更する場合、ヘッドライト2によるパターン光の照射を中断し、パターン光の照射を、変更した目標色彩にて再開する。よって、変更する場合には直ちに目標色彩へ変更し、視認に適した路面描画像を形成し得る。
In the present embodiment, when the color of the pattern light is changed, the irradiation of the pattern light by the
本実施形態では、パターン光の色彩を変更しても色彩が視認に適していない場合、またはヘッドライト2による変更能力の限界にまで変更した状態においても色彩が適したものとならない場合、ヘッドライト2によるパターン光の照射を中止する。これにより、視認に適した状態にない像を路面30に描画し続けないようにできる。
In the present embodiment, when the color is not suitable for visual recognition even if the color of the pattern light is changed, or when the color is not suitable even when the color is changed to the limit of the change ability by the
上記実施形態は、本発明の好適な実施形態の例であるが、本発明はこれに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。 The above embodiment is an example of a preferred embodiment of the present invention, but the present invention is not limited thereto, and various modifications or modifications can be made without departing from the gist of the present invention.
たとえば上記実施形態では、ヘッドライト2によりパターン光を間欠的に照射させている。この他にもたとえば、フォグライトなどの補助ライトによりパターン光を間欠的に照射させてもよい。
For example, in the above embodiment, the
上記実施形態では、パターン光として1種類のデータを使用している。この他にもたとえば、各種の検出に応じた複数種類のパターン光を使用してもよい。複数種類のパターン光は、択一的に選択されても、同時に複数が選択されて順番に使用されてもよい。 In the above embodiment, one type of data is used as the pattern light. In addition to this, for example, a plurality of types of pattern light corresponding to various types of detection may be used. A plurality of types of pattern lights may be selectively selected, or a plurality of types may be selected at the same time and used in order.
1…自動車(車両)、2…ヘッドライト(照射装置)、10…路面描画装置、11…出力部、12…記憶部、13…カメラ(検出装置)、14…制御部、15…要否判断部、16…車速センサ、30…路面、31…マンホールカバー 1 ... Automobile (vehicle), 2 ... Headlight (illumination device), 10 ... Road surface drawing device, 11 ... Output unit, 12 ... Storage unit, 13 ... Camera (detection device), 14 ... Control unit, 15 ... Necessity judgment Department, 16 ... Vehicle speed sensor, 30 ... Road surface, 31 ... Manhole cover
Claims (5)
前記路面に照射された前記パターン光による路面描画像を検出する検出装置と、
検出された前記路面描画像が視認に適したものでない場合、前記照射装置による前記パターン光の照射を変更または中止させる制御部と、
を有し、
前記制御部は、前記路面描画像の一部が欠けている場合、前記路面における前記パターン光の照射位置または照射範囲を、前記路面についての前記一部に対応する部分との重なりを無くすまたは減らすように変更する、
車両の路面描画装置。 An irradiation device capable of irradiating a pattern light toward the road surface on which the vehicle is traveling or the surroundings of the vehicle, and an irradiation device.
A detection device that detects a road surface drawing image by the pattern light applied to the road surface, and
When the detected road surface drawing image is not suitable for visual recognition, a control unit for changing or stopping the irradiation of the pattern light by the irradiation device, and a control unit.
Have,
When a part of the road surface drawing image is missing, the control unit eliminates or reduces the irradiation position or irradiation range of the pattern light on the road surface so as to eliminate or reduce the overlap with the portion corresponding to the part of the road surface. To change,
Vehicle road surface drawing device.
請求項1記載の車両の路面描画装置。 The control unit changes the irradiation position or irradiation range of the pattern light while irradiating the irradiation device with the pattern light.
The vehicle road surface drawing device according to claim 1 .
請求項1記載の車両の路面描画装置。 The control unit interrupts the irradiation of the pattern light by the irradiation device, and restarts the irradiation of the pattern light at the changed irradiation position or irradiation range.
The vehicle road surface drawing device according to claim 1 .
請求項1から3のいずれか一項記載の車両の路面描画装置。 When the entire road surface drawing image is missing , the control unit stops the irradiation of the pattern light by the irradiation device.
The vehicle road surface drawing device according to any one of claims 1 to 3 .
請求項1から4のいずれか一項記載の車両の路面描画装置。 When the control unit has a defect even in the changed irradiation position or irradiation range of the pattern light, or when there is a defect even in a state where the pattern light is changed to the limit of the change ability by the irradiation device, the pattern by the irradiation device is used. Stop irradiating light,
The vehicle road surface drawing device according to any one of claims 1 to 4 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176577A JP7011913B2 (en) | 2017-09-14 | 2017-09-14 | Vehicle road surface drawing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176577A JP7011913B2 (en) | 2017-09-14 | 2017-09-14 | Vehicle road surface drawing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019051792A JP2019051792A (en) | 2019-04-04 |
JP7011913B2 true JP7011913B2 (en) | 2022-01-27 |
Family
ID=66014095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017176577A Active JP7011913B2 (en) | 2017-09-14 | 2017-09-14 | Vehicle road surface drawing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7011913B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7512266B2 (en) | 2019-05-16 | 2024-07-08 | 株式会社小糸製作所 | Transportation Systems and Infrastructure |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010018243A (en) | 2008-07-14 | 2010-01-28 | Mazda Motor Corp | Drive assistant device for vehicle |
WO2016163294A1 (en) | 2015-04-10 | 2016-10-13 | 日立マクセル株式会社 | Video image projection device |
JP2016199072A (en) | 2015-04-07 | 2016-12-01 | 株式会社小糸製作所 | Vehicular display system |
-
2017
- 2017-09-14 JP JP2017176577A patent/JP7011913B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010018243A (en) | 2008-07-14 | 2010-01-28 | Mazda Motor Corp | Drive assistant device for vehicle |
JP2016199072A (en) | 2015-04-07 | 2016-12-01 | 株式会社小糸製作所 | Vehicular display system |
WO2016163294A1 (en) | 2015-04-10 | 2016-10-13 | 日立マクセル株式会社 | Video image projection device |
Also Published As
Publication number | Publication date |
---|---|
JP2019051792A (en) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4613970B2 (en) | Vehicle lighting device | |
JP5680573B2 (en) | Vehicle driving environment recognition device | |
US8721144B2 (en) | Method and device for illuminating roadsides | |
JP4240110B2 (en) | VEHICLE LIGHTING DEVICE, VEHICLE LIGHTING CONTROL METHOD, AND VEHICLE LIGHTING CONTROL PROGRAM | |
US9527429B2 (en) | Method and device for controlling a light emission of at least one headlight of a vehicle | |
JP5682304B2 (en) | Image providing device | |
US9821704B2 (en) | Device and method for controlling a headlamp of a motor vehicle | |
US20140379218A1 (en) | Method and device for ascertaining a positionof an object in the surroundings of a vehicle | |
JP2004098970A (en) | Headlamp device for vehicle | |
US7930083B2 (en) | Method of controlling beam projection of headlights of a motor vehicle | |
JP6983016B2 (en) | Vehicle road surface drawing device | |
JP7348819B2 (en) | Vehicle driving support system | |
JP2016101797A (en) | Safety control device for vehicle start time | |
JP2017102831A (en) | Information processing system, information processing apparatus, and output control method | |
CN110300683A (en) | The control of automotive headlight | |
JP7011913B2 (en) | Vehicle road surface drawing device | |
JP2008296759A (en) | Information processor, method, and program | |
JP6288208B1 (en) | Vehicle headlight control device | |
JP4999651B2 (en) | Vehicle lamp control system | |
JP6625480B2 (en) | Display system | |
JP2007156832A (en) | On-vehicle near-infrared light irradiation device and on-vehicle periphery monitoring device | |
JP4534871B2 (en) | Vehicle lighting device | |
JP4999653B2 (en) | Vehicle lamp control system | |
JP4737108B2 (en) | Headlight control device | |
JP2017007583A (en) | Vehicular safe control apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7011913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |