JP2011135220A - Intercom system - Google Patents

Intercom system Download PDF

Info

Publication number
JP2011135220A
JP2011135220A JP2009291321A JP2009291321A JP2011135220A JP 2011135220 A JP2011135220 A JP 2011135220A JP 2009291321 A JP2009291321 A JP 2009291321A JP 2009291321 A JP2009291321 A JP 2009291321A JP 2011135220 A JP2011135220 A JP 2011135220A
Authority
JP
Japan
Prior art keywords
call
unit
image
mobile
slave unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009291321A
Other languages
Japanese (ja)
Inventor
Yoshinori Muroi
義則 室井
Takahide Noguchi
孝英 野口
Yukio Okada
幸夫 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2009291321A priority Critical patent/JP2011135220A/en
Publication of JP2011135220A publication Critical patent/JP2011135220A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an intercom system that enables a resident to confirm an image of a visitor before performing speech communication operation and to know who the visitor is, and makes the resident select the necessity or non-necessity to make a response. <P>SOLUTION: The intercom system comprises a door-phone slave unit 2 with a camera 25, an intercom master unit 1 configured for speech communication with the door phone slave unit 2, and a transfer device 3 connected to the intercom master unit 1 through a communication line to send and receive audio signals and video signals to and from a mobile speech communication terminal 6 through a wide-area communication network WAN. The transfer device 3 transmits a call notification message including an image picked up by the camera 25 in response to a call from the door phone slave unit 2. The mobile speech communication terminal 6 displays the image picked up by the camera 25 in response to the call notification message, and displays a speech communication button to be pressed to start intercom speech communication with the door phone slave unit 2. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、インターホンシステムに関するものである。   The present invention relates to an intercom system.

従来から、玄関などの宅外に設置されるドアホン子器と、宅内に設置されるとともに、信号線を介してドアホン子器と接続されたインターホン親機とを備え、信号線を介して音声信号を授受することによりドアホン子器とインターホン親機との間で通話が可能なインターホンシステムが提供されている。また、ドアホン子器にカメラを設け、カメラで撮像した来訪者を含むドアホン子器の周囲の画像をインターホン親機で表示し、映像で来訪者の確認を行いながら通話を出来るようにしたインターホンシステムも種々提供されている。   Conventionally, a door phone slave installed outside the house, such as a front door, and an interphone master unit that is installed inside the house and connected to the door phone slave via a signal line are provided with an audio signal via the signal line. An intercom system is provided in which a telephone call can be made between the door phone slave unit and the intercom base unit by exchanging. In addition, an interphone system that has a camera installed on the doorphone unit, displays the surrounding image of the doorphone unit including the visitors imaged by the camera on the interphone master unit, and allows the user to make a call while confirming the visitor with the video. Various types are also provided.

また、インターホン親機に携帯電話網への通信機能を設け、ドアホン子器からの呼び出しがあると、インターホン親機が携帯電話網を介して居住者の所有する携帯電話機と通信を行い、携帯電話機とドアホン子器との間で音声及び映像を授受することで、居住者が外出中であっても来訪者への対応が出来るようにしたインターホンシステムも考えられている(例えば、特許文献1を参照)。   In addition, the interphone base unit is provided with a communication function to the mobile phone network, and when there is a call from the door phone cordless handset, the interphone base unit communicates with the mobile phone owned by the resident through the mobile phone network. An intercom system is also considered in which voice and video are transmitted and received between the door phone and the door phone slave unit so that it can respond to visitors even when the resident is out (see, for example, Patent Document 1). reference).

特許文献1に記載のインターホンシステムでは、ドアホン子器は来訪者を撮像する撮像手段を具備しており、撮像手段で撮像された画像をインターホン親機から携帯電話機に送信することで、携帯電話機に来訪者の画像を表示できるようにしている。   In the intercom system described in Patent Document 1, the door phone sub-unit includes an imaging unit that images a visitor. By transmitting an image captured by the imaging unit from the interphone master to the mobile phone, Visitor images can be displayed.

特開2009−094728号公報JP 2009-094728 A

しかしながら、特許文献1に記載のインターホンシステムでは、来訪者がドアホン子器2の呼出釦を操作すると、携帯電話網を介して携帯電話機が呼び出され、居住者がその呼び出しに応じて通話操作を行うと、すぐさまドアホン子器2と携帯電話機との間で通話が開始されてしまうので、居住者は、来訪者が誰であるかを判断できないまま応答することになるという問題があった。   However, in the intercom system described in Patent Document 1, when a visitor operates the call button of the door phone slave unit 2, the mobile phone is called through the mobile phone network, and the resident performs a call operation in response to the call. Then, since a call is immediately started between the doorphone slave unit 2 and the mobile phone, there is a problem that the resident responds without being able to determine who the visitor is.

本発明は、上記事由に鑑みて為されたものであり、その目的とするところは、通話操作を行う前に来訪者の映像を確認でき、予め来訪者が誰であるかを知るとともに、居住者が応答の要・不要を選択することが可能なインターホンシステムを提供することにある。   The present invention has been made in view of the above-mentioned reasons, and the purpose of the present invention is to confirm a visitor's video before performing a call operation, know in advance who the visitor is, and It is to provide an intercom system that allows a person to select whether or not a response is necessary.

上記目的を達成するために、請求項1の発明では、来訪者を含む周囲の画像を撮像する撮像手段を具備するドアホン子器と、音声信号を授受することにより前記ドアホン子器との間で通話可能なインターホン通話手段と、画像表示手段を具備し、無線通信により広域通信網に接続され、広域通信網を介して前記ドアホン子器との間で音声信号の授受を行う携帯通話端末と、前記ドアホン子器からの呼出操作に応じて、前記携帯通話端末にドアホン子器の撮像手段により撮像された画像を含む呼出通知情報を送信する呼出通知手段とを備え、前記携帯通話端末は、対応する操作手段を操作することで前記ドアホン子器との間で通話を開始する通話釦と、前記呼出通知情報に含まれる画像とを前記画像表示手段に表示することを特徴とする。   In order to achieve the above object, according to the first aspect of the present invention, there is provided between the door phone sub-unit having an image pickup means for picking up a surrounding image including a visitor and the door phone sub-unit by sending and receiving an audio signal. An interphone communication means capable of making a call, and an image display means. Call notification means for transmitting call notification information including an image captured by the imaging means of the door phone slave unit to the mobile call terminal in response to a call operation from the door phone slave unit, A call button for starting a call with the door phone slave unit by operating the operation means, and an image included in the call notification information are displayed on the image display means.

請求項2の発明では、請求項1記載の発明において、前記携帯通話端末は、対応する操作手段を操作することで、前記画像表示手段に表示された画像を切り替える画像切替釦を前記画像表示手段に表示させるとともに、前記画像切替釦に対応する押釦が操作されると、現在表示されている画像とは異なる時間に前記撮像手段により撮像された画像の送信要求を行い、送信要求に応じて送信された画像を前記画像表示手段に表示することを特徴とする。   According to a second aspect of the present invention, in the first aspect of the present invention, the portable telephone terminal has an image switching button for switching an image displayed on the image display unit by operating a corresponding operation unit. When the push button corresponding to the image switching button is operated, a transmission request for the image captured by the imaging unit is made at a time different from the currently displayed image, and the transmission is performed in response to the transmission request. The obtained image is displayed on the image display means.

請求項3の発明では、請求項1記載の発明において、前記ドアホン子器からの呼出操作に応じて、前記ドアホン子器と前記携帯通話端末との間で通話が行われなかった場合に、前記ドアホン子器で撮像された画像を含む呼出情報を記憶する記憶手段を備え、前記携帯通話端末は、前記記憶手段から前記呼出情報を取得して前記画像表示手段に表示することを特徴とする。   In the invention of claim 3, in the invention of claim 1, when a call is not performed between the doorphone slave unit and the mobile call terminal in response to a call operation from the doorphone slave unit, Storage means for storing call information including an image captured by an intercom handset is provided, and the mobile call terminal acquires the call information from the storage means and displays the call information on the image display means.

請求項1の発明によれば、ドアホン子器の呼出操作に応じて、携帯通話端末には撮像手段が撮像した画像が表示されるので、居住者は来訪者を映像によって確認した後、通話釦を操作してドアホン子器との間で通話を行うことができる。また、通話釦はドアホン子器で撮像された画像とともに画像表示手段に表示されるので、居住者は画像を見ながら応答操作を行うことができ、操作性が向上するという効果がある。   According to the first aspect of the present invention, since the image captured by the imaging means is displayed on the mobile call terminal in response to the call operation of the door phone slave unit, the resident confirms the visitor with the video and then presses the call button. You can make a call with the doorphone handset by operating. In addition, since the call button is displayed on the image display unit together with the image captured by the door phone cordless handset, the resident can perform a response operation while viewing the image, and the operability is improved.

請求項2の発明によれば、携帯通話端末に表示された画像に来訪者が含まれていない場合であっても、異なる時刻に撮像された画像を携帯通話端末に表示することができ、居住者はより確実に来訪者を確認することができる。   According to the invention of claim 2, even when a visitor is not included in the image displayed on the mobile phone terminal, images taken at different times can be displayed on the mobile phone terminal. The person can confirm the visitor more reliably.

請求項3の発明によれば、通話を行わなかった来訪者の画像を含む来訪者の情報を携帯通話端末に表示することができるので、居住者は、後からどのような人物が来訪したかを確認することができ、連絡の必要が有る人物か否かを判別することができる。   According to the invention of claim 3, since information of visitors including images of visitors who did not make a call can be displayed on the mobile phone terminal, what kind of person the resident visited later Can be confirmed, and it can be determined whether or not the person needs to be contacted.

本発明の実施の形態にかかるインターホンシステムにかかる携帯通話端末に表示される画面を示す概略図である。It is the schematic which shows the screen displayed on the mobile call terminal concerning the intercom system concerning embodiment of this invention. 同インターホンシステムを示す概略ブロック図である。It is a schematic block diagram which shows the same intercom system. 同インターホンシステムにかかるインターホン親機を示す概略ブロック図である。It is a schematic block diagram which shows the intercom main unit concerning the same intercom system. 同インターホンシステムにかかるドアホン子器を示す概略ブロック図である。It is a schematic block diagram which shows the door phone subunit | mobile_unit concerning the same intercom system. 同インターホンシステムにかかる転送装置を示す概略ブロック図である。It is a schematic block diagram which shows the transfer apparatus concerning the same intercom system. 同インターホンシステムにおいて、携帯通話端末が宅外に存在する場合のドアホン子器からの呼出し処理の流れを示す概略シーケンス図である。In the same intercom system, it is the outline sequence figure which shows the flow of the calling processing from the door phone cordless handset when the portable telephone terminal exists outside the house. 同インターホンシステムにおける携帯通話端末に表示される画面を示す概略図である。It is the schematic which shows the screen displayed on the mobile call terminal in the same intercom system.

以下に本発明の実施の形態を図面に基づいて説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本実施の形態にかかるインターホンシステムは、図2に示すとおり、玄関の近傍などに設置されたドアホン子器(以下、子器と略す。)2と、屋内に設置され子器2との間で通話を行うインターホン親機(以下、親機と略す。)1とを備える。また、本インターホンシステムは、後述するルータ4、イベント管理サーバ5、及び、広域通信網WANを介して、携帯通話端末6との間で音声信号及び映像信号の授受を行う転送装置3とを備え、子器2と携帯通話端末6との間での通話が可能である。   As shown in FIG. 2, the intercom system according to the present embodiment is configured between a door phone child unit (hereinafter abbreviated as a child unit) 2 installed near the entrance and the child unit 2 installed indoors. An interphone master unit (hereinafter abbreviated as “master unit”) 1 for making a call is provided. The intercom system also includes a router 4, an event management server 5, and a transfer device 3 that exchanges audio signals and video signals with the mobile phone terminal 6 via the wide area network WAN. The telephone call between the handset 2 and the mobile call terminal 6 is possible.

広域通信網WANは、携帯通話端末6が無線通信により接続される基地局を含む移動体通信網と、移動体通信網との間で相互接続される公衆交換電話網並びに光回線網などの複数の通信網により構成され、インターネットに接続されている。   The wide area network WAN includes a mobile communication network including a base station to which the mobile communication terminal 6 is connected by wireless communication, and a plurality of public switched telephone networks and optical line networks interconnected between the mobile communication networks. And is connected to the Internet.

ルータ4は、例えば、TCP/IPにより通信するネットワーク機器(転送装置3を含む)により構築されたLANを、公衆交換電話網及び光回線網を介してインターネットに接続するためのモデムである。本実施の形態においては、モデム4は常時光回線網を介してインターネットに接続されており、転送装置3とWANとの間の通信信号をNAT変換することで、転送装置3と、イベント管理サーバ5及び携帯通話端末6との間で通信を可能にしている。   The router 4 is, for example, a modem for connecting a LAN constructed by network devices (including the transfer device 3) communicating by TCP / IP to the Internet via a public switched telephone network and an optical line network. In the present embodiment, the modem 4 is always connected to the Internet via an optical line network, and the communication signal between the transfer device 3 and the WAN is NAT-converted to thereby transfer the transfer device 3 and the event management server. 5 and the mobile call terminal 6 are enabled to communicate with each other.

携帯通話端末6は、例えばW−CDMA(Wideband Code Division Multiple Access)方式の携帯電話機であり、スピーカ、マイク、液晶ディスプレイ、操作ボタンなどにより構成されている。また、携帯通話端末6は第1の無線通信部を備え、携帯電話事業者が提供する基地局との間で、無線による通信を行い、予め割り当てられた固有の電話番号に基づいて、他の携帯通話端末や家庭用電話機との間で通話する携帯電話機能を備える。また携帯通話端末6は、無線LANに関する規格(例えば、IEE 802.11諸規格)に準拠した無線通信を行う第2の無線通信部を備え、基地局及び広域通信網WANを介さずに無線通信を行う無線LAN機能を有する。また携帯通話端末6は、GPS(Global Positioning System)衛星からの衛星電波を受信するGPSアンテナを備え、自機の位置をCPUなどによって算出するGPS機能を有する。なお、携帯電話機能、無線LAN機能、及び、GPS機能については、従来周知の技術であるので詳細な説明を省略する。   The mobile call terminal 6 is, for example, a W-CDMA (Wideband Code Division Multiple Access) mobile phone, and includes a speaker, a microphone, a liquid crystal display, operation buttons, and the like. In addition, the mobile call terminal 6 includes a first wireless communication unit, performs wireless communication with a base station provided by a mobile phone operator, and based on a unique telephone number assigned in advance, It has a mobile phone function for making calls between mobile phone terminals and home phones. In addition, the mobile call terminal 6 includes a second wireless communication unit that performs wireless communication in conformity with a wireless LAN standard (for example, IEE 802.11 standards), and performs wireless communication without going through the base station and the wide area network WAN. It has a wireless LAN function. In addition, the mobile call terminal 6 includes a GPS antenna that receives satellite radio waves from a GPS (Global Positioning System) satellite, and has a GPS function that calculates the position of its own device using a CPU or the like. Since the mobile phone function, the wireless LAN function, and the GPS function are well-known techniques, detailed description thereof is omitted.

子器2は、図4に示すように、子器2を統括的に制御する制御部21と、呼出釦を含む操作部22と、周波数多重化により音声信号及び映像信号が多重化された通信信号を親機1との間で授受する親機インタフェース(以下、親機IFと略す。)23とを備える。また子器2は、来訪者を含む子器2の周囲の映像をするカメラ25を備えており、カメラ25で撮像した映像は、映像処理部24によって映像信号に変換され、制御部21が親機IF23を介して親機1に送信する。また子器2は、マイク27及びスピーカ28を備え、制御部21が親機IF23を介して授受する音声信号に基づいて、通話処理部26がマイク27からの入力を音声信号に変換するとともに、音声信号を音声に変換してスピーカ28から出力させる。   As shown in FIG. 4, the slave unit 2 includes a control unit 21 that comprehensively controls the slave unit 2, an operation unit 22 including a call button, and a communication in which audio signals and video signals are multiplexed by frequency multiplexing. A base unit interface (hereinafter, abbreviated as a base unit IF) 23 for transmitting and receiving signals to and from the base unit 1 is provided. The sub unit 2 includes a camera 25 that displays images around the sub unit 2 including visitors. The video captured by the camera 25 is converted into a video signal by the video processing unit 24, and the control unit 21 controls the main unit 21. It transmits to the base unit 1 via the machine IF 23. Moreover, the subunit | mobile_unit 2 is provided with the microphone 27 and the speaker 28, and while the call processing part 26 converts the input from the microphone 27 into an audio | voice signal based on the audio | voice signal which the control part 21 delivers via the main | base station IF23, The sound signal is converted into sound and output from the speaker 28.

親機1は、図3に示すように、親機1全体を統括的に制御する制御部11と、スイッチなどからなる操作部12と、周波数多重化により音声信号及び映像信号が多重化された通信信号を子器2との間で授受する子器インタフェース(以下、子器IFと略す。)14を備える。また親機1は、液晶パネルからなる映像表示部15を備え、制御部11によって子器IF14を介して受信した映像信号を映像処理部16が復調し、映像表示部15に子器2のカメラ25で撮像された映像を静止画像もしくは動画として表示させる。また親機1は、マイク18及びスピーカ19を備え、制御部11が子器IF14を介して授受する音声信号に基づいて、通話処理部17がマイク18からの入力を音声信号に変換するとともに、音声信号を音声に変換してスピーカ19から出力させる。   As shown in FIG. 3, the base unit 1 includes a control unit 11 that controls the entire base unit 1 as a whole, an operation unit 12 that includes switches, and the like, and audio signals and video signals are multiplexed by frequency multiplexing. A slave unit interface (hereinafter abbreviated as slave unit IF) 14 for transmitting and receiving communication signals to and from the slave unit 2 is provided. The master unit 1 also includes a video display unit 15 formed of a liquid crystal panel. The video processing unit 16 demodulates the video signal received by the control unit 11 via the slave unit IF 14, and the video display unit 15 receives the camera of the slave unit 2. The video imaged at 25 is displayed as a still image or a moving image. The base unit 1 includes a microphone 18 and a speaker 19, and the call processing unit 17 converts the input from the microphone 18 into a voice signal based on the voice signal that the control unit 11 sends and receives via the slave unit IF 14. The sound signal is converted into sound and output from the speaker 19.

ここで親機1と子器2は、子器2の呼出釦(操作部12)が操作されると、親機1と子器2との間で音声信号及び映像信号の授受が行われ、それぞれが備えるマイク18、27及びスピーカ19、28を用いて、親機1と子器2との間で音声による通話を行うとともに、カメラ25で撮像された子器2の周囲の映像を親機1の映像表示部15に表示することができる。なお、親機1と子器2との間のインターホン通話機能の詳細な動作については、従来周知の技術であるので詳細な説明は省略する。   Here, when the call button (operation unit 12) of the child device 2 is operated, the parent device 1 and the child device 2 exchange audio signals and video signals between the parent device 1 and the child device 2, Using the microphones 18 and 27 and the speakers 19 and 28 included in the respective devices, a voice call is performed between the parent device 1 and the child device 2, and an image around the child device 2 captured by the camera 25 is displayed. 1 can be displayed on one video display unit 15. Note that the detailed operation of the interphone call function between the parent device 1 and the child device 2 is a well-known technique and will not be described in detail.

また親機1は、信号線L2を介して転送装置3との間で種々の通信信号の送受信を行う通信部13を備え、子器2からの映像信号及び音声信号を転送装置3に送信するとともに、転送装置3からの音声信号及び映像信号を子器2に送信する。すなわち親機1は、子器2と転送装置3との間の通信を中継している。また親機1は、子器2の呼出釦が操作されると転送装置3に子器2からの呼出が発生した旨を伝える呼出信号を送信する。   Moreover, the main | base station 1 is provided with the communication part 13 which transmits / receives a various communication signal between the transfer apparatuses 3 via the signal wire | line L2, and transmits the video signal and audio | voice signal from the subunit | mobile_unit 2 to the transfer apparatus 3. At the same time, the audio signal and the video signal from the transfer device 3 are transmitted to the slave unit 2. That is, the base unit 1 relays communication between the handset 2 and the transfer device 3. Further, when the call button of the child device 2 is operated, the parent device 1 transmits a call signal that informs the transfer device 3 that a call from the child device 2 has occurred.

転送装置3は、図5に示すように、転送装置3全体を統括的に制御する制御部31と、例えばEEPROM(Electrically Erasable Programmable ROM)などの不揮発性の半導体メモリからなるメモリ33とを備える。   As shown in FIG. 5, the transfer device 3 includes a control unit 31 that comprehensively controls the entire transfer device 3 and a memory 33 made of a nonvolatile semiconductor memory such as an EEPROM (Electrically Erasable Programmable ROM).

メモリ33には、子器2から受信した映像信号、携帯通話端末6を無線LAN機能により呼び出すためのアドレス情報(例えば、IPアドレスなど)、及び、広域通信網WANを介して携帯通話端末6を呼び出すための電話番号、「ただいま呼び出し中です。」などの応答メッセージを示す音声信号などが記憶されており、制御部31が必要に応じて読み書きを行う。   The memory 33 stores the video signal received from the slave unit 2, address information (for example, IP address) for calling the mobile call terminal 6 by the wireless LAN function, and the mobile call terminal 6 via the wide area network WAN. A telephone number for calling, a voice signal indicating a response message such as “Now calling” is stored, and the control unit 31 reads / writes as necessary.

また転送装置3は、例えばテンキーなどからなる操作部32と、液晶ディスプレイからなる表示部34とを備え、操作部32からの操作入力に応じて、制御部31が表示部34の表示内容を切り替えることで、種々の設定を可能にする設定手段を構成している。居住者は、子器2と携帯通話端末6との間でインターホン通話を行うために、これらの設定手段を操作して、携帯通話端末6のアドレス情報及び電話番号の設定や、子器2から出力する応答メッセージの内容を適宜必要に応じて設定する。   In addition, the transfer device 3 includes an operation unit 32 including a numeric keypad and a display unit 34 including a liquid crystal display, for example, and the control unit 31 switches display contents on the display unit 34 in response to an operation input from the operation unit 32. Thus, a setting means that enables various settings is configured. The resident operates these setting means in order to make an interphone call between the handset 2 and the mobile phone terminal 6, and sets the address information and telephone number of the mobile phone terminal 6, or from the handset 2. Set the contents of the response message to be output as necessary.

また転送装置3は、親機1に信号線L2を介して接続され、親機1との間で通信信号の授受を行う通信部35を備え、上述のように親機1が通信信号の中継を行うことで、子器2との間で音声信号や映像信号の授受を行う。   In addition, the transfer device 3 includes a communication unit 35 that is connected to the parent device 1 via the signal line L2 and exchanges communication signals with the parent device 1, and the parent device 1 relays communication signals as described above. As a result, audio signals and video signals are exchanged with the slave unit 2.

また転送装置3は、ルータ4を介して広域通信網WANに接続するルータインタフェース36を備え、広域通信網WANに接続されたイベント管理サーバ5との間で通信を行う。転送装置3は、親機1から呼出信号が入力されると、呼出通知メッセージと携帯通話端末6の識別番号を含む呼出要求信号をイベント管理サーバ5に送信する。また、イベント管理サーバ5は、転送装置3から受信した呼出要求信号に含まれる識別番号に基づいて携帯通話端末6に接続し、転送装置3からの呼出通知メッセージを携帯通話端末6に送信する。   The transfer device 3 includes a router interface 36 that is connected to the wide area network WAN via the router 4 and performs communication with the event management server 5 connected to the wide area network WAN. When a call signal is input from base unit 1, transfer device 3 transmits a call request signal including a call notification message and an identification number of mobile phone terminal 6 to event management server 5. Further, the event management server 5 connects to the mobile call terminal 6 based on the identification number included in the call request signal received from the transfer device 3, and transmits a call notification message from the transfer device 3 to the mobile call terminal 6.

ここで、呼出通知メッセージには、例えばHTMLメールなどが用いられ、携帯通話端末6の液晶ディスプレイには、図1に示すような通知画面7が表示される。通知画面7には、制御部31が子器2から受信した映像信号に基づいて生成した静止画像71、呼出操作が行われた子器を識別するための文字情報72、携帯通話端末6から転送装置3に通話開始メッセージを送信するための操作ボタンに対応した通話釦73、通話を終了するための操作ボタンに対応した終了釦74、及び、押操作を行うことで転送装置3を介して子器2からカメラ25で撮像された単一の画像又は連続する複数の画像を取得するための操作ボタンに対応した画像取得用釦75、76が表示される。ここで、居住者が携帯通話端末6に表示された画像(静止画像71)に基づいて、通話釦73に対応する操作ボタンを操作すると、携帯通話端末6は通話開始メッセージをイベント管理サーバ5に送信し、イベント管理サーバ5は受信した通話開始メッセージを転送装置3に送信する。また、画像取得用釦75、76に対応した操作ボタンを操作することで、静止画像71とは異なる時刻にカメラ25で撮像された画像をイベント管理サーバ5から取得し、静止画像71に代えて表示することができる。   Here, for example, HTML mail or the like is used for the call notification message, and a notification screen 7 as shown in FIG. 1 is displayed on the liquid crystal display of the mobile call terminal 6. On the notification screen 7, the still image 71 generated based on the video signal received from the slave unit 2 by the control unit 31, the character information 72 for identifying the slave unit on which the call operation has been performed, and transferred from the mobile call terminal 6 A call button 73 corresponding to an operation button for transmitting a call start message to the device 3, an end button 74 corresponding to an operation button for ending the call, and a child through the transfer device 3 by performing a push operation. Image acquisition buttons 75 and 76 corresponding to operation buttons for acquiring a single image captured by the camera 25 from the device 2 or a plurality of consecutive images are displayed. Here, when the resident operates the operation button corresponding to the call button 73 based on the image (still image 71) displayed on the mobile call terminal 6, the mobile call terminal 6 sends a call start message to the event management server 5. The event management server 5 transmits the received call start message to the transfer device 3. Further, by operating the operation buttons corresponding to the image acquisition buttons 75 and 76, an image captured by the camera 25 at a time different from that of the still image 71 is acquired from the event management server 5, and is replaced with the still image 71. Can be displayed.

また転送装置3は、携帯通話端末6により呼出釦が押され、広域通信網WANを介して通話開始メッセージを受信すると、メモリ33に記憶された応答メッセージを示す音声信号を子器2に送信するとともに、携帯通話端末6との間で音声による通話を行うため携帯通話端末6との接続を開始する。ここで、携帯通話端末6との接続には、携帯電話事業者などにより提供されているVoIP(Voice over Internet Protocol)サービスを用いて接続を行うことも可能であり、また、公衆交換通話網に携帯通話端末6の電話番号による発信を行うようにしてもよい。いずれの場合であっても、転送装置3が子器2と携帯通話端末6との間で音声信号の授受を行うことで、子器2と携帯通話端末6との間において、音声によるインターホン通話が可能である。なお、VoIPなどの通話技術については、従来周知の技術であるので詳細な説明は省略する。   In addition, when the call button is pressed by the mobile call terminal 6 and the call start message is received via the wide area communication network WAN, the transfer device 3 transmits a voice signal indicating the response message stored in the memory 33 to the slave unit 2. At the same time, connection with the mobile call terminal 6 is started in order to make a voice call with the mobile call terminal 6. Here, the connection with the mobile phone terminal 6 can be performed using a VoIP (Voice over Internet Protocol) service provided by a mobile phone carrier or the like. You may make it perform the transmission by the telephone number of the mobile call terminal 6. FIG. In any case, when the transfer device 3 exchanges audio signals between the handset 2 and the mobile call terminal 6, the interphone call by voice between the handset 2 and the mobile call terminal 6 is performed. Is possible. Note that a call technology such as VoIP is a well-known technology and will not be described in detail.

なお転送装置3の制御部31は、例えば、携帯通話端末6からGPS機能を用いて算出された携帯通話端末6の位置情報を定期的に受信し、予めメモリ33に格納された緯度・経度・高さなどの情報に基づいて、携帯通話端末6が宅内・宅外のどちらに存在するかを判定し、親機1からの呼出信号が入力された際に携帯通話端末6が宅内に存在すると判断した場合には、携帯通話端末6の無線LAN機能を用いて子器2と携帯通話端末6との間でインターホン通話を行う。   Note that the control unit 31 of the transfer device 3 periodically receives, for example, the position information of the mobile call terminal 6 calculated using the GPS function from the mobile call terminal 6 and stores the latitude, longitude, Based on information such as height, it is determined whether the mobile phone terminal 6 is in the house or outside the home, and if the mobile phone terminal 6 is in the home when the call signal from the base unit 1 is input. If it is determined, the intercom call is performed between the handset 2 and the mobile call terminal 6 using the wireless LAN function of the mobile call terminal 6.

次に、居住者が携帯通話端末を帯同して外出した際に、来訪者により子器2の呼出釦が操作された場合の動作について、図6に示すシーケンス図を用いて説明を行う。なお、転送装置3には、予め居住者によって携帯通話端末6の電話番号及びアドレス情報及が設定されている。   Next, the operation when the call button of the child device 2 is operated by the visitor when the resident goes out with the portable telephone terminal will be described with reference to the sequence diagram shown in FIG. In the transfer device 3, the telephone number and address information of the mobile call terminal 6 are set in advance by the resident.

来訪者が子器2の操作釦を操作すると(ステップS1)、親機1から呼出音を鳴動させるとともに、子器2からの呼出は親機1を介して呼出信号が転送装置3に送信される(ステップS2)。転送装置3は、携帯通話端末6が宅内・宅外のどちらに存在するのかを判定する(ステップS3)。ここで、携帯通話端末6は宅外に存在するので、転送装置3はイベント管理サーバ5に呼出通知メッセージ及び携帯通話端末6の電話番号を含む呼出要求信号を送信する(ステップS4)。   When a visitor operates the operation button of the handset 2 (step S1), a ringing sound is emitted from the base unit 1, and a call signal is transmitted to the transfer device 3 via the base unit 1 when the handset 2 is called. (Step S2). The transfer device 3 determines whether the mobile call terminal 6 exists in the house or outside the house (step S3). Here, since the mobile call terminal 6 exists outside the home, the transfer device 3 transmits a call request message including the call notification message and the telephone number of the mobile call terminal 6 to the event management server 5 (step S4).

このとき、子器2は、一定の周期でカメラ25を用いて来訪者を含む周囲の画像を撮像し、撮像した画像を転送装置3に継続的に送信している(ステップS5)。この撮像画像の送信は、呼出が終了するまでの間継続して行われ、転送装置3のメモリ33に順次格納される。これにより、転送装置3は、必要に応じてカメラ25で撮像された最新の画像を取得することができる。   At this time, the subunit | mobile_unit 2 images the surrounding image containing a visitor using the camera 25 with a fixed period, and transmits the imaged image to the transfer apparatus 3 continuously (step S5). The transmission of the captured image is continuously performed until the call is finished, and is sequentially stored in the memory 33 of the transfer device 3. Thereby, the transfer apparatus 3 can acquire the newest image imaged with the camera 25 as needed.

イベント管理サーバ5は、イベント管理サーバ5に接続されたデータベース装置から、受信した呼出要求信号に含まれる携帯通話端末6の電話番号に対応する接続情報を取得し(ステップS6)、携帯通話端末6に接続して呼出通知メッセージを送信する(ステップS8)。またイベント管理サーバ26は、転送装置3に子器2で撮像された画像の要求を行い(ステップS7)、取得した画像をイベント管理サーバ5のメモリ(図示せず)に記憶する(ステップS9)。   The event management server 5 acquires connection information corresponding to the telephone number of the mobile call terminal 6 included in the received call request signal from the database device connected to the event management server 5 (step S6). The call notification message is transmitted (step S8). The event management server 26 requests the transfer device 3 for an image captured by the slave unit 2 (step S7), and stores the acquired image in a memory (not shown) of the event management server 5 (step S9). .

次に携帯通話端末6は、取得した呼出通知メッセージに基づいて、イベント管理サーバ5に撮像画像の要求を行い(ステップS10)、イベント管理サーバ5が、この要求に基づいて撮像画像を携帯通話端末6に送信する(ステップS11)。携帯通話端末6は、受信した撮像画像を液晶ディスプレイに表示するとともに、呼出音をスピーカから出力する(ステップS12)。   Next, the mobile call terminal 6 requests a captured image from the event management server 5 based on the acquired call notification message (step S10), and the event management server 5 sends the captured image to the mobile call terminal based on this request. 6 (step S11). The mobile phone 6 displays the received captured image on the liquid crystal display and outputs a ringing tone from the speaker (step S12).

ここで、居住者が携帯通話端末6からの呼出音に気付き、画像を見て対応するか否かを判断した後、液晶ディスプレイに表示された通話釦73に対応する操作入力を行うと(ステップS13)、携帯通話端末6は、通話開始メッセージをイベント管理サーバ5に送信する(ステップS14)。転送装置3は、イベント管理サーバ5を介して、この通話開始メッセージを受信すると(ステップS15)、メモリ33に記憶された応答メッセージを読み込んで子器2に音声信号として送信する(ステップS16)。その後、子器2は、転送装置3からの音声信号に応じて、「ただいま呼び出し中です。」などの音声をスピーカ28から出力し、来訪者に居住者が応答する意思がある旨を通知する(ステップS17)。   Here, when the resident notices the ringing sound from the mobile call terminal 6 and determines whether or not to respond by looking at the image, an operation input corresponding to the call button 73 displayed on the liquid crystal display is made (step). S13), the mobile call terminal 6 transmits a call start message to the event management server 5 (step S14). When the transfer device 3 receives the call start message via the event management server 5 (step S15), the transfer device 3 reads the response message stored in the memory 33 and transmits it to the slave unit 2 as an audio signal (step S16). Thereafter, the sub unit 2 outputs a sound such as “I am calling now” from the speaker 28 in response to the audio signal from the transfer device 3 to notify the visitor that the resident is willing to respond. (Step S17).

次に転送装置3は、通話開始メッセージに応じて、携帯通話端末6に接続要求を送信し、携帯通話端末6との間で音声による通話を行うため接続を開始する(ステップS18)。転送装置3と携帯通話端末6との間の接続には、上述のように公衆交換通話網やVoIPサービスを介して接続が行われ、携帯通話端末6が接続要求に応じて応答操作を行うことで、転送装置3と携帯通話端末6との間の接続が行われる(ステップS19)。これにより、転送装置3が子器2及び携帯通話端末6との間で音声信号の授受を行い、子器2と携帯通話端末6との間で音声による通話が開始される(ステップS20)。   Next, the transfer device 3 transmits a connection request to the mobile call terminal 6 in response to the call start message, and starts a connection to make a voice call with the mobile call terminal 6 (step S18). As described above, the connection between the transfer device 3 and the mobile call terminal 6 is performed via the public switched telephone network or the VoIP service, and the mobile call terminal 6 performs a response operation in response to the connection request. Thus, the connection between the transfer device 3 and the mobile call terminal 6 is performed (step S19). As a result, the transfer device 3 exchanges audio signals between the handset 2 and the mobile call terminal 6, and a voice call is started between the handset 2 and the mobile call terminal 6 (step S20).

このようにして、居住者が外出中であっても子器2と携帯通話端末6との間で音声による通話を行うことができ、また、転送装置3が携帯通話端末6と子器2を接続している間は、子器2から音声による応答メッセージが出力されるので、接続中に来訪者が帰ってしまうのを防止でき、来訪者への対応を確実にすることができる。なお、携帯通話端末6が宅内に存在する場合には、広域通信回線網WANを経由せずに携帯通話端末6に来客を通知して音声による通話を開始することが出来るので、来訪者が呼出操作を行ってから通話を開始するまでの時間を短くすることができる。   In this way, even if the resident is out of the office, a voice call can be made between the handset 2 and the mobile call terminal 6, and the transfer device 3 can connect the mobile call terminal 6 and the handset 2 to each other. While connected, a response message by voice is output from the sub unit 2, so that it is possible to prevent the visitor from returning during the connection and to ensure a response to the visitor. When the mobile call terminal 6 exists in the house, the call can be started by notifying the mobile call terminal 6 without passing through the wide area communication network WAN, so that a voice call can be started. The time from the start of the operation to the start of the call can be shortened.

次に、携帯通話端末6に表示された通話釦73に対応する操作入力が行われず、子器2で呼出釦が操作されてから一定時間経過し、子器2と携帯通話端末6との間で通話が行われなかった場合について説明を行う。   Next, an operation input corresponding to the call button 73 displayed on the mobile call terminal 6 is not performed, and a certain period of time elapses after the call button is operated on the handset 2, and between the handset 2 and the mobile call terminal 6. An explanation will be given of the case where the telephone call was not made.

イベント管理サーバ5から呼出通知メッセージが送信されると、携帯端末6は、呼出通知メッセージが送信された時刻と、通話釦73に対応する操作入力を行って来訪者に応答したかどうかを示すフラグとを、応答情報として自機が備えるメモリに格納する。またイベント管理サーバ5は、携帯通話端末6に呼出通知メッセージを送信後、呼出処理が中断もしくは終了するまでの間、転送装置3を介して子器2のカメラ25で撮像された画像を定期的に取得し、呼出時刻などの呼出情報ともにイベント管理サーバ5に接続されたデータベースなどに格納する。   When a call notification message is transmitted from the event management server 5, the mobile terminal 6 indicates a time at which the call notification message is transmitted and a flag indicating whether or not a response has been made to the visitor by performing an operation input corresponding to the call button 73. Are stored as response information in a memory included in the own device. Further, the event management server 5 periodically transmits images taken by the camera 25 of the slave unit 2 via the transfer device 3 until the call processing is interrupted or terminated after the call notification message is transmitted to the mobile call terminal 6. And the call information such as the call time is stored in a database connected to the event management server 5.

その後、居住者が携帯通話端末6を操作すると、携帯通話端末6は自機のメモリに格納した応答情報に基づいて、呼出が行われた時刻や応答の有無を示す文字情報77を携帯通話端末6の液晶ディスプレイ上に表示する(図7(a)を参照)。また、携帯通話端末6の操作ボタンを操作することで、複数表示された応答情報から択一的に応答情報を選択すると、携帯通話端末6は、選択された応答情報に対応する画像をイベント管理サーバ5から取得し、液晶液晶ディスプレイに表示する(図7(b)を参照)。   Thereafter, when the resident operates the mobile call terminal 6, the mobile call terminal 6 receives the character information 77 indicating the time when the call is made or the presence / absence of the response based on the response information stored in the memory of the mobile phone terminal. 6 on the liquid crystal display (see FIG. 7A). When the response information is selected from a plurality of displayed response information by operating the operation button of the mobile call terminal 6, the mobile call terminal 6 performs event management on an image corresponding to the selected response information. It is acquired from the server 5 and displayed on the liquid crystal liquid crystal display (see FIG. 7B).

このようにして、居住者は、後で来訪者を映像によって確認することができ、必要に応じて電話などの対応を行うことができる。   In this way, the resident can later confirm the visitor by video, and can make a call or the like as necessary.

なお、本実施の形態においては、子器2と携帯通話端末6は広域通信網WANを介して接続されているが、子器2及び携帯通話端末6が備える無線LAN機能により接続され、例えばVoIPなどにより通話を行えるようにしてもよい。   In the present embodiment, the handset 2 and the mobile call terminal 6 are connected via the wide area network WAN, but are connected by the wireless LAN function provided in the handset 2 and the mobile call terminal 6, for example, VoIP For example, the call may be made.

また本実施の形態においては、子器2への応答を行ったかどうかを示す応答情報を携帯通話端末6に記憶させ、応答を行わなかった場合にカメラ25で撮像された画像を含む呼出情報をイベント管理サーバ5に接続されたデータに記憶させたが、携帯通話端末6及びイベント管理サーバ5の何れかに両方の情報を記憶させるようにしてもよく、また、転送装置3が記憶するようにしてもよい。   Further, in the present embodiment, response information indicating whether or not a response to the handset 2 has been made is stored in the mobile call terminal 6, and call information including an image captured by the camera 25 when no response is made. Although stored in the data connected to the event management server 5, both information may be stored in either the mobile call terminal 6 or the event management server 5, and the transfer device 3 may store the information. May be.

1 インターホン親機(インターホン通話手段)
2 ドアホン子器
25 カメラ(撮像手段)
3 転送装置(通話接続手段)
4 ルータ
5 イベント管理サーバ
6 携帯通話端末
7 通知画面(呼出通知情報)
71 静止画像(呼出通知情報)
72 文字情報(呼出通知情報)
73 通話釦
74 終了釦
75、76 画像取得用釦
WAN 広域通信網
1 Interphone master unit (Interphone call means)
2 Doorphone unit 25 Camera (imaging means)
3. Transfer device (call connection means)
4 router 5 event management server 6 mobile phone terminal 7 notification screen (call notification information)
71 Still image (call notification information)
72 Character information (call notification information)
73 Call button 74 End button 75, 76 Image acquisition button WAN Wide area communication network

Claims (3)

来訪者を含む周囲の画像を撮像する撮像手段を具備するドアホン子器と、
音声信号を授受することにより前記ドアホン子器との間で通話可能なインターホン通話手段と、
画像表示手段を具備し、無線通信により広域通信網に接続され、広域通信網を介して前記ドアホン子器との間で音声信号の授受を行う携帯通話端末と、
前記ドアホン子器からの呼出操作に応じて、前記携帯通話端末にドアホン子器の撮像手段により撮像された画像を含む呼出通知情報を送信する呼出通知手段とを備え、
前記携帯通話端末は、対応する操作手段を操作することで前記ドアホン子器との間で通話を開始する通話釦と、前記呼出通知情報に含まれる画像とを前記画像表示手段に表示することを特徴とするインターホンシステム。
A door phone sub-unit equipped with an image pickup means for picking up surrounding images including visitors;
An intercom call means capable of making a call with the door phone slave unit by sending and receiving an audio signal;
A portable telephone terminal comprising image display means, connected to a wide area communication network by wireless communication, and for transmitting and receiving audio signals to and from the door phone slave unit via the wide area communication network;
Call notification means for transmitting call notification information including an image captured by the imaging means of the door phone slave unit to the mobile call terminal in response to a call operation from the door phone slave unit,
The mobile call terminal displays a call button for starting a call with the door phone slave unit by operating a corresponding operation unit, and an image included in the call notification information on the image display unit. Characteristic intercom system.
前記携帯通話端末は、
対応する操作手段を操作することで、前記画像表示手段に表示された画像を切り替える画像切替釦を前記画像表示手段に表示させるとともに、
前記画像切替釦に対応する押釦が操作されると、現在表示されている画像とは異なる時間に前記撮像手段により撮像された画像の送信要求を行い、送信要求に応じて送信された画像を前記画像表示手段に表示することを特徴とする請求項1記載のインターホンシステム。
The mobile phone terminal is
By operating the corresponding operation means, the image display button for switching the image displayed on the image display means is displayed on the image display means,
When a push button corresponding to the image switching button is operated, a transmission request for an image captured by the imaging unit is made at a time different from the currently displayed image, and the image transmitted in response to the transmission request is 2. The intercom system according to claim 1, wherein the intercom system is displayed on an image display means.
前記ドアホン子器からの呼出操作に応じて、前記ドアホン子器と前記携帯通話端末との間で通話が行われなかった場合に、前記ドアホン子器で撮像された画像を含む呼出情報を記憶する記憶手段を備え、
前記携帯通話端末は、前記記憶手段から前記呼出情報を取得して前記画像表示手段に表示することを特徴とする請求項1又は2の何れか一項に記載のインターホンシステム。
In response to a call operation from the door phone slave unit, call information including an image captured by the door phone slave unit is stored when a call is not performed between the door phone slave unit and the mobile phone terminal. A storage means,
The interphone system according to claim 1, wherein the mobile call terminal acquires the call information from the storage unit and displays the call information on the image display unit.
JP2009291321A 2009-12-22 2009-12-22 Intercom system Pending JP2011135220A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009291321A JP2011135220A (en) 2009-12-22 2009-12-22 Intercom system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009291321A JP2011135220A (en) 2009-12-22 2009-12-22 Intercom system

Publications (1)

Publication Number Publication Date
JP2011135220A true JP2011135220A (en) 2011-07-07

Family

ID=44347505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009291321A Pending JP2011135220A (en) 2009-12-22 2009-12-22 Intercom system

Country Status (1)

Country Link
JP (1) JP2011135220A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184039A (en) * 2016-03-30 2017-10-05 富士通株式会社 Control device, control method and control program
JP2017192034A (en) * 2016-04-13 2017-10-19 凸版印刷株式会社 Intercom system, interphone and server device for this intercom system
JP2020205486A (en) * 2019-06-14 2020-12-24 株式会社ナカヨ Telephone terminal, extension telephone system, computer-readable program, and call notification method from camera-equipped doorphone

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313166A (en) * 1998-04-27 1999-11-09 Kyocera Corp Interphone device adaptable to portable video telephone terminal
JP2002014770A (en) * 2000-06-28 2002-01-18 Matsushita Electric Ind Co Ltd Information display device
JP2006032998A (en) * 2004-07-12 2006-02-02 Bell-Park Co Ltd Radio doorphone system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313166A (en) * 1998-04-27 1999-11-09 Kyocera Corp Interphone device adaptable to portable video telephone terminal
JP2002014770A (en) * 2000-06-28 2002-01-18 Matsushita Electric Ind Co Ltd Information display device
JP2006032998A (en) * 2004-07-12 2006-02-02 Bell-Park Co Ltd Radio doorphone system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184039A (en) * 2016-03-30 2017-10-05 富士通株式会社 Control device, control method and control program
JP2017192034A (en) * 2016-04-13 2017-10-19 凸版印刷株式会社 Intercom system, interphone and server device for this intercom system
JP2020205486A (en) * 2019-06-14 2020-12-24 株式会社ナカヨ Telephone terminal, extension telephone system, computer-readable program, and call notification method from camera-equipped doorphone

Similar Documents

Publication Publication Date Title
EP2432203B1 (en) Receiving and sending method of mobile TV phone and mobile TV phone terminal
JP5033171B2 (en) Intercom system
JP2015201087A (en) surveillance camera system
JP2011135219A (en) Intercom system
JP2003198738A (en) Intercom system, intercom unit, and mobile phone
JP5845454B1 (en) Monitoring system
JP4858122B2 (en) Intercom system
JP2012029242A (en) Intercom system
JP2008135880A (en) Intercom system
JP2011135220A (en) Intercom system
JP4044824B2 (en) TV door phone system
JP2018174407A (en) Communication control device, communication control method, and program
JP6645608B1 (en) Telephone terminal, extension telephone system, computer readable program, and method of notifying incoming call from door phone with camera
JP2002374359A (en) Interphone system with imaging device, communication method for interphone with imaging device and portable communications terminal equipment nd the portable communications terminal equipment
JPH10308975A (en) Portable telephone set
JP4639534B2 (en) INTERPHONE SYSTEM WITH IMAGING DEVICE, COMMUNICATION METHOD OF INTERPHONE WITH IMAGING DEVICE AND PORTABLE COMMUNICATION TERMINAL DEVICE AND PORTABLE COMMUNICATION TERMINAL DEVICE
JP2009159547A (en) Communication apparatus
JP2007288287A (en) Intercom system
JP6340327B2 (en) Intercom system
JP2008136139A (en) Intercom system
JP2010258697A (en) Extension telephone system cooperating with mobile phone terminal
JP2007312242A (en) Intercom system
JP2009094728A (en) Video intercom system
JP2001309061A (en) Answering system to visitor
JP2016027500A (en) Monitoring camera system and monitoring method using monitoring camera system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120605