JP2014102660A - Manipulation assistance system, manipulation assistance method, and computer program - Google Patents

Manipulation assistance system, manipulation assistance method, and computer program Download PDF

Info

Publication number
JP2014102660A
JP2014102660A JP2012253688A JP2012253688A JP2014102660A JP 2014102660 A JP2014102660 A JP 2014102660A JP 2012253688 A JP2012253688 A JP 2012253688A JP 2012253688 A JP2012253688 A JP 2012253688A JP 2014102660 A JP2014102660 A JP 2014102660A
Authority
JP
Japan
Prior art keywords
state
item
user
input device
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2012253688A
Other languages
Japanese (ja)
Inventor
Kazuteru Yamanaka
一輝 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2012253688A priority Critical patent/JP2014102660A/en
Publication of JP2014102660A publication Critical patent/JP2014102660A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a manipulation assistance system, a manipulation assistance method, and a computer program, which allow a user to make accurate modifications of parameters set up in each manipulatable device mounted in a vehicle in detail through touch manipulation on a manipulation surface.SOLUTION: A manipulation assistance system is configured such that selection areas associated with a plurality of parameters set in a manipulatable device is set up on a manipulation surface of a touch pad 11 and, when a selection manipulation is made by pressing one of the selection areas set up on the manipulation surface, a new manipulation area for modifying a parameter (selected parameter) corresponding to the selected selection area (target selection area) is set up on the manipulation surface of the touch pad 11. The system recognizes a drag manipulation made by a user inside the manipulation area as a manipulation for modifying the selected parameter, and controls the manipulatable device to modify the selected parameter based on the recognized manipulation made by the user.

Description

本発明は、タッチ操作による車両内の機器の操作を支援する操作支援システム、操作支援方法及びコンピュータプログラムに関する。   The present invention relates to an operation support system, an operation support method, and a computer program that support operation of equipment in a vehicle by touch operation.

従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。特に、近年、マンマシンインタフェースの一つとして、ユーザのタッチ操作を受け付ける操作面を設け、該操作面に対するユーザのタッチ操作（例えば、タッチオンする操作、タッチオフする操作、ドラッグ操作、フリック操作等）をユーザの操作として検出する操作機器が良く用いられる。このような操作機器としては、タッチパッド、タッチパネル、タブレット等（以下、タッチパッド等という）があり、ユーザに直感的で分かり易い操作を行わせることが可能となる。   Conventionally, when a user performs an operation on a device such as a personal computer, an ATM, a ticket vending machine, a navigation device, or a smartphone, various man-machine interfaces have been used as means for receiving the user's operation on the device. Particularly, in recent years, as one of the man-machine interfaces, an operation surface that accepts a user's touch operation is provided, and a user's touch operation on the operation surface (for example, a touch-on operation, a touch-off operation, a drag operation, a flick operation, etc.) is performed. An operation device that is detected as a user operation is often used. Examples of such an operation device include a touch pad, a touch panel, a tablet, and the like (hereinafter referred to as a touch pad), which allows a user to perform an intuitive and easy-to-understand operation.

ここで、上記タッチパッド等をユーザが操作する場合の操作態様として、ユーザがタッチパッド等を視認せずに操作を行う場合がある。具体的には、他の作業を行いながら、タッチパッド等の操作を行う場合であり、例えば、車両の運転操作をしながらタッチパッド等の操作を行う場合がある。例えば、米国特許出願公開第２０１０／０２６８４２６号公報には、車両のハンドルに対して２つのタッチパッドを設け、一方のタッチパッドに対する指のなぞり操作に基づいて、ディスプレイに表示される操作対象を切り換えた後で、他方のタッチパッドを押圧操作して操作対象に対応する機器（例えば、ナビゲーション装置、オーディオ等）を選択し、更に、他方のタッチパッドをなぞり操作することにより、選択された操作対象に対応する機器に設定されている項目の状態（例えばオーディオの音量）を変更する技術について記載されている。   Here, as an operation mode when the user operates the touch pad or the like, the user may perform an operation without visually recognizing the touch pad or the like. Specifically, it is a case where an operation of a touch pad or the like is performed while performing other work, for example, an operation of a touch pad or the like may be performed while a driving operation of the vehicle is performed. For example, in US Patent Application Publication No. 2010/0268426, two touch pads are provided for a vehicle handle, and an operation target displayed on a display is switched based on a finger drag operation on one touch pad. After that, by pressing the other touch pad, the device corresponding to the operation target (for example, navigation device, audio, etc.) is selected, and further, the other touch pad is operated to perform the selected operation target. Describes a technique for changing the state (for example, audio volume) of an item set in a device corresponding to.

米国特許出願公開第２０１０／０２６８４２６号公報（図７Ａ−図７Ｒ）US Patent Application Publication No. 2010/0268426 (FIGS. 7A-7R)

上記特許文献１に記載の技術によれば、車両のハンドルに対して設けられたタッチパッドに押圧操作したり、なぞり操作することによって、ナビゲーション装置やオーディオなどの車両に搭載された複数の操作対象機器において設定されている項目の状態を夫々操作することが可能となる。しかしながら、上記特許文献１に記載の技術では、上記項目の状態の変更操作を行う際に問題が生じていた。   According to the technique described in Patent Document 1, a plurality of operation objects mounted on a vehicle such as a navigation device or an audio device by pressing or tracing a touch pad provided on a handle of the vehicle. It becomes possible to operate the states of items set in the device. However, the technique described in Patent Document 1 has a problem when performing the operation for changing the state of the above item.

例えば、エアコンの設定温度を上昇させる操作を行う場合においては、エアコンの設定温度を表示させた上でタッチパッドを押圧することで、エアコンの設定温度を操作対象として選択し、なぞり操作することで設定温度を変更し、再度タッチパッドを押圧することで設定温度を最終的に変更可能である。しかしながら、引用文献１に記載の技術では、項目の状態を変更する際に、項目と項目の状態が階層構造になっているので、タッチパッド上でなぞり操作と押圧操作を繰り返す必要がある。従って、引用文献１では、操作対象機器において設定されている項目の状態を変更する際に画面を視認する頻度と操作回数が増加することになった。   For example, when performing an operation to increase the set temperature of an air conditioner, by pressing the touchpad after displaying the set temperature of the air conditioner, the set temperature of the air conditioner is selected as the operation target, and a tracing operation is performed. The set temperature can be finally changed by changing the set temperature and pressing the touch pad again. However, in the technique described in the cited document 1, when changing the state of an item, the item and the state of the item have a hierarchical structure. Therefore, it is necessary to repeat the tracing operation and the pressing operation on the touch pad. Therefore, in cited document 1, when changing the state of the item set in the operation target device, the frequency of visually recognizing the screen and the number of operations are increased.

本発明は前記従来における問題点を解消するためになされたものであり、車両運転中に表示画面を視認する頻度を下げるとともに操作回数を減少することを可能にした操作支援システム、操作支援方法及びコンピュータプログラムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and is an operation support system, an operation support method, and an operation support method capable of reducing the frequency of visually recognizing a display screen while driving a vehicle and reducing the number of operations. An object is to provide a computer program.

前記目的を達成するため本願の請求項１に係る操作支援システム（１）は、車両のハンドル（５）に設けられ、操作面（１１）を介してユーザの操作を受け付ける操作入力装置（２、３）と、前記操作入力装置により操作される操作対象を表示する表示画面（３７）と、前記車両に搭載され、前記操作対象となる操作対象機器（４８〜５０）と、を備えた操作支援システムにおいて、前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示手段（３１）と、複数の前記項目の状態毎に対応付けた項目選択領域（５１〜５３）を前記操作面に設定する項目選択領域設定手段と、いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域（５７）を前記操作面に設定する状態操作領域設定手段（３１）と、前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付手段（３１）と、前記状態操作受付手段により受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更手段と、を有することを特徴とする。
尚、「項目の状態」は、例えば、操作対象機器がエアコンである場合には、風量、風向き、温度が相当する。
また、「項目の状態を変更する」とは、項目の状態が数値により特定されている場合には、その数値を変更する場合も含む。
また、「操作面に触れた」とは、実際にユーザが操作面に接触する場合に加えて、静電容量方式ではユーザが操作面に接触していなくても静電容量が変化した場合には触れたとみなす。 In order to achieve the above object, an operation support system (1) according to claim 1 of the present application is provided on a handle (5) of a vehicle and receives an operation of a user via an operation surface (11). 3), a display screen (37) for displaying an operation target operated by the operation input device, and an operation support device (48-50) mounted on the vehicle and serving as the operation target In the system, an item status display means (31) for displaying the status of a plurality of items set in the operation target device on the display screen, and an item selection area (51-51) associated with each status of the plurality of items 53), when the user's operation of pressing the item selection area is detected while touching any of the item selection areas. User State operation region setting means (31) for setting a state operation region (57) for operating the state of the item corresponding to the item selection region where the operation is detected on the operation surface, and the state set on the operation surface Based on an operation of changing the state of the item received by the state operation receiving unit, a state operation receiving unit (31) that receives an operation of dragging the user in the state operation area as an operation of changing the state of the item. And a state changing means for changing the state of the item set in the operation target device.
The “item state” corresponds to, for example, an air volume, a wind direction, and a temperature when the operation target device is an air conditioner.
Further, “changing the state of an item” includes the case where the numerical value is changed when the state of the item is specified by a numerical value.
In addition to the case where the user actually touches the operation surface, “touching the operation surface” means that the capacitance method changes when the capacitance changes even if the user does not touch the operation surface. Is considered touched.

また、請求項２に係る操作支援システム（１）は、請求項１に記載の操作支援システムであって、前記項目選択領域設定手段（３１）は、前記表示画面（３７）に対する前記項目の状態の表示位置の関係と対応させて、前記項目選択領域（５１〜５３）を前記操作面（１１）に設定することを特徴とする。   Further, the operation support system (1) according to claim 2 is the operation support system according to claim 1, wherein the item selection area setting means (31) is a state of the item with respect to the display screen (37). The item selection areas (51 to 53) are set on the operation surface (11) in correspondence with the display position relationship.

また、請求項３に係る操作支援システム（１）は、請求項１又は請求項２に記載の操作支援システムであって、前記項目状態表示手段（３１）は、前記状態操作領域設定手段（３１）によって設定された前記状態操作領域（５７）によって操作対象となる前記項目の状態を他の前記項目の状態と識別可能に表示することを特徴とする。   An operation support system (1) according to claim 3 is the operation support system according to claim 1 or 2, wherein the item status display means (31) is the status operation area setting means (31). The state of the item to be operated is displayed so as to be distinguishable from the states of the other items by the state operation area (57) set by (1).

また、請求項４に係る操作支援システム（１）は、請求項１乃至請求項３のいずれかに記載の操作支援システムであって、前記状態変更手段（３１）は、前記状態操作受付手段（３１）により受け付けた前記ユーザのドラッグする操作のドラッグ方向に応じた方向へと、前記項目の状態を変更することを特徴とする。
尚、「ドラッグ方向に応じた方向」とは、例えば項目の状態を特定する数値を減少させる方向や増加させる方向等がある。 An operation support system (1) according to claim 4 is the operation support system according to any one of claims 1 to 3, wherein the state change means (31) is the state operation reception means ( The item state is changed in a direction corresponding to the drag direction of the user's drag operation received in (31).
The “direction according to the drag direction” includes, for example, a direction in which the numerical value specifying the item state is decreased or increased.

また、請求項５に係る操作支援システム（１）は、請求項１乃至請求項４のいずれかに記載の操作支援システムであって、前記状態操作領域設定手段（３１）は、前記状態操作領域（５７）を前記操作面（１１）の全領域に設定することを特徴とする。   An operation support system (1) according to claim 5 is the operation support system according to any one of claims 1 to 4, wherein the state operation area setting means (31) is the state operation area. (57) is set in the entire area of the operation surface (11).

また、請求項６に係る操作支援システム（１）は、請求項１乃至請求項５のいずれかに記載の操作支援システムであって、前記状態変更手段（３１）は、前記状態操作受付手段（３１）により受け付けた前記項目の状態を変更する操作に基づく変更量に対応させて、前記操作対象機器（４８〜５０）に設定されている前記項目の状態を変更することを特徴とする。   An operation support system (1) according to claim 6 is the operation support system according to any one of claims 1 to 5, wherein the state change means (31) is the state operation reception means ( The state of the item set in the operation target device (48 to 50) is changed in correspondence with the change amount based on the operation for changing the state of the item received in (31).

また、請求項７に係る操作支援システム（１）は、請求項１乃至請求項６のいずれかに記載の操作支援システムであって、前記項目選択領域（５１〜５３）において前記ユーザの操作が検出された場合に、前記操作面（１１）を振動させる選択振動手段（３１）を有することを特徴とする。   An operation support system (1) according to claim 7 is the operation support system according to any one of claims 1 to 6, wherein the user's operation is performed in the item selection area (51-53). It has a selection vibration means (31) for vibrating the operation surface (11) when detected.

また、請求項８に係る操作支援システム（１）は、請求項１乃至請求項７のいずれかに記載の操作支援システムであって、前記状態操作領域（５７）内で前記ユーザのドラッグする操作を受け付けた場合に、前記操作面（１１）を振動させるドラッグ振動手段（３１）を有することを特徴とする。   An operation support system (1) according to claim 8 is the operation support system according to any one of claims 1 to 7, wherein the user drags an operation in the state operation area (57). In this case, it has a drag vibration means (31) for vibrating the operation surface (11).

また、請求項９に係る操作支援システム（１）は、請求項１乃至請求項８のいずれかに記載の操作支援システムであって、前記状態操作領域設定手段（３１）によって前記状態操作領域（５７）が設定された後に、前記項目選択領域（５１〜５３）を押下する前記ユーザの操作が再度検出された場合に、前記状態操作領域の設定を解除する状態操作領域解除手段（３１）を有することを特徴とする。   An operation support system (1) according to claim 9 is the operation support system according to any one of claims 1 to 8, wherein the state operation region (31) is set by the state operation region setting means (31). 57), the state operation area releasing means (31) for releasing the setting of the state operation area when the user's operation of pressing the item selection area (51-53) is detected again. It is characterized by having.

また、請求項１０に係る操作支援システム（１）は、請求項１乃至請求項９のいずれかに記載の操作支援システムであって、前記操作面（１１）に設定されたいずれかの前記項目選択領域（５１〜５３）において前記ユーザの操作が検出された場合に、前記操作入力装置（２、３）と前記操作対象機器（４８〜５０）とを通信可能に接続し、前記操作入力装置で受け付けた前記ユーザの操作内容を前記操作入力装置から前記操作対象機器へと送信することにより、前記操作対象機器に設定されている項目の状態を変更することを特徴とする。   An operation support system (1) according to claim 10 is the operation support system according to any one of claims 1 to 9, wherein any one of the items set on the operation surface (11) is provided. When the user's operation is detected in the selection area (51-53), the operation input device (2, 3) and the operation target device (48-50) are communicably connected, and the operation input device The operation content of the user received in step S is transmitted from the operation input device to the operation target device, thereby changing the state of the item set in the operation target device.

また、請求項１１に係る操作支援システム（１）は、請求項１乃至請求項９のいずれかに記載の操作支援システムであって、前記状態操作受付手段（３１）により前記ユーザの操作を受け付けた場合に、前記操作入力装置（２、３）と前記操作対象機器（４８〜５０）とを通信可能に接続し、前記操作入力装置で受け付けた前記ユーザの操作内容を前記操作入力装置から前記操作対象機器へと送信することにより、前記操作対象機器に設定されている項目の状態を変更することを特徴とする。   An operation support system (1) according to claim 11 is the operation support system according to any one of claims 1 to 9, wherein the operation of the user is received by the state operation reception means (31). The operation input device (2, 3) and the operation target device (48 to 50) are communicably connected, and the operation content of the user received by the operation input device is transmitted from the operation input device to the operation input device. By transmitting to the operation target device, the state of the item set in the operation target device is changed.

また、請求項１２に係る操作支援システム（１）は、請求項１乃至請求項１１のいずれかに記載の操作支援システムであって、前記項目選択領域設定手段（３１）によって設定された前記項目選択領域（５１〜５３）内において、前記操作面（１１）よりも手前側に突出部（２１）を突出させる突出手段（３１）を有することを特徴とする。   An operation support system (1) according to claim 12 is the operation support system according to any one of claims 1 to 11, wherein the item set by the item selection area setting means (31). In the selection area (51-53), it has a protrusion means (31) which protrudes a protrusion part (21) in the near side rather than the said operation surface (11), It is characterized by the above-mentioned.

また、請求項１３に係る操作支援システム（１）は、請求項１乃至請求項１２のいずれかに記載の操作支援システムであって、前記表示画面（３７）は、前記車両のフロントガラス（３６）に設けることを特徴とする。   An operation support system (1) according to claim 13 is the operation support system according to any one of claims 1 to 12, wherein the display screen (37) is a windshield (36) of the vehicle. ).

また、請求項１４に係る操作支援方法は、車両のハンドル（５）に設けられ、操作面（１１）を介してユーザの操作を受け付ける操作入力装置（２、３）と、前記操作入力装置により操作される操作対象を表示する表示画面（３７）と、前記車両に搭載され、前記操作対象となる操作対象機器（４８〜５０）と、を備えた操作支援システムによる操作支援方法において、前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示ステップと、複数の前記項目の状態毎に対応付けた項目選択領域（５１〜５３）を前記操作面に設定する項目選択領域設定ステップと、いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域（５７）を前記操作面に設定する状態操作領域設定ステップと、前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付ステップと、前記状態操作受付ステップにより受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更ステップと、を有することを特徴とする。   According to a fourteenth aspect of the present invention, there is provided an operation support method comprising: an operation input device (2, 3) provided on a steering wheel (5) of a vehicle and receiving a user operation via an operation surface (11); In an operation support method by an operation support system, comprising: a display screen (37) for displaying an operation target to be operated; and an operation target device (48 to 50) mounted on the vehicle and serving as the operation target. An item state display step for displaying the states of a plurality of items set in the target device on the display screen, and item selection areas (51 to 53) associated with the states of the plurality of items are set on the operation surface. An item selection region setting step to be performed, and when the user's operation of pressing the item selection region is detected while touching any of the item selection regions, the user's operation is detected A state operation region setting step for setting on the operation surface a state operation region (57) for operating the state of the item corresponding to the item selection region, and within the state operation region set on the operation surface A state operation accepting step for accepting a drag operation by the user as an operation for changing the state of the item, and an operation for changing the state of the item accepted by the state operation accepting step. And a state changing step for changing the state of the existing item.

更に、請求項１５に係るコンピュータプログラムは、車両のハンドル（５）に設けられ、操作面（１１）を介してユーザの操作を受け付ける操作入力装置（２、３）と、前記操作入力装置により操作される操作対象を表示する表示画面（３７）と、前記車両に搭載され、前記操作対象となる操作対象機器（４８〜５０）と、を備えた操作支援システムにおいて実行されるコンピュータプログラムにおいて、前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示機能と、複数の前記項目の状態毎に対応付けた項目選択領域（５１〜５３）を前記操作面に設定する項目選択領域設定機能と、いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域（５７）を前記操作面に設定する状態操作領域設定機能と、前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付機能と、前記状態操作受付機能により受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更機能と、を実行させることを特徴とする。   Furthermore, a computer program according to claim 15 is provided on a steering wheel (5) of a vehicle and receives an operation of a user via an operation surface (11), and is operated by the operation input device. In a computer program executed in an operation support system including a display screen (37) for displaying an operation target to be operated, and an operation target device (48 to 50) mounted on the vehicle and serving as the operation target, An item state display function for displaying the states of a plurality of items set in the operation target device on the display screen, and item selection areas (51 to 53) associated with the states of the plurality of items on the operation surface. When the user's operation of pressing the item selection area is detected while touching any of the item selection areas to be set and the item selection area to be set A state operation region setting function for setting, on the operation surface, a state operation region (57) for operating the state of the item corresponding to the item selection region where the user operation is detected, and the operation surface is set Based on a state operation accepting function for accepting an operation of dragging the user in the state operation area as an operation for changing the state of the item, and an operation for changing the state of the item accepted by the state operation accepting function. And a state change function for changing a state of an item set in the operation target device.

前記構成を有する請求項１に記載の操作支援システムによれば、操作面に設定された項目選択領域の押下操作によって変更操作対象とする操作対象機器の項目の状態を選択し、その後に新たに設定された状態操作領域へのドラッグ操作によって選択された項目の状態の詳細な変更操作を行うので、複数の項目の状態が表示画面に表示されていたとしても項目の状態の変更操作をより少ない操作回数で行わせることが可能である。また、項目の状態が表示されたとしても、項目の状態が変更操作対象として選択されなければ状態操作領域が設定されない。即ち、ユーザが操作面に対して誤った操作を行ったとしても、選択されていない項目の状態は変更されることはないので、誤操作を防止することができる。従って、車両に搭載された各操作対象機器において設定されている項目の状態の詳細な変更操作を操作面への操作によって正確に行わせることが可能となる。   According to the operation support system of claim 1 having the above-described configuration, the state of the item of the operation target device to be changed is selected by pressing the item selection area set on the operation surface, and then newly Detailed change operation of the state of the item selected by dragging to the set state operation area is performed, so even if multiple item states are displayed on the display screen, fewer item state change operations are required The number of operations can be performed. Even if the item state is displayed, the state operation area is not set unless the item state is selected as a change operation target. That is, even if the user performs an incorrect operation on the operation surface, the state of the item that has not been selected is not changed, so that an erroneous operation can be prevented. Accordingly, it is possible to accurately perform a detailed change operation of the state of the item set in each operation target device mounted on the vehicle by an operation on the operation surface.

また、請求項２に記載の操作支援システムによれば、表示画面に対する項目の状態の表示位置の関係と対応させて、項目選択領域を操作面に設定するので、表示画面をユーザが視認することによって、項目選択領域と項目の状態との対応関係をユーザに容易に把握させることが可能となる。従って、変更操作対象とする項目の状態を操作面への操作によって適切に選択させることが可能となる。   Further, according to the operation support system of the second aspect, the item selection area is set on the operation surface in association with the display position relationship of the item state with respect to the display screen, so that the user can visually recognize the display screen. This makes it possible for the user to easily grasp the correspondence between the item selection area and the item state. Accordingly, the state of the item to be changed can be appropriately selected by operating the operation surface.

また、請求項３に記載の操作支援システムによれば、変更操作対象となる項目の状態を他の項目の状態と識別可能に表示するので、表示画面をユーザが視認することによって、現在変更操作の対象となっている項目の状態を容易に識別することが可能となる。   In addition, according to the operation support system according to claim 3, since the state of the item to be changed is displayed so as to be distinguishable from the state of other items, the current change operation can be performed by the user viewing the display screen. It is possible to easily identify the state of the item that is the target of the item.

また、請求項４に記載の操作支援システムによれば、ドラッグ操作のドラッグ方向に応じた方向へと、項目の状態を変更するので、項目の状態を複数の方向へと変更させる操作を操作面を用いて容易に行わせることが可能である。   According to the operation support system of the fourth aspect, since the state of the item is changed in the direction corresponding to the drag direction of the drag operation, an operation for changing the state of the item in a plurality of directions is performed on the operation surface. Can be easily performed using

また、請求項６に記載の操作支援システムによれば、状態操作領域を操作面の全領域に設定するので、操作面全体を用いたドラッグ操作によって項目の状態の変更操作をユーザに容易に行わせることが可能となる。従って、操作性を向上させることが可能となる。   According to the operation support system of the sixth aspect, since the state operation area is set to the entire area of the operation surface, the user can easily change the item state by a drag operation using the entire operation surface. It becomes possible to make it. Therefore, operability can be improved.

また、請求項７に記載の操作支援システムによれば、項目選択領域においてユーザの操作が検出された場合に、操作面を振動させるので、実在するボタン等の操作対象物を操作するのと同等の触感をユーザに付与することが可能となる。   According to the operation support system of the seventh aspect, when the user operation is detected in the item selection area, the operation surface is vibrated, which is equivalent to operating an operation object such as an existing button. It is possible to give a tactile sensation to the user.

また、請求項８に記載の操作支援システムによれば、状態操作領域内でドラッグ操作が行われた場合に、操作面を振動させるので、実在するボタン等の操作対象物を操作するのと同等の触感をユーザに付与することが可能となる。   According to the operation support system of the eighth aspect, when the drag operation is performed in the state operation area, the operation surface is vibrated, which is equivalent to operating an actual operation target such as a button. It is possible to give a tactile sensation to the user.

また、請求項９に記載の操作支援システムによれば、状態操作領域が設定された後に、項目選択領域が再度押下された場合に、状態操作領域の設定を解除するので、操作面へのタッチ操作によって変更操作対象となる項目の状態を容易に切り換えることが可能となる。   According to the operation support system of the ninth aspect, since the setting of the state operation area is canceled when the item selection area is pressed again after the state operation area is set, the touch on the operation surface is performed. The state of the item to be changed can be easily switched by the operation.

また、請求項１０に記載の操作支援システムによれば、操作面に設定されたいずれかの項目選択領域においてユーザの操作が検出された場合に、操作入力装置と操作対象機器とを通信可能に接続し、操作入力装置で受け付けたユーザの操作内容を操作入力装置から該当する操作対象機器へと送信することにより操作対象機器を制御するので、車両内に設置された様々な操作対象機器に対して、同一の操作入力装置を介して項目の状態の変更操作を行うことが可能となる。   According to the operation support system of the tenth aspect, the communication between the operation input device and the operation target device can be performed when a user operation is detected in any item selection area set on the operation surface. Since the operation target device is controlled by transmitting the operation content of the user connected and received by the operation input device from the operation input device to the corresponding operation target device, various operation target devices installed in the vehicle are controlled. Thus, it is possible to perform an operation for changing the state of the item via the same operation input device.

また、請求項１１に記載の操作支援システムによれば、操作面において項目の状態を変更する操作を受け付けた場合に、操作入力装置と操作対象機器とを通信可能に接続し、操作入力装置で受け付けたユーザの操作内容を操作入力装置から該当する操作対象機器へと送信することにより操作対象機器を制御するので、車両内に設置された様々な操作対象機器に対して、同一の操作入力装置を介して項目の状態の変更操作を行うことが可能となる。   In addition, according to the operation support system of the eleventh aspect, when an operation for changing the state of an item on the operation surface is received, the operation input device and the operation target device are communicably connected, and the operation input device Since the operation target device is controlled by transmitting the received user operation content from the operation input device to the corresponding operation target device, the same operation input device is used for various operation target devices installed in the vehicle. It becomes possible to change the state of the item via

また、請求項１２に記載の操作支援システムによれば、項目選択領域内において、操作面よりも手前側に突出部を突出させるので、突出された突出部を基準としてユーザの項目の状態の選択操作を正確に行わせることが可能となる。   According to the operation support system of claim 12, since the protruding portion protrudes in front of the operation surface in the item selection area, selection of the item state of the user on the basis of the protruding protrusion The operation can be performed accurately.

また、請求項１３に記載の操作支援システムによれば、表示画面は車両のフロントガラスに設けるので、車両を運転するユーザが視線方向を変更することなく、表示画面に表示された操作対象機器の各種項目の状態を把握することが可能となる。   According to the operation support system of the thirteenth aspect, since the display screen is provided on the windshield of the vehicle, the user of the vehicle does not change the line-of-sight direction and the operation target device displayed on the display screen It becomes possible to grasp the state of various items.

また、請求項１４に記載の操作支援方法によれば、操作面に設定された項目選択領域の押下操作によって変更操作対象とする操作対象機器の項目の状態を選択し、その後に新たに設定された状態操作領域へのドラッグ操作によって選択された項目の状態の詳細な変更操作を行うので、複数の項目の状態が表示画面に表示されていたとしても項目の状態の変更操作をより少ない操作回数で行わせることが可能である。また、項目の状態が表示されたとしても、項目の状態が変更操作対象として選択されなければ状態操作領域が設定されない。即ち、ユーザが操作面に対して誤った操作を行ったとしても、選択されていない項目の状態は変更されることはないので、誤操作を防止することができる。従って、車両に搭載された各操作対象機器において設定されている項目の状態の詳細な変更操作を操作面への操作によって正確に行わせることが可能となる。   According to the operation support method described in claim 14, the state of the item of the operation target device to be changed is selected by pressing the item selection area set on the operation surface, and then newly set. Since the detailed change operation of the state of the item selected by the drag operation to the state operation area is performed, even if the state of multiple items is displayed on the display screen, the operation of changing the state of the item is performed fewer times. Can be performed. Even if the item state is displayed, the state operation area is not set unless the item state is selected as a change operation target. That is, even if the user performs an incorrect operation on the operation surface, the state of the item that has not been selected is not changed, so that an erroneous operation can be prevented. Accordingly, it is possible to accurately perform a detailed change operation of the state of the item set in each operation target device mounted on the vehicle by an operation on the operation surface.

更に、請求項１５に記載のコンピュータプログラムによれば、操作面に設定された項目選択領域の押下操作によって変更操作対象とする操作対象機器の項目の状態を選択させ、その後に新たに設定された状態操作領域へのドラッグ操作によって選択された項目の状態の詳細な変更操作を行わせるので、複数の項目の状態が表示画面に表示されていたとしても項目の状態の変更操作をより少ない操作回数で行わせることが可能である。また、項目の状態が表示されたとしても、項目の状態が変更操作対象として選択されなければ状態操作領域が設定されない。即ち、ユーザが操作面に対して誤った操作を行ったとしても、選択されていない項目の状態は変更されることはないので、誤操作を防止することができる。従って、車両に搭載された各操作対象機器において設定されている項目の状態の詳細な変更操作を操作面への操作によって正確に行わせることが可能となる。   Furthermore, according to the computer program according to claim 15, the state of the item of the operation target device to be changed is selected by pressing the item selection area set on the operation surface, and then newly set. Since the detailed change operation of the state of the item selected by the drag operation to the state operation area is performed, even if the state of multiple items is displayed on the display screen, the operation of changing the state of the item is performed fewer times. Can be performed. Even if the item state is displayed, the state operation area is not set unless the item state is selected as a change operation target. That is, even if the user performs an incorrect operation on the operation surface, the state of the item that has not been selected is not changed, so that an erroneous operation can be prevented. Accordingly, it is possible to accurately perform a detailed change operation of the state of the item set in each operation target device mounted on the vehicle by an operation on the operation surface.

本実施形態に係る操作支援システムの概略構成を示したブロック図である。It is the block diagram which showed schematic structure of the operation assistance system which concerns on this embodiment. 操作入力装置及び表示画面の車両に対する配置態様を示した図である。It is the figure which showed the arrangement | positioning aspect with respect to the vehicle of an operation input device and a display screen. 左操作入力装置を示した斜視図である。It is the perspective view which showed the left operation input device. 図３の線Ｘ−Ｘで左操作入力装置を切断した矢視断面図である。It is arrow sectional drawing which cut | disconnected the left operation input device by the line XX of FIG. ピン駆動機構におけるピンの駆動態様を示した図である。It is the figure which showed the drive mode of the pin in a pin drive mechanism. 車両のフロントガラスに表示されるメイン画面を示した図である。It is the figure which showed the main screen displayed on the windshield of a vehicle. 車両のフロントガラスに表示されるパラメータ設定画面を示した図である。It is the figure which showed the parameter setting screen displayed on the windshield of a vehicle. 本実施形態に係る操作支援処理プログラムのフローチャートである。It is a flowchart of the operation assistance processing program which concerns on this embodiment. 本実施形態に係る操作支援処理プログラムのフローチャートである。It is a flowchart of the operation assistance processing program which concerns on this embodiment. タッチパッドの操作面上に設定される選択領域を示した図である。It is the figure which showed the selection area | region set on the operation surface of a touchpad. タッチパッドの操作面上に設定されたいずれかの選択領域をタッチした状態でのパラメータ設定画面を示した図である。It is the figure which showed the parameter setting screen in the state which touched any selection area | region set on the operation surface of a touchpad. 操作アイコンが表示された後におけるパラメータ設定画面を示した図である。It is the figure which showed the parameter setting screen after the operation icon was displayed. タッチパッドの操作面上に設定される操作領域を示した図である。It is the figure which showed the operation area | region set on the operation surface of a touchpad. タッチパッドの操作面上に設定された操作領域をタッチする操作を受け付けた場合のパラメータ設定画面を示した図である。It is the figure which showed the parameter setting screen at the time of accepting operation which touches the operation area set on the operation surface of a touchpad. タッチパッドの操作面上に設定された操作領域をタッチする操作を受け付けた場合のパラメータ設定画面を示した図である。It is the figure which showed the parameter setting screen at the time of accepting operation which touches the operation area set on the operation surface of a touchpad.

以下、本発明に係る操作支援システムについて具体化した一実施形態について図面を参照しつつ詳細に説明する。   Hereinafter, an embodiment of the operation support system according to the present invention will be described in detail with reference to the drawings.

先ず、本実施形態に係る操作支援システム１の概略構成について図１を用いて説明する。図１は本実施形態に係る操作支援システム１の概略構成を示したブロック図である。   First, a schematic configuration of the operation support system 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a schematic configuration of an operation support system 1 according to the present embodiment.

図１に示すように本実施形態に係る操作支援システム１は、車両内に設置され、ユーザによる操作を受け付ける左操作入力装置２及び右操作入力装置３と、ダッシュボード上に設置され車両のフロントガラスに映像を投影するヘッドアップディスプレイ（ＨＵＤ）４と、左操作入力装置２及び右操作入力装置３とＣＡＮ等の車載ネットワークを介して接続された各種車載器（例えば、オーディオ、ナビゲーション装置）や車両機器（例えば、エアコン、パワーウィンドウ、ドアミラー）の制御装置等から構成されている。尚、上記車載器や車両機器が操作支援システム１において操作対象となる操作対象機器に該当する。   As shown in FIG. 1, an operation support system 1 according to the present embodiment is installed in a vehicle, and a left operation input device 2 and a right operation input device 3 that receive an operation by a user, and a vehicle front that is installed on a dashboard. Head-up display (HUD) 4 that projects an image on glass, left operation input device 2 and right operation input device 3, and various vehicle-mounted devices (for example, audio and navigation devices) connected via a vehicle-mounted network such as CAN, It is comprised from the control apparatus etc. of vehicle equipment (for example, an air-conditioner, a power window, a door mirror). In addition, the said vehicle equipment and vehicle apparatus correspond to the operation object apparatus used as the operation object in the operation assistance system 1. FIG.

ここで、左操作入力装置２は、図２に示すように車両のハンドル５の左側スポーク部分に配置されている。また、右操作入力装置３は、車両のハンドル５の右側スポーク部分に配置されている。左操作入力装置２及び右操作入力装置３の前面には、後述のようにユーザのタッチ操作を受け付けるタッチパッド（操作面）が設けられており、ユーザはハンドル５を支持した状態で、後述のタッチ操作により左操作入力装置２や右操作入力装置３を操作可能に構成されている。そして、本実施形態に係る操作支援システム１では、ユーザは左操作入力装置２や右操作入力装置３を介して、特に車両に搭載された各種車載器や車両機器の操作を行うことが可能に構成されている。例えば、ナビゲーション装置の目的地設定操作や地図画像のスクロール操作、エアコンの電源切り替え操作や温度調整操作、オーディオのチャンネル操作や音量調整操作、ウィンドウの開閉、ドアのロック等を行うことが可能である。   Here, the left operation input device 2 is disposed in the left spoke portion of the handle 5 of the vehicle as shown in FIG. The right operation input device 3 is disposed on the right spoke portion of the vehicle handle 5. On the front surface of the left operation input device 2 and the right operation input device 3, a touch pad (operation surface) for receiving a user's touch operation is provided as described later, and the user supports the handle 5 in a state described later. The left operation input device 2 and the right operation input device 3 can be operated by a touch operation. In the operation support system 1 according to the present embodiment, the user can operate various vehicle-mounted devices and vehicle devices mounted on the vehicle via the left operation input device 2 and the right operation input device 3. It is configured. For example, it is possible to perform navigation device destination setting operations, map image scrolling operations, air conditioner power supply switching operations, temperature adjustment operations, audio channel operations, volume adjustment operations, window opening / closing, door locking, etc. .

以下に、左操作入力装置２及び右操作入力装置３の構成についてより詳細に説明する。尚、左操作入力装置２と右操作入力装置３は基本的に同一の構成を有しており、以下では特に左操作入力装置２を例に挙げて説明することとし、右操作入力装置３の説明は省略する。図３は左操作入力装置２を示した斜視図であり、図４は図３の線Ｘ−Ｘで左操作入力装置２を切断した矢視断面図である。
図３及び図４に示すように左操作入力装置２は、ユーザからのタッチ操作を検出するタッチパッド１１と、タッチパッド１１を振動させる為の圧電素子１２と、タッチパッド１１の下方において円柱形状のピンを上下動させる複数のピン駆動機構１３と、ピン駆動機構１３を所定の位置に固定する基部１４と、後述の操作支援ＥＣＵ１５が搭載される制御基板１６から基本的に構成される。尚、タッチ操作は、ユーザがタッチ面を触れることによって行う各種操作であり、例えばタッチパッド１１のいずれかの地点に触れる（タッチする）操作、上記触れた状態（タッチ状態）を解除する操作、ドラッグ操作、フリック操作等がある。 Below, the structure of the left operation input device 2 and the right operation input device 3 is demonstrated in detail. Note that the left operation input device 2 and the right operation input device 3 basically have the same configuration, and in the following, the left operation input device 2 will be described as an example. Description is omitted. 3 is a perspective view showing the left operation input device 2, and FIG. 4 is a cross-sectional view taken along the line XX in FIG.
As shown in FIGS. 3 and 4, the left operation input device 2 includes a touch pad 11 that detects a touch operation from a user, a piezoelectric element 12 that vibrates the touch pad 11, and a cylindrical shape below the touch pad 11. This is basically composed of a plurality of pin drive mechanisms 13 that move the pins up and down, a base 14 that fixes the pin drive mechanism 13 at a predetermined position, and a control board 16 on which an operation support ECU 15 described later is mounted. The touch operation is various operations performed by the user touching the touch surface. For example, an operation of touching (touching) any point of the touch pad 11, an operation of releasing the touched state (touch state), There are drag operation and flick operation.

また、タッチパッド１１は、上面側から順にタッチパッド１１を保護するカバーシート１７と、静電容量の変化によってユーザのタッチ操作を検出する導電膜１８と、カバーシート１７や導電膜１８を前記基部１４に対して上方に支持する天板１９とから構成される。そして、操作支援ＥＣＵ１５は、後述のように所定の検出周期でユーザがタッチしたタッチ座標をタッチパッド１１の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１１の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１１の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１１としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。   The touch pad 11 includes a cover sheet 17 that protects the touch pad 11 in order from the upper surface side, a conductive film 18 that detects a user's touch operation based on a change in capacitance, the cover sheet 17 and the conductive film 18. 14 and a top plate 19 supported upward. And operation assistance ECU15 detects the touch coordinate which the user touched with the predetermined detection period by the coordinate system of the touchpad 11 so that it may mention later. Note that the touch coordinates are the coordinates of the position of the touch point where the user touches the operation surface of the touch pad 11 (it is assumed that the capacitance has changed in the capacitance method). Moreover, although a detection period changes with kinds of the touchpad 11, it becomes 200 Hz-2 kHz, for example. As the touch pad 11, a detection method (for example, a resistance film method) other than the electrostatic capacitance method may be used.

一方、天板１９の下面には圧電素子１２が取り付けられている。更に、タッチパッド１１と基部１４とは、四隅に配置された支持部２０によって両者間に所定の間隙を設けるように構成されている。その結果、圧電素子１２に信号電圧を加えることにより、圧電素子１２を歪ませると、その歪によってタッチパッド１１を上下方向に振動させることが可能となる。そして、本実施形態に係る操作支援システム１では、後述のようにタッチパッド１１内の所定の領域がタッチオンされた場合や、ユーザがタッチパッド１１の操作面を押下することによって操作面に所定量以上の変形（撓み）が生じた場合に、ピンが押下された場合にタッチパッド１１を振動させる。それによって、ユーザが実在するボタンを操作した触感を与えることが可能となる。また、操作支援ＥＣＵ１５は、電圧値を変更することによって振動方向や振動の振幅を任意に設定することが可能である。振動周期は、圧電素子１２の種類や設置態様によって異なるが、例えば２５０Ｈｚ〜２ｋＨｚとなる。尚、圧電素子１２はタッチパッド１１に直接接触して配置される必要はなく、タッチパッド１１に振動を伝達できるのであれば、他の部材に対して配置されていても良い。また、タッチパッド１１に振動を生じさせる手段としては、圧電素子１２の代わりに小型の振動モータ等を用いても良い。   On the other hand, the piezoelectric element 12 is attached to the lower surface of the top plate 19. Further, the touch pad 11 and the base portion 14 are configured so as to provide a predetermined gap between them by support portions 20 arranged at the four corners. As a result, when the piezoelectric element 12 is distorted by applying a signal voltage to the piezoelectric element 12, the touch pad 11 can be vibrated in the vertical direction by the distortion. In the operation support system 1 according to the present embodiment, when a predetermined area in the touch pad 11 is touched on as described later, or when the user presses the operation surface of the touch pad 11, a predetermined amount is applied to the operation surface. When the above deformation (bending) occurs, the touch pad 11 is vibrated when the pin is pressed. As a result, it is possible to give a tactile sensation when the user operates an existing button. In addition, the operation support ECU 15 can arbitrarily set the vibration direction and the amplitude of vibration by changing the voltage value. The vibration period varies depending on the type and installation mode of the piezoelectric element 12, but is, for example, 250 Hz to 2 kHz. The piezoelectric element 12 does not need to be disposed in direct contact with the touch pad 11 and may be disposed with respect to other members as long as vibration can be transmitted to the touch pad 11. Further, as a means for causing the touch pad 11 to vibrate, a small vibration motor or the like may be used instead of the piezoelectric element 12.

また、圧電素子１２は、タッチパッド１１の操作面に生じた変形（撓み）を検出するセンサとしても機能する。即ち、天板１９の下面に取り付けられた圧電素子１２は、タッチパッド１１の操作面が変形するとそれに伴って変形する。従って、操作支援ＥＣＵ１５は圧電素子１２からの信号によってタッチパッド１１の操作面に変形（撓み）が生じたことを検出することが可能となる。   The piezoelectric element 12 also functions as a sensor that detects deformation (deflection) generated on the operation surface of the touch pad 11. That is, when the operation surface of the touch pad 11 is deformed, the piezoelectric element 12 attached to the lower surface of the top plate 19 is deformed accordingly. Therefore, the operation support ECU 15 can detect that a deformation (deflection) has occurred on the operation surface of the touch pad 11 based on a signal from the piezoelectric element 12.

また、ピン駆動機構１３は、基部１４に対して３×３の計９箇所に所定の配置間隔（例えば縦横１ｃｍ間隔）で、ピン２１の先端部がタッチパッド１１に対向するように配置される。また、ピン２１は図４の矢印Ｚ方向に沿って上下動可能に支持されている。更に、ピン２１の底面には挿入孔２２が形成されており、挿入孔２２には支持部材２３が挿入されている。また、支持部材２３の底面には圧電素子２４が接続されている。そして、操作支援ＥＣＵ１５は、挿入孔２２と支持部材２３との間に生じる摩擦力を利用し、圧電素子２４に信号電圧を加えて振動させることによってピン２１を上方向及び下方向のいずれか一方の任意の方向に移動させることが可能となる。尚、ピン２１の駆動機構の詳細については公知であるので省略する。   Further, the pin driving mechanism 13 is arranged at a predetermined arrangement interval (for example, 1 cm in length and width) at a total of nine locations of 3 × 3 with respect to the base portion 14 so that the tip portion of the pin 21 faces the touch pad 11. . The pin 21 is supported so as to be movable up and down along the arrow Z direction in FIG. Further, an insertion hole 22 is formed on the bottom surface of the pin 21, and a support member 23 is inserted into the insertion hole 22. A piezoelectric element 24 is connected to the bottom surface of the support member 23. Then, the operation support ECU 15 uses the frictional force generated between the insertion hole 22 and the support member 23 and applies a signal voltage to the piezoelectric element 24 to vibrate, thereby causing the pin 21 to move in either the upward direction or the downward direction. It is possible to move in any direction. The details of the drive mechanism of the pin 21 are well known and will be omitted.

また、タッチパッド１１を構成する導電膜１８及び天板１９は、ピン２１と対応する計９箇所の位置に貫通孔２５が形成されており、ピン２１が上方向に移動される場合には、タッチパッド１１の上面よりも上側にピン２１の先端が位置可能に構成されている。そして、操作支援ＥＣＵ１５は、各ピン駆動機構１３を駆動させることによって、計９個のピン駆動機構１３を図５に示すようなピン２１の先端がタッチパッド１１の操作面よりも下方にある“非突出状態”とピン２１の先端がタッチパッド１１の操作面よりも上方にある“突出状態”との間で選択的に切り換えることが可能となる。尚、カバーシート１７は図５に示すようにタッチパッド１１に対して突出された状態にあるピン２１を保護する為に、伸縮性のある材料（例えばシリコン樹脂）等を用いて形成することが望ましい。   In addition, the conductive film 18 and the top plate 19 constituting the touch pad 11 have through holes 25 formed at a total of nine positions corresponding to the pins 21, and when the pins 21 are moved upward, The tip of the pin 21 can be positioned above the upper surface of the touch pad 11. Then, the operation support ECU 15 drives each pin driving mechanism 13 so that the tip of the pin 21 as shown in FIG. 5 is located below the operation surface of the touch pad 11 in the nine pin driving mechanisms 13. It is possible to selectively switch between the “non-projecting state” and the “projecting state” where the tip of the pin 21 is above the operation surface of the touch pad 11. As shown in FIG. 5, the cover sheet 17 may be formed using a stretchable material (for example, silicon resin) or the like in order to protect the pins 21 that are projected from the touch pad 11. desirable.

また、左操作入力装置２及び右操作入力装置３の内、特に左操作入力装置２の操作面上には、図３に示すようにハードウェアの操作部である操作ボタン２７が設けられている。ここで、操作ボタン２７としては例えばホームボタンやショートカットボタンがある。そして、後述のようにアプリケーションの操作を行っている状態でホームボタンが押下されると、該アプリケーションを一旦終了し、ＨＵＤ４によって表示される表示画面も初期画面へと復帰される。また、ショートカットボタンが押下されると、予めショートカットボタンに対応付けられた機能（例えば、地図の縮尺変更操作、エアコンの設定温度変更操作等）が実行される。尚、操作ボタン２７は右操作入力装置３の操作面上にも設ける構成としても良い。また、操作ボタン２７をハードウェアの操作部であるハードキーではなく仮想的に操作面上に配置されるキーとしても良い。その場合には、操作支援ＥＣＵ１５は、タッチ座標が予め操作ボタン２７に対応付けられた座標範囲にある場合に、操作ボタン２７が押下されたと判定する。   In addition, on the operation surface of the left operation input device 2 and the right operation input device 3, particularly on the operation surface of the left operation input device 2, an operation button 27 that is a hardware operation unit is provided as shown in FIG. 3. . Here, examples of the operation button 27 include a home button and a shortcut button. When the home button is pressed while the application is being operated as will be described later, the application is temporarily terminated, and the display screen displayed by the HUD 4 is also restored to the initial screen. When the shortcut button is pressed, functions associated with the shortcut button in advance (for example, a map scale change operation, an air conditioner set temperature change operation, etc.) are executed. The operation button 27 may be provided on the operation surface of the right operation input device 3. In addition, the operation button 27 may be a key that is virtually arranged on the operation surface instead of a hardware key that is a hardware operation unit. In this case, the operation support ECU 15 determines that the operation button 27 has been pressed when the touch coordinates are in the coordinate range associated with the operation button 27 in advance.

また、制御基板１６に搭載される操作支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、左操作入力装置２の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ３２、制御用のプログラムのほか、後述の操作支援処理プログラム（図８、図９参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムやタッチ座標の履歴を記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、操作支援ＥＣＵ１５は、処理アルゴリズムとしての各種手段を構成する。例えば、項目状態表示手段は、操作対象機器において設定されている複数のパラメータ（項目の状態）をＨＵＤ４によりフロントガラスに表示する。項目選択領域設定手段は、フロントガラスに表示された複数のパラメータ毎に、パラメータに対応付けた選択領域をタッチパッド１１の操作面に設定する。突出手段は、設定された各選択領域内において、タッチパッド１１の操作面よりも手前側にピン２１を突出させる。状態操作領域設定手段は、ユーザがタッチパッド１１の操作面に設定されたいずれかの選択領域に対してタッチした状態で、該選択領域内を押下した場合に、押下されたピン２１のある選択領域（対象選択領域）に対応するパラメータ（選択パラメータ）を変更する操作を行う為の状態操作領域をタッチパッド１１の操作面に新たに設定する。状態操作受付手段は、タッチパッド１１の操作面に新たに設定された状態操作領域内でユーザがドラッグする操作を、選択パラメータを変更する操作として受け付ける。状態変更手段は、操作受付手段により受け付けたユーザの操作に基づいて選択パラメータを変更するように操作対象機器を制御する。項目選択振動手段は、選択領域が押下された場合に、タッチパッド１１の操作面を振動させる。ドラッグ振動手段は、操作領域内でドラッグする操作を受け付けた場合に、タッチパッド１１の操作面を振動させる。操作領域解除手段は、操作領域が設定された後に、対象選択領域が再度押下された場合に、操作領域の設定を解除する。   An operation support ECU (Electronic Control Unit) 15 mounted on the control board 16 is an electronic control unit that controls the entire left operation input device 2, and includes a CPU 31 as a calculation device and a control device, and a CPU 31. In addition to the RAM 32 used as a working memory when performing various arithmetic processes, a control program, a ROM 33 in which an operation support processing program (see FIGS. 8 and 9) described later is recorded, a program read from the ROM 33, An internal storage device such as a flash memory 34 for storing a history of touch coordinates is provided. The operation support ECU 15 constitutes various means as processing algorithms. For example, the item state display means displays a plurality of parameters (item states) set in the operation target device on the windshield by the HUD 4. The item selection area setting means sets a selection area associated with the parameter on the operation surface of the touch pad 11 for each of a plurality of parameters displayed on the windshield. The protruding means causes the pin 21 to protrude in front of the operation surface of the touch pad 11 in each set selection area. The state operation area setting means selects a certain pin 21 that has been pressed when the user touches any selection area set on the operation surface of the touch pad 11 and presses the selection area. A state operation area for performing an operation of changing a parameter (selection parameter) corresponding to the area (target selection area) is newly set on the operation surface of the touch pad 11. The state operation accepting unit accepts an operation of the user dragging within the state operation area newly set on the operation surface of the touch pad 11 as an operation of changing the selection parameter. The state changing unit controls the operation target device to change the selection parameter based on the user operation received by the operation receiving unit. The item selection vibration means vibrates the operation surface of the touch pad 11 when the selection area is pressed. The drag vibration means vibrates the operation surface of the touch pad 11 when an operation of dragging within the operation area is received. The operation area releasing means releases the setting of the operation area when the target selection area is pressed again after the operation area is set.

また、ＨＵＤ４は、図２に示すようにダッシュボード３５上に設置されており、映像の投射方向が運転席の前方のフロントガラス３６の下縁付近となるように設定されている。そして、フロントガラス３６の表示対象領域３７に対して各種画像を表示する。   The HUD 4 is installed on the dashboard 35 as shown in FIG. 2, and is set so that the image projection direction is near the lower edge of the windshield 36 in front of the driver's seat. Various images are displayed on the display target area 37 of the windshield 36.

ここで、図６及び図７はＨＵＤ４によってフロントガラス３６の表示対象領域３７に表示される画像の一例を示した図である。
先ず、ＡＣＣがオンされた直後の状態では表示対象領域３７において図６に示すメイン画面４０が表示される。メイン画面４０には、操作支援システム１において操作対象となる操作対象機器（ナビゲーション装置、オーディオ、エアコン、パワーウィンドウ、ドア等）に対応する複数のメニューアイコン４１が表示される。そして、メイン画面４０においていずれかのメニューアイコン４１が選択されると、図７に示すように選択されたメニューアイコン４１（図７に示す例では『エアコン』のメニューアイコン４１）に対応したパラメータ設定画面４２が表示される。パラメータ設定画面４２では、操作対象機器の現在のパラメータ（項目の状態）がパラメータアイコン４３〜４５内にそれぞれ表示され、更にそのパラメータの変更操作が可能となる。 Here, FIGS. 6 and 7 are diagrams showing an example of an image displayed on the display target area 37 of the windshield 36 by the HUD 4.
First, in a state immediately after the ACC is turned on, the main screen 40 shown in FIG. On the main screen 40, a plurality of menu icons 41 corresponding to operation target devices (navigation device, audio, air conditioner, power window, door, etc.) to be operated in the operation support system 1 are displayed. When one of the menu icons 41 is selected on the main screen 40, the parameter setting corresponding to the selected menu icon 41 (the menu icon 41 of “air conditioner” in the example shown in FIG. 7) as shown in FIG. A screen 42 is displayed. On the parameter setting screen 42, the current parameters (item states) of the operation target device are displayed in the parameter icons 43 to 45, respectively, and the parameter can be changed.

また、メイン画面４０において表示されるメニューアイコン４１は、操作対象機器によって複数のグループに区分されており、例えば、図６に示す例ではナビゲーション装置に関するメニューアイコン４１のグループと、オーディオに関するメニューアイコン４１のグループと、その他の車両機器に関するメニューアイコン４１のグループとに区分されている。ここで、本実施形態に係る操作支援システム１では、操作面の面積が狭いタッチパッド１１を用いてメニューアイコン４１の選択を行うので、右操作入力装置３によって直接的に選択対象（以下、選択対象候補）とすることが可能なメニューアイコン４１の数に限界がある。例えば、本実施形態では右操作入力装置３が備えるピン２１の数である９つのアイコンまで、選択対象候補とすることが可能である。従って、メニューアイコン４１が多数ある場合には、選択対象候補とするメニューアイコン４１を切り替える必要があり、本実施形態に係る操作支援システム１では、上記グループ単位で選択対象候補となるメニューアイコン４１を切り換えることとしている。そして、特に現在選択対象候補となるメニューアイコン４１のグループは、図６に示すように他のメニューアイコン４１のグループよりもアイコンのサイズが大きくなるように表示する。更に、選択対象候補となるメニューアイコン４１は、タッチパッド１１に配置されるピン２１の配置態様と対応する配置態様で表示する。即ち、３×３の等間隔の配置間隔で配置される。また、ユーザは左操作入力装置２において左右へのフリック操作やドラッグ操作を行うことによって、選択対象候補となるメニューアイコン４１のグループを順次変更することが可能である。   The menu icons 41 displayed on the main screen 40 are divided into a plurality of groups depending on the operation target device. For example, in the example shown in FIG. 6, the group of menu icons 41 related to the navigation device and the menu icon 41 related to audio. And a group of menu icons 41 relating to other vehicle devices. Here, in the operation support system 1 according to the present embodiment, since the menu icon 41 is selected using the touch pad 11 having a small operation surface area, the selection target (hereinafter referred to as the selection) is directly selected by the right operation input device 3. There is a limit to the number of menu icons 41 that can be set as target candidates). For example, in this embodiment, up to nine icons, which is the number of pins 21 included in the right operation input device 3, can be selected as candidates for selection. Therefore, when there are a large number of menu icons 41, it is necessary to switch the menu icon 41 as a selection target candidate. In the operation support system 1 according to the present embodiment, the menu icon 41 that is a selection target candidate in units of groups is selected. We are going to switch. In particular, the group of menu icons 41 that are currently candidates for selection is displayed such that the size of the icon is larger than the group of other menu icons 41 as shown in FIG. Further, the menu icon 41 that is a candidate for selection is displayed in an arrangement manner corresponding to the arrangement manner of the pins 21 arranged on the touch pad 11. That is, they are arranged at an equal interval of 3 × 3. In addition, the user can sequentially change the group of menu icons 41 that are candidates for selection by performing a left / right flick operation or a drag operation on the left operation input device 2.

また、ユーザは右操作入力装置３を操作することによって現在選択対象候補となっているメニューアイコン４１のグループの内から任意のメニューアイコン４１を選択することが可能となる。具体的には、選択を希望するメニューアイコン４１の位置に対応するタッチパッド１１の位置（例えば、『エアコン』のメニューアイコン４１を選択する場合には左上のピン２１周辺）を右操作入力装置３においてタッチオンすることによってメニューアイコン４１が選択される。尚、メニューアイコン４１の位置に対応するピン２１を押下することや操作面に一定量以上の撓みを生じさせることを選択の条件としても良い。そして、いずれかのメニューアイコン４１が選択されると、図７に示すパラメータ設定画面４２が表示される。
尚、メイン画面４０やパラメータ設定画面４２を表示する表示手段としては、ＨＵＤ４の代わりに、車両内に設置された液晶ディスプレイや有機ＥＬディスプレイ、車両の運転者の頭部に装着可能に構成されるヘッドマウントディスプレイ（ＨＭＤ）等を用いても良い。また、ナビゲーション装置のディスプレイを用いても良い。 Further, the user can select an arbitrary menu icon 41 from the group of menu icons 41 that are currently candidates for selection by operating the right operation input device 3. Specifically, the position of the touch pad 11 corresponding to the position of the menu icon 41 desired to be selected (for example, when the menu icon 41 of “air conditioner” is selected, the vicinity of the pin 21 at the upper left) is the right operation input device 3. The menu icon 41 is selected by touching on. It should be noted that pressing the pin 21 corresponding to the position of the menu icon 41 or causing the operation surface to bend a certain amount or more may be used as the selection condition. When any menu icon 41 is selected, a parameter setting screen 42 shown in FIG. 7 is displayed.
As a display means for displaying the main screen 40 and the parameter setting screen 42, a liquid crystal display or an organic EL display installed in the vehicle can be mounted on the head of the driver of the vehicle instead of the HUD 4. A head mounted display (HMD) or the like may be used. Further, a display of a navigation device may be used.

一方、左操作入力装置２や右操作入力装置３が有するＣＡＮ（コントローラエリアネットワーク）インターフェース４７は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、操作支援ＥＣＵ１５は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置４８、ＡＶ装置４９、エアコン制御ＥＣＵ５０等）と相互通信可能に接続される。そして、操作支援ＥＣＵ１５は、左操作入力装置２や右操作入力装置３においてユーザの操作を受け付けた場合に、操作信号を各種車載器や車両機器の制御装置へと送信することによって、左操作入力装置２や右操作入力装置３を介した各種車載器や車両機器の操作を行う。   On the other hand, the CAN (controller area network) interface 47 included in the left operation input device 2 and the right operation input device 3 is an in-vehicle network standard that performs multiplex communication between various in-vehicle devices installed in a vehicle and control devices for vehicle equipment. This is an interface for inputting / outputting data to / from a certain CAN. The operation support ECU 15 is connected to a control device (for example, the navigation device 48, the AV device 49, the air conditioner control ECU 50, etc.) of various vehicle-mounted devices and vehicle equipment via the CAN so as to be able to communicate with each other. Then, the operation support ECU 15 transmits the operation signal to various vehicle-mounted devices and the control device of the vehicle device when the left operation input device 2 or the right operation input device 3 receives a user operation, thereby inputting the left operation input. Various vehicle-mounted devices and vehicle devices are operated via the device 2 and the right operation input device 3.

続いて、前記構成を有する操作支援システム１において操作支援ＥＣＵ１５が実行する操作支援処理プログラムについて図８及び図９に基づき説明する。図８及び図９は本実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムはメイン画面４０（図６）においていずれかのメニューアイコン４１が選択された後に実行され、左操作入力装置２や右操作入力装置３を介して操作対象機器の各種パラメータを変更する操作を行うプログラムである。尚、以下の図８及び図９にフローチャートで示されるプログラムは、操作支援システム１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。   Next, an operation support processing program executed by the operation support ECU 15 in the operation support system 1 having the above-described configuration will be described with reference to FIGS. 8 and 9 are flowcharts of the operation support processing program according to the present embodiment. Here, the operation support processing program is executed after any one of the menu icons 41 is selected on the main screen 40 (FIG. 6), and various parameters of the operation target device via the left operation input device 2 and the right operation input device 3. It is a program that performs an operation to change. The programs shown in the flowcharts of FIGS. 8 and 9 below are stored in the RAM 32 and the ROM 33 provided in the operation support system 1 and are executed by the CPU 31.

先ず、操作支援処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は、選択されたメニューアイコン４１に対応したパラメータ設定画面４２をＨＵＤ４によりフロントガラス３６の表示対象領域３７に表示する（図２参照）。ここで、パラメータ設定画面４２は、図７に示すように操作対象機器（図７に示す例ではエアコン）の現在のパラメータが、パラメータアイコン４３〜４５内にそれぞれ表示される。ここで、図７に示す例では、『風向』、『風量』、『設定温度』の３つのエアコンのパラメータが表示されており、ユーザはパラメータ設定画面４２を視認することによって、エアコンの風向が“水平”、風量が“４（５段階設定）”、設定温度が“２６℃”に設定されていることを把握できる。尚、パラメータ設定画面４２において表示対象となるパラメータの数は３つに限られることなく、１つや２つでも良い。但し、４つ以上のパラメータを表示すると操作性が低下する要因となることから、操作対象機器において設定されているパラメータが４以上ある場合であっても、パラメータ設定画面４２において表示し、変更操作の対象とするパラメータの数は最大３個とすることが望ましい。   First, in step (hereinafter abbreviated as S) 1 in the operation support processing program, the CPU 31 displays the parameter setting screen 42 corresponding to the selected menu icon 41 on the display target area 37 of the windshield 36 by the HUD 4 ( (See FIG. 2). Here, on the parameter setting screen 42, as shown in FIG. 7, the current parameters of the operation target device (air conditioner in the example shown in FIG. 7) are displayed in the parameter icons 43 to 45, respectively. Here, in the example shown in FIG. 7, three air conditioner parameters of “wind direction”, “air volume”, and “set temperature” are displayed. By viewing the parameter setting screen 42, the user can determine the air direction of the air conditioner. It can be understood that “horizontal”, the air volume is set to “4 (5-step setting)”, and the set temperature is set to “26 ° C.”. The number of parameters to be displayed on the parameter setting screen 42 is not limited to three, and may be one or two. However, if four or more parameters are displayed, the operability is reduced. Therefore, even when there are four or more parameters set in the operation target device, they are displayed on the parameter setting screen 42 and changed. It is desirable that the number of parameters to be targeted is 3 at maximum.

次に、Ｓ２においてＣＰＵ３１は、フロントガラス３６の表示対象領域３７に表示されたパラメータ毎に、パラメータに対応付けた選択領域を右操作入力装置３のタッチパッド１１の操作面に設定する。具体的には、表示画面に対するパラメータの表示位置の関係と対応させて、選択領域を右操作入力装置３のタッチパッド１１の操作面に設定する。例えば、表示画面において図７に示すように３つのパラメータが左右方向に並んで表示されている場合には、図１０に示すように３つの選択領域５１〜５３を左右方向に並べて右操作入力装置３のタッチパッド１１の操作面に対して設定する。また、選択領域は、各選択領域内にピン２１を突出させる貫通孔２５を少なくとも一以上含むように設定する。ここで、選択領域５１は『風向』のパラメータに対応付けられた選択領域であり、中央の段の左側に位置するピン２１の貫通孔２５Ａを含む領域に設定される。また、選択領域５２は『風量』のパラメータに対応付けられた選択領域であり、中央の段の真ん中に位置するピン２１の貫通孔２５Ｂを含む領域に設定される。また、選択領域５３は『設定温度』のパラメータに対応付けられた選択領域であり、中央の段の右側に位置するピン２１の貫通孔２５Ｃを含む領域に設定される。   Next, in S <b> 2, for each parameter displayed in the display target area 37 of the windshield 36, the CPU 31 sets a selection area associated with the parameter on the operation surface of the touch pad 11 of the right operation input device 3. Specifically, the selection area is set on the operation surface of the touch pad 11 of the right operation input device 3 in association with the relationship between the display positions of the parameters with respect to the display screen. For example, when three parameters are displayed side by side in the left-right direction as shown in FIG. 7 on the display screen, three selection areas 51 to 53 are arranged in the left-right direction as shown in FIG. 3 is set for the operation surface of the third touchpad 11. Further, the selection area is set so as to include at least one or more through holes 25 for projecting the pins 21 in each selection area. Here, the selection area 51 is a selection area associated with the “wind direction” parameter, and is set to an area including the through hole 25A of the pin 21 located on the left side of the center stage. The selection area 52 is a selection area associated with the “air volume” parameter, and is set to an area including the through hole 25B of the pin 21 located in the middle of the center stage. The selection region 53 is a selection region associated with the “set temperature” parameter, and is set to a region including the through hole 25C of the pin 21 located on the right side of the center stage.

続いて、Ｓ３においてＣＰＵ３１は、ピン駆動機構１３を駆動させ、前記Ｓ２で設定された選択領域内に含まれる右操作入力装置３のピン２１（突出部）をタッチパッド１１の操作面よりも上方に移動させた“突出状態”とする（図５参照）。尚、通常時（即ちＳ１の開始時点）において左操作入力装置２及び右操作入力装置３に含まれる全てのピン２１は“非突出状態”となっており、前記Ｓ３では選択領域内に含まれないピン２１については“非突出状態”を維持する。   Subsequently, in S <b> 3, the CPU 31 drives the pin driving mechanism 13 so that the pin 21 (protruding portion) of the right operation input device 3 included in the selection region set in S <b> 2 is above the operation surface of the touch pad 11. The “projection state” is moved to (see FIG. 5). Note that all the pins 21 included in the left operation input device 2 and the right operation input device 3 are in a “non-projecting state” at the normal time (that is, at the start of S1), and are included in the selection region in S3. The “non-protruding state” is maintained for the pins 21 that are not present.

次に、Ｓ４においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザのタッチ操作を検出するタッチ操作検出処理を実行する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、所定値以上の圧力を検出した場合や所定値以上の静電容量の変化を検出した場合に、ユーザがタッチパッド１１をタッチした状態にあると判定する。   Next, in S <b> 4, the CPU 31 executes a touch operation detection process for detecting a user's touch operation based on the detection signal transmitted from the touch pad 11. For example, when the touch pad 11 is of a resistive film type or a capacitance type, the user can detect the touch pad 11 when a pressure greater than a predetermined value is detected or when a change in capacitance greater than the predetermined value is detected. It is determined that is touched.

その後、Ｓ５においてＣＰＵ３１は、前記Ｓ４のタッチ操作の検出結果に基づいて、右操作入力装置３のタッチパッド１１の操作面において、ユーザが少なくとも１点以上をタッチしている状態（以下、タッチ状態という）にあるか否かを判定する。   Thereafter, in S5, the CPU 31 is in a state where the user is touching at least one point on the operation surface of the touch pad 11 of the right operation input device 3 based on the detection result of the touch operation in S4 (hereinafter, touch state). Or not).

そして、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ７へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面をタッチした状態にないと判定された場合（Ｓ５：ＮＯ）には、Ｓ６へと移行する。   And when it determines with it being in the touch state which touched the operation surface of the touchpad 11 of the right operation input device 3 (S5: YES), it transfers to S7. On the other hand, when it is determined that the operation surface of the touch pad 11 of the right operation input device 3 is not touched (S5: NO), the process proceeds to S6.

Ｓ６においてＣＰＵ３１は、パラメータ設定画面４２に表示された操作対象機器のパラメータの変更操作を終了するか否か判定する。例えば、左操作入力装置２の操作面上に設けられたホームボタンが操作された場合等に、パラメータの変更操作を終了すると判定する。   In S <b> 6, the CPU 31 determines whether or not to end the parameter changing operation of the operation target device displayed on the parameter setting screen 42. For example, when a home button provided on the operation surface of the left operation input device 2 is operated, it is determined that the parameter changing operation is finished.

そして、パラメータ設定画面４２に表示された操作対象機器のパラメータの変更操作を継続すると判定された場合（Ｓ６：ＮＯ）には、Ｓ４へと戻る。一方、パラメータ設定画面４２に表示された操作対象機器のパラメータの変更操作を終了すると判定された場合（Ｓ６：ＹＥＳ）には、当該操作支援処理プログラムを終了する。その後、全てのピン２１は非突出状態となり、フロントガラス３６にはメイン画面４０（図６）が表示される。   And when it determines with continuing the change operation of the parameter of the operation target apparatus displayed on the parameter setting screen 42 (S6: NO), it returns to S4. On the other hand, when it is determined that the operation for changing the parameter of the operation target device displayed on the parameter setting screen 42 is to be ended (S6: YES), the operation support processing program is ended. Thereafter, all the pins 21 are brought into a non-projecting state, and the main screen 40 (FIG. 6) is displayed on the windshield 36.

一方、Ｓ７においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。   On the other hand, in S <b> 7, based on the detection signal transmitted from the touch pad 11, the CPU 31 detects the touch coordinates, which are the coordinates of the point touched by the user, in the coordinate system of the operation surface of the touch pad 11. For example, when the touch pad 11 is a resistive film type or a capacitance type, the touch coordinate is detected by detecting the position where the pressure has changed or the position of the current that flows based on the change in the capacitance. To do.

次に、Ｓ８においてＣＰＵ３１は、前記Ｓ２で設定されたいずれかの選択領域内にタッチ座標が検出されたか否か、即ち選択領域の選択操作が行われたか否かを判定する。   Next, in S8, the CPU 31 determines whether or not touch coordinates are detected in any of the selection areas set in S2, that is, whether or not a selection area selection operation has been performed.

そして、前記Ｓ２で設定されたいずれかの選択領域内にタッチ座標が検出されたと判定された場合（Ｓ８：ＹＥＳ）、即ち、ユーザがいずれかの選択領域を選択したと判定された場合には、Ｓ９へと移行する。それに対して、前記Ｓ２で設定された選択領域外にタッチ座標が検出されたと判定された場合（Ｓ８：ＮＯ）、即ち、ユーザがいずれの選択領域も選択していないと判定された場合には、Ｓ４へと戻る。   If it is determined that the touch coordinates are detected in any of the selection areas set in S2 (S8: YES), that is, if it is determined that the user has selected any of the selection areas. To S9. On the other hand, when it is determined that touch coordinates are detected outside the selection area set in S2 (S8: NO), that is, when it is determined that the user has not selected any selection area. Return to S4.

Ｓ９においてＣＰＵ３１は、前記Ｓ８でユーザによって選択されたと判定された選択領域（以下、対象選択領域という）に対応するパラメータを、ユーザによる変更操作対象となるパラメータ（以下、選択パラメータという）として仮に特定する。そして、フロントガラス３６に表示されたパラメータ設定画面４２において選択パラメータを他のパラメータよりも強調（他のパラメータと識別）して表示する。例えば、図７に示すパラメータ設定画面４２がフロントガラス３６に表示されており、図１０に示す選択領域５１〜５３が右操作入力装置３のタッチパッド１１の操作面に設定されている場合には、選択領域５１がユーザによってタッチされると、エアコンの『風向』が選択パラメータとして特定される。また、選択領域５２がユーザによってタッチされると、エアコンの『風量』が選択パラメータとして特定される。また、選択領域５３がユーザによってタッチされると、エアコンの『設定温度』が選択パラメータとして特定される。   In S9, the CPU 31 temporarily specifies a parameter corresponding to the selection area (hereinafter referred to as a target selection area) determined to be selected by the user in S8 as a parameter to be changed by the user (hereinafter referred to as a selection parameter). To do. Then, on the parameter setting screen 42 displayed on the windshield 36, the selected parameter is displayed more emphasized (identified from other parameters) than the other parameters. For example, when the parameter setting screen 42 shown in FIG. 7 is displayed on the windshield 36 and the selection areas 51 to 53 shown in FIG. 10 are set on the operation surface of the touchpad 11 of the right operation input device 3. When the selection area 51 is touched by the user, the “wind direction” of the air conditioner is specified as the selection parameter. When the selection area 52 is touched by the user, the “air volume” of the air conditioner is specified as the selection parameter. When the selection area 53 is touched by the user, the “set temperature” of the air conditioner is specified as the selection parameter.

尚、前記Ｓ９で仮に特定された選択パラメータは、その後に選択領域がユーザによって押下されることによって確定する。即ち、選択領域内をユーザがタッチしたとしても、その後に該選択領域が押下されない場合には、選択パラメータに対する変更操作を行うことはできない。   Note that the selection parameter tentatively specified in S9 is determined when the selection area is subsequently pressed by the user. That is, even if the user touches the selected area, if the selected area is not pressed after that, the change operation for the selected parameter cannot be performed.

また、図１１は選択領域５１〜５３の内、特にエアコンの『風量』に対応する選択領域５２が選択された場合のパラメータ設定画面４２の表示例を示した図である。図１１に示す例では、『風量』のパラメータを示すパラメータアイコン４４が他のパラメータアイコン４３、４５よりも大きいサイズで表示され、ユーザは『風量』のパラメータが現在変更対象として仮に選択されていることを容易に把握することが可能となる。尚、選択パラメータを強調して表示する手段としては、拡大して表示する以外に、表示色を変えたり、線の太さを太くしても良い。   FIG. 11 is a diagram showing a display example of the parameter setting screen 42 when the selection area 52 corresponding to the “air volume” of the air conditioner is selected from among the selection areas 51 to 53. In the example shown in FIG. 11, the parameter icon 44 indicating the “air volume” parameter is displayed in a size larger than the other parameter icons 43 and 45, and the user has temporarily selected the “air volume” parameter as the current change target. It becomes possible to grasp this easily. As means for emphasizing and displaying the selected parameter, the display color may be changed or the thickness of the line may be increased in addition to the enlarged display.

次に、Ｓ１０においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、タッチパッド１１を振動させる。そして、振動を生じさせることによって、タッチパッド１１の選択領域をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。尚、振動波形はユーザによりタッチされた選択領域の形状や、選択領域に対応するパラメータの種類によって変更しても良い。   Next, in S <b> 10, the CPU 31 applies a signal voltage corresponding to a preset vibration waveform to the piezoelectric element 12 to distort the piezoelectric element 12 and vibrate the touch pad 11. Then, by causing the vibration, a tactile sensation as if the actual button is pressed is given to the user who touches the selected area of the touch pad 11. The vibration waveform may be changed depending on the shape of the selection area touched by the user and the type of parameter corresponding to the selection area.

続いて、Ｓ１１においてＣＰＵ３１は、ユーザが選択領域に対してタッチした状態で、該選択領域を押下する操作を行ったか否かを判定する。具体的には、圧電素子１２からの信号に基づいてタッチパッド１１の操作面に変形（撓み）が生じているか否か判定し、タッチパッド１１の操作面に変形（撓み）が生じている場合には、選択領域を押下する操作が行われていると判定する。前記したようにタッチパッド１１と基部１４とは、四隅に配置された支持部２０によって両者間に所定の間隙を設けるように構成されているので（図４参照）、タッチパッド１１の操作面をユーザが強く押下すれば、操作面は下側に撓むこととなる。また、前記Ｓ１１の判定は、タッチパッド１１の操作面に対するユーザの接触面積によって判定しても良い。その場合には、接触面積が所定値以上であればユーザが選択領域を押下していると判定するように構成する。   Subsequently, in S <b> 11, the CPU 31 determines whether or not an operation for pressing the selection area has been performed in a state where the user has touched the selection area. Specifically, it is determined whether or not the operation surface of the touch pad 11 is deformed (flexed) based on a signal from the piezoelectric element 12, and the operation surface of the touch pad 11 is deformed (flexed). It is determined that an operation for pressing the selected area is performed. As described above, the touch pad 11 and the base portion 14 are configured to provide a predetermined gap between them by the support portions 20 arranged at the four corners (see FIG. 4). If the user presses strongly, the operation surface will bend downward. The determination in S11 may be performed based on the contact area of the user with the operation surface of the touch pad 11. In that case, if the contact area is greater than or equal to a predetermined value, it is determined that the user is pressing the selected area.

そして、ユーザが選択領域に対してタッチした状態で、該選択領域を押下する操作を行ったと判定された場合（Ｓ１１：ＹＥＳ）には、前記Ｓ９で仮に特定された選択パラメータを、ユーザによる変更操作対象となる選択パラメータとして確定し、Ｓ１３へと移行する。それに対して、選択領域を押下する操作を行っていないと判定された場合（Ｓ１１：ＮＯ）には、Ｓ１２へと移行する。   If it is determined that the user has performed an operation of pressing the selection area while touching the selection area (S11: YES), the selection parameter temporarily specified in S9 is changed by the user. The selected parameter to be operated is confirmed and the process proceeds to S13. On the other hand, when it is determined that the operation of pressing the selected area is not performed (S11: NO), the process proceeds to S12.

Ｓ１２においてＣＰＵ３１は、前記Ｓ８でタッチ座標が位置すると判定された対象選択領域内にタッチ座標が継続して位置するか否かを判定する。   In S12, the CPU 31 determines whether or not the touch coordinates are continuously located in the target selection area in which the touch coordinates are determined to be positioned in S8.

そして、対象選択領域内にタッチ座標が継続して位置すると判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１１へと戻る。それに対して、対象選択領域外にタッチ座標が移動したと判定された場合（Ｓ１２：ＮＯ）には、前記Ｓ９で仮に特定された選択パラメータの選択を解除してＳ１へと戻る。   When it is determined that the touch coordinates are continuously located in the target selection area (S12: YES), the process returns to S11. On the other hand, if it is determined that the touch coordinates have moved outside the target selection area (S12: NO), the selection of the selection parameter temporarily specified in S9 is canceled and the process returns to S1.

続いて、Ｓ１３においてＣＰＵ３１は、前記Ｓ２でタッチパッド１１の操作面上に設定された選択領域を解除する。   Subsequently, in S13, the CPU 31 releases the selection area set on the operation surface of the touch pad 11 in S2.

その後、Ｓ１４においてＣＰＵ３１は、フロントガラス３６に表示されたパラメータ設定画面４２において、選択パラメータの周辺に操作アイコンを更に表示する。ここで、操作アイコンは、ユーザの操作とパラメータの変更態様とを対応づけたアイコンであり、ユーザが可能なパラメータ値の変更操作を視覚で示すものである。例えば、図１２に示す例では、『風量』のパラメータを示すパラメータアイコン４４の上側に『風量』のパラメータ値を上げることを示す操作アイコン５５が表示され、パラメータアイコン４４の下側に『風量』のパラメータ値を下げることを示す操作アイコン５６がそれぞれ表示される。従って、ユーザは今後のタッチパッド１１のタッチ操作によって、『風量』のパラメータを上げる又は下げる操作が可能であることを把握できる。尚、選択パラメータのパラメータ値が最小値又は最大値である場合には、変更操作可能な方向に対応する操作アイコンのみ（例えば『風量』が１である場合には操作アイコン５５のみ）を表示する。   Thereafter, in S14, the CPU 31 further displays operation icons around the selected parameter on the parameter setting screen 42 displayed on the windshield 36. Here, the operation icon is an icon that associates a user operation with a parameter change mode, and visually indicates a parameter value change operation that the user can perform. For example, in the example shown in FIG. 12, an operation icon 55 indicating that the parameter value of “air volume” is increased is displayed above the parameter icon 44 indicating the parameter of “air volume”, and “air volume” is displayed below the parameter icon 44. An operation icon 56 indicating that the parameter value of each is to be lowered is displayed. Therefore, the user can grasp that the operation of raising or lowering the “air volume” parameter can be performed by a future touch operation of the touch pad 11. When the parameter value of the selected parameter is the minimum value or the maximum value, only the operation icon corresponding to the direction in which the change operation can be performed is displayed (for example, when “air volume” is 1, only the operation icon 55). .

次に、Ｓ１５においてＣＰＵ３１は、選択パラメータを変更する操作を行う為の操作領域を右操作入力装置３のタッチパッド１１の操作面に設定する。具体的には、右操作入力装置３のタッチパッド１１の操作面の全領域を操作領域に設定する。例えば、図１２に示すように『風量』のパラメータアイコン４４の上下方向にそれぞれ操作アイコン５５、５６が表示される場合には、図１３に示すように解除前の対象選択領域（図１３に示す例では選択領域５２）を含む全領域に操作領域５７を設定する。   Next, in S <b> 15, the CPU 31 sets an operation area for performing an operation for changing the selection parameter on the operation surface of the touch pad 11 of the right operation input device 3. Specifically, the entire area of the operation surface of the touch pad 11 of the right operation input device 3 is set as the operation area. For example, when the operation icons 55 and 56 are respectively displayed in the vertical direction of the “air volume” parameter icon 44 as shown in FIG. 12, the target selection area before cancellation (shown in FIG. 13) is displayed as shown in FIG. In the example, the operation area 57 is set in all areas including the selection area 52).

続いて、Ｓ１６においてＣＰＵ３１は、ピン駆動機構１３を駆動させ、解除前の対象選択領域に含まれるピン２１を除いた右操作入力装置３のピン２１をタッチパッド１１の操作面よりも下方に移動させた“非突出状態”とする（図５参照）。   Subsequently, in S <b> 16, the CPU 31 drives the pin driving mechanism 13 to move the pins 21 of the right operation input device 3 excluding the pins 21 included in the target selection area before release downward from the operation surface of the touch pad 11. It is set as the "non-projection state" made (refer FIG. 5).

次に、Ｓ１７においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザのタッチ操作を検出するタッチ操作検出処理を実行する。詳細についてはＳ４と同様であるので省略する。   Next, in S <b> 17, the CPU 31 executes a touch operation detection process for detecting a user's touch operation based on the detection signal transmitted from the touch pad 11. The details are the same as in S4, and will be omitted.

その後、Ｓ１８においてＣＰＵ３１は、前記Ｓ１７のタッチ操作の検出結果に基づいて、右操作入力装置３のタッチパッド１１の操作面において、ユーザが少なくとも１点以上をタッチしているタッチ状態にあるか否かを判定する。   Thereafter, in S18, the CPU 31 determines whether or not the user is touching at least one point on the operation surface of the touch pad 11 of the right operation input device 3 based on the detection result of the touch operation in S17. Determine whether.

そして、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ１８：ＹＥＳ）には、Ｓ２１へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面をタッチした状態にないと判定された場合（Ｓ１８：ＮＯ）には、Ｓ１９へと移行する。   And when it determines with it being in the touch state which touched the operation surface of the touchpad 11 of the right operation input device 3 (S18: YES), it transfers to S21. On the other hand, when it is determined that the operation surface of the touch pad 11 of the right operation input device 3 is not touched (S18: NO), the process proceeds to S19.

Ｓ１９においてＣＰＵ３１は、右操作入力装置３のタッチパッド１１の操作面において最後にタッチ座標が検出されてから所定時間（例えば１０ｓｅｃ）経過したか否か判定する。   In S <b> 19, the CPU 31 determines whether or not a predetermined time (for example, 10 seconds) has elapsed since the last touch coordinate was detected on the operation surface of the touch pad 11 of the right operation input device 3.

そして、右操作入力装置３のタッチパッド１１の操作面において最後にタッチ座標が検出されてから所定時間経過した判定された場合（Ｓ１９：ＹＥＳ）には、Ｓ２０へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面において最後にタッチ座標が検出されてから所定時間経過していないと判定された場合（Ｓ１９：ＮＯ）には、Ｓ１７へと戻る。   When it is determined that a predetermined time has elapsed since the last touch coordinate was detected on the operation surface of the touch pad 11 of the right operation input device 3 (S19: YES), the process proceeds to S20. On the other hand, when it is determined that the predetermined time has not elapsed since the last touch coordinate was detected on the operation surface of the touch pad 11 of the right operation input device 3 (S19: NO), the process returns to S17.

続いて、Ｓ２０においてＣＰＵ３１は、前記Ｓ１５でタッチパッド１１の操作面上に設定された操作領域を解除する。即ち、選択領域へのタッチ操作によって選択されたパラメータの選択状態が解除される。その後、Ｓ１へと戻り初期状態（いずれのパラメータも選択されていない状態）のパラメータ設定画面４２がフロントガラス３６に表示される。   Subsequently, in S20, the CPU 31 releases the operation area set on the operation surface of the touch pad 11 in S15. That is, the selection state of the parameter selected by the touch operation on the selection area is released. Thereafter, returning to S1, a parameter setting screen 42 in an initial state (a state in which no parameter is selected) is displayed on the windshield 36.

一方、Ｓ２１においてＣＰＵ３１は、解除前の対象選択領域を押下する操作を行ったか否かを判定する。具体的には、対象選択領域内にタッチ座標があって、タッチパッド１１の操作面に変形（撓み）が生じている場合に、対象選択領域を押下する操作が行われていると判定する。また、前記Ｓ２１の判定は、タッチパッド１１の操作面に対するユーザの接触面積によって判定しても良い。その場合には、接触面積が所定値以上であればユーザが対象選択領域を押下していると判定するように構成する。   On the other hand, in S21, the CPU 31 determines whether or not an operation for depressing the target selection area before cancellation has been performed. Specifically, when there is a touch coordinate in the target selection area and the operation surface of the touch pad 11 is deformed (bent), it is determined that an operation of pressing the target selection area is performed. The determination in S21 may be made based on the contact area of the user with the operation surface of the touch pad 11. In that case, if the contact area is greater than or equal to a predetermined value, it is determined that the user is pressing the target selection area.

そして、対象選択領域を押下する操作を行ったと判定された場合（Ｓ２１：ＹＥＳ）には、Ｓ２０へと移行する。その後、上述したようにパラメータの選択状態が解除され、Ｓ１へと戻る。それに対して、対象選択領域を押下する操作を行っていないと判定された場合（Ｓ２１：ＮＯ）には、Ｓ２２へと移行する。   If it is determined that an operation of pressing the target selection area has been performed (S21: YES), the process proceeds to S20. Thereafter, the parameter selection state is canceled as described above, and the process returns to S1. On the other hand, when it is determined that the operation of pressing the target selection area is not performed (S21: NO), the process proceeds to S22.

Ｓ２２においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。詳細についてはＳ７と同様であるので省略する。   In S <b> 22, based on the detection signal transmitted from the touch pad 11, the CPU 31 detects the touch coordinates, which are the coordinates of the point touched by the user, in the coordinate system of the operation surface of the touch pad 11. Details are the same as in S7, and will be omitted.

次に、Ｓ２３においてＣＰＵ３１は、前記Ｓ１５で設定されたいずれかの操作領域内にタッチ座標が検出されたか否か判定する。尚、本実施形態ではタッチパッド１１の操作面の全領域に対して操作領域を設定するので、前記Ｓ２３の処理は省略しても良い。   Next, in S23, the CPU 31 determines whether or not touch coordinates are detected in any of the operation areas set in S15. In the present embodiment, since the operation area is set for the entire area of the operation surface of the touch pad 11, the process of S23 may be omitted.

そして、前記Ｓ１５で設定されたいずれかの操作領域内にタッチ座標が検出されたと判定された場合（Ｓ２３：ＹＥＳ）には、Ｓ２４へと移行する。それに対して、前記Ｓ１５で設定された操作領域外にタッチ座標が検出されたと判定された場合（Ｓ２３：ＮＯ）には、Ｓ１７へと戻る。   And when it determines with the touch coordinate having been detected in one of the operation areas set by said S15 (S23: YES), it transfers to S24. On the other hand, when it is determined that the touch coordinates are detected outside the operation area set in S15 (S23: NO), the process returns to S17.

Ｓ２４においてＣＰＵ３１は、前記Ｓ２２で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、操作領域内でドラッグ操作が行われたか否かを判定する。尚、ドラッグ操作は、操作面に対するタッチ状態を維持してタッチ座標を移動させる操作をいう。   In S24, the CPU 31 reads the touch coordinate detection history detected in S22 from the RAM 32 or the like, and determines whether or not a drag operation is performed in the operation area. The drag operation refers to an operation for moving the touch coordinates while maintaining a touch state on the operation surface.

そして、操作領域内でドラッグ操作が行われたと判定された場合（Ｓ２４：ＹＥＳ）には、該操作を選択パラメータを変更する操作として受け付け、Ｓ２５へと移行する。それに対して、操作領域内でドラッグ操作が行われていないと判定された場合（Ｓ２４：ＮＯ）には、Ｓ１７へと戻る。   If it is determined that a drag operation has been performed within the operation area (S24: YES), the operation is accepted as an operation for changing the selection parameter, and the process proceeds to S25. On the other hand, when it is determined that the drag operation is not performed in the operation area (S24: NO), the process returns to S17.

Ｓ２５においてＣＰＵ３１は、前記Ｓ２４で受け付けたと判定されたドラッグ操作（より具体的にはドラッグ方向）に対応する操作アイコン（以下、対応操作アイコンという）を特定する。そして、フロントガラス３６に表示されたパラメータ設定画面４２において対応操作アイコンを他の操作アイコンよりも強調（他のパラメータと識別）して表示する。   In S25, the CPU 31 specifies an operation icon (hereinafter referred to as a corresponding operation icon) corresponding to the drag operation determined to have been received in S24 (more specifically, the drag direction). Then, the corresponding operation icon is highlighted (identified from other parameters) on the parameter setting screen 42 displayed on the windshield 36 and displayed.

例えば、図１２に示すパラメータ設定画面４２がフロントガラス３６に表示されている場合において、操作領域５７内でユーザが上方向にドラッグ操作を行うと、エアコンの『風量』のパラメータ値を上昇させる操作アイコン５５が対応操作アイコンとして特定される。その結果、図１４に示すように操作アイコン５５が操作アイコン５６よりも大きいサイズで表示される。また、パラメータアイコン４４内に表示されるパラメータ値も変更後の値（図１４では「４」から「５」に変更）に更新される。
一方、操作領域５７内でユーザが下方向にドラッグ操作を行うと、エアコンの『風量』のパラメータ値を下げる操作アイコン５６が対応操作アイコンとして特定される。その結果、図１５に示すように操作アイコン５６が操作アイコン５５よりも大きいサイズで表示される。また、パラメータアイコン４４内に表示されるパラメータ値も変更後の値（図１５では「４」から「３」に変更）に更新される。その結果、ユーザは『風量』のパラメータをどのように変更する操作を行うのかを容易に把握することが可能となる。尚、対応操作アイコンを強調して表示する手段としては、拡大して表示する以外に、表示色を変えたり、線の太さを太くしても良い。 For example, when the parameter setting screen 42 shown in FIG. 12 is displayed on the windshield 36, if the user performs a drag operation in the operation area 57, an operation for increasing the parameter value of the “air volume” of the air conditioner. The icon 55 is specified as the corresponding operation icon. As a result, the operation icon 55 is displayed in a larger size than the operation icon 56 as shown in FIG. Further, the parameter value displayed in the parameter icon 44 is also updated to the value after the change (changed from “4” to “5” in FIG. 14).
On the other hand, when the user performs a downward drag operation within the operation area 57, the operation icon 56 for lowering the parameter value of the “air volume” of the air conditioner is specified as the corresponding operation icon. As a result, the operation icon 56 is displayed in a larger size than the operation icon 55 as shown in FIG. In addition, the parameter value displayed in the parameter icon 44 is also updated to the value after the change (changed from “4” to “3” in FIG. 15). As a result, the user can easily grasp how to change the “air volume” parameter. As a means for highlighting and displaying the corresponding operation icon, the display color may be changed or the line thickness may be increased in addition to the enlarged display.

次に、Ｓ２６においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、タッチパッド１１を振動させる。そして、振動を生じさせることによって、タッチパッド１１の操作領域をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。尚、振動波形はユーザによりタッチされた操作領域の形状や、ドラッグ操作の移動速度、操作領域に対応するパラメータ値の変更操作内容によって変更しても良い。   Next, in S <b> 26, the CPU 31 applies a signal voltage corresponding to a preset vibration waveform to the piezoelectric element 12 to distort the piezoelectric element 12 and vibrate the touch pad 11. Then, by generating vibration, a tactile sensation as if the user actually presses a button that touches the operation area of the touch pad 11 is given. Note that the vibration waveform may be changed according to the shape of the operation area touched by the user, the moving speed of the drag operation, and the parameter value changing operation content corresponding to the operation area.

その後、Ｓ２７においてＣＰＵ３１は、前記Ｓ１７〜Ｓ２４で受け付けた操作領域へのタッチ操作に対応するパラメータ値の変更操作内容（選択パラメータをどのように変更させるか）を特定し、ＣＡＮを介して、パラメータを変更させる操作対象載器に対して変更操作内容を送信する。そして、変更操作内容を受信した操作対象機器は、受信した変更操作内容に沿って選択パラメータを変更するように制御され、その結果、左操作入力装置２及び右操作入力装置３を介した操作対象機器の操作が行われることとなる。尚、操作対象機器におけるパラメータ値の変更量については、前記Ｓ１７〜Ｓ２４で受け付けた操作領域へのタッチ操作に基づく変更量となる。例えば、パラメータ値を１のみ上昇させる操作を受け付けていれば、パラメータ値を１のみ上昇させる。また、パラメータ値を５上昇させる操作を受け付けていれば、パラメータ値を５上昇させる。尚、パラメータの変更量は、ドラッグした回数以外にドラッグ速度によって変更しても良い。その後、Ｓ１７へと戻る。   Thereafter, in S27, the CPU 31 specifies the parameter value changing operation content (how to change the selected parameter) corresponding to the touch operation on the operation area received in S17 to S24, and the parameter is set via the CAN. The change operation content is transmitted to the operation target mounter to change the. Then, the operation target device that received the change operation content is controlled to change the selection parameter in accordance with the received change operation content, and as a result, the operation target device via the left operation input device 2 and the right operation input device 3 is controlled. The device will be operated. Note that the change amount of the parameter value in the operation target device is the change amount based on the touch operation on the operation area received in S17 to S24. For example, if an operation for increasing the parameter value by 1 is accepted, the parameter value is increased by 1. If an operation for increasing the parameter value by 5 is accepted, the parameter value is increased by 5. The parameter change amount may be changed according to the drag speed in addition to the number of times of dragging. Thereafter, the process returns to S17.

尚、右操作入力装置３とパラメータを変更させる操作対象機器とは、前記Ｓ２で設定されたいずれかの選択領域をユーザが選択するタッチ操作を受け付けた時点で、通信可能に接続しても良いし、前記Ｓ１５で設定された操作領域へのタッチ操作を受け付けた場合に、通信可能に接続しても良い。また、ＡＣＣがオンされた状態で、右操作入力装置３と全ての操作対象機器とを常に通信可能な状態に接続しても良い。そして、前記Ｓ２７では、右操作入力装置３から通信可能となった操作対象機器に対して、右操作入力装置３で受け付けたユーザの操作内容（具体的にはパラメータ値の変更操作内容）が送信される。   Note that the right operation input device 3 and the operation target device whose parameter is to be changed may be communicably connected when a touch operation in which the user selects one of the selection areas set in S2 is received. Then, when a touch operation to the operation area set in S15 is accepted, the communication area may be connected. Further, the right operation input device 3 and all the operation target devices may be connected in a state in which communication is always possible with the ACC turned on. In S27, the user's operation content (specifically, the parameter value changing operation content) received by the right operation input device 3 is transmitted to the operation target device that can communicate with the right operation input device 3. Is done.

以上詳細に説明した通り、本実施形態に係る操作支援システム１、操作支援システム１による操作支援方法及び操作支援システム１で実行されるコンピュータプログラムによれば、操作対象機器において設定されている複数のパラメータをフロントガラス３６に表示し（Ｓ１）、表示された複数のパラメータ毎に、パラメータに対応付けた選択領域をタッチパッド１１の操作面に設定し（Ｓ２）、操作面に設定されたいずれかの選択領域をユーザがタッチした状態で、該選択領域内のピン２１を押下する選択操作を受け付けた場合に、選択された選択領域（対象選択領域）に対応するパラメータ（選択パラメータ）を変更する操作を行う為の操作領域をタッチパッド１１の操作面に新たに設定し（Ｓ１５）、操作領域内でユーザがドラッグする操作を、選択パラメータを変更する操作として受け付け（Ｓ１７〜Ｓ２４）、受け付けたユーザの操作に基づいて選択パラメータを変更するように操作対象機器を制御するので、複数のパラメータが表示画面に表示されていたとしてもパラメータの変更操作をより少ない操作回数で行わせることが可能である。また、パラメータが表示されたとしても、パラメータが変更操作対象として選択されなければ操作領域が設定されない。即ち、ユーザがタッチパッド１１の操作面に対して誤った操作を行ったとしても、選択されていないパラメータは変更されることはないので、誤操作を防止することができる。従って、車両に搭載された各操作対象機器において設定されているパラメータの詳細な変更操作を操作面へのタッチ操作によって正確に行わせることが可能となる。
また、選択パラメータを他のパラメータと識別可能に表示するので、表示画面をユーザが視認することによって、現在変更操作の対象となっているパラメータを容易に識別することが可能となる。
また、ドラッグ操作のドラッグ方向に応じた方向へと、選択パラメータを変更するので、パラメータを複数の方向へと変更させる操作をタッチパッド１１の操作面を用いて容易に行わせることが可能である。
また、選択領域内のピン２１が押下された場合や、操作領域内でドラッグ操作が行われた場合に、タッチパッド１１の操作面を振動させるので、実在するボタン等の操作対象物を操作するのと同等の触感をユーザに付与することが可能となる。
また、操作領域をタッチパッド１１の操作面の全領域に設定するので、操作面全体を用いたドラッグ操作によってユーザの選択パラメータの変更操作を容易に行わせることが可能となる。
また、表示画面は車両のフロントガラス３６に設けるので、車両を運転するユーザが視線方向を変更することなく、表示画面に表示された操作対象機器の各種パラメータを把握することが可能となる。
また、操作領域が設定された後に、対象選択領域が再度押下された場合に、操作領域の設定を解除するので、操作面へのタッチ操作によって変更操作対象となるパラメータを容易に切り換えることが可能となる。
また、タッチパッド１１の操作面に設定されたいずれかの選択領域をユーザがタッチした状態で、該選択領域が押下された場合、又はタッチパッド１１の操作面において選択パラメータを変更する操作を受け付けた場合に、左操作入力装置２及び右操作入力装置３と操作対象機器とを通信可能に接続し、左操作入力装置２及び右操作入力装置３で受け付けたユーザの操作内容を左操作入力装置２及び右操作入力装置３から該当する操作対象機器へと送信することにより操作対象機器を制御するので、車両内に設置された様々な操作対象機器に対して、同一の操作入力装置を介してパラメータの変更操作を行うことが可能となる。
また、選択領域内において、操作面よりも手前側にピン２１を突出させるので、突出されたピン２１を基準としてユーザのパラメータの選択操作を正確に行わせることが可能となる。
また、受け付けたパラメータを変更する操作に基づく変更量に対応させて、操作対象機器に設定されているパラメータを変更するので、パラメータを変更する際の変更量についても操作面への操作によって任意に調整することが可能となる。従って、パラメータを変更する操作の操作性について向上させることが可能となる。 As described above in detail, according to the operation support system 1, the operation support method by the operation support system 1, and the computer program executed by the operation support system 1 according to the present embodiment, a plurality of settings set in the operation target device. The parameter is displayed on the windshield 36 (S1), and for each of the plurality of displayed parameters, a selection area associated with the parameter is set on the operation surface of the touchpad 11 (S2), and any of the parameters set on the operation surface is set. When a selection operation for pressing the pin 21 in the selection area is received while the user touches the selection area, the parameter (selection parameter) corresponding to the selected selection area (target selection area) is changed. An operation area for performing an operation is newly set on the operation surface of the touch pad 11 (S15), and the user drags within the operation area. The operation is received as an operation for changing the selected parameter (S17 to S24), and the operation target device is controlled to change the selected parameter based on the received user operation, so that a plurality of parameters are displayed on the display screen. Even in such a case, the parameter changing operation can be performed with a smaller number of operations. Even if the parameter is displayed, the operation area is not set unless the parameter is selected as a change operation target. That is, even if the user performs an erroneous operation on the operation surface of the touch pad 11, the parameter that has not been selected is not changed, so that an erroneous operation can be prevented. Therefore, it is possible to accurately perform a detailed change operation of the parameters set in each operation target device mounted on the vehicle by a touch operation on the operation surface.
In addition, since the selected parameter is displayed so as to be distinguishable from other parameters, it is possible to easily identify the parameter that is currently the target of the change operation by visually recognizing the display screen.
In addition, since the selected parameter is changed in the direction corresponding to the drag direction of the drag operation, an operation for changing the parameter in a plurality of directions can be easily performed using the operation surface of the touch pad 11. .
Further, when the pin 21 in the selection area is pressed or when a drag operation is performed in the operation area, the operation surface of the touch pad 11 is vibrated, so that an operation target such as an existing button is operated. It is possible to give the user a tactile sensation equivalent to.
Further, since the operation area is set to the entire area of the operation surface of the touch pad 11, it is possible to easily change the selection parameter of the user by a drag operation using the entire operation surface.
Further, since the display screen is provided on the windshield 36 of the vehicle, it is possible for the user who drives the vehicle to grasp various parameters of the operation target device displayed on the display screen without changing the line-of-sight direction.
In addition, when the target selection area is pressed again after the operation area is set, the setting of the operation area is canceled, so that the parameter to be changed can be easily switched by touching the operation surface. It becomes.
In addition, when a selection area set on the operation surface of the touch pad 11 is touched by the user and the selection area is pressed, or an operation for changing the selection parameter on the operation surface of the touch pad 11 is accepted. The left operation input device 2 and the right operation input device 3 and the operation target device are communicably connected to each other, and the user operation contents received by the left operation input device 2 and the right operation input device 3 are displayed on the left operation input device. Since the operation target device is controlled by transmitting from the 2 and the right operation input device 3 to the corresponding operation target device, the various operation target devices installed in the vehicle are controlled via the same operation input device. Parameter changing operation can be performed.
In addition, since the pin 21 protrudes in front of the operation surface in the selection area, it is possible to accurately perform the user's parameter selection operation with the protruding pin 21 as a reference.
In addition, since the parameter set in the operation target device is changed in correspondence with the change amount based on the operation for changing the accepted parameter, the change amount when changing the parameter is also arbitrarily determined by the operation on the operation surface. It becomes possible to adjust. Therefore, it is possible to improve the operability of the operation for changing the parameter.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではタッチパッドによるタッチ操作を行う場合について説明しているが、タッチ操作を受け付ける手段としてはタッチパッド以外のタッチパネル、タブレット等を用いても良い。また、タッチパネルを用いる場合には、メニューアイコン４１やパラメータアイコン４３〜４５を表示するディスプレイを、タッチパネルに重畳して配置する。 Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in the present embodiment, the case of performing a touch operation with a touch pad is described, but a touch panel other than the touch pad, a tablet, or the like may be used as a means for receiving the touch operation. Moreover, when using a touch panel, the display which displays the menu icon 41 and the parameter icons 43-45 is arrange | positioned so that it may overlap with a touch panel.

また、本実施形態では、左操作入力装置２と右操作入力装置３の両方にピン駆動機構１３を設けることとしているが、右操作入力装置３のみに設けることとしても良い。また、ピンを駆動させる処理を省略すれば右操作入力装置３にもピン駆動機構１３を設けない構成とすることも可能である。   In this embodiment, the pin drive mechanism 13 is provided in both the left operation input device 2 and the right operation input device 3, but may be provided only in the right operation input device 3. Further, if the processing for driving the pins is omitted, the right operation input device 3 can be configured not to include the pin driving mechanism 13.

また、本実施形態では、左操作入力装置２及び右操作入力装置３において、ピン２１は３×３の計９個配置する構成としているが、例えば２×２の計４個や４×４の計１６個配置する構成としても良い。また、ピン２１の配置態様に応じて左操作入力装置２及び右操作入力装置３によって操作対象となるアイコンやパラメータの数及び配置を定義変更する必要がある。   In the present embodiment, the left operation input device 2 and the right operation input device 3 have a configuration in which a total of nine pins 21 of 3 × 3 are arranged, but for example, a total of four 2 × 2 or 4 × 4 pins 21 are used. A total of 16 pieces may be arranged. Further, it is necessary to define and change the number and arrangement of icons and parameters to be operated by the left operation input device 2 and the right operation input device 3 in accordance with the arrangement mode of the pins 21.

また、本実施形態では、選択領域をタッチした状態で該選択領域を押下する操作をパラメータの選択操作として受け付けているが、ピン２１が押下されたことを検出する検出手段を新たに設け、選択領域をタッチした状態で該選択領域内のピン２１を押下する操作をパラメータの選択操作として受け付けるように構成しても良い。   In the present embodiment, an operation of pressing the selection area while touching the selection area is accepted as a parameter selection operation. However, a detection means for detecting that the pin 21 has been pressed is newly provided and selected. An operation of pressing the pin 21 in the selection area while the area is touched may be accepted as a parameter selection operation.

また、上述した操作支援ＥＣＵ１５が実行する処理の一部又は全部をナビゲーション装置のＥＣＵが実行する構成としても良い。また、パラメータやアイコンを表示する表示画面はナビゲーション装置のディスプレイにおいて表示する構成としても良い。   Moreover, it is good also as a structure which ECU of a navigation apparatus performs part or all of the process which operation support ECU15 mentioned above performs. The display screen for displaying parameters and icons may be displayed on the display of the navigation device.

１ 操作支援システム
２ 左操作入力装置
３ 右操作入力装置
４ ＨＵＤ
１１ タッチパッド
１２ 圧電素子
１３ ピン駆動機構
１５ 操作支援ＥＣＵ
２１ ピン
３１ ＣＰＵ
３２ ＲＡＭ
３３ ＲＯＭ
３４ フラッシュメモリ
５１〜５３ 選択領域
５７ 操作領域 1 Operation Support System 2 Left Operation Input Device 3 Right Operation Input Device 4 HUD
11 Touchpad 12 Piezoelectric Element 13 Pin Drive Mechanism 15 Operation Support ECU
21 pin 31 CPU
32 RAM
33 ROM
34 Flash memory 51-53 Selection area 57 Operation area

Claims (15)

車両のハンドルに設けられ、操作面を介してユーザの操作を受け付ける操作入力装置と、前記操作入力装置により操作される操作対象を表示する表示画面と、前記車両に搭載され、前記操作対象となる操作対象機器と、を備えた操作支援システムにおいて、
前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示手段と、
複数の前記項目の状態毎に対応付けた項目選択領域を前記操作面に設定する項目選択領域設定手段と、
いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域を前記操作面に設定する状態操作領域設定手段と、
前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付手段と、
前記状態操作受付手段により受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更手段と、を有することを特徴とする操作支援システム。 An operation input device that is provided on a handle of the vehicle and receives a user's operation via an operation surface; a display screen that displays an operation target operated by the operation input device; and the operation input device that is mounted on the vehicle and becomes the operation target In an operation support system comprising an operation target device,
Item status display means for displaying the status of a plurality of items set in the operation target device on the display screen;
Item selection area setting means for setting an item selection area associated with each state of the plurality of items on the operation surface;
The item corresponding to the item selection area where the user's operation is detected when the user's operation of pressing the item selection area is detected while touching any of the item selection areas State operation region setting means for setting a state operation region for operating the state of the operation surface on the operation surface;
State operation accepting means for accepting an operation of dragging the user within the state operation area set on the operation surface as an operation of changing the state of the item;
An operation support system comprising: state changing means for changing the state of an item set in the operation target device based on an operation for changing the state of the item received by the state operation receiving means. 前記項目選択領域設定手段は、前記表示画面に対する前記項目の状態の表示位置の関係と対応させて、前記項目選択領域を前記操作面に設定することを特徴とする請求項１に記載の操作支援システム。   The operation support according to claim 1, wherein the item selection area setting unit sets the item selection area on the operation surface in association with a display position relationship of the item state with respect to the display screen. system. 前記項目状態表示手段は、前記状態操作領域設定手段によって設定された前記状態操作領域によって操作対象となる前記項目の状態を他の前記項目の状態と識別可能に表示することを特徴とする請求項１又は請求項２に記載の操作支援システム。   The item status display means displays the status of the item to be operated by the status operation area set by the status operation area setting means so as to be distinguishable from the status of the other items. The operation support system according to claim 1 or 2. 前記状態変更手段は、前記状態操作受付手段により受け付けた前記ユーザのドラッグする操作のドラッグ方向に応じた方向へと、前記項目の状態を変更することを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。   4. The state change unit according to claim 1, wherein the state change unit changes the state of the item in a direction corresponding to a drag direction of the drag operation of the user received by the state operation reception unit. The operation support system according to any one of the above. 前記状態操作領域設定手段は、前記状態操作領域を前記操作面の全領域に設定することを特徴とする請求項１乃至請求項４のいずれかに記載の操作支援システム。   5. The operation support system according to claim 1, wherein the state operation region setting unit sets the state operation region in the entire region of the operation surface. 前記状態変更手段は、前記状態操作受付手段により受け付けた前記項目の状態を変更する操作に基づく変更量に対応させて、前記操作対象機器に設定されている前記項目の状態を変更することを特徴とする請求項１乃至請求項５のいずれかに記載の操作支援システム。   The state changing unit changes the state of the item set in the operation target device in accordance with an amount of change based on an operation of changing the state of the item received by the state operation receiving unit. The operation support system according to any one of claims 1 to 5. 前記項目選択領域において前記ユーザの操作が検出された場合に、前記操作面を振動させる選択振動手段を有することを特徴とする請求項１乃至請求項６のいずれかに記載の操作支援システム。   The operation support system according to claim 1, further comprising a selection vibration unit that vibrates the operation surface when an operation of the user is detected in the item selection area. 前記状態操作領域内で前記ユーザのドラッグする操作を受け付けた場合に、前記操作面を振動させるドラッグ振動手段を有することを特徴とする請求項１乃至請求項７のいずれかに記載の操作支援システム。   8. The operation support system according to claim 1, further comprising drag vibration means for vibrating the operation surface when an operation of dragging by the user is received in the state operation area. . 前記状態操作領域設定手段によって前記状態操作領域が設定された後に、前記項目選択領域を押下する前記ユーザの操作が再度検出された場合に、前記状態操作領域の設定を解除する状態操作領域解除手段を有することを特徴とする請求項１乃至請求項８のいずれかに記載の操作支援システム。   State operation area release means for releasing the setting of the state operation area when the user's operation of pressing the item selection area is detected again after the state operation area is set by the state operation area setting means. The operation support system according to claim 1, further comprising: 前記操作面に設定されたいずれかの前記項目選択領域において前記ユーザの操作が検出された場合に、前記操作入力装置と前記操作対象機器とを通信可能に接続し、
前記操作入力装置で受け付けた前記ユーザの操作内容を前記操作入力装置から前記操作対象機器へと送信することにより、前記操作対象機器に設定されている項目の状態を変更することを特徴とする請求項１乃至請求項９のいずれかに記載の操作支援システム。 When an operation of the user is detected in any of the item selection areas set on the operation surface, the operation input device and the operation target device are connected to be communicable,
The state of an item set in the operation target device is changed by transmitting the operation content of the user received by the operation input device from the operation input device to the operation target device. The operation support system according to any one of claims 1 to 9. 前記状態操作受付手段により前記ユーザの操作を受け付けた場合に、前記操作入力装置と前記操作対象機器とを通信可能に接続し、
前記操作入力装置で受け付けた前記ユーザの操作内容を前記操作入力装置から前記操作対象機器へと送信することにより、前記操作対象機器に設定されている項目の状態を変更することを特徴とする請求項１乃至請求項９のいずれかに記載の操作支援システム。 When the operation of the user is received by the state operation receiving means, the operation input device and the operation target device are connected to be communicable,
The state of an item set in the operation target device is changed by transmitting the operation content of the user received by the operation input device from the operation input device to the operation target device. The operation support system according to any one of claims 1 to 9. 前記項目選択領域設定手段によって設定された前記項目選択領域内において、前記操作面よりも手前側に突出部を突出させる突出手段を有することを特徴とする請求項１乃至請求項１１のいずれかに記載の操作支援システム。   12. The apparatus according to claim 1, further comprising a projecting unit configured to project a projecting portion toward the front side of the operation surface in the item selection area set by the item selection area setting unit. The operation support system described. 前記表示画面は、前記車両のフロントガラスに設けることを特徴とする請求項１乃至請求項１２のいずれかに記載の操作支援システム。   The operation support system according to any one of claims 1 to 12, wherein the display screen is provided on a windshield of the vehicle. 車両のハンドルに設けられ、操作面を介してユーザの操作を受け付ける操作入力装置と、前記操作入力装置により操作される操作対象を表示する表示画面と、前記車両に搭載され、前記操作対象となる操作対象機器と、を備えた操作支援システムによる操作支援方法において、
前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示ステップと、
複数の前記項目の状態毎に対応付けた項目選択領域を前記操作面に設定する項目選択領域設定ステップと、
いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域を前記操作面に設定する状態操作領域設定ステップと、
前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付ステップと、
前記状態操作受付ステップにより受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更ステップと、を有することを特徴とする操作支援方法。 An operation input device that is provided on a handle of the vehicle and receives a user's operation via an operation surface; a display screen that displays an operation target operated by the operation input device; and the operation input device that is mounted on the vehicle and becomes the operation target In an operation support method by an operation support system comprising an operation target device,
An item status display step for displaying the status of a plurality of items set in the operation target device on the display screen;
An item selection area setting step for setting an item selection area associated with each state of a plurality of the items on the operation surface;
The item corresponding to the item selection area where the user's operation is detected when the user's operation of pressing the item selection area is detected while touching any of the item selection areas A state operation region setting step for setting a state operation region for operating the state of the operation surface on the operation surface;
A state operation accepting step for accepting an operation to be dragged by the user within the state operation area set on the operation surface as an operation for changing the state of the item;
An operation support method comprising: a state change step of changing a state of an item set in the operation target device based on an operation of changing the state of the item received in the state operation reception step. 車両のハンドルに設けられ、操作面を介してユーザの操作を受け付ける操作入力装置と、前記操作入力装置により操作される操作対象を表示する表示画面と、前記車両に搭載され、前記操作対象となる操作対象機器と、を備えた操作支援システムにおいて実行されるコンピュータプログラムにおいて、
前記操作対象機器に設定されている複数の項目の状態を前記表示画面に表示する項目状態表示機能と、
複数の前記項目の状態毎に対応付けた項目選択領域を前記操作面に設定する項目選択領域設定機能と、
いずれかの前記項目選択領域に対して触れた状態で、該項目選択領域を押下する前記ユーザの操作が検出された場合に、該ユーザの操作が検出された前記項目選択領域に対応する前記項目の状態を操作する状態操作領域を前記操作面に設定する状態操作領域設定機能と、
前記操作面に設定された前記状態操作領域内で前記ユーザがドラッグする操作を、前記項目の状態を変更する操作として受け付ける状態操作受付機能と、
前記状態操作受付機能により受け付けた前記項目の状態を変更する操作に基づいて前記操作対象機器に設定されている項目の状態を変更する状態変更機能と、
を実行させることを特徴とするコンピュータプログラム。 An operation input device that is provided on a handle of the vehicle and receives a user's operation via an operation surface; a display screen that displays an operation target operated by the operation input device; and the operation input device that is mounted on the vehicle and becomes the operation target In a computer program executed in an operation support system comprising an operation target device,
An item status display function for displaying the status of a plurality of items set in the operation target device on the display screen;
An item selection area setting function for setting an item selection area associated with each state of a plurality of the items on the operation surface;
The item corresponding to the item selection area where the user's operation is detected when the user's operation of pressing the item selection area is detected while touching any of the item selection areas A state operation region setting function for setting a state operation region for operating the state of the operation surface on the operation surface;
A state operation acceptance function for accepting an operation of dragging the user within the state operation area set on the operation surface as an operation of changing the state of the item;
A state change function for changing the state of an item set in the operation target device based on an operation for changing the state of the item received by the state operation reception function;
A computer program for executing
JP2012253688A 2012-11-19 2012-11-19 Manipulation assistance system, manipulation assistance method, and computer program Abandoned JP2014102660A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012253688A JP2014102660A (en) 2012-11-19 2012-11-19 Manipulation assistance system, manipulation assistance method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012253688A JP2014102660A (en) 2012-11-19 2012-11-19 Manipulation assistance system, manipulation assistance method, and computer program

Publications (1)

Publication Number Publication Date
JP2014102660A true JP2014102660A (en) 2014-06-05

Family

ID=51025125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012253688A Abandoned JP2014102660A (en) 2012-11-19 2012-11-19 Manipulation assistance system, manipulation assistance method, and computer program

Country Status (1)

Country Link
JP (1) JP2014102660A (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016103162A (en) * 2014-11-28 2016-06-02 セイコーエプソン株式会社 Electronic apparatus and control method of electronic apparatus
JP2016119083A (en) * 2014-12-19 2016-06-30 ウジョンハイテック カンパニー リミテッド Touch pad using piezoelectric effect
JP2017177873A (en) * 2016-03-28 2017-10-05 三菱自動車工業株式会社 On-vehicle display control apparatus
WO2018143015A1 (en) * 2017-02-06 2018-08-09 アルプス電気株式会社 Tactile-sensation presentation device
JP2019096357A (en) * 2014-06-24 2019-06-20 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． Input device and user interface interaction
WO2020028665A1 (en) * 2018-08-03 2020-02-06 Tesla, Inc. Steering wheel assembly
WO2020028625A1 (en) * 2018-08-03 2020-02-06 Tesla, Inc. User interface for steering wheel
US10928909B2 (en) 2016-11-28 2021-02-23 Alps Alpine Co., Ltd. Tactile sensation presenting device for presenting warm/cold information and vibration information
JP2021033594A (en) * 2019-08-23 2021-03-01 パイオニア株式会社 Control device, operation input device, control method, control program, and storage medium
US11057682B2 (en) 2019-03-24 2021-07-06 Apple Inc. User interfaces including selectable representations of content items
US11070889B2 (en) 2012-12-10 2021-07-20 Apple Inc. Channel bar user interface
US11194546B2 (en) 2012-12-31 2021-12-07 Apple Inc. Multi-user TV user interface
US11245967B2 (en) 2012-12-13 2022-02-08 Apple Inc. TV side bar user interface
US11290762B2 (en) 2012-11-27 2022-03-29 Apple Inc. Agnostic media delivery system
US11297392B2 (en) 2012-12-18 2022-04-05 Apple Inc. Devices and method for providing remote control hints on a display
US11461397B2 (en) 2014-06-24 2022-10-04 Apple Inc. Column interface for navigating in a user interface
US11467726B2 (en) 2019-03-24 2022-10-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11520858B2 (en) 2016-06-12 2022-12-06 Apple Inc. Device-level authorization for viewing content
US11543938B2 (en) 2016-06-12 2023-01-03 Apple Inc. Identifying applications on which content is available
US11609678B2 (en) 2016-10-26 2023-03-21 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11797606B2 (en) 2019-05-31 2023-10-24 Apple Inc. User interfaces for a podcast browsing and playback application
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
JP7559944B2 (en) 2021-06-03 2024-10-02 日産自動車株式会社 Display control device and display control method
US12149779B2 (en) 2022-02-18 2024-11-19 Apple Inc. Advertisement user interface

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11290762B2 (en) 2012-11-27 2022-03-29 Apple Inc. Agnostic media delivery system
US11070889B2 (en) 2012-12-10 2021-07-20 Apple Inc. Channel bar user interface
US11317161B2 (en) 2012-12-13 2022-04-26 Apple Inc. TV side bar user interface
US11245967B2 (en) 2012-12-13 2022-02-08 Apple Inc. TV side bar user interface
US11297392B2 (en) 2012-12-18 2022-04-05 Apple Inc. Devices and method for providing remote control hints on a display
US11822858B2 (en) 2012-12-31 2023-11-21 Apple Inc. Multi-user TV user interface
US11194546B2 (en) 2012-12-31 2021-12-07 Apple Inc. Multi-user TV user interface
US12105942B2 (en) 2014-06-24 2024-10-01 Apple Inc. Input device and user interface interactions
US11461397B2 (en) 2014-06-24 2022-10-04 Apple Inc. Column interface for navigating in a user interface
US12086186B2 (en) 2014-06-24 2024-09-10 Apple Inc. Interactive interface for navigating in a user interface associated with a series of content
JP2019096357A (en) * 2014-06-24 2019-06-20 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． Input device and user interface interaction
JP2016103162A (en) * 2014-11-28 2016-06-02 セイコーエプソン株式会社 Electronic apparatus and control method of electronic apparatus
JP2016119083A (en) * 2014-12-19 2016-06-30 ウジョンハイテック カンパニー リミテッド Touch pad using piezoelectric effect
JP2017177873A (en) * 2016-03-28 2017-10-05 三菱自動車工業株式会社 On-vehicle display control apparatus
US11543938B2 (en) 2016-06-12 2023-01-03 Apple Inc. Identifying applications on which content is available
US11520858B2 (en) 2016-06-12 2022-12-06 Apple Inc. Device-level authorization for viewing content
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US11609678B2 (en) 2016-10-26 2023-03-21 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US10928909B2 (en) 2016-11-28 2021-02-23 Alps Alpine Co., Ltd. Tactile sensation presenting device for presenting warm/cold information and vibration information
US10698494B2 (en) 2017-02-06 2020-06-30 Alps Alpine Co., Ltd. Tactile sensation presenting device
WO2018143015A1 (en) * 2017-02-06 2018-08-09 アルプス電気株式会社 Tactile-sensation presentation device
JPWO2018143015A1 (en) * 2017-02-06 2019-07-04 アルプスアルパイン株式会社 Tactile display device
WO2020028665A1 (en) * 2018-08-03 2020-02-06 Tesla, Inc. Steering wheel assembly
US10780909B2 (en) 2018-08-03 2020-09-22 Tesla, Inc. User interface for steering wheel
US11203372B2 (en) 2018-08-03 2021-12-21 Tesla, Inc. Steering wheel assembly
WO2020028625A1 (en) * 2018-08-03 2020-02-06 Tesla, Inc. User interface for steering wheel
US11445263B2 (en) 2019-03-24 2022-09-13 Apple Inc. User interfaces including selectable representations of content items
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
US12008232B2 (en) 2019-03-24 2024-06-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11750888B2 (en) 2019-03-24 2023-09-05 Apple Inc. User interfaces including selectable representations of content items
US11467726B2 (en) 2019-03-24 2022-10-11 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11057682B2 (en) 2019-03-24 2021-07-06 Apple Inc. User interfaces including selectable representations of content items
US11797606B2 (en) 2019-05-31 2023-10-24 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
JP2021033594A (en) * 2019-08-23 2021-03-01 パイオニア株式会社 Control device, operation input device, control method, control program, and storage medium
JP2023115045A (en) * 2019-08-23 2023-08-18 パイオニア株式会社 Control device, operation input device, control method, control program, and storage medium
JP7293044B2 (en) 2019-08-23 2023-06-19 パイオニア株式会社 Control device, operation input device, control method, control program, and storage medium
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
JP7559944B2 (en) 2021-06-03 2024-10-02 日産自動車株式会社 Display control device and display control method
US12149779B2 (en) 2022-02-18 2024-11-19 Apple Inc. Advertisement user interface

Similar Documents

Publication Publication Date Title
JP2014102660A (en) Manipulation assistance system, manipulation assistance method, and computer program
WO2011024461A1 (en) Input device
JP5413448B2 (en) Display system, display device, and operation device
EP3422156B1 (en) Control unit for vehicle and control method for the same
EP2230591A2 (en) Operation input device
JP6277786B2 (en) Vehicle control device
JP2007310496A (en) Touch operation input device
US20140015785A1 (en) Electronic device
JP2014102656A (en) Manipulation assistance system, manipulation assistance method, and computer program
US20130097553A1 (en) Information display device and method for shifting operation of on-screen button
WO2016051440A1 (en) Vehicle and steering unit
JP5778904B2 (en) Touch input device
WO2014196273A1 (en) Input receiving device
JP2015170282A (en) Operation device for vehicle
JP2012243073A (en) Display system
US20170220117A1 (en) Control device and method for a motor vehicle
JPWO2019111515A1 (en) Input device and input method
JP7043166B2 (en) Display control device, display control system and display control method
JP2013025652A (en) Display control device
JP2014172413A (en) Operation support system, operation support method, and computer program
JP2018136616A (en) Display operation system
JP2017030746A (en) Vehicle and steering unit
EP3421300B1 (en) Control unit for vehicle
WO2014171096A1 (en) Control device for vehicle devices and vehicle device
JP2014102658A (en) Operation support system, operation support method, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150320

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150908