JP5971319B2 - Data processing apparatus and program - Google Patents

Data processing apparatus and program Download PDF

Info

Publication number
JP5971319B2
JP5971319B2 JP2014251838A JP2014251838A JP5971319B2 JP 5971319 B2 JP5971319 B2 JP 5971319B2 JP 2014251838 A JP2014251838 A JP 2014251838A JP 2014251838 A JP2014251838 A JP 2014251838A JP 5971319 B2 JP5971319 B2 JP 5971319B2
Authority
JP
Japan
Prior art keywords
data processing
series
customer
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014251838A
Other languages
Japanese (ja)
Other versions
JP2015057741A (en
Inventor
神谷 充治
充治 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014251838A priority Critical patent/JP5971319B2/en
Publication of JP2015057741A publication Critical patent/JP2015057741A/en
Application granted granted Critical
Publication of JP5971319B2 publication Critical patent/JP5971319B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、各種データ処理を行うデータ処理装置に関する。   The present invention relates to a data processing apparatus that performs various data processing.

一般に、店舗においては、ECR(Electronic Cash Register)、POS(Point of sale)端末などの売上データ処理装置により登録処理された売上データを分析したり、その顧客(購入者)の属性(買物頻度、リピート率、性別、年齢層など)を分析したりするようにしている。例えば、顧客の買物頻度やリピート率、性別や年齢層などを分析する場合には、予め発行した会員カードから読み取ったカードデータに基づいてその顧客(会員ID)を特定して、購入履歴として記録して分析するようにしているが、会員カードを媒体とした顧客分析では、会員カードの発行やコスト、更には会員加入率に課題が残るほか、非会員にあっては顧客分析を行うことはできない。
そこで、従来では、顧客の顔を撮影するカメラを備え、このカメラによる撮影画像から顔の特徴を抽出して、その抽出結果と顧客データデータベースの内容(顔の特徴点データ)とを照合することにより顧客を特定し、それに対応付けられている顧客データ(氏名、住所、電話番号など)をデータベースから読み出して表示するようにした技術が知られている(特許文献1参照)。
In general, in a store, sales data processed by a sales data processing device such as an ECR (Electronic Cash Register) or POS (Point of sale) terminal is analyzed, and the attributes of the customer (purchaser) (shopping frequency, Repeat rate, gender, age group, etc.). For example, when analyzing a customer's shopping frequency, repeat rate, gender, age group, etc., the customer (member ID) is specified based on card data read from a previously issued member card and recorded as a purchase history. However, in customer analysis using membership cards as a medium, issues with membership cards and costs, as well as membership rates remain, and customer analysis is not possible for non-members. Can not.
Therefore, conventionally, a camera for photographing a customer's face is provided, and facial features are extracted from images captured by the camera, and the extracted results are collated with the contents of the customer data database (facial feature point data). A technique is known in which a customer is identified by the above, and customer data (name, address, telephone number, etc.) associated with the customer is read from a database and displayed (see Patent Document 1).

特開2001−325433号公報JP 2001-325433 A

しかしながら、上述した特許文献1の技術にあっては、カメラにより顧客の顔を撮影したとしても、その顔画像から常に高い確率でその特徴を抽出することができるとは限らず、顔認識の信頼性の点で問題が残る。   However, in the technique of Patent Document 1 described above, even if a customer's face is photographed by a camera, the feature cannot always be extracted from the face image with a high probability, and the reliability of face recognition is not guaranteed. The problem remains in terms of sex.

本発明の課題は、撮影された画像から画像認識対象を特定する場合に、高い確率で特定できるようにすることである。 An object of the present invention, when identifying a subject in the image recognition from the captured image, is to be able to identify with high probability.

請求項1は、各種データ処理を行うデータ処理装置であって、複数の操作に基づいて一連のデータ処理を行うデータ処理手段と、前記一連のデータ処理に撮像手段で撮影された一連の画像を、当該一連のデータ処理を行った際の各操作の操作タイミングに対応づけて記憶手段に記憶制御する記憶制御手段と、前記複数の操作の中で特定操作の操作タイミングを検出する検出手段と、前記記憶手段に記憶された前記一連の画像の中から前記検出手段で検出された操作タイミングで撮影された画像を抽出する抽出手段と、前記抽出手段で抽出された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段と、を具備したことを特徴とする。
請求項5は、各種データ処理を行うデータ処理装置であって、複数の一連の操作に基づいて一連のデータ処理を行うデータ処理手段と、前記一連のデータ処理時撮像手段により撮影するよう制御する撮影制御する撮影制御手段と、前記複数の一連の操作の中で特定操作の操作タイミングを検出する検出手段と、前記検出手段により前記操作タイミングを検出した際は、その時に前記撮像手段で撮影された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段と、を具備したことを特徴とする。
Claim 1 is a data processing device for performing various data processing, a data processing means for performing a series of data processing based on a plurality of operations, and a series of images taken by an imaging means during the series of data processing Storage control means for storing and controlling the storage means in association with the operation timing of each operation when the series of data processing is performed, and detection means for detecting the operation timing of the specific operation among the plurality of operations Extracting from the series of images stored in the storage means an image photographed at the operation timing detected by the detection means; and performing image recognition of the image extracted by the extraction means. And specifying means for specifying identification information for identifying the object photographed in the image .
Claim 5 is a data processing device for performing various data processing, controls to imaging and data processing means for performing a series of data processing based on a plurality of series of operations, by the imaging means when said series of data processing Shooting control means for controlling shooting, detection means for detecting operation timing of a specific operation in the plurality of series of operations, and when the operation timing is detected by the detection means, shooting is performed by the imaging means at that time And identifying means for identifying identification information for identifying an object photographed in the image by performing image recognition of the captured image .

本発明によれば、撮影された画像から画像認識対象を特定する場合に、高い確率で特定できる。


According to the present invention, when identifying a subject in the image recognition from the captured image, it can be identified with high probability.


売上データ処理装置として適用したECRの基本的な構成要素を示したブロック図。The block diagram which showed the basic component of ECR applied as a sales data processing apparatus. ECR(ECR本体ユニット部1)をその前方斜め(顧客側)から見た状態の外観斜視図。The external appearance perspective view of the state which looked at ECR (ECR main-body unit part 1) from the front diagonal (customer side). ECR(ECR本体ユニット部1)の一側面から見た状態の外観図。The external view of the state seen from one side of ECR (ECR main unit 1). (1)は、客側カメラ25によって撮影された画像を例示した図、(2)は、操作側カメラ26によって撮影された画像を例示した図。(1) is a diagram illustrating an image photographed by a customer-side camera 25, and (2) is a diagram illustrating an image photographed by an operation-side camera 26. ECR本体ユニット部1側に記憶管理されている各種のファイルと、カメラユニット部2側に記憶管理されている各種のファイル、データベースを示した図。The figure which showed the various files memorize | stored and managed on the ECR main body unit part 1 side, the various files memorize | stored and managed on the camera unit part 2 side, and a database. 顧客データベースY4を説明するための図。The figure for demonstrating customer database Y4. 電子ジャーナルファイルY6を説明するための図。The figure for demonstrating the electronic journal file Y6. 電源投入に応じて実行開始されるECR全体の動作のうち、本実施形態の特徴的な動作を説明するためのメインのフローチャート。The main flowchart for demonstrating the characteristic operation | movement of this embodiment among the operation | movement of the whole ECR started execution according to power-on. 登録処理(図8のステップA2)を詳述するためのフローチャート。9 is a flowchart for explaining the registration process (step A2 in FIG. 8) in detail. 顧客特定登録処理(図8のステップA6)を詳述するためのフローチャート。The flowchart for explaining a customer specific registration process (step A6 of FIG. 8) in detail. 第2実施形態において、登録処理(図8のステップA2)を詳述するためのフローチャート。9 is a flowchart for explaining in detail a registration process (step A2 in FIG. 8) in the second embodiment. 第2実施形態において、顧客特定登録処理(図11のステップA21)を詳述するためのフローチャート。In 2nd Embodiment, the flowchart for explaining a customer specific registration process (step A21 of FIG. 11) in detail.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
先ず、図1〜図10を参照して本発明の第1実施形態を説明する。
図1は、売上データ処理装置として適用したECR(Electronic Cash Register)の基本的な構成要素を示したブロック図である。
このECR(売上データ処理装置)は、ECR本体ユニット部1とカメラユニット部2とに分離された構成で、ECR本体ユニット部1とカメラユニット部2とは、ケーブル3を介して着脱自在に接続されている。ECR本体ユニット部1は、ECRとしての基本的な機能(標準機能)として、入力された一取引分の売上データを登録処理すると共に、一取引分の登録終了時に顧客から渡された金種に応じた種類の締め処理を行う売上データ登録機能などを備えている。また、本実施形態においては、更にECR本体ユニット部1には各種のキー操作やドロアオープン/クローズなどに応じてイベントコードを発生させて、そのイベントコードをジャーナルデータとしてカメラユニット部2に対して転送する機能を有している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing basic components of an ECR (Electronic Cash Register) applied as a sales data processing apparatus.
This ECR (sales data processing apparatus) is separated into an ECR main unit 1 and a camera unit 2, and the ECR main unit 1 and the camera unit 2 are detachably connected via a cable 3. Has been. As a basic function (standard function) as the ECR, the ECR main unit 1 registers the input sales data for one transaction, and uses the denomination passed from the customer at the end of registration for one transaction. It has a sales data registration function that performs the appropriate type of tightening process. In the present embodiment, the ECR main unit 1 further generates an event code according to various key operations, drawer open / close, etc., and the event code is used as journal data to the camera unit 2. It has a function to transfer.

カメラユニット部2は、登録待ち(精算待ち)をしている顧客を撮影したり、担当者(オペレータ)及びその操作状況を撮影したりするカメラ機能のほか、このカメラ機能により撮影された顧客画像に基づいてその顧客を特定する顧客特定機能と、この顧客特定機能により特定された顧客に基づいて顧客(購入者)分析を行う顧客分析機能とを有し、各種の機能をモジュール化した構成となっている。このカメラユニット部2は、ケーブル3を介してECR本体ユニット部1に着脱自在に接続されており、故障などにより何時でも自由に交換可能となっている。なお、ECR本体ユニット部1とカメラユニット部2とは、必要に応じて協動して各種の処理を行うようにしている。   The camera unit 2 captures a customer waiting for registration (waiting for settlement), a camera function for photographing a person in charge (operator) and its operation status, and a customer image photographed by this camera function. A customer identification function for identifying the customer based on the customer identification function, a customer analysis function for performing customer (purchaser) analysis based on the customer identified by the customer identification function, and a configuration in which various functions are modularized It has become. The camera unit 2 is detachably connected to the ECR main unit 1 via a cable 3 and can be freely replaced at any time due to a failure or the like. The ECR main unit 1 and the camera unit 2 cooperate to perform various processes as necessary.

ECR本体ユニット部1は、CPU11を中核とするもので、各種プログラムにしたがってこのECR本体ユニット部1の全体動作を制御する中央演算処理装置である。記憶部12は、例えば、ROM、RAM、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図8〜図10に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶したり、データベース、文字フォントデータなどを記憶したりする。なお、上述の記憶媒体は固定的に設けた内蔵型の記憶媒体に限らず、着脱可能な可搬型の外部記憶媒体であってもよく、また、プログラム/データは、他の機器から有線伝送路あるいは無線伝送路を介して記憶媒体にインストールしたり、プログラム/データを記憶管理するサーバなどをアクセスして使用したりするようにしてもよい。メモリ13は、計時データ、フラグなど、このECR本体ユニット部1が動作するために必要な各種のデータを一時的に記憶するワーク領域である。   The ECR main unit 1 has a CPU 11 as a core and is a central processing unit that controls the overall operation of the ECR main unit 1 according to various programs. The storage unit 12 includes, for example, a storage medium such as a ROM, a RAM, a flash memory, and a drive system thereof, and a program for realizing the present embodiment according to an operation procedure illustrated in FIGS. Stores various applications, database, character font data, etc. The above-mentioned storage medium is not limited to a built-in storage medium provided in a fixed manner, and may be a removable external storage medium. Program / data can be transmitted from another device to a wired transmission line. Alternatively, it may be installed in a storage medium via a wireless transmission path, or accessed by using a server that stores and manages programs / data. The memory 13 is a work area for temporarily storing various data necessary for the operation of the ECR main unit 1 such as timing data and flags.

また、CPU11には、その入出力周辺デバイスである操作部14、スキャナ15、操作者用表示部16、印字部17、ドロア駆動部18、COMポート19がバスラインを介して接続されており、入出力プログラムにしたがってCPU11はそれらの動作を制御する。操作部14は、押しボタン式の各種キーが配列されているキーボードを有し、このキーボード上にはテンキー(図示省略)などのほか、登録キーK1、小計キーK2、現金/預かり金キーなどの締めキーK3などが配設されていると共に、モードスイッチMSが配設されている。   Further, the CPU 11 is connected with an operation unit 14, a scanner 15, an operator display unit 16, a printing unit 17, a drawer drive unit 18, and a COM port 19 as input / output peripheral devices via a bus line. The CPU 11 controls these operations according to the input / output program. The operation unit 14 has a keyboard on which various push button type keys are arranged. On the keyboard, there are a ten key (not shown), a registration key K1, a subtotal key K2, a cash / deposit key, and the like. A tightening key K3 and the like are provided, and a mode switch MS is provided.

モードスイッチMSは、その切り換え位置に応じて「登録(REG)」、「RF(戻し)」、「Z(精算)」などの各種の動作モード(プログラム種)を切り換えるロータリー式のスイッチである。登録キーK1は、商品別登録を指示する商品キー、例えば、PLU(プライス・ルック・アップ)キー、部門キーなどである。また、小計キーK2は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させるキーである。締めキーK3は、一取引の登録を終了させる締めキーで、現金/預かり金キーやクレジットキーなどである。CPU11は、「登録(REG)」モードに切り換えられている状態において、各種のキー操作に応じてその操作に応じたイベントコードを生成すると共に、入力された売上データを表示させたり、売上合計を更新したりする登録処理を実行し、一取引の登録終了時に締めキーK3が押下されると、ドロアを開放させたり、レシートを発行させたりする。   The mode switch MS is a rotary switch that switches various operation modes (program types) such as “registration (REG)”, “RF (return)”, and “Z (settlement)” according to the switching position. The registration key K1 is a product key for instructing registration by product, for example, a PLU (Price Look Up) key, a department key, or the like. The subtotal key K2 is a key for displaying the total amount of sales data registered up to the present time during one transaction as a subtotal. The closing key K3 is a closing key for ending registration of one transaction, such as a cash / deposit key or a credit key. In a state where the CPU 11 is switched to the “registration (REG)” mode, the CPU 11 generates an event code corresponding to the operation according to various key operations, displays the input sales data, and displays the total sales. When the registration key update process is executed and the closing key K3 is pressed at the end of registration of one transaction, the drawer is released or a receipt is issued.

イメージスキャナ15は、例えば、CCDやCMOSなどの画像センサ(イメージセンサ)を有し、商品の登録時のスキャニング動作時にその商品に添付されているバーコードや二次元コードを撮影することにより読み取るもので、CPU11は、イメージスキャナ15により撮影された画像データを解析することによってバーコードなどをデコードして商品を特定するようにしている。操作者用表示部16は、担当者(オペレータ)用として、金額や商品に関するデータ、メッセージなどを表示するもので、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイなどにより構成されている。印字部17は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、レシート印字を行う。ドロア駆動部18は、キー操作に応じてドロア18Aの開閉を制御するもので、CPU11は、ドロア18Aの開閉に応じてドロアオープン/クローズイベントを生成する。COMポート19は、カメラユニット部2との接続用のシリアルポートである。   The image scanner 15 has, for example, an image sensor (image sensor) such as a CCD or a CMOS, and reads by scanning a barcode or a two-dimensional code attached to the product at the time of scanning operation when registering the product. Thus, the CPU 11 analyzes the image data photographed by the image scanner 15 to decode the barcode or the like and specify the product. The operator display unit 16 displays data about money and products, messages, and the like for a person in charge (operator), and is configured by, for example, a liquid crystal display or an organic EL (Electro Luminescence) display. The printing unit 17 is, for example, a non-impact printer such as thermal transfer or inkjet, or a dot impact printer, and performs receipt printing. The drawer drive unit 18 controls the opening / closing of the drawer 18A according to a key operation, and the CPU 11 generates a drawer open / close event according to the opening / closing of the drawer 18A. The COM port 19 is a serial port for connection with the camera unit unit 2.

カメラユニット部2は、CPU21を中核とするもので、各種プログラムにしたがってこのカメラユニット部2の全体動作を制御する中央演算処理装置である。記憶部22は、例えば、ROM、RAM、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図10に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶する。メモリ23は、このカメラユニット部2が動作するために必要な各種のデータを一時的に記憶するワーク領域である。   The camera unit 2 has a CPU 21 as a core, and is a central processing unit that controls the overall operation of the camera unit 2 according to various programs. The storage unit 22 includes, for example, a storage medium such as a ROM, a RAM, a flash memory, and a drive system thereof, and programs and various applications for realizing the present embodiment in accordance with an operation procedure illustrated in FIG. Memorize etc. The memory 23 is a work area for temporarily storing various data necessary for the operation of the camera unit 2.

また、CPU21には、その入出力周辺デバイスである客側表示部24、客側カメラ25、操作側カメラ26、カードインターフェイス部27、COMポート29がバスラインを介して接続されており、入出力プログラムにしたがってCPU21はそれらの動作を制御する。客側表示部24は、登録待ち(精算待ち)の顧客用としてその画面を顧客側に対面させたもので、例えば、7セグメントLED(発光ダイオード)などにより構成され、商品単価、個数、小計金額、預かり金額などを数値表示する。   The CPU 21 is connected to the customer side display unit 24, the customer side camera 25, the operation side camera 26, the card interface unit 27, and the COM port 29, which are input / output peripheral devices, via a bus line. The CPU 21 controls these operations according to the program. The customer side display unit 24 has a screen facing the customer side for registration waiting (payment waiting) customers, and is composed of, for example, a 7-segment LED (light emitting diode) and the like. , Display the amount of deposit, etc. numerically.

客側カメラ25は、客用表示部24に接近配設されたもので、登録待ちしている顧客の顔を中心として撮影し、また、操作側カメラ26は、担当者(オペレータ)及びその操作状況を撮影するもので、担当者(オペレータ)及びその操作状況を撮影する監視カメラである。なお、客側カメラ25、操作側カメラ26の詳細は、図示省略したが、レンズ部、撮像素子、A/D(アナログ/デジタル)変換部などを有し、動画像を撮影可能な構成で、レンズ部からの被写体像が撮像素子(CCD又はCMOS)に結像されることにより被写体を高精細に撮影可能な構成となっている。   The customer-side camera 25 is disposed close to the customer display unit 24 and shoots mainly on the face of the customer waiting for registration. The operation-side camera 26 is a person in charge (operator) and its operation. This is a surveillance camera for photographing the situation, and for photographing the person in charge (operator) and the operation situation. Although details of the customer-side camera 25 and the operation-side camera 26 are not shown in the drawings, they have a lens unit, an image sensor, an A / D (analog / digital) conversion unit, and the like, and can capture moving images. The subject image from the lens unit is formed on an image sensor (CCD or CMOS), so that the subject can be photographed with high definition.

カードインターフェイス部27は、記録媒体としてのSDカード28が挿入接続されるもので、このSDカード28には、後述する各種のファイルが格納されている。なお、カメラユニット部2には、カードインターフェイス部27に挿入接続されたSDカード28の盗難などを防ぐために錠前(図省略)が配設されており、例えば、責任者が所持する専用鍵を使用して、錠前を開いてSDカード28を取り出すようにしている。また、SDカード28に限らず、その他の外部記録媒体であってもよい。COMポート29は、ECR本体ユニット部1との接続用のシリアルポートである。   The card interface unit 27 is inserted and connected to an SD card 28 as a recording medium, and various files to be described later are stored in the SD card 28. The camera unit 2 is provided with a lock (not shown) in order to prevent the SD card 28 inserted and connected to the card interface 27 from being stolen. Then, the lock is opened and the SD card 28 is taken out. Further, the external recording medium is not limited to the SD card 28. The COM port 29 is a serial port for connection with the ECR main unit 1.

図2は、上述のように構成されたECR(ECR本体ユニット部1)をその前方斜め(顧客側)から見た状態の外観斜視図であり、図3は、ECR(ECR本体ユニット部1)の一側面から見た状態の外観図である。
ECR本体ユニット部1の上面部には、操作者用表示部16が配設されていると共に、操作部14を構成するキーボード及びモードスイッチMSが配設されている。また、ECR本体ユニット部1の上面部には、印字部17から送出されるレシートを取り出すためのレシート発行口(図示省略)が配設されている。
FIG. 2 is an external perspective view of the ECR (ECR main body unit portion 1) configured as described above as viewed obliquely from the front (customer side), and FIG. 3 is an ECR (ECR main body unit portion 1). It is an external view of the state seen from one side.
On the upper surface of the ECR main unit 1, an operator display unit 16 is disposed, and a keyboard and a mode switch MS constituting the operation unit 14 are disposed. A receipt issuing port (not shown) for taking out a receipt sent from the printing unit 17 is disposed on the upper surface of the ECR main unit 1.

カメラユニット部2は、客用表示部24の筐体2Aと、その筐体2Aを支持するポール状の支持部材(支持ポール)2Bとを有している。支持ポール2Bは、客用表示部24の筐体2Aを支持するもので、その下端部はECR本体ユニット部1の背面側の垂直に固定されている。また、支持ポール2Bの上端部は客用表示部24の筐体2Aが装着され、その長さを調整可能な構造となっていると共に、客用表示部24の筐体2Aは、支持ポール2Bに対して回転可能となっている。つまり、筐体2Aの高さとその向きを調整可能となっており、それに応じて客用表示部24、客側カメラ25の高さとその向きも調整可能となっている。   The camera unit unit 2 includes a housing 2A of the customer display unit 24 and a pole-shaped support member (supporting pole) 2B that supports the housing 2A. The support pole 2 </ b> B supports the housing 2 </ b> A of the customer display unit 24, and its lower end is fixed vertically on the back side of the ECR main unit 1. The upper end of the support pole 2B is mounted with a housing 2A of the customer display unit 24 so that the length of the housing 2A can be adjusted, and the housing 2A of the customer display unit 24 includes the support pole 2B. Can be rotated. That is, the height of the housing 2A and its orientation can be adjusted, and the height and orientation of the customer display unit 24 and the customer-side camera 25 can also be adjusted accordingly.

客側カメラ25は、図2及び図3に示すように筐体2Aの前面において客用表示部24の一端部(図中、左側端部)に接近配設され、その撮影方向は、登録待ちしている顧客方向で、その画角は、登録待ち行列の顧客を撮影可能な範囲となっている。図4(1)は、客側カメラ25によって撮影した登録待ち行列の顧客画像を例示したもので、先頭の顧客の後ろに次の顧客が並んでいる状態を示している。操作側カメラ26は、支持ポール2Bの上端部に配設され、その撮影方向は、オペレータ方向で、その画角は、操作部14の全体及び操作中のオペレータの顔を撮影可能な範囲となっている。図4(2)は、操作側カメラ26によって担当者(オペレータ)及びその操作状況を撮影した監視画像を例示したもので、ドロア18Aを開放した状態でオペレータが貨幣を出し入れしている場合を示している。   As shown in FIGS. 2 and 3, the customer-side camera 25 is disposed close to one end portion (left end portion in the figure) of the customer display unit 24 on the front surface of the housing 2A. The angle of view is within a range where the customers in the registration queue can be photographed. FIG. 4A illustrates a customer image in the registration queue photographed by the customer camera 25, and shows a state in which the next customer is lined up behind the top customer. The operation-side camera 26 is disposed at the upper end of the support pole 2B. The photographing direction is the operator direction, and the angle of view is a range in which the entire operation unit 14 and the face of the operator in operation can be photographed. ing. FIG. 4B illustrates a monitoring image obtained by photographing the person in charge (operator) and the operation status thereof with the operation-side camera 26, and shows a case where the operator puts in and out money with the drawer 18A opened. ing.

図5は、ECR本体ユニット部1側に記憶管理されている各種のファイルと、カメラユニット部2側に記憶管理されている各種のファイル、データベースを示した図である。
ECR本体ユニット部1側には、商品別合計ファイルX1、部門別合計ファイルX2、取引別合計ファイルX3などが記憶管理されている。なお、商品別合計ファイルX1は、部門別合計ファイルX2、取引別合計ファイルX3は、商品別、弁当類やパン類などの部門別、現金売りや信用売りなどの取引別に売上データ(個数、金額)の累計値(合計値)などを記憶管理するファイルである。
FIG. 5 is a diagram showing various files stored and managed on the ECR main unit 1 side, and various files and databases stored and managed on the camera unit 2 side.
On the ECR main unit 1 side, a total file by product X1, a total file by department X2, a total file by transaction X3, and the like are stored and managed. The total file by product X1 is the total file by department X2. The total file by transaction X3 is the sales data by product, by department such as lunch and bread, and by sales such as cash sales and credit sales. ) Is a file for storing and managing the accumulated value (total value).

カメラユニット部2側には、客側動画ファイルY1、顧客特定用画像データY2、顔認識用データファイルY3、顧客データベースY4、操作側動画ファイルY5、電子ジャーナルファイルY6などが記憶管理されている。客側動画ファイルY1は、客側カメラ25により撮影された動画ファイルであり、各動画ファイルに対応してそのファイルなど共に録画日時(タイムスタンプ)が逐次記憶されている。顧客特定用画像データY2は、客側動画ファイルY1内の動画の中から取引毎に顧客特定用として抽出された画像(静止画)内に顧客の顔部分を解析することにより得られた顔の特徴点データであり、CPU21は、一日の登録終了時において、客側動画ファイルY1内の動画に基づいて取引毎に顧客特定用画像データ(顔の特徴点データ)Y2を生成するようにしている。   On the camera unit 2 side, a customer moving image file Y1, customer specifying image data Y2, face recognition data file Y3, customer database Y4, operating side moving image file Y5, electronic journal file Y6, and the like are stored and managed. The customer-side moving image file Y1 is a moving image file taken by the customer-side camera 25, and the recording date and time (time stamp) is sequentially stored with each file corresponding to each moving image file. The customer specifying image data Y2 is obtained by analyzing the face portion of the face obtained by analyzing the face part of the customer in the image (still image) extracted for the customer specifying for each transaction from the moving images in the customer moving image file Y1. It is feature point data, and the CPU 21 generates customer specifying image data (face feature point data) Y2 for each transaction based on the video in the customer side video file Y1 at the end of registration of the day. Yes.

すなわち、CPU21は、一日の登録終了時(精算時)に、一取引分の売上データを登録する一連の操作のうち、所定の操作、つまり、客側表示部24に金額データを表示させる小計キーK2、締めキーK3の操作タイミングを示すデータ(後述するイベント時刻)に基づいて、客側動画ファイルY1の動画の中からそのイベント時刻に相当する位置に録画されている画像(静止画像)を抽出し、この抽出画像を解析することにより顧客特定用画像データY2を生成するようにしている。なお、顧客特定用の画像データとしては、抽出画像(静止画像)を解析して顔の特徴点データを生成するようにしたが、これに限らず、抽出画像(静止画像)自体を顧客特定用の画像データとしてもよい(以下、同様)。   That is, the CPU 21 performs a predetermined operation in a series of operations for registering sales data for one transaction at the end of registration of one day (at the time of settlement), that is, a subtotal for displaying monetary data on the customer side display unit 24. Based on the data indicating the operation timing of the key K2 and the closing key K3 (event time described later), an image (still image) recorded at a position corresponding to the event time is selected from the moving images of the customer-side moving image file Y1. The customer specifying image data Y2 is generated by extracting and analyzing the extracted image. The image data for customer identification is generated by analyzing the extracted image (still image) and generating facial feature point data. However, the extracted image (still image) itself is not limited to this. Image data (hereinafter, the same).

顔認識用データファイルY3は、顧客特定用画像データY2に基づいて顧客を特定する際に照合される顔認識用の画像ファイルで、顧客毎にその「顔認識用データ(顔の特徴点データ)」のほか、「顧客認識出力ID」の項目を記憶管理する構成となっている。「顧客認識出力ID」は、客側カメラ25により撮影された画像に基づいてその顔を認識する処理を実行した結果、認識された顧客を識別するための識別データである。顧客データベースY4は、顧客毎にその顧客に関するデータを記憶管理するファイルである。操作側動画ファイルY5は、操作側カメラ26により撮影された動画ファイルであり、各動画ファイルに対応してそのファイルなど共に録画日時(タイムスタンプ)が逐次記憶されている。電子ジャーナルファイルY6は、取引毎の売上データ、操作状況を営業記録データ(ジャーナルデータ)として記憶管理するファイルである。   The face recognition data file Y3 is an image file for face recognition that is collated when a customer is specified based on the image data Y2 for customer identification, and the “face recognition data (facial feature point data) for each customer. In addition to the above, the item “customer recognition output ID” is stored and managed. The “customer recognition output ID” is identification data for identifying a customer who has been recognized as a result of executing the process of recognizing the face based on the image taken by the customer side camera 25. The customer database Y4 is a file for storing and managing data related to each customer. The operation-side moving image file Y5 is a moving image file taken by the operation-side camera 26, and the recording date and time (time stamp) is sequentially stored in correspondence with each moving image file. The electronic journal file Y6 is a file for storing and managing sales data and operation status for each transaction as sales record data (journal data).

図6は、顧客データベースY4を説明するための図である。
顧客データベースY4は、「顧客認識出力ID」、「性別」、「年齢層」、「検出スコア」、「登録日」などの項目を有する構成となっている。「顧客認識出力ID」は、顔認識用データファイルY3とリンクさせるための顧客識別データである。「性別」、「年齢層」は、顧客の画像から推定して店側で入力されたデータである。「検出スコア」は、撮影画像内から顔の部分を検出した結果、その顔が正面に向いている度合いを“1〜10”の数値で表現したデータで、“10”に近いほど、顧客の顔を正面から撮影したことを示している。
FIG. 6 is a diagram for explaining the customer database Y4.
The customer database Y4 is configured to include items such as “customer recognition output ID”, “sex”, “age group”, “detection score”, and “registration date”. The “customer recognition output ID” is customer identification data for linking with the face recognition data file Y3. “Gender” and “Age” are data input on the store side estimated from the customer's image. The “detection score” is data representing the degree of the face facing the front as a result of detecting the face portion in the photographed image with a numerical value of “1 to 10”. It shows that the face was taken from the front.

図7は、電子ジャーナルファイルY6を説明するための図である。
電子ジャーナルファイルY6は、「動画ファイル名」、「イベントの種類」、「イベント年月日」、「イベント時刻」、「商品コード」、「金額」、「顧客認識出力ID」、…などの項目を有する構成となっている。「動画ファイル名」は、操作側動画ファイルY5にリンクさせるデータで、年月日に一連番号を組み合わせた構成となっている。「イベントの種類」は、操作の種類を示し、登録キーK1の操作、小計キーK2の操作、締めキーK3の操作、ドロアオープン/クローズなどを示すイベントコードである。「イベント年月日」は、その操作を行った年月日を示し、「イベント時刻」は、その操作を行った時刻(時分秒1/100秒)を示している。「顧客認識出力ID」は、顔認識用データファイルY3とリンクさせるための顧客識別データで、例えば、一連番号などである。
FIG. 7 is a diagram for explaining the electronic journal file Y6.
The electronic journal file Y6 includes items such as “video file name”, “event type”, “event date”, “event time”, “product code”, “amount”, “customer recognition output ID”, etc. It has composition which has. The “moving image file name” is data linked to the operating-side moving image file Y5, and has a configuration in which a serial number is combined with a date. “Event type” indicates the type of operation, and is an event code indicating operation of the registration key K1, operation of the subtotal key K2, operation of the closing key K3, drawer open / close, and the like. “Event date” indicates the date when the operation was performed, and “Event time” indicates the time (hour / minute / second 1/100 second) when the operation was performed. The “customer recognition output ID” is customer identification data for linking with the face recognition data file Y3, and is, for example, a serial number.

次に、第1実施形態におけるECRの動作概念を図8〜図10に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。   Next, the operation concept of ECR in the first embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. Further, it is possible to sequentially execute the operation according to the above-described program code transmitted via a transmission medium such as a network. The same applies to other embodiments described later. In addition to the recording medium, an operation peculiar to the present embodiment can be executed using a program / data supplied externally via a transmission medium.

図8は、電源投入に応じて実行開始されるECR全体の動作のうち、本実施形態の特徴的な動作を説明するためのメインのフローチャートである。
先ず、ECR本体ユニット部1のCPU11は、モードスイッチMSが「登録(REG)」モードに切り換えられているかを調べたり(図8のステップA1)、「Z(精算)」モードに切り換えられているかを調べたり(ステップA3)、その他のモードに切り換えられているかを調べたり(ステップA7)、電源オフ操作が行われたかを調べたりする(ステップA9)。いま、登録モードに切り換えられている場合には(ステップA1でYES)、登録操作に応じて売上データを登録する登録処理の実行に移る(ステップA2)。
FIG. 8 is a main flowchart for explaining the characteristic operation of the present embodiment among the operations of the entire ECR that are started in response to power-on.
First, the CPU 11 of the ECR main unit 1 checks whether the mode switch MS has been switched to the “registration (REG)” mode (step A1 in FIG. 8) or has it been switched to the “Z (settlement)” mode. (Step A3), whether the mode has been switched to another mode (step A7), or whether the power-off operation has been performed (step A9). If the mode is switched to the registration mode (YES in step A1), the process proceeds to execution of a registration process for registering sales data in accordance with the registration operation (step A2).

図9は、登録処理(図8のステップA2)を詳述するためのフローチャートである。なお、ECR本体ユニット部1は、必要に応じてカメラユニット部2と協動して各種の処理を行うようにしている。
先ず、ECR本体ユニット部1のCPU11は、登録操作が行われたか、つまり、商品からバーコードなどを読み取るためにスキャナ15によるスキャニング動作が行われたか、金額データの値数入力後に商品キーなどの登録キーK1が操作されたかを調べたり(図9のステップB1)、小計キーK2が操作されたかを調べたり(ステップB9)、一取引分の登録終了時に現金/預かり金キーなどの締めキーK3が操作されたかを調べたり(ステップB11)、その他のキーが操作されたかを調べたりする(ステップB16)。
FIG. 9 is a flowchart for explaining the registration process (step A2 in FIG. 8) in detail. The ECR main unit 1 performs various processes in cooperation with the camera unit 2 as necessary.
First, the CPU 11 of the ECR main body unit 1 confirms whether a registration operation has been performed, that is, whether a scanning operation has been performed by the scanner 15 to read a barcode or the like from a product, or a product key or the like after inputting the number of value data. Whether the registration key K1 has been operated (step B1 in FIG. 9), whether the subtotal key K2 has been operated (step B9), or a closing key K3 such as a cash / deposit key at the end of registration for one transaction Is checked (step B11), and whether other keys are operated (step B16).

いま、登録操作が行われると(ステップB1でYES)、次のステップB2に移り、ECR本体ユニット部1は、カメラユニット部2側をアクセスし、客側カメラ25の撮影動作は停止中であるかを調べる。ここで、客側カメラ25が停止中であれば(ステップB2でYES)、一取引の最初の操作か、つまり、商品からバーコードなどを読み取るためにスキャナ15によるスキャニング動作が行われたか、金額データの値数入力後に商品キーなどの登録キーK1が操作されたかを調べる(ステップB3)。いま、一取引の最初の操作が行われたときには(ステップB3でYES)、「動画ファイル名」を生成してカメラユニット部2側に転送することにより電子ジャーナルファイルY6に当該「動画ファイル名」を設定させた後(ステップB4)、客側カメラ25を起動させてその撮影画像を逐次記録する録画動作を開始させる(ステップB5)。そして、商品登録処理に移る(ステップB6)。   If a registration operation is performed (YES in step B1), the process proceeds to the next step B2, the ECR main unit 1 accesses the camera unit 2 side, and the photographing operation of the customer camera 25 is stopped. Find out. If the customer-side camera 25 is stopped (YES in step B2), it is the first operation of one transaction, that is, whether the scanning operation by the scanner 15 has been performed to read a barcode or the like from the commodity, It is checked whether or not a registration key K1 such as a product key has been operated after inputting the number of data values (step B3). Now, when the first operation of one transaction is performed (YES in Step B3), the “moving image file name” is generated in the electronic journal file Y6 by generating the “moving image file name” and transferring it to the camera unit 2 side. Is set (step B4), the customer-side camera 25 is activated to start a recording operation for sequentially recording the captured images (step B5). Then, the process proceeds to product registration processing (step B6).

一方、客側カメラ25が動作中の場合(ステップB2でNO)、客側カメラ25が停止中でも一取引の最初の操作ではない場合には(ステップB3でNO)、上述の動画ファイル名の設定処理(ステップB4)及び客側カメラ25の起動・録画処理(ステップB5)をスキップして、商品登録処理に移る(ステップB6)。この商品登録処理では、入力された商品名及び単位を操作者用表示部16及び客用表示部24に表示させたり、商品別合計ファイルX1、部門別合計ファイルX2の内容(売上データ)を更新したりする処理を行う。この場合、ECR本体ユニット部1から表示データをカメラユニット部2側に転送することにより客用表示部24に商品名及び単位を表示させる。   On the other hand, when the customer-side camera 25 is operating (NO in step B2), and when the customer-side camera 25 is stopped and it is not the first operation of one transaction (NO in step B3), the above-described moving image file name setting is performed. The process (step B4) and the activation / recording process (step B5) of the customer side camera 25 are skipped, and the process proceeds to a product registration process (step B6). In this product registration process, the input product name and unit are displayed on the operator display unit 16 and the customer display unit 24, and the contents (sales data) of the product total file X1 and department total file X2 are updated. Process. In this case, by transferring display data from the ECR main unit 1 to the camera unit 2 side, the product name and unit are displayed on the customer display 24.

このような商品登録処理が行われると、一取引分の小計金額を更新(ステップB7)すると共に、今回登録した売上データとその操作データ(イベントデータ)をジャーナルデータとしてワーク領域内に一時保持させた後(ステップB8)、上述のステップB1に戻る。以下、登録操作が行われる毎に、上述の動作を繰り返す。また、小計キーK2が操作されたときには(ステップB9でYES)、小計金額を操作者用表示部16及び客用表示部24に表示させた後(ステップB10)、上述のステップB8に移り、小計金額とその操作データ(イベントデータ)をジャーナルデータとして一時保持させる。   When such product registration processing is performed, the subtotal amount for one transaction is updated (step B7), and the sales data registered this time and its operation data (event data) are temporarily stored in the work area as journal data. (Step B8), the process returns to Step B1 described above. Thereafter, the above-described operation is repeated each time a registration operation is performed. When the subtotal key K2 is operated (YES in step B9), the subtotal amount is displayed on the operator display unit 16 and the customer display unit 24 (step B10), and then the process proceeds to the above-described step B8. The amount and its operation data (event data) are temporarily stored as journal data.

また、その他のキー、例えば、訂正キーなどが操作されたときには(ステップB16でYES)、操作に応じた処理として、訂正処理などを実行した後(ステップB17)、上述のステップB8に移り、その処理結果や操作データ(イベントデータ)をジャーナルデータとして一時保持させる。また、一取引分の登録終了時に現金/預かり金キーなどの締めキーK3が操作されたときには(ステップB11でYES)、顧客から渡された金種に応じた種類の締め処理(取引別合計を更新する処理)を行うと共に、レシート印字を行ってレシートを発行させたり、ドロアを開放させたりする(ステップB12)。そして、その締め操作データ(イベントデータ)をジャーナルデータとして一時保持した後(ステップB13)、上述のようにして一時保持させた一取引分のデイベントータをジャーナルデータとして、カメラユニット部2に転送する(ステップB14)。この場合、カメラユニット部2側では、この一取引分のデイベントータを電子ジャーナルファイルY6に追加登録する処理を行う。そして、客側カメラ25を停止させた後(ステップB15)、図9のフローから抜ける。   When another key, such as a correction key, is operated (YES in step B16), after performing correction processing or the like as processing according to the operation (step B17), the process proceeds to step B8 described above. Processing results and operation data (event data) are temporarily stored as journal data. Further, when the closing key K3 such as a cash / deposit key is operated at the end of registration for one transaction (YES in Step B11), the type of closing processing according to the denomination passed from the customer (total for each transaction is calculated). Update processing), receipt printing is performed to issue a receipt, or the drawer is opened (step B12). After the fastening operation data (event data) is temporarily held as journal data (step B13), the deevent data for one transaction temporarily held as described above is transferred to the camera unit 2 as journal data. (Step B14). In this case, the camera unit 2 side performs a process of additionally registering the deevent data for one transaction in the electronic journal file Y6. Then, after stopping the customer side camera 25 (step B15), the flow of FIG. 9 is exited.

このような登録処理(図8のステップA2)が終ると、図8のステップA1に戻る。以下、登録モードに切り換えられている状態において(ステップA1でYES)、操作に応じて上述の登録処理を繰り返す。これによって一日の営業が終り、モードスイッチMSを「Z(精算)」モードに切り換えられると(ステップA3でYES)、顧客の特定とその登録を指示する操作が行われたかを調べ(ステップA4)、その指示操作が行われなければ(ステップA4でNO)、取引別合計ファイルX3などの内容を更新する精算処理を実行した後(ステップA5)、上述のステップA1に戻る。   When such a registration process (step A2 in FIG. 8) ends, the process returns to step A1 in FIG. Thereafter, in the state in which the mode is switched to the registration mode (YES in step A1), the above registration process is repeated according to the operation. Thus, when the business of the day ends and the mode switch MS is switched to the “Z (checkout)” mode (YES in step A3), it is checked whether an operation for instructing the customer identification and registration has been performed (step A4). If the instruction operation is not performed (NO in step A4), after the settlement process for updating the contents such as the transaction total file X3 is executed (step A5), the process returns to the above-described step A1.

また、顧客特定とその登録を指示する操作が行われた場合に(ステップA4でYES)、ECR本体ユニット部1は、カメラユニット部2に対してその操作に応じた指示を行って顧客特定登録処理(後述する)を開始させた後(ステップA6)、上述の精算処理に移る(ステップA5)。なお、モードスイッチMSによりその他のモード、例えば、設定モードなどに切り換えられている場合には(ステップA7でYES)、その他のモードに応じた処理として、各種のデータを設定する処理などを行った後(ステップA8)、上述のステップA1に戻る。また、電源オフ操作が行われた場合には(ステップA9でYES)、所定の電源オフ処理(ステップA10)を実行した後、図8のフローの終了となる。   When an operation for instructing customer identification and registration is performed (YES in step A4), the ECR main body unit unit 1 instructs the camera unit unit 2 according to the operation to perform customer identification registration. After starting the process (described later) (step A6), the process proceeds to the above-described settlement process (step A5). If the mode switch MS has switched to another mode, for example, a setting mode (YES in step A7), a process for setting various data is performed as a process according to the other mode. After (step A8), the process returns to step A1 described above. If a power-off operation is performed (YES in step A9), a predetermined power-off process (step A10) is executed, and then the flow in FIG. 8 ends.

図10は、顧客特定登録処理(図8のステップA6)を詳述するためのフローチャートである。
先ず、カメラユニット部2のCPU21は、電子ジャーナルファイルY6内の1レコードを指定してそのレコードを取得し(図10のステップC1)、この取得レコード内の「イベントの種類」は、小計キーK2あるいは現金/預かり金などの締めキーK3であるかを調べる(ステップC2)。ここで、「イベントの種類」が小計キーK2あるいは締めキーK3でなければ(ステップC2でNO)、この取得レコードを処理対象外とするためにステップC1に戻って次のレコードを指定しながらそのレコードを取得する動作を小計キーK2あるいは締めキーK3が検索されるまで繰り返す。
FIG. 10 is a flowchart for explaining the customer identification registration process (step A6 in FIG. 8) in detail.
First, the CPU 21 of the camera unit 2 designates one record in the electronic journal file Y6 and obtains the record (step C1 in FIG. 10), and the “event type” in the obtained record is the subtotal key K2. Alternatively, it is checked whether the key is a closing key K3 such as cash / deposit (step C2). If the “event type” is not the subtotal key K2 or the closing key K3 (NO in step C2), the process returns to step C1 to designate the next record in order to exclude this acquired record from processing. The operation of acquiring the record is repeated until the subtotal key K2 or the closing key K3 is searched.

これによって「イベントの種類」が小計キーK2あるいは締めキーK3であるレコードを取得した場合には(ステップC2でYES)、そのレコードから「動画ファイル名」及び「イベント時刻」を取得し(ステップC3)、この「動画ファイル名」をキーとして客側動画ファイルY1を検索して、該当する動画ファイルを抽出すると共に、その動画ファイルの中から「イベント時刻」に相当する位置の1フレーム分の静止画像を抽出する(ステップC4)。そして、この抽出画像をデジタルズーム処理により所定の大きさに拡大処理したり、顔部分を抽出したりした後、その顔画像の解析を行って顔の特徴点データを抽出する顔検出処理を行って顧客特定用画像データY2を生成する(ステップC5)。   As a result, when the record whose “event type” is the subtotal key K2 or the closing key K3 is acquired (YES in step C2), the “movie file name” and “event time” are acquired from the record (step C3). ) Using this “moving image file name” as a key, the customer moving image file Y1 is searched to extract the corresponding moving image file, and the still image for one frame at the position corresponding to “event time” is extracted from the moving image file An image is extracted (step C4). Then, the extracted image is enlarged to a predetermined size by digital zoom processing, or a face portion is extracted, and then the face detection is performed by analyzing the face image and extracting facial feature point data. Customer specifying image data Y2 is generated (step C5).

すなわち、カメラユニット部2側では、抽出画像を解析しながら顧客の顔の輪郭や顔を形成するパーツ(目、口、鼻、額など)の形や位置関係などを総合的に判断して、顧客の顔の特徴点を抽出するが、その際、抽出画像内に複数の被写体(顧客)が含まれているときには、その中から顔が最も大きく写っている顔を選択してその特徴点を抽出する。なお、顔の特徴点を抽出する機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。   That is, on the camera unit 2 side, the extracted image is analyzed, and the outline of the customer's face and the shape and position of the parts (eyes, mouth, nose, forehead, etc.) forming the face are comprehensively determined. The feature points of the customer's face are extracted. At that time, if the extracted image contains multiple subjects (customers), the face with the largest face is selected from those and the feature points are selected. Extract. Note that the function of extracting facial feature points is a technique commonly used in cameras, and in this embodiment, the well-known technique is used. Shall.

そして、カメラユニット部2は、顔検出処理の結果、その顔が正面に向いている度合いを数値化したデータとして検出スコアを取得し(ステップC6)、この検出スコアが基準値(例えば、7)以上かを調べる(ステップC7)。いま、検出スコアが基準値以上であれば(ステップC7でYES)、顔を正確に認識できたものと判断して、後述するステップC9に移るが、検出スコアが基準値未満であれば(ステップC7でNO)、顔が横向きであったなどの理由で正確に顔を認識することができなかった場合であると判断して、ステップC8に移り、「イベント時刻」を所定時間分ずらす。   Then, as a result of the face detection process, the camera unit 2 acquires a detection score as data obtained by quantifying the degree of the face facing the front (step C6), and this detection score is a reference value (for example, 7). Whether this is the case is checked (step C7). If the detected score is equal to or higher than the reference value (YES in step C7), it is determined that the face has been correctly recognized, and the process proceeds to step C9 described later. If the detected score is less than the reference value (step If NO in C7), it is determined that the face cannot be accurately recognized because the face is sideways, etc., and the process proceeds to Step C8, where the “event time” is shifted by a predetermined time.

例えば、「イベント時刻」の前後の時刻、つまり、「イベント時刻」に“0.5秒”を加算あるいは“0.5秒”を減算することにより設定イベント時刻をずらした時刻を算出する。そして、上述のステップC4に移り、新たに算出したイベント時刻に相当する位置の1フレーム分の静止画像を抽出した後、上述の顔認識処理及び検出スコア判定処理を行う(ステップC5〜C7)。なお、設定されている「イベント時刻」よりも前の時刻及び後の時刻を算出するようにしてもよく、また、所定時間(例えば、0.5秒)ずつ段階的にずらすようにしてもよい。これによって、設定されている「イベント時刻」に対して0.5秒前、1秒前、1.5秒前、2秒前あるいは0.5秒後、1秒後、1.5秒後、2秒後の時刻を算出するようにしてもよい。   For example, the time before and after the “event time”, that is, the time when the set event time is shifted by adding “0.5 seconds” to the “event time” or subtracting “0.5 seconds” is calculated. Then, the process proceeds to step C4 described above, and after extracting a still image for one frame at a position corresponding to the newly calculated event time, the above-described face recognition process and detection score determination process are performed (steps C5 to C7). The time before and after the set “event time” may be calculated, or may be shifted step by step by a predetermined time (for example, 0.5 seconds). . As a result, 0.5 seconds, 1 second, 1.5 seconds, 2 seconds, 0.5 seconds, 1 second, 1.5 seconds after the set “event time” The time after 2 seconds may be calculated.

いま、検出スコアが基準値以上であれば(ステップC7でYES)、顔の特徴点データY2に基づいて顔認識用データファイルY3を検索し(ステップC9)、今回抽出した顔の特徴点データは、既に登録されている人物の顔の特徴点データに該当するか、つまり、特徴的に一致するかを調べる(ステップC10)。その結果、特徴的に一致し、登録されている人物に該当していれば(ステップC10でYES)、顧客を特定することができたものとして、顔認識用データファイルY3から該当する「顔認識出力ID」を取得して(ステップC11)、電子ジャーナルファイルY6に記録する処理を行う(ステップC16)。そして、電子ジャーナルファイルY6の内容をその最終レコードまで全て指定し終ったかを調べるが(ステップC17)、指定レコードが最終レコードまで達していなければ(ステップC17でNO)、最初のステップC1に戻り、電子ジャーナルファイルY6から次の1レコードを読み出し取得する。   If the detected score is equal to or greater than the reference value (YES in step C7), the face recognition data file Y3 is searched based on the facial feature point data Y2 (step C9), and the facial feature point data extracted this time is Then, it is checked whether it corresponds to the feature point data of the face of a person who has already been registered, that is, whether it is characteristically matched (step C10). As a result, if it matches characteristically and corresponds to the registered person (YES in Step C10), it is determined that the customer can be specified, and the corresponding “face recognition” is detected from the face recognition data file Y3. The “output ID” is acquired (step C11) and recorded in the electronic journal file Y6 (step C16). Then, it is checked whether or not all the contents of the electronic journal file Y6 have been designated up to the final record (step C17). If the designated record has not reached the final record (NO in step C17), the process returns to the first step C1. The next record is read out and acquired from the electronic journal file Y6.

また、登録されている人物に該当していなければ(ステップC10でNO)、「顔認識出力ID」、「登録日」を新たに生成すると共に(ステップC12)、この「顔認識出力ID」、「登録日」のほか、「検出スコア」を含む新規レコードを生成し(ステップC13)、顧客データベースY4に新規登録(追加登録)する(ステップC14)。また、顔の特徴点データ顧客特定用画像データY2を「顔認識出力ID」と共に顔認識用データファイルY3に追加登録する(ステップC15)。そして、「顔認識出力ID」を電子ジャーナルファイルY6に記録した後(ステップC16)、電子ジャーナルファイルY6の内容をその最終レコードまで指定し終るまで(ステップC17)、最初のステップC1に戻り、次の1レコードを読み出し取得して上述の動作を繰り返す。   If it does not correspond to a registered person (NO in step C10), a “face recognition output ID” and “registration date” are newly generated (step C12), and the “face recognition output ID”, In addition to the “registration date”, a new record including “detection score” is generated (step C13), and new registration (additional registration) is performed in the customer database Y4 (step C14). Further, the facial feature point data customer specifying image data Y2 is additionally registered in the face recognition data file Y3 together with the “face recognition output ID” (step C15). After the “face recognition output ID” is recorded in the electronic journal file Y6 (step C16), the process returns to the first step C1 until the content of the electronic journal file Y6 is designated up to the final record (step C17), and the next step 1 record is read and acquired, and the above operation is repeated.

以上のように、第1実施形態においては、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、客側カメラ25により撮影された撮影画像に基づいて、顧客特定用の画像データを生成するようにしたので、顧客特定用の画像を適切なタイミングで生成することができ、顧客を撮影した顧客画像から顧客を特定する場合に、その顧客を高い確率で特定することができ、信頼性及び実用性に富んだものとなる。   As described above, in the first embodiment, based on a photographed image photographed by the customer-side camera 25 when a predetermined operation is performed in a series of operations for registering sales data for one transaction. Since the image data for customer identification is generated, the image for customer identification can be generated at an appropriate timing, and when the customer is identified from the customer image obtained by photographing the customer, the customer has a high probability. And can be specified with a high reliability and practicality.

客側カメラ25は、登録待ち顧客が視認する客側表示部24に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されるようにしたので、顧客が金額を確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客特定用の画像データを生成することができる。   The customer-side camera 25 is mounted on the customer-side display unit 24 visually recognized by the customer waiting for registration, and is installed in a direction in which the face of the customer waiting for registration can be photographed face-to-face. It is possible to generate image data for specifying a customer based on a photographed image obtained by photographing the customer's face from the front at the timing of confirming.

所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キーK2、一取引の登録を締める締めキーK3のうち、少なくともそのいずれかのキーを操作するキー操作であるので、客側表示部24の表示内容(金額)を顧客が目視確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客特定用の画像データを生成することができ、顔認識にとって良好なものとなる。   The predetermined operation is a key operation for operating at least one of a subtotal key K2 for displaying the total amount of sales data registered up to the present time in one transaction as a subtotal and a closing key K3 for closing the registration of one transaction. Therefore, image data for customer identification can be generated based on a photographed image obtained by photographing the customer's face from the front at the timing when the customer visually confirms the display content (amount) of the customer side display unit 24. It will be good for face recognition.

電子ジャーナルファイルY6に記憶されている操作タイミングを示すデータ「イベント時刻」を読み出し、そのタイミングで撮影された画像を客側動画ファイルY1内の動画像の中から抽出し、この抽出画像に基づいて顧客特定用画像データY2を生成するようにしたので、所定の操作時における顧客特定用の画像データを動画ファイルの中から何時でも自由に生成することができる。   Data “event time” indicating the operation timing stored in the electronic journal file Y6 is read out, and an image photographed at that timing is extracted from the moving images in the customer-side moving image file Y1, and based on this extracted image Since the customer specifying image data Y2 is generated, the image data for customer specifying at the time of a predetermined operation can be freely generated from the moving image file at any time.

電子ジャーナルファイルY6に記憶されている操作タイミングを示すデータ「イベント時刻」を読み出し、そのタイミングの前後に撮影された画像を客側動画ファイルY1に記憶されている動画像の中から抽出し、この抽出画像に基づいて顧客特定用画像データY2を生成するようにしたので、操作時の画像が顔認識する上で不良な画像であってもその前後の画像に基づいて顧客特定用画像データY2を生成することができる。   Data “event time” indicating the operation timing stored in the electronic journal file Y6 is read, and images taken before and after the timing are extracted from the moving images stored in the customer-side moving image file Y1. Since the customer specifying image data Y2 is generated based on the extracted image, the customer specifying image data Y2 is generated based on the preceding and succeeding images even if the image at the time of operation is a bad image for face recognition. Can be generated.

生成した顧客特定用画像データY2に基づいて顔認識用データファイルY3を検索することにより顧客を特定するようにしたので、顔認識により顧客を容易に特定することができる。   Since the customer is specified by searching the face recognition data file Y3 based on the generated customer specifying image data Y2, the customer can be easily specified by face recognition.

なお、上述した第1実施形態においては、所定の操作として小計キーK2、締めキーK3とした場合を例示したが、それ以外に商品キー、部門キーなどの登録キーK1、入力データの訂正を指示する訂正キー、入力データをキャンセルする戻しキーなどであってもよい。   In the above-described first embodiment, the case where the subtotal key K2 and the closing key K3 are used as the predetermined operation is exemplified, but other than that, the registration key K1, such as the product key and the department key, and the correction of the input data are instructed. It may be a correction key to cancel, a return key to cancel input data, or the like.

(第2実施形態)
以下、この発明の第2実施形態について図11及び図12を参照して説明する。
なお、上述した第1実施形態においては、精算モードにおいて顧客特定登録を指示する操作が行われた際に、顧客特定登録処理を一括して実行開始するようにしたが、この第2実施形態においては、登録モードにおいて一取引の登録中にその顧客を認識して特定する顧客特定登録処理を取引毎に個々に実行するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
In the first embodiment described above, when the operation for instructing customer specific registration is performed in the settlement mode, the customer specific registration process is started to be executed in a lump. However, in the second embodiment, In the registration mode, customer specific registration processing for recognizing and specifying a customer during registration of one transaction is executed individually for each transaction. Here, in both the embodiments, the same or the same names are denoted by the same reference numerals, the description thereof will be omitted, and the following description will focus on the features of the second embodiment. .

図11は、第2実施形態において、登録処理(図8のステップA2)を詳述するためのフローチャートである。なお、図9のフローチャートで示した場合と同様にECR本体ユニット部1は、必要に応じてカメラユニット部2と協動して各種の処理を行うようにしている。以下、図11において図9と基本的に同様の処理については、その説明を簡単に行うものとする。
先ず、ECR本体ユニット部1のCPU11は、売上データを登録する登録操作が行われたかを調べたり(図11のステップB21)、小計キーK2が操作されたかを調べたり(ステップB29)、締めキーK3が操作されたかを調べたり(ステップB32)、その他のキーが操作されたかを調べたりする(ステップB37)。
FIG. 11 is a flowchart for explaining the registration process (step A2 in FIG. 8) in detail in the second embodiment. As in the case of the flowchart of FIG. 9, the ECR main unit 1 performs various processes in cooperation with the camera unit 2 as necessary. In the following, in FIG. 11, processing that is basically the same as that in FIG. 9 will be described briefly.
First, the CPU 11 of the ECR main unit 1 checks whether a registration operation for registering sales data has been performed (step B21 in FIG. 11), checks whether the subtotal key K2 has been operated (step B29), and a closing key. It is checked whether K3 has been operated (step B32) or whether other keys have been operated (step B37).

いま、売上データを登録する登録操作が行われたときには(ステップB21でYES)、上述した図9のステップB2〜B8と同様に、客側カメラ25が停止中であって(ステップB22でYES)、かつ、一取引の最初の操作であることを条件に(ステップB23でYES)、カメラユニット部2側において「動画ファイル名」を設定するための処理を実行させた後(ステップB24)、客側カメラ25を起動させてその撮影画像を逐次記録する録画動作を開始させる(ステップB25)。そして、商品登録処理(ステップB26)を行って、一取引分の小計金額を更新する(ステップB27)。そして、今回のイベントデータをジャーナルデータとして一時保持させた後(ステップB28)、上述のステップB21に戻る。   Now, when a registration operation for registering sales data is performed (YES in step B21), the customer camera 25 is stopped (YES in step B22) as in steps B2 to B8 of FIG. 9 described above. And, on condition that it is the first operation of one transaction (YES in Step B23), after executing the process for setting the “moving image file name” on the camera unit 2 side (Step B24), the customer The side camera 25 is activated to start a recording operation for sequentially recording the captured images (step B25). Then, a product registration process (step B26) is performed to update the subtotal amount for one transaction (step B27). Then, after temporarily storing the current event data as journal data (step B28), the process returns to the above-described step B21.

また、小計キーK2が操作されたときには(ステップB29でYES)、上述した図9のステップB10と同様に、小計金額を表示させるが(ステップB30)、第2実施形態では、カメラユニット部2に対して顧客特定登録処理(後述する)の開始を指示した後(ステップB31)、ステップB28に移る。なお、以下、図11のステップB32〜B38で示した処理は、上述した図9のステップB11〜B17の処理と同様である。すなわち、その他のキーが操作されたときには(ステップB37でYES)、操作に応じた処理を実行し(ステップB38)、その操作に関するイベントデータをジャーナルデータとして一時保持する(ステップB28)。また、締めキーK3が操作されたときには(ステップB32でYES)、締め処理(ステップB33)を行ったり、その操作に関するイベントデータをジャーナルデータとして一時保持したり(ステップB34)、一時保持させた一取引分のデイベントータをジャーナルデータとしてカメラユニット部2に転送したりする(ステップB35)。そして、客側カメラ25を停止させた後(ステップB36)、図11のフローから抜ける。   Further, when the subtotal key K2 is operated (YES in step B29), the subtotal amount is displayed (step B30) as in step B10 of FIG. 9 described above. After instructing the customer specific registration process (described later) to start (step B31), the process proceeds to step B28. In the following, the processing shown in steps B32 to B38 in FIG. 11 is the same as the processing in steps B11 to B17 in FIG. 9 described above. That is, when another key is operated (YES in step B37), processing corresponding to the operation is executed (step B38), and event data related to the operation is temporarily held as journal data (step B28). When the tightening key K3 is operated (YES in step B32), a tightening process (step B33) is performed, event data related to the operation is temporarily stored as journal data (step B34), or the temporarily stored one is stored. The transaction deevent data is transferred to the camera unit 2 as journal data (step B35). And after stopping the customer side camera 25 (step B36), it will escape from the flow of FIG.

図12は、顧客特定登録処理(図11のステップB31)を詳述するためのフローチャートである。なお、以下、図12において図10と基本的に同様の処理は、その説明を簡単に行うものとする。
先ず、カメラユニット部2のCPU21は、現在動画撮影中の1フレーム分の画像を抽出し(ステップC21)、この抽出画像(静止画像)を解析することにより顔の特徴点データを抽出して顧客特定用画像データY2を生成する(ステップC22)。そして、この特徴点データY2に基づいて顔認識用データファイルY3を検索する(ステップ23)。その結果、今回抽出した顔の特徴点データが、既に登録されている人物の顔の特徴点データに該当していることを検出した場合(特徴的に一致している場合)、つまり、登録されている人物に該当している場合には(ステップC24でYES)、顧客を特定することができたものとして判断して、顔認識用データファイルY3から該当する「顔認識出力ID」を取得する(ステップC25)。そして電子ジャーナルファイルY6に記録した後(ステップC30)、図12のフローから抜ける。
FIG. 12 is a flowchart for explaining the customer identification registration process (step B31 in FIG. 11) in detail. In the following, the processing basically similar to that in FIG. 10 will be briefly described in FIG.
First, the CPU 21 of the camera unit 2 extracts an image for one frame currently being shot (step C21), analyzes the extracted image (still image) to extract facial feature point data, and the customer. The specifying image data Y2 is generated (step C22). Then, the face recognition data file Y3 is searched based on the feature point data Y2 (step 23). As a result, when it is detected that the feature point data of the face extracted this time corresponds to the feature point data of a person's face that has already been registered (if it matches characteristically), that is, registered If it corresponds to the person (YES in step C24), it is determined that the customer can be specified, and the corresponding “face recognition output ID” is acquired from the face recognition data file Y3. (Step C25). Then, after recording in the electronic journal file Y6 (step C30), the flow of FIG. 12 is exited.

また、登録されている人物に該当していなければ(ステップC24でNO)、「顔認識出力ID」、「登録日」を新たに生成すると共に(ステップC26)、この「顔認識出力ID」、「登録日」を含む新規レコードを生成し(ステップC27)、顧客データベースY4に新規登録(追加登録)する(ステップC28)。また、顔の特徴点データ、つまり、顧客特定用画像データY2を「顔認識出力ID」と共に顔認識用データファイルY3に追加登録する(ステップC29)。そして、「顔認識出力ID」を電子ジャーナルファイルY6に記録した後(ステップC30)、図12のフローから抜ける。   If it does not correspond to a registered person (NO in step C24), a “face recognition output ID” and “registration date” are newly generated (step C26), and the “face recognition output ID”, A new record including “registration date” is generated (step C27), and new registration (additional registration) is performed in the customer database Y4 (step C28). Further, facial feature point data, that is, customer specifying image data Y2 is additionally registered in the face recognition data file Y3 together with the “face recognition output ID” (step C29). Then, after recording the “face recognition output ID” in the electronic journal file Y6 (step C30), the process goes out of the flow of FIG.

以上のように、第2実施形態においては、登録モードにおいて一取引の登録中に、その顧客を認識して特定する顧客特定登録処理を実行するようにしたので、一取引の登録中にその取引の顧客を特定することができ、その結果、その場で顧客サービスを実施することが可能となる。例えば、取引の終了時に顧客の種類(例えば、購入実績や来店実績に応じた優良顧客か否か)に応じてレシートにクーポンを印字するサービスなどを実施することが可能となる。更に、顧客特定登録処理を一取引の登録中に行うことにより、後で一括して行うバッチ処理よりも時間や作業面の点で有利なものとなる。   As described above, in the second embodiment, during the registration of one transaction in the registration mode, the customer specific registration process for recognizing and specifying the customer is executed. Customer can be identified, and as a result, customer service can be performed on the spot. For example, it is possible to implement a service that prints a coupon on a receipt according to the type of customer (for example, whether the customer is a good customer according to the purchase record or the store visit record) at the end of the transaction. Further, by performing the customer specific registration process during registration of one transaction, it is advantageous in terms of time and work, compared to batch processing that is performed later in batch.

なお、上述した第2実施形態においては、一取引の最初の登録操作で客側カメラ25を起動させて録画動作を開始させた後、小計キーK2が操作された際に、現在動画撮影中の1フレーム分の画像を抽出し、この抽出画像(静止画像)を解析して顔の特徴点データを抽出して顧客特定用画像データY2を生成するようにしたが、小計キーK2が操作された際に、客側カメラ25を起動させてその撮影画像に基づいて顧客特定用画像データY2を生成するようにしてもよい。この場合、短時間に複数枚の連続撮影(速写)を行い、その中から正面向きの画像など認識に良好な画像を選択して、顧客特定用画像データY2を生成するようにしてもよい。これによって長時間の動画動作が不要とすることができる。   In the second embodiment described above, after the customer side camera 25 is activated by the first registration operation of one transaction and the recording operation is started, when the subtotal key K2 is operated, the current moving image is being shot. An image for one frame is extracted, and the extracted image (still image) is analyzed to extract facial feature point data to generate customer specifying image data Y2, but the subtotal key K2 is operated. At this time, the customer-side camera 25 may be activated to generate the customer specifying image data Y2 based on the captured image. In this case, a plurality of continuous shooting (rapid shooting) may be performed in a short time, and an image suitable for recognition, such as a front-facing image, may be selected from the images, and the customer specifying image data Y2 may be generated. As a result, a long-time moving image operation can be eliminated.

上述した第2実施形態においては、小計キーK2が操作された際に、顧客特定用画像データY2を生成するようにしたが、現金預かり金キーなどの締めキーK3が操作された際に、顧客特定用画像データY2を生成するようにしてもよい。更に、小計キーK2、締めキーK3のいずれが操作されたときでも、顧客特定用画像データY2を生成するようにしてもよい。この場合、検出スコアの良い方を顧客特定用として採用するようにしてもよい。   In the second embodiment described above, the customer specifying image data Y2 is generated when the subtotal key K2 is operated. However, when the closing key K3 such as a cash deposit key is operated, the customer The specifying image data Y2 may be generated. Further, the customer specifying image data Y2 may be generated when either the subtotal key K2 or the closing key K3 is operated. In this case, the better detection score may be adopted for customer identification.

また、上述した第2実施形態においては、登録モードにおいて、一取引の登録中にその取引の顧客特定用の画像データY2を生成するようにしたが、登録待ちしている顧客がいない空き時間(ECRの非稼働時間)を利用して、顧客特定用画像データY2を生成するようにしてもよい。   Further, in the second embodiment described above, in the registration mode, the image data Y2 for identifying the customer of the transaction is generated during registration of one transaction. However, the idle time (No customer waiting for registration) ( The customer specifying image data Y2 may be generated using the ECR non-operating time.

また、上述した各実施形態は、ECR側で顧客特定用画像データY2を生成する顧客特定登録処理を実行するようにしたが、カードインターフェイス部27に挿入接続されているSDカード28内に、客側動画ファイルY1、顔認識用データファイルY3、顧客データベースY4、電子ジャーナルファイルY6を格納しておき、このSDカード28を外部機器のPCに挿入接続することによりPC側で顧客特定登録処理を実行するようにしてもよい。すなわち、売上データ処理装置とは、ECR、PCを含めた売上データ処理システムであってもよい。   In each of the above-described embodiments, the customer identification registration process for generating the customer identification image data Y2 is executed on the ECR side. However, in the SD card 28 inserted and connected to the card interface unit 27, the customer identification registration process is performed. The side moving image file Y1, the face recognition data file Y3, the customer database Y4, and the electronic journal file Y6 are stored, and the customer identification registration process is executed on the PC side by inserting and connecting the SD card 28 to the PC of the external device. You may make it do. That is, the sales data processing device may be a sales data processing system including ECR and PC.

また、上述した各実施形態においては、客側カメラ25による動画撮影は、一取引の開始から終了するまで行うようにしたが、モードスイッチMSにより登録モードに切り換えられてその登録モードが解除されるまでの間、客側カメラ25による動画撮影を継続するようにしてもよい。   In each of the above-described embodiments, the video shooting by the customer camera 25 is performed from the start to the end of one transaction. However, the registration mode is canceled by switching to the registration mode by the mode switch MS. In the meantime, the video shooting by the customer camera 25 may be continued.

また、上述した各実施形態においては、ECR(売上データ処理装置)をECR本体ユニット部1とカメラユニット部2とに分離した構成としたが、それらを統合した構成であってもよい。また、売上データ処理装置としてECRに適用した場合を示したが、構内専用回線に接続したPOS端末に適用するようにしてもよい。また、インターネットを介して本部のPCに接続した売上データ処理システムに適用するようにしてもよい。   In each of the above-described embodiments, the ECR (sales data processing device) is separated into the ECR main unit 1 and the camera unit 2, but may be integrated. Further, although the case where the sales data processing apparatus is applied to ECR is shown, it may be applied to a POS terminal connected to a private leased line. Further, the present invention may be applied to a sales data processing system connected to a headquarters PC via the Internet.

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。   Further, the “apparatus” and “unit” shown in each of the above-described embodiments may be separated into a plurality of cases by function, and are not limited to a single case. In addition, each step described in the above-described flowchart is not limited to time-series processing, and a plurality of steps may be processed in parallel or separately.

以上、この発明のいくつかの実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する操作判別手段と、
前記操作判別手段により所定の操作が行われたと判別された場合に、前記撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する生成手段と、
を具備したことを特徴とする売上データ処理装置である。
(請求項2)
請求項2に記載の発明は請求項1に記載の売上データ処理装置において、
前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする売上データ処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1あるいは請求項2に記載の売上データ処理装置において、
前記所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、一取引の登録を締める締めキーのうち、少なくともそのいずれかのキーを操作するキー操作である、
ことを特徴とする売上データ処理装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれかに記載の売上データ処理装置において、
前記撮像手段により登録待ちの顧客を撮影した動画像を記憶する動画記憶手段と、
一取引分の売上データを登録する一連の操作のうち少なくとも前記所定の操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段と、
を更に備え、
前記生成手段は、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
(請求項5)
請求項5に記載の発明は、請求項4に記載の売上データ処理装置において、
前記操作状況記憶手段は、一取引毎にその登録操作に関するデータを営業記録データとして記憶する、
ようにしたことを特徴とする請求項4に記載の売上データ処理装置である。
(請求項6)
請求項6に記載の発明は、請求項4に記載の売上データ処理装置において、
前記生成手段は、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングの前後に撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
(請求項7)
請求項7に記載の発明は、請求項6に記載の売上データ処理装置において、
前記生成手段は、前記動画記憶手段に記憶されている動画像の中から、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を抽出した場合に、その抽出画像に含まれている顔が正面に向いている度合いが基準値以下の場合に、そのタイミングの前後に撮影された画像を再抽出し、その抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
(請求項8)
請求項8に記載の発明は、請求項1〜請求項7のいずれかに記載の売上データ処理装置において、
顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
を更に備える、
ようにしたことを特徴とする売上データ処理装置。
(請求項9)
請求項9に記載の発明は、請求項1に記載の売上データ処理装置において、
顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
を更に備え、
前記生成手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記判別手段により所定の操作が行われたことが判別された際に、前記撮影手段により登録待ちの顧客を撮影した画像を取得して前記顧客特定用の画像データを生成し、
前記顧客特定手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記生成手段により生成された顧客特定用の画像データに基づいてその顧客を特定する、
ようにしたことを特徴とする売上データ処理装置。
(請求項10)
請求項10に記載の発明は、請求項9に記載の売上データ処理装置において、
前記生成手段は、前記判別手段により所定の操作が行われたことが判別された際に、前記撮影手段を起動させることにより撮影された静止画像を取得して前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置。
(請求項11)
請求項11に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する機能と、
前記所定の操作が行われたと判別された場合に、登録待ちの顧客を撮影する撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する機能と、
を実現させるためのプログラムである。
As mentioned above, although several embodiment of this invention was described, this invention is not limited to this, The invention described in the claim and its equal range are included.
Hereinafter, the invention described in the claims of the present application will be appended.
(Appendix)
(Claim 1)
The invention described in claim 1
A sales data processing device for registering sales data for each transaction,
Imaging means for photographing customers waiting for registration;
Operation determination means for determining whether or not a predetermined operation has been performed among a series of operations for registering sales data for one transaction;
Generating means for generating customer-specific image data based on a photographed image photographed by the imaging means when it is determined that a predetermined operation has been performed by the operation determining means;
A sales data processing apparatus characterized by comprising:
(Claim 2)
The invention according to claim 2 is the sales data processing device according to claim 1,
The imaging means is installed in a customer display unit that is visually recognized by a customer waiting for registration and installed in a direction that allows face-to-face shooting of a customer waiting for registration,
This is a sales data processing apparatus.
(Claim 3)
The invention according to claim 3 is the sales data processing device according to claim 1 or 2,
The predetermined operation is a key operation for operating at least one of a subtotal key for displaying the total amount of sales data registered up to the present time in one transaction as a subtotal and a tightening key for closing the registration of one transaction. is there,
This is a sales data processing apparatus.
(Claim 4)
The invention according to claim 4 is the sales data processing device according to any one of claims 1 to 3,
Moving image storage means for storing a moving image of a customer waiting for registration by the imaging means;
An operation status storage means for storing data indicating the operation timing when at least the predetermined operation is performed among a series of operations for registering sales data for one transaction;
Further comprising
The generation means extracts an image captured at the timing based on the data indicating the operation timing stored in the operation status storage means, from the moving images in the moving image storage means, and extracts the extracted image. Generating image data for customer identification based on
This is a sales data processing apparatus characterized by the above.
(Claim 5)
The invention according to claim 5 is the sales data processing device according to claim 4,
The operation status storage means stores data relating to the registration operation for each transaction as sales record data.
The sales data processing apparatus according to claim 4, wherein the sales data processing apparatus is configured as described above.
(Claim 6)
The invention according to claim 6 is the sales data processing device according to claim 4,
The generation unit extracts images taken before and after the timing based on data indicating the operation timing stored in the operation status storage unit, from the moving images in the moving image storage unit, and extracts this Generating image data for customer identification based on an image;
This is a sales data processing apparatus characterized by the above.
(Claim 7)
The invention according to claim 7 is the sales data processing device according to claim 6,
When the generation unit extracts an image shot at the timing based on data indicating the operation timing stored in the operation status storage unit from the moving images stored in the moving image storage unit In addition, when the degree of the face included in the extracted image facing the front is equal to or less than the reference value, the images taken before and after the timing are re-extracted, and the customer specifying Generate image data,
This is a sales data processing apparatus characterized by the above.
(Claim 8)
The invention according to claim 8 is the sales data processing device according to any one of claims 1 to 7,
Face recognition data storage means for storing and managing the face recognition image data for each customer;
Customer specifying means for specifying a customer by searching the face recognition data storage means based on the image data for customer specification generated by the generating means;
Further comprising
A sales data processing apparatus characterized by the above.
(Claim 9)
The invention according to claim 9 is the sales data processing device according to claim 1,
Face recognition data storage means for storing and managing the face recognition image data for each customer;
Customer specifying means for specifying a customer by searching the face recognition data storage means based on the image data for customer specification generated by the generating means;
Further comprising
The generating unit is configured to perform a series of operations for registering sales data for one transaction. When the determining unit determines that a predetermined operation has been performed, a customer waiting for registration by the photographing unit To obtain the image data for customer identification by acquiring the image taken,
The customer specifying means specifies the customer based on the image data for customer specification generated by the generating means during registration for performing a series of operations for registering sales data for one transaction.
A sales data processing apparatus characterized by the above.
(Claim 10)
The invention according to claim 10 is the sales data processing device according to claim 9,
When the determination unit determines that a predetermined operation has been performed by the determination unit, the generation unit acquires the still image captured by activating the imaging unit and generates the customer-specific image data To
A sales data processing apparatus characterized by the above.
(Claim 11)
The invention according to claim 11
Against the computer,
A function to register sales data for each transaction,
A function for determining whether or not a predetermined operation has been performed among a series of operations for registering sales data for one transaction;
A function of generating image data for identifying a customer based on a captured image captured by an imaging unit that captures a customer waiting for registration when it is determined that the predetermined operation has been performed;
It is a program for realizing.

1 ECR本体ユニット部
2 カメラユニット部
11、21 CPU
12、22 記憶部
14 操作部
15 スキャナ
16 操作者用表示部
19、29 COMポート
24 客用表示部
25 客側カメラ
26 操作側カメラ
27 カードインターフェイス部
B1 客側動画ファイル
B2 抽出顔画像
B3 顔認識用データファイル
B6 電子ジャーナルファイル
1 ECR main unit 2 Camera unit 11, 21 CPU
DESCRIPTION OF SYMBOLS 12, 22 Memory | storage part 14 Operation part 15 Scanner 16 Operator display part 19, 29 COM port 24 Customer display part 25 Customer side camera 26 Operation side camera 27 Card interface part B1 Customer side moving image file B2 Extracted face image B3 Face recognition Data file B6 electronic journal file

Claims (9)

各種データ処理を行うデータ処理装置であって、
複数の操作に基づいて一連のデータ処理を行うデータ処理手段と、
前記一連のデータ処理に撮像手段で撮影された一連の画像を、当該一連のデータ処理を行った際の各操作の操作タイミングに対応づけて記憶手段に記憶制御する記憶制御手段と、
前記複数の操作の中で特定操作の操作タイミングを検出する検出手段と、
前記記憶手段に記憶された前記一連の画像の中から前記検出手段で検出された操作タイミングで撮影された画像を抽出する抽出手段と、
前記抽出手段で抽出された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段と、
を具備したことを特徴とするデータ処理装置。
A data processing apparatus for performing various data processing,
Data processing means for performing a series of data processing based on a plurality of operations;
A storage control unit that stores and controls a series of images captured by the imaging unit during the series of data processing in a storage unit in association with operation timings of each operation when the series of data processing is performed;
Detecting means for detecting an operation timing of a specific operation among the plurality of operations;
Extraction means for extracting an image taken at the operation timing detected by the detection means from the series of images stored in the storage means;
Identifying means for identifying identification information for identifying an object photographed in the image by performing image recognition of the image extracted by the extracting means;
A data processing apparatus comprising:
前記抽出手段は、前記特定手段で前記対象の特定を行えない場合には、前記特定操作の操作タイミングの前あるいは後で撮影された画像を前記一連の画像の中から再度抽出し、
前記特定手段は、前記抽出手段で再度抽出された画像の画像認識を行うことで前記識別情報を特定する、
ことを特徴とする請求項1に記載のデータ処理装置。
When the extraction unit cannot specify the target by the specifying unit, the image taken before or after the operation timing of the specific operation is extracted again from the series of images.
The specifying unit specifies the identification information by performing image recognition of the image extracted again by the extracting unit;
The data processing apparatus according to claim 1.
前記特定手段で特定され識別情報を、前記一連のデータ処理に対応づけて記憶制御する第2記憶制御手段と、
を更に具備したことを特徴とする請求項1又は2に記載のデータ処理装置。
Second storage control means for storing and controlling the identification information specified by the specifying means in association with the series of data processing;
The data processing apparatus according to claim 1, further comprising:
前記一連のデータ処理は前記記憶手段に複数記憶され、
前記各一連のデータ処理に対して前記抽出手段による抽出と前記特定手段による特定とを行うことで、夫々の一連のデータ処理毎に特定された前記識別情報を、前記複数の一連のデータ処理の夫々に対応づけて記憶制御するようにした、
ことを特徴とする請求項3に記載のデータ処理装置。
A plurality of the series of data processing is stored in the storage means,
By performing extraction by the extraction means and specification by the specifying means for each series of data processing, the identification information specified for each series of data processing is converted into the plurality of series of data processing. Memory control was made in correspondence with each.
The data processing apparatus according to claim 3.
各種データ処理を行うデータ処理装置であって、
複数の一連の操作に基づいて一連のデータ処理を行うデータ処理手段と、
前記一連のデータ処理時撮像手段により撮影するよう制御する撮影制御する撮影制御手段と、
前記複数の一連の操作の中で特定操作の操作タイミングを検出する検出手段と、
前記検出手段により前記操作タイミングを検出した際は、その時に前記撮像手段で撮影された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段と、
を具備したことを特徴とするデータ処理装置。
A data processing apparatus for performing various data processing,
Data processing means for performing a series of data processing based on a plurality of series of operations;
And imaging control means for photographing control controls to photographing by the imaging means when said series of data processing,
Detecting means for detecting an operation timing of a specific operation among the series of operations;
When the operation timing is detected by the detection means, a specifying means for identifying identification information for identifying an object photographed in the image by performing image recognition of the image photographed by the imaging means at that time ,
A data processing apparatus comprising:
前記特定手段で前記識別情報を特定できた場合には、所定のサービス処理を行う処理制御手段と、
を更に具備したことを特徴とする請求項5に記載のデータ処理装置。
If the identification information can be specified by the specifying means , processing control means for performing a predetermined service process;
The data processing apparatus according to claim 5, further comprising:
前記特定操作の操作タイミングは、前記特定操作によりデータ処理された処理内容を確認する操作タイミングである、
ことを特徴とする請求項1〜6の何れかに記載のデータ処理装置。
The operation timing of the specific operation is an operation timing for confirming a processing content subjected to data processing by the specific operation.
The data processing device according to claim 1, wherein the data processing device is a data processing device.
各種データ処理を行うデータ処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の操作に基づいて一連のデータ処理を行うデータ処理手段、
前記一連のデータ処理に撮像手段で撮影された一連の画像を、当該一連のデータ処理を行った際の各操作の操作タイミングに対応づけて記憶手段に記憶制御する記憶制御手段、
前記複数の操作の中で特定操作の操作タイミングを検出する検出手段、
前記記憶手段に記憶された前記一連の画像の中から前記検出手段で検出された操作タイミングで撮影された画像を抽出する抽出手段、
前記抽出手段で抽出された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段、
として機能させるようにしプログラム。
A program for controlling a computer of a data processing apparatus that performs various data processing,
The computer,
Data processing means for performing a series of data processing based on a plurality of operations;
A storage control means for storing and controlling a series of images captured by the imaging means during the series of data processing in a storage means in association with operation timings of the respective operations when the series of data processing is performed;
Detecting means for detecting an operation timing of a specific operation among the plurality of operations;
Extraction means for extracting an image taken at the operation timing detected by the detection means from the series of images stored in the storage means;
Identifying means for identifying identification information for identifying an object photographed in the image by performing image recognition of the image extracted by the extracting means;
A program designed to function as
各種データ処理を行うデータ処理装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の一連の操作に基づいて一連のデータ処理を行うデータ処理手段、
前記一連のデータ処理時撮像手段により撮影するよう制御する撮影制御する撮影制御手段、
前記複数の一連の操作の中で特定操作の操作タイミングを検出する検出手段、
前記検出手段により前記操作タイミングを検出した際は、その時に前記撮像手段で撮影された画像の画像認識を行うことで、その画像内に撮影された対象を識別する識別情報を特定する特定手段、
として機能させるようにしプログラム。
A program for controlling a computer of a data processing apparatus that performs various data processing,
The computer,
Data processing means for performing a series of data processing based on a plurality of series of operations;
Photographing control means for photographing control controls to photographing by the imaging means when said series of data processing,
Detecting means for detecting an operation timing of a specific operation among the series of operations;
When the operation timing is detected by the detection means, a specification means for identifying identification information for identifying a target imaged in the image by performing image recognition of the image captured by the imaging means at that time,
A program designed to function as
JP2014251838A 2014-12-12 2014-12-12 Data processing apparatus and program Active JP5971319B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014251838A JP5971319B2 (en) 2014-12-12 2014-12-12 Data processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014251838A JP5971319B2 (en) 2014-12-12 2014-12-12 Data processing apparatus and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013135784A Division JP5673743B2 (en) 2013-06-28 2013-06-28 Data processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2015057741A JP2015057741A (en) 2015-03-26
JP5971319B2 true JP5971319B2 (en) 2016-08-17

Family

ID=52815773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014251838A Active JP5971319B2 (en) 2014-12-12 2014-12-12 Data processing apparatus and program

Country Status (1)

Country Link
JP (1) JP5971319B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150773A (en) * 2001-11-09 2003-05-23 Ishida Co Ltd System and device for supporting sales, and program
JP5666772B2 (en) * 2008-10-14 2015-02-12 Necソリューションイノベータ株式会社 Information providing apparatus, information providing method, and program

Also Published As

Publication number Publication date
JP2015057741A (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5311239B2 (en) Sales data processing apparatus and program
JP2013003872A (en) Sales data processing device and program
US20160300247A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
JP2004127013A (en) Point-of-sale information managing device
JP5673743B2 (en) Data processing apparatus and program
JP2024103812A (en) Information processing apparatus, program, and image processing method
JP7298865B2 (en) Information processing system, customer identification device, information processing method and program
JP2013011934A (en) Sales data processor, sales data processing system and program
JP2022009877A (en) Management device and program
US20160300249A1 (en) Sales data processing apparatus and method for inputting attribute information
JP2006221515A (en) Pos system
US20190325461A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
JP2012108805A (en) Try-on system
JP5729681B2 (en) Sales data processing apparatus and program
JP5733686B2 (en) Sales data processing apparatus and program
JP2013003814A (en) Sales data processing device and program
JP5971319B2 (en) Data processing apparatus and program
JP6052327B2 (en) Sales data processing apparatus and program
US20160300248A1 (en) Server and method for acquiring attribute information
TW201108135A (en) Visual security for point of sale terminals
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
JP7398219B2 (en) Information processing system and information processing method
JP5751417B2 (en) Sales data processing device, sales data processing system and program
JP6060995B2 (en) Sales data processing apparatus and program
JP6669193B2 (en) Sales data input device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160627

R150 Certificate of patent or registration of utility model

Ref document number: 5971319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150