JP7290842B2 - Information processing system, information processing system control method, and program - Google Patents

Information processing system, information processing system control method, and program Download PDF

Info

Publication number
JP7290842B2
JP7290842B2 JP2021144452A JP2021144452A JP7290842B2 JP 7290842 B2 JP7290842 B2 JP 7290842B2 JP 2021144452 A JP2021144452 A JP 2021144452A JP 2021144452 A JP2021144452 A JP 2021144452A JP 7290842 B2 JP7290842 B2 JP 7290842B2
Authority
JP
Japan
Prior art keywords
product
information processing
information
shelf
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021144452A
Other languages
Japanese (ja)
Other versions
JP2023037712A (en
Inventor
新 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2021144452A priority Critical patent/JP7290842B2/en
Publication of JP2023037712A publication Critical patent/JP2023037712A/en
Application granted granted Critical
Publication of JP7290842B2 publication Critical patent/JP7290842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Description

本発明は、無人または少ない店員で商品の管理や販売が可能なシステムに関する。 The present invention relates to a system that enables merchandise management and sales with unmanned or a small number of clerks.

従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。 Conventionally, sales systems such as vending machines and unmanned stores that reduce labor costs required for selling products have been proposed.

特許文献1には、重量センサーが備えられた商品棚に、それぞれRFIDタグが添付された複数の商品を配置した販売システム(商品管理装置)が提案されている。商品棚の重量の変化を検知すると、重量が変化した商品棚に置かれていた商品であって、かつ、RFIDタグの受信強度が変化した商品を、物理的に移動した商品(購入者が手に取った可能性のある商品)として特定する。精算の際には、RFIDリーダーによって、買い物カゴの中に入っている商品に添付されたRFIDタグを読み取ることで合計金額を算出して商品管理装置の表示部に表示する。そして、購入者が支払額読み取り部に金銭を投入することで精算が行われる。 Patent Literature 1 proposes a sales system (merchandise management device) in which a plurality of commodities each attached with an RFID tag are arranged on a commodity shelf provided with a weight sensor. When a change in the weight of a product shelf is detected, the product that was placed on the product shelf whose weight has changed and for which the reception strength of the RFID tag has changed is physically moved (by the purchaser's hand). products that may have been stolen). At the time of payment, the RFID reader reads the RFID tags attached to the products in the shopping cart to calculate the total amount and display it on the display unit of the product management device. Payment is made by the purchaser inserting money into the payment reading unit.

特開2018-160042号公報JP 2018-160042 A

特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、というものであった。販売システムの導入コストや設置スペースの削減などを考慮すると、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できることが課題となる。 The system described in Patent Document 1, for example, attaches an RFID tag to each product, installs a display for displaying the total amount, and installs a device for settlement. Considering the introduction cost of the sales system and the reduction of the installation space, it is possible to use the user terminal owned by each purchaser, but in that case, the problem is that more users can use it.

本発明は上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供することを目的とする。 SUMMARY OF THE INVENTION In view of at least one of the above problems, it is an object of the present invention to provide a more suitable system for managing and selling merchandise.

上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第2の制御手段と
を有することを特徴とする。
In order to solve the above problems, the information processing system of the present invention includes:
An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
identifying means for identifying the product based on the detected content received from the terminal device;
and second control means for transmitting information on the product specified by the specifying means to an electronic device and controlling the electronic device to display the information on the product. .

本発明によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present invention, it is possible to provide a more suitable system for product management and sales.

本実施形態の販売システムのシステム構成図である。1 is a system configuration diagram of a sales system of this embodiment; FIG. 本実施形態の販売システムに含まれる各装置のハードウェア構成図である。It is a hardware block diagram of each apparatus contained in the sales system of this embodiment. 購入者端末100aにおける処理フローチャートである。4 is a processing flowchart in the purchaser terminal 100a. サーバ装置100bにおける処理フローチャートである。4 is a processing flowchart in the server device 100b. サーバ装置100bで管理している情報を説明する図である。4 is a diagram for explaining information managed by a server device 100b; FIG. エッジPC100cにおける処理フローチャートである。FIG. 10 is a processing flowchart in the edge PC 100c; FIG. 本実施形態の販売システムでの処理の例のシーケンス図である。It is a sequence diagram of an example of processing in the sales system of the present embodiment. 購入者端末100aにおける画面表示例である。It is an example of a screen display on the purchaser terminal 100a.

特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び/または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。 The system described in Patent Document 1 requires, for example, attaching an RFID tag to each product, installing a display unit for displaying the total amount, and installing a device for settlement. In order to install it, the cost and the installation space have been increased. That is, there is room for improvement in the installation cost and/or installation space of the sales system. In order to reduce costs and space, it is conceivable to use the user terminal owned by each purchaser, but in that case, the functions used on the user terminal should be more general so that more users can use it. It is preferable to be Furthermore, in sales systems that are unmanned or have fewer clerks, there is little or no guidance from clerks, so there is room for improvement in terms of enabling purchasers to shop appropriately, easily, or casually.

本実施形態では上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。 In view of at least one of the above problems, the present embodiment aims to provide a technique for providing a more suitable system for product management and sales.

以下、図面を参照して本発明の好適な実施形態を説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.

図1に、本実施形態の情報処理システム(販売システム)のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末100a(電子機器)、サーバ装置100b(情報処理装置)、エッジPC100c(情報処理装置としての端末装置)が含まれる。購入者端末100aはインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。また、エッジPC100cもインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。一方、購入者端末100aとエッジPC100cは直接通信を行う必要はない。 FIG. 1 shows an example of the system configuration of the information processing system (sales system) of this embodiment. The sales system of this embodiment is an unmanned sales system that enables sales without a salesperson. The sales system of this embodiment includes a purchaser terminal 100a (electronic device), a server device 100b (information processing device), and an edge PC 100c (terminal device as an information processing device). The purchaser terminal 100a can communicate with the server device 100b directly or via the Internet. The edge PC 100c can also communicate with the server device 100b directly or via the Internet. On the other hand, the purchaser terminal 100a and the edge PC 100c do not need to communicate directly.

商品131を含む1つ以上(少なくとも1つ)の商品が、商品の陳列場所(載置する場所を含む)の一例としての商品棚である棚130に載置(陳列)されている。また、棚130自体、あるいは棚130の近傍に、棚130の識別情報(棚ID)を持つQRコード(商標)160が掲示されている。本実施形態では棚130には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。 One or more (at least one) products including the product 131 are placed (displayed) on a shelf 130, which is an example of a product display place (including a place where the products are placed). Also, a QR code (trademark) 160 having identification information (shelf ID) of the shelf 130 is posted on the shelf 130 itself or near the shelf 130 . In this embodiment, the shelf 130 is not provided with a partitioning member such as a door, a lid, or a cover to separate the product from the purchaser, so that the purchaser can directly take out the product by hand without opening the door. By doing so, the physical and psychological hurdles for the purchaser to pick up the product are lowered, so that the purchaser can easily purchase the product, and the seller can increase the sales volume. Even if a door, a lid, a cover, or the like is provided, this embodiment, which will be described later, can be applied. Further, even if a store clerk is employed for sales promotion, etc., the present embodiment, which will be described later, can be applied.

棚130に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ140が設置される。カメラ140は、カメラ140で棚130からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジPC100cは棚130に対応付けられており、カメラ140で撮影された画像を取得可能なように、有線または無線通信でカメラ140と接続されている。本実施形態ではエッジPCと商品棚を1対1で対応づけて処理する例を説明するが、エッジPC1台に対して複数の商品棚を対応付けて処理してもよい。 A camera 140 is installed as a device included in the sales system of the present embodiment as a sensor that acquires information for detecting that a product displayed on the shelf 130 has been taken out or returned. The camera 140 is installed so as to be within a photographing range in which the camera 140 can photograph the manner in which the product is put in and taken out from the shelf 130 . The edge PC 100c is associated with the shelf 130, and is connected to the camera 140 by wire or wireless communication so that images captured by the camera 140 can be acquired. In this embodiment, an example in which edge PCs and product shelves are associated one-to-one will be described, but processing may be performed by associating a plurality of product shelves with one edge PC.

エッジPC100cは、カメラ140から送信された撮影画像(映像)を解析し、棚130から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置100bに送信する。 The edge PC 100c analyzes the captured image (video) transmitted from the camera 140 and detects whether the product is taken out from the shelf 130 or returned. Then, information indicating that the product has been taken out or returned is transmitted to the server device 100b.

購入者120は、自身の保有するスマートフォンなどの購入者端末100aでQRコード160を撮影することで、棚IDを取得する。そして棚IDと購入者120の識別情報(ユーザーID)とをサーバ装置100bに送信する。 The purchaser 120 acquires the shelf ID by photographing the QR code 160 with the purchaser terminal 100a such as a smartphone owned by the purchaser. Then, the shelf ID and the identification information (user ID) of the purchaser 120 are transmitted to the server device 100b.

サーバ装置100bでは、購入者端末100aから受信した棚IDとユーザーIDに基づき、購入者120のユーザーIDと、棚130の棚IDとを関連付ける(すなわち、購入者120と棚130を関連付ける)。以下、ユーザーIDと棚IDとを関連付ける(関連付けて記憶する)処理をチェックイン処理、関連付いた状態をチェックイン状態(チェックインされた状態)と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置100bから購入者端末100aとエッジPC100bに通知する。この状態で購入者120が棚130に置かれた商品を取り出して良い状態となる。購入者120が棚130に置かれた商品を手に取って取り出すと、それをエッジPC100cがカメラ140で撮影された画像に基づいて検知し、サーバ装置100bに検知結果を送信する。サーバでは取り出された商品を特定し、棚130と関連付けられた購入者120の仮想のカート(買い物かご。以下、単にカートと称する)に取り出された商品を追加する。カートの状態はサーバ装置100bから購入者端末100aに送信され、購入者端末100aで表示されるため、購入者120は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末100aを操作して決済処理を行うと、サーバ装置100bはインターネット上の決済サービス170を呼び出して決済を行う。このようにして、購入者120は購入者端末100aでQRコード160を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。 Based on the shelf ID and user ID received from the purchaser terminal 100a, the server device 100b associates the user ID of the purchaser 120 with the shelf ID of the shelf 130 (that is, associates the purchaser 120 with the shelf 130). Hereinafter, the processing of associating (associating and storing) the user ID and the shelf ID will be referred to as check-in processing, and the associated state will be referred to as the check-in state (checked-in state). When the check-in process is completed, the server device 100b notifies the purchaser terminal 100a and the edge PC 100b of the check-in completion. In this state, the purchaser 120 can take out the product placed on the shelf 130 . When the purchaser 120 picks up and takes out the product placed on the shelf 130, the edge PC 100c detects it based on the image captured by the camera 140, and transmits the detection result to the server device 100b. The server identifies the picked-up product and adds the picked-up product to the virtual cart (shopping basket, hereinafter simply referred to as the cart) of the purchaser 120 associated with the shelf 130 . Since the status of the cart is transmitted from the server device 100b to the purchaser terminal 100a and displayed on the purchaser terminal 100a, the purchaser 120 can confirm that the product he/she picked up is in the cart. When the user operates the purchaser terminal 100a to perform payment processing, the server device 100b calls the payment service 170 on the Internet to perform payment. In this way, the purchaser 120 can purchase the product through a simple and easy process of reading the QR code 160 with the purchaser terminal 100a, picking up the product, and performing the settlement operation.

図2(a)に、本発明を適用可能な装置の一例としての購入者端末100aの構成の一例を示す。購入者端末100aは購入者であるユーザーが持つ電子機器であり、スマートフォン(携帯電話端末)やタブレットPCなどを用いて構成可能なものである。 FIG. 2(a) shows an example of the configuration of a purchaser terminal 100a as an example of a device to which the present invention can be applied. The purchaser terminal 100a is an electronic device possessed by a user who is a purchaser, and can be configured using a smart phone (mobile phone terminal), a tablet PC, or the like.

図2において、内部バス150aに対してCPU101a、メモリ102a、不揮発性メモリ103a、画像処理部104a、ディスプレイ105a、操作部106a、記録媒体I/F107a、外部I/F109a、通信I/F110aが接続されている。内部バス150aに接続される各部は、内部バス150aを介して互いにデータのやりとりを行うことができるようにされている。 In FIG. 2, a CPU 101a, a memory 102a, a nonvolatile memory 103a, an image processing unit 104a, a display 105a, an operation unit 106a, a recording medium I/F 107a, an external I/F 109a, and a communication I/F 110a are connected to an internal bus 150a. ing. Each unit connected to the internal bus 150a is capable of exchanging data with each other via the internal bus 150a.

メモリ102aは、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101aは、例えば不揮発性メモリ103aに格納されるプログラムに従い、メモリ102aをワークメモリとして用いて、購入者端末100aの各部を制御する。不揮発性メモリ103aには、画像データや音声データ、その他のデータ、CPU101aが動作するための各種プログラムなどが格納される。不揮発性メモリ103aは例えばフラッシュメモリやROMなどで構成される。 The memory 102a is, for example, a RAM (a volatile memory using a semiconductor element, etc.). The CPU 101a uses the memory 102a as a work memory to control each part of the purchaser terminal 100a, for example, according to a program stored in the nonvolatile memory 103a. The nonvolatile memory 103a stores image data, audio data, other data, and various programs for operating the CPU 101a. The nonvolatile memory 103a is composed of, for example, flash memory or ROM.

画像処理部104aは、CPU101aの制御に基づいて、不揮発性メモリ103aや記録媒体108aに格納された画像や、外部I/F109aや通信I/F110aを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部104aが行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。画像処理部104aは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部104aを用いずにCPU101aがプログラムに従って画像処理を施すことも可能である。 Under the control of the CPU 101a, the image processing unit 104a processes images stored in the nonvolatile memory 103a and the recording medium 108a, images acquired via the external I/F 109a and the communication I/F 110a, captured images, and the like. Various image processing is performed on the image. The image processing performed by the image processing unit 104a includes A/D conversion processing, D/A conversion processing, image data encoding processing, compression processing, decoding processing, enlargement/reduction processing (resize), noise reduction processing, color conversion, and so on. processing, etc. The image processing unit 104a may be composed of a dedicated circuit block for performing specific image processing. Further, depending on the type of image processing, the CPU 101a can perform image processing according to a program without using the image processing unit 104a.

ディスプレイ105aは、CPU101aの制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101aは、プログラムに従い表示制御信号を生成し、ディスプレイ105aに表示するための映像信号を生成してディスプレイ105aに出力するように購入者端末100aの各部を制御する。ディスプレイ105は出力された映像信号に基づいて映像を表示する。なお、購入者端末100a自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105aは外付けのモニタ(テレビなど)で構成してもよい。 The display 105a displays an image, a GUI screen constituting a GUI (Graphical User Interface), and the like, under the control of the CPU 101a. The CPU 101a controls each part of the purchaser terminal 100a so as to generate a display control signal according to a program, generate a video signal for display on the display 105a, and output the video signal to the display 105a. A display 105 displays an image based on the output image signal. The purchaser terminal 100a itself may include an interface for outputting a video signal to be displayed on the display 105, and the display 105a may be configured by an external monitor (television, etc.).

操作部106aは、ユーザー操作を受け付けるための入力デバイスである。操作部1006aには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル70aといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル70aは、ディスプレイ105aに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。 The operation unit 106a is an input device for accepting user operations. The operation unit 1006a includes a character information input device such as a keyboard, a pointing device such as a mouse and the touch panel 70a, buttons, dials, joysticks, touch sensors, touch pads, and the like. The touch panel 70a is an input device that is superimposed on the display 105a and has a two-dimensional configuration, and outputs coordinate information according to the touched position.

記録媒体I/F107aは、メモリーカードなどの記録媒体108aが装着可能とされ、CPU101aの制御に基づき、装着された記録媒体108aからのデータの読み出しや、当該記録媒体108aに対するデータの書き込みを行う。外部I/F109aは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110aは、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。 A recording medium 108a such as a memory card can be attached to the recording medium I/F 107a, and data is read from and written to the attached recording medium 108a under the control of the CPU 101a. The external I/F 109a is an interface for connecting with an external device via a wired cable or wirelessly and inputting/outputting a video signal and an audio signal. The communication I/F 110a is an interface for communicating with an external device, the Internet 111, etc., and transmitting and receiving various data such as files and commands.

カメラ部112aは、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子(撮像センサー)等で構成されるカメラユニットである。カメラ部112aには、ズームレンズやフォーカスレンズを含むレンズ群(撮影レンズ)、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するA/D変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部104aは、カメラ部112aで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部104aにより得られた演算結果に基づいてCPU101aが露光制御、測距制御、AWB(オートホワイトバランス)処理を行う。カメラ部112aで撮像され、画像処理部104aで画像処理された表示用の画像データはディスプレイ105aにより表示される。カメラ部112aで撮像され、A/D変換器によって一度A/D変換されメモリ102aに蓄積されたデジタル信号をD/A変換器でアナログ変換し、ディスプレイ105aに逐次転送して表示することで、ライブビュー表示(LV表示)を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。CPU101aは、操作部106aで行われたユーザー操作に基づく撮影準備指示に応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB処理等の動作を開始するように、カメラ部112a、画像処理部104aを制御する。CPU101aは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部104aで画像処理して画像ファイルを生成し、記録媒体108aに記録するまでの一連の撮影処理(本撮影)の動作を開始ように制御する。撮影指示は、操作部106aに対するユーザー操作によって行うことができる。カメラ部112aは、静止画及び動画の撮影が可能である。 The camera unit 112a is a camera unit including an image sensor (image sensor) including a CCD or CMOS element for converting an optical image into an electric signal. The camera unit 112a includes a lens group (photographing lens) including a zoom lens and a focus lens, a shutter having an aperture function, an image sensor, an A/D converter that converts an analog signal output from the image sensor into a digital signal, and an image sensor. Contains a barrier that covers the system to prevent contamination and damage. The image processing unit 104a performs resizing processing such as predetermined pixel interpolation and reduction, and color conversion processing on data acquired by imaging with the camera unit 112a. The CPU 101a performs exposure control, distance measurement control, and AWB (auto white balance) processing based on the calculation results obtained by the image processing unit 104a. Image data for display imaged by the camera unit 112a and image-processed by the image processing unit 104a is displayed on the display 105a. The digital signal captured by the camera unit 112a, A/D-converted once by the A/D converter and stored in the memory 102a is converted to analog by the D/A converter, and sequentially transferred to the display 105a for display. Live view display (LV display) can be performed. The live view can be displayed in a still image shooting standby state, a moving image shooting standby state, or when recording a moving image, and the imaged subject image is displayed almost in real time. The CPU 101a controls the camera unit 112a to start operations such as AF (autofocus) processing, AE (automatic exposure) processing, AWB processing, etc., in response to a photographing preparation instruction based on a user operation performed on the operation unit 106a. It controls the image processing unit 104a. In response to a photographing instruction, the CPU 101a carries out main exposure, reads signals from the imaging element, processes the captured image in the image processing unit 104a to generate an image file, and records the image in the recording medium 108a. It controls to start the operation of a series of photographing processes (actual photographing). A shooting instruction can be given by a user operation on the operation unit 106a. The camera unit 112a can capture still images and moving images.

図2(b)に、本発明を適用可能な装置の一例としてのサーバ装置100bの構成の一例を示す。サーバ装置100bは購入者端末100a及びエッジPC100cと通信可能な情報処理装置であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。サーバ装置100bが有する構成である、符号101b~104b、106b~110b、150bが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置100bはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置100bとして用いてもよい。 FIG. 2(b) shows an example of the configuration of a server device 100b as an example of a device to which the present invention can be applied. The server device 100b is an information processing device that can communicate with the purchaser terminal 100a and the edge PC 100c, and can be configured using a personal computer (PC) or the like. The configurations indicated by reference numerals 101b to 104b, 106b to 110b, and 150b, which are the configurations of the server device 100b, are the same as the configurations indicated by reference numerals 101a to 104a, 106a to 110a, and 150a of the purchaser terminal 100a. Therefore, detailed description is omitted. Further, the server device 100b is described as not having a display and a camera section, but a device having a display and a camera section may be used as the server device 100b.

図2(c)に、本発明を適用可能な装置の一例としてのエッジPC100cの構成の一例を示す。エッジPC100cはサーバ装置100bと通信可能な端末装置(情報処理装置)であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。エッジPC100cが有する構成である、符号101c~104c、106c~110c、150cが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、エッジPC100cはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のPC本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジPC100cとして用いてもよい。音声出力部113cはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部113cから出力する通知音または音声メッセージによって、購入者120に各種ガイダンスや警告などの情報を通知する(認識させる)ことができる。 FIG. 2(c) shows an example of the configuration of an edge PC 100c as an example of a device to which the present invention can be applied. The edge PC 100c is a terminal device (information processing device) that can communicate with the server device 100b, and can be configured using a personal computer (PC) or the like. The configurations indicated by reference numerals 101c to 104c, 106c to 110c, and 150c, which are the configurations of the edge PC 100c, are the same as the configurations indicated by reference numerals 101a to 104a, 106a to 110a, and 150a of the purchaser terminal 100a. Therefore, detailed description is omitted. Also, the edge PC 100c will be described as not having a display and a camera unit. That is, it can be applied to a device such as a desktop-type PC main unit only, and can be configured without at least one of a display and a camera unit, so that cost and installation space can be reduced. However, a device having a display and a camera unit may be used as the edge PC 100c. The audio output unit 113c is an output unit that transmits an audio signal to a speaker through wired or wireless communication to make it sound, or the speaker itself. Information such as various guidances and warnings can be notified (made to be recognized) by the purchaser 120 by a notification sound or a voice message output from the voice output unit 113c.

図3に、購入者端末100aにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。購入者120が棚130の商品を購入するべく、購入者端末100aにおけるQRコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム(以下、単に購入アプリと称する)を起動すると図3の処理が開始される。 FIG. 3 shows a flowchart of processing related to the sales system in the purchaser terminal 100a. This processing is realized by loading the program recorded in the nonvolatile memory 103a into the memory 102a and executing it by the CPU 101a. When the purchaser 120 activates an application program capable of reading a QR code on the purchaser terminal 100a or an application program for this system (hereinafter simply referred to as a purchase application) to purchase an item on the shelf 130, the diagram is shown in FIG. 3 process is started.

S301では、CPU101aは、QRコードの読み取り画面にカメラ部112aで撮影したLV画像を表示する。図8(a)に、購入アプリによる、ディスプレイ105a(タッチパネル70a)におけるQRコードの読み取り画面の表示例を示す。メッセージ801はQRコード160を購入者端末100aに読み取らせる(撮影範囲にQRコード160を収めるようにフレーミングする)ことを購入者120に促すガイダンスメッセージである。例えば、「商品棚に貼られているQRコードを読み取らせてください」と表示される。枠802は、QRコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン803は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン803は、購入者120のユーザーIDに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、QRコードの読み取り画面にはカメラ部112aで撮影されているLV画像が表示され、メッセージ801、枠802、カートアイコン803はLV画像に重畳して表示される。 In S301, the CPU 101a displays the LV image captured by the camera unit 112a on the QR code reading screen. FIG. 8A shows a display example of a QR code reading screen on the display 105a (touch panel 70a) by the purchase application. A message 801 is a guidance message that prompts the purchaser 120 to read the QR code 160 with the purchaser terminal 100a (framing the QR code 160 to fit within the imaging range). For example, "Please read the QR code attached to the product shelf" is displayed. A frame 802 is a guide frame as a guide for framing the QR code so as to fit within the shooting range. A cart icon 803 is a touch icon for accepting a transition instruction to the cart screen. The cart icon 803 is displayed when the cart corresponding to the user ID of the purchaser 120 contains products, otherwise it is not displayed. That is, it is not displayed at initial startup. Although illustration is omitted, the LV image captured by the camera unit 112a is displayed on the QR code reading screen, and the message 801, frame 802, and cart icon 803 are displayed superimposed on the LV image.

S302では、CPU101aは、不揮発性メモリ103aに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはS303に進み、そうでない場合(カートが空、あるいはカート情報が生成されていない初期状態)にはS304へ進む。 In S302, the CPU 101a refers to the cart information recorded in the nonvolatile memory 103a and determines whether or not there is any product in the cart. If it is determined that there are products in the cart, the process proceeds to S303; otherwise (the cart is empty or the cart information is not generated in the initial state), the process proceeds to S304.

S304では、CPU101aは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン803へのタッチ操作があった場合にはS330へ進み、そうでない場合にはS304へ進む。 In S304, the CPU 101a determines whether or not there is an instruction to transition to the cart screen. If there is an instruction to switch to the cart screen, that is, if there is a touch operation on the cart icon 803, the process proceeds to S330; otherwise, the process proceeds to S304.

S304では、CPU101aは、QRコードが撮影されてQRコードの持つ情報を取得できたか否かを判定する。購入者120が購入者端末100aをフレーミングしたことにより撮影範囲内にQRコード160が収まり、LV画像として撮影された画像からQRコード160を取得し、解析して、QRコード160の持つ情報を取得できた場合にはS310に進む。そうでない場合にはS305に進む。 In S304, the CPU 101a determines whether or not the QR code has been photographed and information possessed by the QR code has been acquired. The purchaser 120 frames the purchaser terminal 100a so that the QR code 160 fits within the photographing range, and the QR code 160 is obtained from the image photographed as the LV image, analyzed, and the information possessed by the QR code 160 is obtained. If so, the process proceeds to S310. Otherwise, the process proceeds to S305.

S305では、CPU101aは、終了イベント(例えば、QRコードの読み取り画面を閉じる操作)があったか否かを判定する。終了イベントが無い場合にはS302に戻って処理を繰り返し、終了イベントがあった場合には図3の処理を終了する。 In S305, the CPU 101a determines whether or not there is an end event (for example, an operation to close the QR code reading screen). If there is no end event, the process returns to S302 to repeat the process, and if there is an end event, the process of FIG. 3 ends.

S310では、CPU101aは、S304で取得したQRコードの情報が棚IDを含むか否かを判定する。QRコードの情報が棚IDを含まない場合とは、撮影されたQRコードが本実施形態の販売システムとは関係のないQRコードであった場合である。棚IDを含む場合はS312に進み、棚IDを含まない場合はS311に進んでエラー表示を行う、あるいは、本システムとは別の処理(QRコードに基づく処理)を行う。 In S310, the CPU 101a determines whether or not the QR code information obtained in S304 includes a shelf ID. A case where the QR code information does not include a shelf ID is a case where the captured QR code is not related to the sales system of this embodiment. If the shelf ID is included, the process proceeds to S312, and if the shelf ID is not included, the process proceeds to S311 to display an error, or to perform processing (processing based on the QR code) different from the present system.

S312では、CPU101aは、S304で取得したQRコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたQRコードが棚IDの情報を持っていた場合、ディスプレイ105aに「67890番の棚にチェックインしますか?」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「67890番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、QRコードの情報が示す処理の実行を決定する操作があったと判定してS313に進む。「いいえ」が選択されるとS302に戻る。なお、QRコード160に、購入アプリを起動する、あるいはインターネット上のWEBアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のQRコードリーダーでQRコード160を読み取り、決定指示を受け付けた場合に購入アプリまたはWEBアプリに従ってS313以降の処理を行う。また、S312の処理を省き、読み取ったQRコードに棚IDが含まれていると判定した場合(S310Yes)に、購入者120からの操作(決定指示の操作)を待つことなくS313の処理を行ってもよい。 In S312, the CPU 101a determines whether or not there is an operation to decide to execute the process indicated by the information of the QR code acquired in S304. For example, if the captured QR code has shelf ID information, the display 105a displays a message "Would you like to check in to shelf number 67890?" and options "Yes" and "No." . "No. 67890" is an example, and any identification information that allows the user to identify which rack is the check-in target rack may be used. If "yes" is selected, it is determined that there has been an operation to decide to execute the process indicated by the information of the QR code, and the process proceeds to S313. If "No" is selected, the process returns to S302. It should be noted that the QR code 160 may have information for starting a purchase application or accessing a WEB application on the Internet. In that case, the QR code 160 is read with a general-purpose QR code reader, and the processing from S313 onward is performed according to the purchase application or the WEB application when the determination instruction is received. In addition, if the process of S312 is omitted and it is determined that the read QR code contains the shelf ID (Yes in S310), the process of S313 is performed without waiting for the operation (operation of the decision instruction) from the purchaser 120. may

S313では、CPU101aは、読み取ったQRコードから取得した棚IDと、購入者120を識別するためのユーザーIDを含む、チェックインのリクエスト情報をサーバ装置100bに送信する。棚IDは、陳列場所である棚130を識別するための陳列場所情報である。ユーザーIDは本実施形態では、購入アプリへのログインID(予め記憶されていたもの、あるいは購入アプリ起動時に購入者120が入力したもの)とする。ユーザーIDはこれに限るものではなく、棚130にチェックインしている購入者120を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーIDとして例えば、購入者端末100aのSSID、SNSなどの連携している他のサービスのアカウント情報、購入者端末100aのログインアカウントの情報などを用いてもよい。すなわち、ユーザーIDは、購入者端末100aあるいは購入者120を識別するためのユーザー情報である。購入者端末100aからサーバ装置100bに棚IDとユーザーIDを送信すると、サーバ装置100bにおいてチェックインを試み、サーバ装置100bからチェックインできたかどうかの情報が返送されてくる。 In S313, the CPU 101a transmits check-in request information including the shelf ID obtained from the read QR code and the user ID for identifying the purchaser 120 to the server apparatus 100b. The shelf ID is display place information for identifying the shelf 130 that is the display place. In the present embodiment, the user ID is a login ID to the purchase application (stored in advance or entered by the purchaser 120 when the purchase application is activated). The user ID is not limited to this, and other information may be used as long as it can identify the purchaser 120 who is checking in to the shelf 130 from other users. As the user ID, for example, the SSID of the purchaser terminal 100a, the account information of other linked services such as SNS, the login account information of the purchaser terminal 100a, and the like may be used. That is, the user ID is user information for identifying the purchaser terminal 100a or the purchaser 120. FIG. When the purchaser terminal 100a transmits the shelf ID and the user ID to the server device 100b, the server device 100b attempts check-in, and the server device 100b returns information as to whether or not the check-in was successful.

なお、本実施形態では購入者端末100aでの棚IDの取得方法として、二次元コードであるQRコード160を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚IDを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚IDを、購入者端末100aのディスプレイ105aに表示される棚IDの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末100aのGPS測位ユニットなどの位置情報取得部(不図示)から取得された購入者端末100aの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも2つを組み合わせて棚IDを取得してもよい。 In this embodiment, as a method of acquiring a shelf ID at the purchaser terminal 100a, a method of photographing the QR code 160, which is a two-dimensional code, has been described, but the method is not limited to this. It may be obtained by photographing a one-dimensional code such as a barcode, or may be obtained by photographing a shelf ID posted as a character string and character recognition from the image. Alternatively, the shelf ID posted as a character string may be acquired by the user's operation input from the shelf ID input screen displayed on the display 105a of the purchaser terminal 100a. Alternatively, it may be acquired based on the position information of the purchaser terminal 100a acquired from a position information acquisition unit (not shown) such as a GPS positioning unit of the purchaser terminal 100a. The shelf ID may be obtained by combining at least two of the information obtained from the captured image, the information obtained by inputting the operation, and the position information.

S314では、CPU101aは、サーバ装置100bから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者120とは別のユーザーがすでに棚130にチェックインしていた場合、購入者120は棚130にはチェックインできないものとする。チェックイン不可通知を受信した場合にはS315に進み、そうでない場合には316に進む。 In S314, the CPU 101a determines whether or not a check-in disapproval notification indicating that check-in was not possible has been received from the server apparatus 100b. For example, if a user other than the purchaser 120 has already checked in to the shelf 130 , the purchaser 120 cannot check in to the shelf 130 . If the check-in disapproval notification is received, the process proceeds to S315; otherwise, the process proceeds to S316.

S315では、CPU101aは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ105aに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び/または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚130に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが(すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが)、本実施形態では扉を設けていない。そのため棚130の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚130の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者120が認識することができる。また、本実施形態のように、1人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚130から商品を取り出した利用者が誰なのか判別できなくなる(購入者の混同が起こる)ことも抑止することができる。 In S315, the CPU 101a displays check-in error information indicating that check-in is currently disabled on the display 105a. For example, a message such as "You cannot check in because someone else is using it. Please check in after the previous person has finished using it." That is, information indicating that another user is checking in and/or information prompting the user to resend the check-in request information after a while is displayed. If the shelf 130 has a door or the like, it is possible to determine whether or not another purchaser is in the process of purchasing by the open/closed state of the door (that is, if another person has the door open, that person has priority. ), but no door is provided in this embodiment. Therefore, there are cases where it is difficult to tell whether or not there are other users from the appearance of the shelf 130 . For example, even if there is another person near the shelf 130, it is not possible to determine whether the person has not decided whether or not to make a purchase, or whether the person is there for something other than the purchase, or is in the middle of the purchase. Sometimes. However, by displaying a check-in error as in this embodiment, the purchaser 120 can recognize that the other user is in the middle of the purchase operation and should wait. Also, as in the present embodiment, when one purchaser is checking in, other users cannot check in, so that it is possible to identify the user who has taken out the product from the shelf 130. It is also possible to prevent the possibility that the purchase cannot be made (purchasers may be confused).

S316では、CPU101aは、サーバ装置100bから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはS317に進み、そうでない場合には314に戻る。 In S316, the CPU 101a determines whether or not a check-in completion notification indicating that check-in has been completed has been received from the server device 100b. If the check-in completion notification has been received, the process proceeds to S317; otherwise, the process returns to S314.

S317では、CPU101aは、S302と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはS330へ進み、そうでない場合にはS320に進む。 In S317, the CPU 101a determines whether or not there is any product in the cart, as in S302. If there is an item in the cart, proceed to S330; otherwise, proceed to S320.

S320では、CPU101aは、ディスプレイ105aに空カート表示を行う。空カート表示の表示例を図8(b)に示す。 In S320, the CPU 101a displays an empty cart on the display 105a. A display example of an empty cart display is shown in FIG. 8(b).

表示アイテム810は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。 A display item 810 is a screen title portion indicating that the currently displayed screen is a cart display screen indicating whether or not there are products in the cart. In this embodiment, it is displayed as "items in the cart".

ガイダンス811は、ユーザーである購入者120に、棚130から商品を取り出すことを促すガイド表示である。図8(b)の例では、「商品棚から商品を取り出してください」との文字列(メッセージ)が表示される。本実施形態の販売システムにおいては、商品棚130に扉やカバーを設けていない。従って、外観上は商品棚130を取り出して良い状態であるか否かを購入者120(ユーザー)が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス811を表示することで、購入者120は商品を棚130から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末100aのディスプレイ105aにガイダンス811を表示することで、エッジPC100cの音声出力部113cでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境(静かにすべき環境、あるいは逆に雑音の大きい環境)であっても、購入者120に商品を取り出して良い状態であることを確実に通知することができる。また、エッジPC100cにディスプレイを接続したり、棚130付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者120に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス811は、購入者120に棚130からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末100aからの音声出力によるガイダンスでもよい。 The guidance 811 is a guide display prompting the purchaser 120 who is the user to take out the product from the shelf 130 . In the example of FIG. 8(b), a character string (message) "Please take out the product from the product shelf" is displayed. In the sales system of this embodiment, the product shelf 130 is not provided with a door or a cover. Therefore, it is difficult for the purchaser 120 (user) to determine from the appearance whether or not the product shelf 130 can be taken out. In particular, if it is an unmanned store, there is a possibility that the customer will hesitate to take out the product without permission. On the other hand, by displaying the guidance 811, the purchaser 120 can recognize that the product can be taken out from the shelf 130, and can safely take out the product and shop. Further, by displaying the guidance 811 on the display 105a of the purchaser terminal 100a, it is possible to notify that the device can be taken out without relying on the voice notification from the voice output unit 113c of the edge PC 100c. Therefore, even in an environment in which voice notification is difficult (a quiet environment or a noisy environment), it is possible to reliably notify the purchaser 120 that the product can be taken out. In addition, since there is no need to connect a display to the edge PC 100c or install a monitor or the like for notification near the shelf 130, the increase in installation cost and installation space is suppressed, and the purchaser 120 can take out the product in a good condition. You can be assured that there is something. That is, the sales system of this embodiment can be used more easily by users who purchase products. Note that the guidance 811 is not limited to the illustrated example as long as it prompts the purchaser 120 to take out the product from the shelf 130 . For example, the guidance may be a message using a different character string, icon display, animation display, video playback, or voice output from the purchaser terminal 100a.

表示アイテム812はカートにある商品の合計金額を示す。図8(b)の例では、カートに商品は無いので0円である旨が表示される。 Display item 812 shows the total price of the items in the cart. In the example of FIG. 8(b), since there is no product in the cart, the fact that the price is 0 yen is displayed.

購入指示アイコン813は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン(表示アイテム)である。図8(b)の例では、カートに商品が無く、何も購入できないため、グレーアウト(非アクティブ表示)されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。 The purchase instruction icon 813 is a touch icon (display item) for instructing purchase of the product in the cart and payment. In the example of FIG. 8B, since there are no items in the cart and nothing can be purchased, the item is grayed out (inactive display), and no operation is accepted even if touched. When a product is added to the cart, the grayout is canceled and the display becomes active, allowing touch operations to be accepted.

中止指示アイコン814は、購入動作(買い物)のキャンセル指示を受け付けるタッチアイコン(表示アイテム)である。 A cancel instruction icon 814 is a touch icon (display item) for accepting a cancel instruction for a purchase operation (shopping).

棚移動アイテム815は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン(表示アイテム)である。 The shelf move item 815 is a touch icon (display item) for instructing check-in to a shelf other than the shelf currently checked in.

S321では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS322に進み、そうでない場合にはS325に進む。 In S321, the CPU 101a determines whether or not there has been a cancel operation (touching the cancel instruction icon 814). If there is a stop instruction, the process proceeds to S322; otherwise, the process proceeds to S325.

S322では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。 In S322, the CPU 101a transmits a cancellation instruction indicating that a cancellation operation has been performed to the server device 100b.

S323では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはS324にすすみ、そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。 In S323, the CPU 101a determines whether or not a checkout completion notification has been received from the server device 100b. If the checkout completion notification has been received, the process proceeds to S324, and if not, the process waits for reception of the checkout completion notification in S323.

S324では、CPU101aは、メモリ102aに保持したカート情報をクリア(消去)し、ディスプレイ105aにチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。図8(d)にチェックアウト表示の表示例を示す。チェックアウト表示には、購入(買い物)に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ830が表示される。チェックアウト表示を所定時間(例えば5秒)表示した後、S301のLV表示(QRコードの読み取り画面)に戻る。 In S324, the CPU 101a clears (deletes) the cart information held in the memory 102a and displays the checkout on the display 105a. Also, the cart information held in the memory 102a is erased (cleared). FIG. 8(d) shows a display example of the checkout display. In the checkout display, a message 830 such as "Thank you for using the service" is displayed to indicate that the processing related to purchase (shopping) has been completed. After the checkout display is displayed for a predetermined time (for example, 5 seconds), the screen returns to the LV display (QR code reading screen) of S301.

S325では、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS328へ進む。 In S325, it is determined whether or not there has been a shelf move operation (touching the shelf move item 815). If there is a shelf movement operation, the process proceeds to S326; otherwise, the process proceeds to S328.

S326では、CPU101aは、棚移動操作が行われたことを示す棚移動指示をサーバ装置100bに送信する。 In S326, the CPU 101a transmits to the server device 100b a shelf movement instruction indicating that a shelf movement operation has been performed.

S327では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のQRコードを読み取るため、S301のLV表示(QRコードの読み取り画面)に戻る。そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。 In S327, the CPU 101a determines whether or not a checkout completion notification has been received from the server apparatus 100b. When the checkout completion notice is received, the screen returns to the LV display (QR code reading screen) of S301 in order to read the QR code of another shelf. If not, it waits to receive a checkout completion notification in S323.

S328では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS321へ進む。 In S328, the CPU 101a determines whether or not a cart information update notification has been received from the server device 100b. When the update notification is received, the information indicating the latest cart status included in the received update notification is stored in the memory 102a (that is, the cart information stored in the memory 102a is updated), and the process proceeds to S317. If the update notification has not been received, the process proceeds to S321.

なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン813へのタッチ操作を受け付けない(無視する)例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン813へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示(S320の表示とは異なる第2の表示)を行ってもよい。例えば、ガイダンス811を点滅させたり色を変えたりするなどしてS320とは異なる表示形態で強調表示したり、ガイダンス811とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン813が操作された場合、購入者120が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。 In this embodiment, an example in which the touch operation to the purchase instruction icon 813 is not accepted (ignored) when an empty cart is displayed has been described, but the present invention is not limited to this. For example, when a touch operation on the purchase instruction icon 813 is detected while an empty cart is being displayed, a display prompting again to take out the product from the shelf (a second display different from the display in S320) may be performed. . For example, the guidance 811 may be highlighted in a display mode different from that in S320 by blinking or changing the color, or a display other than the guidance 811 may be displayed to prompt the customer to take out the product from the shelf. . In particular, it is preferable to indicate that the product can be removed from the shelf before payment. If the purchase instruction icon 813 is operated when there is no product in the cart, that is, when the product has not been taken out, the purchaser 120 may misunderstand that the product cannot be taken out from the shelf unless payment is made. have a nature. Therefore, by providing a display prompting the purchaser to take out the product from the shelf again, it is possible to eliminate the misunderstanding of the purchaser and enable a smooth purchase operation.

S330では、CPU101aは、表示部に商品ありの場合のカート表示を行う。商品ありのカート表示の表示例を図8(c)に示す。図8(b)と同じ表示物については、同じ符号を付して説明を省略する。 In S330, the CPU 101a displays a cart in the case where there are products on the display unit. FIG. 8(c) shows a display example of a cart display with products. The same reference numerals are assigned to the same display items as those in FIG. 8B, and the description thereof is omitted.

商品一覧820は、サーバ装置100bから受信した更新通知に含まれる商品情報を含む情報であって、メモリ102aに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧820は行毎に1つの商品の情報を表しており、列821~列824を含む。列821は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン(例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど)が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末100aの不揮発性メモリ103aに予め記憶されていた画像か、サーバ装置100bから受信した画像を表示する。列822は各行の商品の名前(商品名)を表しており、列823は各行の商品の価格を表している。列824は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図8(c)の例では、購入指示アイコン813は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている(アクティブ表示)。一方、中止指示アイコン814はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚130に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン814へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン814へのタッチ操作を受け付けないようにしてもよい。 The product list 820 is information including product information included in the update notification received from the server device 100b, and is a list of products in the cart based on the cart information indicating the latest cart status held in the memory 102a. is. The product list 820 represents information on one product for each row, and includes columns 821 to 824 . A column 821 is a display showing the appearance of the product in each row, and includes a photograph of the product taken out or an icon representing the type of the product taken out (for example, an icon imitating a PET bottle as shown in the drawing for beverages, and an icon for food products). If there is, an icon imitating food, etc.) is displayed. When the product type is represented by a photograph, an image pre-stored in the non-volatile memory 103a of the purchaser terminal 100a or an image received from the server device 100b is displayed as purchase application data. A column 822 represents the product name (product name) in each row, and a column 823 represents the price of the product in each row. A column 824 is a display item for receiving a correction instruction operation for the product on each row. In the example of FIG. 8C, the purchase instruction icon 813 is displayed in a display form capable of accepting a touch operation (active display) because there is an item in the cart and the item can be purchased. On the other hand, the stop instruction icon 814 is displayed grayed out. this is. This case is because there are products in the cart, and the cancellation of the purchase cannot be completed unless the products in the cart are returned to the shelf 130 . However, in the present embodiment, it is assumed that a touch operation to the stop instruction icon 814 is accepted even if it is grayed out. However, the present invention is not limited to this, and the touch operation on the stop instruction icon 814 may not be accepted when there are products in the cart.

S331では、CPU101aは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列824に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面(タッチされた行の商品について修正する画面)での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚130に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者120が正しい内容に修正することができる。 In S331, the CPU 101a determines whether or not there has been a correction operation. A correction operation is a touch operation performed on a display item displayed in the column 824 of one of the rows, and an operation on the correction content input screen (a screen for correcting the product in the touched row) displayed after that. This is an operation that completes and confirms the contents of correction. The correction content input screen is, for example, a screen that displays a list of commodities on sale placed on the shelf 130 and accepts selection of one of the commodities from the list. In this way, by accepting a product correction operation, in the unlikely event that a product determined by image analysis is different from the product actually taken out, the purchaser 120 can correct the content. can do.

S332では、CPU101aは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置100bに送信する。 In S332, the CPU 101a transmits to the server device 100b information indicating the corrected product, which is the content of the correction input on the correction content input screen.

S333では、CPU101aは、サーバ装置100bからの更新通知を待ち、更新通知があると通知に基づいてメモリ102aに保持したカート情報を更新してS317に進む。こうして、ディスプレイ105aのカート表示も修正を反映したものが表示される。 In S333, the CPU 101a waits for an update notification from the server apparatus 100b, updates the cart information held in the memory 102a based on the update notification, and proceeds to S317. Thus, the cart display on the display 105a also reflects the correction.

S334では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS335に進み、そうでない場合にはS340に進む。 In S334, the CPU 101a determines whether or not there has been a stop operation (touching the stop instruction icon 814). If there is a stop instruction, the process proceeds to S335; otherwise, the process proceeds to S340.

S335では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。 In S335, the CPU 101a transmits to the server device 100b a cancellation instruction indicating that a cancellation operation has been performed.

S336では、CPU101aは、ディスプレイ105aに返却メッセージを表示する。返却メッセージは、棚130から購入者120が取り出した商品を、棚130に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列(メッセージ)が表示される。これによって購入者120は、取り出した商品を棚130に戻さないと買い物の中止(キャンセル)ができないことを認識することができ、手に持っている商品を棚130に戻そうとする。この結果、カートに入っていた商品(購入者120が取り出した商品)が棚130に戻されると、カメラ140によって戻した様子の映像から商品が戻されたことが検知され、エッジPC100cからサーバ装置100bに商品が戻された旨の情報が送信される。サーバ装置100bは、商品戻された旨の情報を受信すると、サーバ装置100bに保持したカート情報を更新し、更新通知として購入者端末100aに送信する。 In S336, the CPU 101a displays a return message on the display 105a. The return message is a display prompting the purchaser 120 to return the product taken from the shelf 130 to the shelf 130. For example, a character string (message) such as "Please return the product to its original position" is displayed. be. Thereby, the purchaser 120 can recognize that the shopping cannot be stopped (cancelled) unless the taken-out item is returned to the shelf 130, and tries to return the item in hand to the shelf 130. - 特許庁As a result, when the product in the cart (the product taken out by the purchaser 120) is returned to the shelf 130, the return of the product is detected by the camera 140 from the image of the returned product, and the edge PC 100c sends the server device to the server device. Information to the effect that the product has been returned is transmitted to 100b. When the server device 100b receives the information indicating that the product has been returned, the server device 100b updates the cart information held in the server device 100b and transmits the update notification to the purchaser terminal 100a.

S337では、CPU101aは、サーバ装置100bから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ102aのカート情報を更新し、S338に進む。更新通知を受信できない場合はS337で更新通知の受信を待ち、チェックアウト表示には進まない。 In S337, the CPU 101a determines whether or not an update notification has been received from the server device 100b. When the update notification is received, the cart information in the memory 102a is updated with the latest cart information included in the received update notification, and the process proceeds to S338. If the update notification cannot be received, the process waits for the update notification in S337 and does not proceed to the checkout display.

S338では、CPU101aは、S337で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者120が棚130から取り出した商品がすべて棚130に戻された場合である。カートに商品が無い場合にはS339に進み、そうでない場合(まだカートに商品がある場合)にはS336へ進む。 In S338, the CPU 101a determines whether or not there is any product in the cart based on the latest cart information updated based on the update notification received in S337. If there is no product in the cart, all the products that the purchaser 120 took out from the shelf 130 are returned to the shelf 130 . If there is no product in the cart, the process proceeds to S339; otherwise (if there are still products in the cart), the process proceeds to S336.

ここで、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定された場合は、購入者120がまだ棚130から取り出した商品を棚130に戻していない場合である。従って、S334で中止指示があってから、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、S336で表示した返却メッセージを表示し続けることにより、購入者120に確実な商品の返却を促す。また、返却メッセージを表示してからS337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。 Here, if no update notification is received in S337, or if it is determined in S338 that there is an item in the cart, it means that the purchaser 120 has not returned the item taken out from the shelf 130 to the shelf 130 yet. Therefore, if the update notification is not received in S337 after the cancellation instruction is issued in S334, or if it is determined in S338 that there is an item in the cart, the return message displayed in S336 continues to be displayed, thereby allowing the purchase to be canceled. The person 120 is urged to surely return the merchandise. Further, when the update notification is not received in S337 after the return message is displayed, or when it is determined in S338 that there are products in the cart, the return message may be emphasized step by step. For example, after a predetermined period of time has elapsed, a return message may be flashed, an alarm may be sounded, or the like.

S339では、CPU101aは、S324と同様にチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。これによって購入者120は、取り出した商品を棚130に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。 In S339, the CPU 101a performs checkout display as in S324. Also, the cart information held in the memory 102a is erased (cleared). This allows the purchaser 120 to correctly recognize that the taken-out commodity has been returned to the shelf 130, that the purchase has been correctly canceled, and that there is no problem even if the purchaser 120 leaves without paying. can be done.

S340では、CPU101aは、購入指示の操作(購入指示アイコン813へのタッチ)があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはS341へ進み、そうでない場合にはS344へ進む。 In S340, the CPU 101a determines whether or not there is a purchase instruction operation (touch on the purchase instruction icon 813). The purchase instruction operation is an operation for making a payment, and is a type of payment operation. If there is a purchase instruction operation, the process proceeds to S341; otherwise, the process proceeds to S344.

S341では、CPU101aは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置100bに送信する。 In S341, the CPU 101a transmits to the server device 100b a purchase instruction notification indicating that a purchase instruction operation has been performed.

S342では、CPU101aは、サーバ装置100bと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作(タッチパネル70aに対する決済操作)に応じて、カートに入った商品に対する支払い(決済、課金)が行われる。決済が完了するとS339へ進む。S339でのチェックアウト表示により、決済が正常に完了し、棚130から取り出した商品(購入済みの商品)をもってその場を立ち去ってもよいことを購入者120が認識できる。 In S342, the CPU 101a performs settlement processing in cooperation with the server device 100b. For example, a payment screen using a credit cart, a payment screen using electronic money, and the like are displayed, and payment (settlement, billing) for the items in the cart is performed according to the operation on these payment screens (settlement operation on the touch panel 70a). will be When the payment is completed, the process proceeds to S339. From the checkout display in S339, the purchaser 120 can recognize that the payment has been completed normally and that the purchaser 120 can leave the place with the product (purchased product) taken out from the shelf 130 .

S344では、CPU101aは、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS345へ進む。 In S344, the CPU 101a determines whether or not there has been a shelf movement operation (touching the shelf movement item 815). If there is a shelf movement operation, the process proceeds to S326; otherwise, the process proceeds to S345.

S345では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS331へ進む。 In S345, the CPU 101a determines whether or not a cart information update notification has been received from the server apparatus 100b. When the update notification is received, the information indicating the latest cart status included in the received update notification is stored in the memory 102a (that is, the cart information stored in the memory 102a is updated), and the process proceeds to S317. If the update notification has not been received, the process proceeds to S331.

図4に、サーバ装置100bにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。 FIG. 4 shows a flowchart of processing related to the sales system in the server device 100b. This processing is realized by loading the program recorded in the nonvolatile memory 103a into the memory 102a and executing it by the CPU 101a. This process is manually started at the timing when sales by the sales system in this embodiment is started (starting time of business hours, etc.), or when a predetermined time (opening time of business hours, etc.) will be automatically started accordingly.

S401では、CPU101bは、メモリ102bに保持された各種変数、情報(カート情報)などを初期化する。また、不揮発性メモリ103bには、サーバ装置100bで管理している複数の商品棚のIDが記憶されている。この管理対象の商品棚のIDをすべて読み込み、チェックイン状態の管理情報をメモリ102bに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図5(a)に示す。管理情報には、管理対象となる棚のIDと、チェックイン状態と、チェックイン状態である場合にはチェックイン(CI)しているユーザーのIDとが対応付けて記憶される。S401においては、チェックイン状態は全て非チェックイン、CIユーザーはすべての棚において無しとなる。 In S401, the CPU 101b initializes various variables and information (cart information) held in the memory 102b. The nonvolatile memory 103b also stores IDs of a plurality of product shelves managed by the server device 100b. After reading all the IDs of the product shelves to be managed and creating check-in status management information in the memory 102b, the status of all shelves is set to non-checked-in. FIG. 5A shows an example of check-in state management information. In the management information, the ID of the shelf to be managed, the check-in state, and the ID of the user who has checked in (CI) in the case of the check-in state are stored in association with each other. At S401, the check-in status is all non-checked-in and no CI users on all shelves.

S402では、CPU101bは、購入者端末100aから送信された棚IDを受信したか否かを判定する。これは前述の図3のS313で購入者端末100aから送信された棚IDとユーザーIDを受信したか否かの判定である。棚IDを受信した場合にはS402に進み、そうでない場合にはS407に進む。 In S402, the CPU 101b determines whether or not the shelf ID transmitted from the purchaser terminal 100a has been received. This is a determination as to whether or not the shelf ID and user ID transmitted from the purchaser terminal 100a in S313 of FIG. 3 have been received. If the shelf ID has been received, the process proceeds to S402; otherwise, the process proceeds to S407.

S403では、メモリ102bに保持したチェックイン状態の管理情報を参照し、受信した棚IDの棚がすでにチェックイン中である(チェックイン状態である)か否かを判定する。チェックイン状態であればS404に進み、そうでない場合(非チェックイン状態である場合)にはS405に進む。 In S403, the check-in status management information held in the memory 102b is referenced to determine whether or not the shelf with the received shelf ID is already being checked in (is in a check-in state). If it is in the check-in state, the process proceeds to S404; otherwise (if it is in the non-check-in state), the process proceeds to S405.

S404では、チェックインできない旨を示すチェックイン不可通知を、S402で受信した棚IDの送信元の購入者端末100aに送信する。また、メモリ102bに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚IDでのチェックイン処理は行わない。こうしてS404で送信されたチェックイン不可通知が前述した図3のS314で受信され、S315でチェックインエラーが表示される。 In S404, a check-in disapproval notification indicating that check-in is not possible is transmitted to the purchaser terminal 100a that transmitted the shelf ID received in S402. Also, the check-in state management information held in the memory 102b is not updated. That is, in this case, check-in processing is not performed with the received shelf ID. The check-in failure notification transmitted in S404 is received in S314 of FIG. 3, and a check-in error is displayed in S315.

S405では、CPU101bは、チェックイン処理を行う。具体的には、メモリ102bに保持されたチェックイン状態の管理情報において、S402で受信した棚IDの棚について、チェックイン状態を「チェックイン」とし、CIユーザーに、棚IDとともに受信したユーザーIDを関連付けて記憶する。すなわち、チェックイン処理は、棚ID(陳列場所情報)とユーザーID(ユーザー情報)とを関連付ける関連付け処理である。この場合の管理情報の例を図5(a)に示す。棚ID「678ユーザーID90」の棚について、チェックイン状態を「チェックイン」とし、CIユーザーのID「12345」を関連付けて記憶している。 In S405, the CPU 101b performs check-in processing. Specifically, in the check-in status management information held in the memory 102b, the check-in status of the shelf with the shelf ID received in S402 is set to "checked in", and the user ID received together with the shelf ID is sent to the CI user. are stored in association with each other. That is, the check-in process is an association process that associates a shelf ID (display location information) and a user ID (user information). An example of management information in this case is shown in FIG. For the shelf with the shelf ID "678, user ID 90", the check-in state is set to "checked in", and the CI user ID "12345" is associated and stored.

また、S404において、受と信したCIユーザーのカート情報が生成されていなかった場合には、メモリ102bにCIユーザーのカート情報を生成する。図5(b)に、ユーザーID「12345」のカート情報の例を示す。カート情報には、ユーザーID毎に生成される情報である。カート情報には、ユーザーID、チェックインしている棚ID、商品棚から取り出した商品(カートに入っている商品)の商品名(あるいは商品の識別情報)、価格、数量、小計、商品の取出元の棚IDと、カート内の全商品の合計価格が関連付けて記憶される。図5(a)の例は、ユーザーが棚ID「67890」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。 Also, in S404, if the received CI user's cart information has not been generated, the CI user's cart information is generated in the memory 102b. FIG. 5B shows an example of cart information for user ID "12345". The cart information is information generated for each user ID. The cart information includes the user ID, the ID of the checked-in shelf, the product name (or product identification information) of the product taken from the product shelf (the product in the cart), the price, quantity, subtotal, and product removal. The original shelf ID and the total price of all products in the cart are associated and stored. The example of FIG. 5(a) is an example of the state immediately after the user checks in the shelf with the shelf ID "67890", and there is no product in the cart.

なお、S402で受信した棚IDとユーザーIDのうち、該当するユーザーIDのカート情報がメモリ102bにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーIDのカート情報におけるチェックイン中の棚IDを受信した棚IDで更新する。このケースは第1の棚からの棚移動指示があり、決済することなく第1の棚からのチェックアウトが行われた後に、別の棚(第2の棚)にチェックインするケースである。第2の棚にチェックインした後に、第2の棚から商品を取り出すと、取り出した商品がカートに追加される。図5(c)に、棚ID「67890」の棚(第1の棚)で商品Aと商品Bを取り出した後に棚移動の指示が行われ、棚ID「67891」の棚(第2の棚)にチェックインして商品Cが取り出された場合のカート情報を示す。第1の棚で取り出した商品Aと商品Bに加え、第2の棚で取り出された商品Cが記録されており、合計価格は商品A,B,Cの合計となっている。 Note that if the cart information of the corresponding user ID among the shelf ID and user ID received in S402 is already stored in the memory 102b, new cart information is not generated. In this case, the shelf ID being checked in in the cart information of the existing corresponding user ID is updated with the received shelf ID. In this case, there is a shelf movement instruction from the first shelf, and after checking out from the first shelf without making a payment, the customer checks in to another shelf (second shelf). After checking in to the second shelf, when the product is taken out from the second shelf, the taken product is added to the cart. In FIG. 5(c), after the products A and B are taken out from the shelf with the shelf ID “67890” (first shelf), a shelf movement instruction is given and the shelf with the shelf ID “67891” (second shelf) is taken out. ) and the cart information when product C is taken out. In addition to product A and product B taken out from the first shelf, product C taken out from the second shelf is recorded, and the total price is the sum of products A, B, and C.

S406では、CPU101bは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末100aと、エッジPC100cとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末100aにおいては前述の図3のS316で受信され、エッジPC100cにおいては後述する図6のS603で受信される。 In S406, the CPU 101b transmits a check-in completion notice indicating that the check-in is completed to both the purchaser terminal 100a and the edge PC 100c. The check-in completion notification transmitted here is received by the purchaser terminal 100a in S316 of FIG. 3 described above, and received by the edge PC 100c in S603 of FIG. 6 described later.

S407では、CPU101bは、エッジPC100cから送信された棚IDと商品認識スコアを受信したか否かを判定する。受信した場合にはS408に進み、そうでない場合にはS411へ進む。 In S407, the CPU 101b determines whether or not the shelf ID and product recognition score transmitted from the edge PC 100c have been received. If received, the process proceeds to S408; otherwise, the process proceeds to S411.

S408では、CPU101bは、エッジPC100cから受信した商品認識スコアに基づいて、棚からの取り出し/戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジPC100cでなくサーバ装置100b側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジPCに反映することなくサーバ装置100bに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジPC100cの高機能化に伴う設置コスト増加や、エッジPC100cの更新作業などの管理負荷を軽減することができる。エッジPCから受信する商品認識スコアは、商品をある程度推定した結果の情報(推論スコア)であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ140で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジPC100cとサーバ装置100bとの通信量を抑制し、高速な判定、応答を可能としている。 In S408, the CPU 101b determines which product has been taken out/returned from the shelf based on the product recognition score received from the edge PC 100c. Thus, in this embodiment, the final product determination is performed not by the edge PC 100c but by the server device 100b. As a result, it is possible to use a highly functional or the latest determination method such as machine learning, or to perform product determination by simply reflecting the information of the new product on the server device 100b without reflecting it on the edge PC. be. In other words, it is possible to reduce the increase in installation cost associated with the sophistication of the edge PC 100c and the management load such as update work of the edge PC 100c. The product recognition score received from the edge PC may be information (inference score) as a result of estimating the product to some extent, or information such as parameters such as shape, color, and size before estimating the product. good too. By receiving product recognition scores that have been parameterized to some extent, rather than the images themselves captured by the camera 140, the amount of communication between the edge PC 100c and the server device 100b is reduced, enabling high-speed determination and response.

なお、エッジPC100cからサーバ装置100bに商品認識スコアを送信するものに限るものではない。例えば、エッジPC100c側では商品が何であるかの判定のための処理を行わずに、商品の取り出し/戻しがあったと推定される場面についてカメラ140で撮影された画像自体(動画または静止画)を送信してもよい。この場合、受信したカメラ140での撮影画像に基づいてサーバ装置100bで商品を判定する。また逆に、エッジPC100c側で、取り出し/戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置100bに送信するようにしてもよい。この場合はS408の処理は省略される。 In addition, it is not limited to transmitting the product recognition score from the edge PC 100c to the server device 100b. For example, on the side of the edge PC 100c, the image itself (moving image or still image) captured by the camera 140 of the scene in which it is assumed that the product has been taken out/returned is displayed without performing the processing for determining what the product is. You may send. In this case, the server device 100b determines the product based on the received image captured by the camera 140. FIG. Conversely, the edge PC 100c may determine that the product has been taken out/returned and what the target product is, and transmit only the determination result to the server device 100b. In this case, the processing of S408 is omitted.

S409では、CPU101bは、S408で判定された商品に基づき、メモリ102bに保持したカート情報を更新する。すなわち、S408で商品が棚から取り出されたと判定した場合は、受信した棚IDに関連付いたユーザーIDのカート情報にS408で判定した商品の情報を追加する。逆に、S408で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚IDが取り出し元として記録されているカート情報から、S408で判定した商品を削除する。図5(b)に、元々カート情報に商品Aが入っている状態から、S407で、棚ID「67890」の棚IDと商品認識スコアを受信し、S408で商品Bが棚から取り出されたと判定された場合のカート情報の例を示す。商品Aに加えて商品Bの情報が追加されている。 In S409, the CPU 101b updates the cart information held in the memory 102b based on the product determined in S408. That is, when it is determined in S408 that the product has been taken out from the shelf, the product information determined in S408 is added to the cart information of the user ID associated with the received shelf ID. Conversely, if it is determined in S408 that the product has been returned to the shelf, the product determined in S408 is retrieved from the cart information in which the received shelf ID is recorded as the take-out source among the cart information of the user during check-in. delete. In FIG. 5(b), from the state where product A is originally included in the cart information, in S407, the shelf ID of shelf ID "67890" and the product recognition score are received, and in S408 it is determined that product B has been taken out from the shelf. Here is an example of cart information when In addition to product A, information on product B is added.

S410では、CPU101bは、カート情報を更新したことを示す更新通知を購入者端末100aに送信する。更新通知にはメモリ102bに保持した最新のカート情報も含まれる。すなわち、商品棚130からの商品の取り出しが行われた場合には、S408で判定された取り出された商品情報を含むカート情報も送信する。 In S410, the CPU 101b transmits an update notification indicating that the cart information has been updated to the purchaser terminal 100a. The update notification also includes the latest cart information held in the memory 102b. That is, when a product is taken out from the product shelf 130, the cart information including the product information determined in S408 is also transmitted.

S411では、CPU101bは、購入者端末100aから送信された修正指示(前述の図3のS332で購入者端末100aから送信した修正内容)を受信したか否かを判定する。修正指示を受信したと判定した場合は、S409へ進み、修正指示として受信した修正内容に基づいてメモリ102bに保持したカート情報を更新する。修正指示を受信していない場合にはS412に進む。 In S411, the CPU 101b determines whether or not the correction instruction transmitted from the purchaser terminal 100a (correction content transmitted from the purchaser terminal 100a in S332 of FIG. 3 described above) has been received. If it is determined that the correction instruction has been received, the process advances to S409, and the cart information held in the memory 102b is updated based on the correction content received as the correction instruction. If no correction instruction has been received, the process proceeds to S412.

S412では、CPU101bは。購入者端末100aから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはS413へ進み、そうでない場合にはS417へ進む。 In S412, the CPU 101b. It is determined whether or not a cancellation instruction transmitted from the purchaser terminal 100a has been received. If a stop instruction has been received, the process proceeds to S413; otherwise, the process proceeds to S417.

S413では、CPU101bは、S412で受信した中止指示を行ったユーザーのユーザーIDのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはS414に進み、そうでない場合にはS419に進む。 In S413, the CPU 101b determines whether or not the cart information of the user ID of the user who issued the cancellation instruction received in S412 contains a product. If the product is included, the process proceeds to S414; otherwise, the process proceeds to S419.

S414~S416の処理は、S408~S410の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとS413でNoと判定され、チェックアウト処理を伴う中止の処理(S419~S422の処理)が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはS413でNoと判定されないため、チェックアウト処理を伴う中止の処理は行われない。 The processing of S414-S416 is the same as the processing of S408-S410. As a result, when there is no product in the cart of the user who issued the cancellation instruction, No is determined in S413, and cancellation processing (processing of S419 to S422) accompanied by checkout processing is performed. As long as there are still products in the cart of the user who issued the cancellation instruction, the judgment in S413 is not No, so the cancellation process accompanying the checkout process is not performed.

S417では、CPU101bは、購入者端末100aから送信された決済指示(前述の図3のS341で購入者端末100aから送信した決済指示)を受信したか否かを判定する。決済指示を受信したと判定した場合は、S418へ進み、そうでない場合はS423に進む。 In S417, the CPU 101b determines whether or not the payment instruction transmitted from the purchaser terminal 100a (the payment instruction transmitted from the purchaser terminal 100a in S341 of FIG. 3 described above) has been received. If it is determined that the payment instruction has been received, the process proceeds to S418, otherwise the process proceeds to S423.

S418では、CPU101bは、決済サービス170を呼び出し、決済サービス170に基づく決済処理を行う。 In S<b>418 , the CPU 101 b calls the settlement service 170 and performs settlement processing based on the settlement service 170 .

S419では、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDについてのメモリ102bに保持したカート情報をクリア(消去)する。 In S419, the CPU 101b clears (deletes) the cart information held in the memory 102b for the user ID that received the cancellation instruction in S412 or the user ID that received the payment instruction in S417.

S420では、CPU101bは、チェックアウト処理を行う。具体的には、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報(図5(a))における該当の棚IDについて、状態をチェックアウト状態とし、CIユーザーを消去する。これによって、棚とユーザー(購入者)との関連付けが消去される。 In S420, the CPU 101b performs checkout processing. Specifically, the CPU 101b updates the state of the product shelf checked in by the user ID that received the cancellation instruction in S412 or the user ID that received the payment instruction in S417 to the checked out state. That is, for the corresponding shelf ID in the check-in state management information (FIG. 5(a)), the state is changed to the check-out state, and the CI user is deleted. This deletes the association between the shelf and the user (purchaser).

S421では、CPU101bは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末100aとエッジPC100cに送信する。 In S421, the CPU 101b transmits a checkout completion notification indicating that the checkout is completed to the purchaser terminal 100a and the edge PC 100c.

S422では、CPU101bは、購入者端末100aから送信された棚移動指示(前述の図3のS328で購入者端末100aから送信した棚移動指示)を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、S423へ進み、そうでない場合はS424に進む。 In S422, the CPU 101b determines whether or not the shelf movement instruction transmitted from the purchaser terminal 100a (the shelf movement instruction transmitted from the purchaser terminal 100a in S328 of FIG. 3 described above) has been received. If it is determined that the shelf movement instruction has been received, the process proceeds to S423; otherwise, the process proceeds to S424.

S423では、CPU101bは、前述のS420と同様、チェックアウト処理を行う。 In S423, the CPU 101b performs checkout processing as in S420 described above.

S424では、CPU101bは、図4の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図4の処理を終了し、終了イベントが無い場合にはS402に進んで処理を繰り返す。 In S424, the CPU 101b determines whether or not there is an end event of the processing in FIG. If there is an end event such as the end of business hours, an end instruction from the user, power off, or the like, the processing of FIG. 4 is ended.

図6に、エッジPC100cにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103cに記録されたプログラムをメモリ102cに展開し、CPU101cが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。図6は個別の棚に関する処理であり、本実施形態では棚130(棚ID:67890)の棚に関する処理として説明する。 FIG. 6 shows a flowchart of processing related to the sales system in the edge PC 100c. This process is realized by loading the program recorded in the nonvolatile memory 103c into the memory 102c and executing it by the CPU 101c. This process is manually started at the timing when sales by the sales system in this embodiment is started (starting time of business hours, etc.), or when a predetermined time (opening time of business hours, etc.) will be automatically started accordingly. FIG. 6 shows processing relating to an individual shelf, and in this embodiment, processing relating to the shelf 130 (shelf ID: 67890) will be described.

S601では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。 In S601, the CPU 101c sets the state information stored in the memory 102c or the nonvolatile memory 103c as the state of the shelf 130 to information corresponding to non-check-in and stores the information. That is, it is set to a non-check-in state.

S602では、CPU101cは、カメラ140からの映像を取得する。ここで取得する映像は、棚130の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し/戻しの検知にカメラ140以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。 In S<b>602 , the CPU 101 c acquires an image from the camera 140 . It is assumed that the image acquired here is a moving image showing the outlet of the product on the shelf 130 . Note that when a sensor other than the camera 140 is used to detect product removal/return, the output value from the sensor is obtained.

S603では、CPU101cは、サーバ装置100bから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはS604へ進み、そうでない場合にはS606に進む。 In S603, the CPU 101c determines whether or not the check-in completion notification transmitted from the server device 100b has been received. If the check-in completion notification has been received, the process proceeds to S604; otherwise, the process proceeds to S606.

S604では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態(棚130と購入予定者が関連付いた状態)とする。 In S604, the CPU 101c sets and stores the state information stored and managed in the memory 102c or the nonvolatile memory 103c as the state of the shelf 130 to information corresponding to check-in. That is, it is in a check-in state (a state in which the shelf 130 and the prospective purchaser are associated).

S605では、CPU101cは、音声出力部113cから、棚130から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末100aでQRコード160を読み取ったことに応じて棚130にチェックインできた(棚130が応答した)ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者120に棚から商品と取り出すことを促す音声(音声ガイダンス)や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び/または、商品棚130から商品を取り出すことを促す。 In S605, the CPU 101c outputs a voice indicating that the product can be taken out from the shelf 130 from the voice output unit 113c. For example, when the purchaser terminal 100a reads the QR code 160 with the sound effect "pawn" or the voice message "welcome", the customer can check in at the shelf 130 (the shelf 130 responds). Notify users that Alternatively, a voice prompting the purchaser 120 to take out the product from the shelf (voice guidance), such as "Please take out the product from the shelf" or "After taking out the product from the shelf, please use your terminal to make a payment." ) or a voice explaining how to shop. That is, in response to the transition from the non-checked-in state to the checked-in state, the state change is notified and/or the removal of the product from the product shelf 130 is urged.

S606では、CPU101cは、カメラ140から取得した映像に基づいて、棚130からの商品の取り出し、あるいは、棚130への商品の返却(戻し)があったか否かを判定する。すなわち、カメラ140で商品棚130を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚130の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてS607に進み、そうでない場合にはS610へ進む。
なお、本実施形態では、カメラ140で撮影された映像に基づいて商品の取り出し/戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚130の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し/戻しを検知してもよい。また、商品毎にICタグなどのRFID(radio frequency identifier)タグを取り付けておき、このタグとの無線通信によって商品の取り出し/戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚130の手前(取り出し口)の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し/戻しを検知してもよい。複数の検知方法の1つを採用してもよいし、複数を組み合わせて商品の取り出し/戻しを検知してもよい。
In S<b>606 , the CPU 101 c determines whether or not the product has been taken out from the shelf 130 or returned (returned) to the shelf 130 based on the image acquired from the camera 140 . That is, based on the image of the product shelf 130 photographed by the camera 140, it is detected whether or not the product has been taken out from the display area. For example, based on the image, the phenomenon that the hand enters from the reference position in front of the product shelf 130, the object in the place where the product was placed changes, and the hand leaves the reference position indicates that the product has been taken out. Detect as if. If the phenomenon of taking out or returning is detected, it is assumed that the item has been taken out or returned, and the process proceeds to S607; otherwise, the process proceeds to S610.
In the present embodiment, an example of detecting the removal/return of the product based on the image captured by the camera 140 has been described, but the detection method is not limited to this. For example, a weight sensor that detects the weight of the items displayed in the display area such as the shelf board of the shelf 130 may be attached to the display area, and pick-up/return of the product may be detected based on the change in weight based on the output from the weight sensor. . Alternatively, an RFID (radio frequency identifier) tag such as an IC tag may be attached to each product, and removal/return of the product may be detected by wireless communication with this tag. In addition, an infrared sensor is provided, and the infrared sensor moves the product beyond the reference line in front of the shelf 130 (take-out port), removes the product from the position where the product was placed, or places the product at a position where the product did not exist. , etc. may be detected. Product pick-up/return may be detected based on output from an infrared sensor indicating such detection. One of a plurality of detection methods may be employed, or a combination of a plurality of methods may be used to detect product removal/return.

S607では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはS608へ進み、そうでない場合にはS609に進む。 In S607, the CPU 101c refers to the state information stored in the memory 102c or the nonvolatile memory 103c as the state of the shelf 130, and determines whether or not it is in the check-in state. If it is in the check-in state, proceed to S608; otherwise, proceed to S609.

S608では、CPU101cは、管理対象である棚130の棚ID(本実施形態では67890)と、S606で取り出しまたは返却があった旨、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置100bに送信する。すなわち、商品の取り出し/返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ140で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ140で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。 In S608, the CPU 101c acquires the shelf ID (67890 in this embodiment) of the shelf 130 to be managed, the fact that it was taken out or returned in S606, and the product recognition score of the product for which the phenomenon of taking out or returning was detected. It transmits to the server apparatus 100b. In other words, it transmits detection details related to the detection of product removal/return. Note that the product recognition score is, for example, information output as a result of inputting an image captured by the camera 140 into a trained model trained by machine learning and performing inference processing. In addition, the product recognition score can be said to be the result of scoring candidate products by inferring the product from the appearance and shape based on the image captured by the camera 140 .

S609では、CPU101cは、音声出力部113cから音声でエラー通知(エラー出力)を行う。この場合、エッジPC100cからはサーバ装置100bに対しての商品スコアの送信は行わない。サーバ装置100bと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者120により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置100bに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置100bへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、S606で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚130に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者120にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。 In S609, the CPU 101c issues an error notification (error output) by voice from the voice output unit 113c. In this case, the product score is not transmitted from the edge PC 100c to the server device 100b. By sending the error notification without communicating with the server device 100b, the error notification can be made more quickly, and the purchaser 120 can quickly recognize that the action will result in an error. In this case as well, the product score may be transmitted to the server device 100b in order to manage which product is taken out without being checked in, but the transmission timing is after the error notification. It is what is. That is, at the timing of outputting the error notification, the error notification is output without transmitting the detection result to the server device 100b. Also, the trigger for outputting the error notification may be, for example, detection of a phenomenon in which a hand has entered the product shelf 130 instead of detecting that the product has been taken out as described in S606. By outputting an error notification with this trigger, it is possible to make the purchaser 120 recognize that the action is an error at an earlier timing, and possibly prevent the product from being taken out. This phenomenon is a phenomenon in which the product may be taken out, and is a preparatory operation for taking out the product. In this way, by detecting the preparatory action for taking out the product as a phenomenon in which the product is taken out, the same processing as in the case of detecting that the product has been taken out may be performed. In this case, the object to be detected is the phenomenon in which the product is taken out. The same applies to the return of the product. By detecting not only the phenomenon of the product being returned, but also the preparatory action for the return of the product as a phenomenon of the product being returned, the return of the product is detected. can be processed. In this case, the object of detection is the phenomenon that the product is returned.

エラー通知は、非チェックイン状態で取り出された商品が棚130に戻された、もしくは所定時間(例えば1分)が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚130でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。 The error notification is automatically canceled when the product that was taken out in the non-checked-in state is returned to the shelf 130 or when a predetermined time (for example, 1 minute) has passed. By automatically canceling the error notification after outputting the error notification for a predetermined time even when the taken merchandise is not returned, the error notification continues for a long time on the unmanned shelf 130 due to illegal operation, and another purchaser is made. It is possible to prevent that the purchase opportunity of the customer is spoiled.

エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたQRコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のQRコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚130から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者120(購入予定者)は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。 Error notifications are actions for check-in, such as "Please check in before taking out the product" or "Please read the QR code posted on the shelf with your device and then take out the product". It is a voice message or a sound effect that prompts you to Alternatively, a message such as "Please read the QR code on the shelf after returning the product to the shelf" may prompt the customer to return the product to its original position. The error notification is output by a sound that can be heard by the person who has taken out the product from the product shelf 130 or the person who has tried to take it out. With this error notification, the purchaser 120 (prospective purchaser) can notice and restore the product when the product is not in good condition. That is, the sales system of this embodiment can be used appropriately.

S610では、CPU101cは、サーバ装置100bから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はS611に進み、そうでない場合にはS613に進む。 In S610, the CPU 101c determines whether or not the checkout completion notification transmitted from the server apparatus 100b has been received. If the checkout completion notification has been received, the process proceeds to S611; otherwise, the process proceeds to S613.

S611では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン(棚130と購入予定者が関連付いていない状態)とする。 In S611, the CPU 101c sets the status information stored and managed in the memory 102c or the non-volatile memory 103c as the status of the shelf 130 to information corresponding to non-check-in and stores it. That is, it is checked out and not checked in (state in which the shelf 130 and the prospective purchaser are not associated).

S612では、CPU101cは、音声出力部113cから、棚130からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。 In S612, the CPU 101c outputs the sound accompanying the checkout from the shelf 130 from the sound output unit 113c. For example, a sound effect of "pyrorin" or a voice message such as "thank you for using" is played.

S613では、CPU101cは、図6の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図6の処理を終了し、終了イベントが無い場合にはS02に進んで処理を繰り返す。 In S613, the CPU 101c determines whether or not there is an end event of the processing in FIG. If there is an end event such as the end of business hours, an end instruction from the user, power off, or the like, the process of FIG. 6 is ended.

図7に、図3で説明した購入者端末100aの処理、図4で説明したサーバ装置100bの処理、図6で説明したエッジPC100cの処理の連携によって実現する、本実施形態の販売システムでの販売に係る処理シーケンスの例を示す。括弧内に、図3、図4、図6で前述した処理の対応するステップを示す。 FIG. 7 shows the sales system of the present embodiment, which is realized by linking the processing of the purchaser terminal 100a explained in FIG. 3, the processing of the server device 100b explained in FIG. 4, and the processing of the edge PC 100c explained in FIG. An example of a processing sequence relating to sales is shown. In brackets, the corresponding steps of the process described above in FIGS. 3, 4 and 6 are indicated.

S700では、購入者端末100aにおいてQRコードの読み取り画面を開き、LV画像が表示された状態で、購入者120が購入者端末100aのカメラ部112aをQRコード160に向ける。 In S700, a QR code reading screen is opened on the purchaser terminal 100a, and the purchaser 120 points the camera unit 112a of the purchaser terminal 100a at the QR code 160 while the LV image is displayed.

S701では、購入者端末100aのカメラ部112aでQRコード160の撮影、読み取りが行われる(S304Yes)。 In S701, the camera unit 112a of the purchaser terminal 100a captures and reads the QR code 160 (S304 Yes).

S702では、購入者端末100aからサーバ装置100bに棚IDとユーザーIDが送信される(S313)。 In S702, the shelf ID and user ID are transmitted from the purchaser terminal 100a to the server device 100b (S313).

S703では、サーバ装置100bにおいてチェックイン処理が行われる(S405)。 In S703, check-in processing is performed in the server apparatus 100b (S405).

S704でサーバ装置100bからエッジPC100cにチェックイン完了通知が送信され(S406)、これに応じてS705ではエッジPCでのチェックイン(S604)と、音声ガイドの出力(S605)が行われる。 In S704, the server apparatus 100b transmits a check-in completion notification to the edge PC 100c (S406), and in response to this, in S705, the edge PC performs check-in (S604) and outputs voice guidance (S605).

S706でサーバ装置100bから購入者端末100aにチェックイン完了通知が送信され(S406)、これに応じてS707で購入者端末100aにおける空カート表示が行われる(S320)。 In S706, a check-in completion notice is transmitted from the server device 100b to the purchaser terminal 100a (S406), and in response to this, an empty cart is displayed on the purchaser terminal 100a in S707 (S320).

S708で、購入者120が棚130から商品を取り出す。 At S<b>708 , the purchaser 120 removes the item from the shelf 130 .

S709では、エッジPC100cで商品が取り出されたことを検知し(S606Yes)、棚IDと商品認識スコアをサーバ装置100bに送信する(S608)。 In S709, the edge PC 100c detects that the product has been taken out (Yes in S606), and transmits the shelf ID and the product recognition score to the server device 100b (S608).

S710では、サーバ装置100bで商品判定を行い(S408)、カート内の商品を更新する(S409)。 In S710, the server device 100b performs product determination (S408), and updates the products in the cart (S409).

S711では、サーバ装置100bから購入者端末100aにカート情報の更新通知を送信する(S410)。 In S711, the server device 100b transmits a cart information update notification to the purchaser terminal 100a (S410).

S712では、購入者端末100aにおいてカートの表示を更新する。この例では、この状態で、S708で取り出した商品がカートに入った商品ありのカート表示となる(S330)。 In S712, the display of the cart is updated on the purchaser terminal 100a. In this example, in this state, the cart display shows that the product taken out in S708 is in the cart (S330).

S713では、購入者120が中止指示アイコン814をタッチする中止操作を行う。 In S<b>713 , the purchaser 120 performs a cancellation operation by touching the cancellation instruction icon 814 .

S714では、中止操作に応じて、購入者端末100aからサーバ装置100bに中止指示を送信する(S335)。 In S714, a cancellation instruction is transmitted from the purchaser terminal 100a to the server device 100b in response to the cancellation operation (S335).

S715では、カートに商品が入っているため、購入者端末100aにおいて返却メッセージを表示する(S336)。 In S715, since there are products in the cart, a return message is displayed on the purchaser terminal 100a (S336).

S716では、返却メッセージを見た購入者120が、S708で取り出した商品を、棚130に戻す(返却する)。 In S716, the purchaser 120 who saw the return message returns (returns) the product taken out in S708 to the shelf 130. FIG.

S717では、エッジPC100cが、カメラ140で撮影された画像に基づいて商品が返却されたことを検知し(S606)、棚IDと返却された商品認識スコアをサーバ装置100bに送信する(S608)。 In S717, the edge PC 100c detects that the product has been returned based on the image captured by the camera 140 (S606), and transmits the shelf ID and the returned product recognition score to the server device 100b (S608).

S718では、サーバ装置100bにおいて、受信した棚IDと商品認識スコアに基づいて返却された商品を判定(特定)し(S415)、カート内の商品を更新する(S416)。すなわち、カートに入っていた商品のうち返却された商品を削除する。 In S718, the server device 100b determines (identifies) the returned product based on the received shelf ID and product recognition score (S415), and updates the product in the cart (S416). In other words, the returned item among the items in the cart is deleted.

S719では、カート情報の更新通知をサーバ装置100bから購入者端末100aに送信する(S416)。 In S719, a cart information update notification is transmitted from the server device 100b to the purchaser terminal 100a (S416).

S720では、S708で取り出された商品が返却されたためカートに商品が無い状態となったため(S413No)、S714で送信された中止指示に応じてチェックアウト処理を行う(S420)。 In S720, since the product taken out in S708 has been returned and there is no product in the cart (No in S413), checkout processing is performed according to the cancellation instruction transmitted in S714 (S420).

S721では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S722では、エッジPC100cがチェックアウト完了通知に応じて、棚130の状態を非チェックインとする(S611)。 In S721, a checkout completion notice is transmitted from the server device 100b to the edge PC 100c (S421). In S722, the edge PC 100c changes the state of the shelf 130 to non-check-in in response to the checkout completion notification (S611).

S722では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後(S339)、QRコード読み取り画面でLV表示を行う。 In S722, the server apparatus 100b transmits a checkout completion notification to the edge PC 100c (S421). In S724, after the checkout screen is displayed on the purchaser terminal 100a in response to the checkout completion notification (S339), the LV is displayed on the QR code reading screen.

また、別のケースとして、カートに商品が入っている状態で、S730で購入者120が購入指示アイコン813をタッチする購入指示の操作を行うと、S731で、購入者端末100aからサーバ装置100bに決済指示の通知を送信する。 In another case, when the purchase instruction icon 813 is touched by the purchaser 120 in S730 while the product is in the cart, the purchase instruction is sent from the purchaser terminal 100a to the server device 100b in S731. Send payment instruction notifications.

S732では、サーバ装置100bにおいて、決済指示の通知に応じて、決済サービス170を用いた決済処理を行う。決済を行うとカートの商品をクリアし、S733でチェックアウト処理を行う。 In S732, the server device 100b performs payment processing using the payment service 170 in response to the notification of the payment instruction. When payment is made, the products in the cart are cleared, and checkout processing is performed in S733.

S734では、サーバ装置100bからエッジPC100cにチェックアウト完了通知が送信され、S735で
エッジPC100cが棚130の状態を非チェックインとする。
In S734, the server apparatus 100b transmits a check-out completion notification to the edge PC 100c, and in S735, the edge PC 100c changes the state of the shelf 130 to non-check-in.

S736では、サーバ装置100bから購入者端末100aにチェックアウト完了通知を送信する。SS724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後、QRコード読み取り画面でLV表示を行う(S301)。 In S736, a checkout completion notice is transmitted from the server device 100b to the purchaser terminal 100a. At SS724, after the checkout screen is displayed on the purchaser terminal 100a in response to the checkout completion notification, the LV is displayed on the QR code reading screen (S301).

以上説明した本実施形態によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present embodiment described above, it is possible to provide a more suitable system for managing and selling merchandise.

また、本実施形態の販売システムは、図7のシーケンス図からも明らかなとおり、購入者端末100aとエッジPC100cとが直接通信する必要がない。すなわち、本実施形態においては、購入者端末100aと前記エッジPC100cは直接の通信確立を行わない。従って、購入者端末100aとエッジPC100cとが直接通信するための機能が無い装置も、購入者端末100aとして利用することができる。購入者端末100aとエッジPC100cとが直接通信するための機能としては、例えば、NFC(Near field communication)やBluetooth(商標)などの近距離無線通信機能がある。しかし、安価なスマートフォンや携帯電話端末などの電子機器には、カメラ部を備えていても、NFCやBluetoothの機能は有していないものが存在する。本実施形態の販売システムでは、そのようなNFCやBluetoothの機能を有していない電子機器でも購入者端末100aとして用いて買い物を行うことができる。すなわち、近距離無線通信機能の無い電子機器のユーザーの購入機会を妨げ、近距離無線通信機能を有する電子機器を所有するユーザーだけに購入者が限られてしまうということを防止することができる。言い換えれば、より幅広いユーザーが購入することが可能であり、販売機会の増大に寄与する。すなわち、より多くのユーザーが利用可能な販売システムを提供することができる。 Further, in the sales system of this embodiment, as is clear from the sequence diagram of FIG. 7, there is no need for direct communication between the purchaser terminal 100a and the edge PC 100c. That is, in this embodiment, the purchaser terminal 100a and the edge PC 100c do not directly establish communication. Therefore, even a device without a function for direct communication between the purchaser terminal 100a and the edge PC 100c can be used as the purchaser terminal 100a. Functions for direct communication between the purchaser terminal 100a and the edge PC 100c include near field communication (NFC) and Bluetooth (trademark), for example. However, some electronic devices, such as inexpensive smartphones and mobile phone terminals, do not have NFC or Bluetooth functions even if they have a camera unit. In the sales system of this embodiment, even an electronic device that does not have such NFC or Bluetooth functions can be used as the purchaser terminal 100a for shopping. That is, it is possible to prevent purchase opportunities for users of electronic devices without a short-range wireless communication function and limit purchasers to users who own electronic devices with a short-range wireless communication function. In other words, a wider range of users can purchase the product, contributing to increased sales opportunities. That is, it is possible to provide a sales system that can be used by more users.

また、購入者端末100aとエッジPC100cとが直接通信する必要がないため、エッジPC100cと接続された近距離無線通信の送受信機などの機器を商品棚130の近辺に設置する必要がない。従って設置スペースの増加や設置コストの増大も抑えることができる。 In addition, since there is no need for direct communication between the purchaser terminal 100a and the edge PC 100c, there is no need to install near the product shelf 130 a device such as a short-range wireless communication transmitter/receiver connected to the edge PC 100c. Therefore, an increase in installation space and an increase in installation cost can be suppressed.

また、購入者端末100aとエッジPC100cとの通信を行おうとする場合、NFCで接続したのちにBluetoothにハンドオーバーするといった通信の仕方が考えられる。この場合、NFCは有効通信距離が10cm程度と短く、NFCの送受信機をユーザーが手の届くところに設置しないといけないという設置場所の制約が発生する。また、Bluetoothを用いる場合、購入者端末100aで他の機器とBluetooth接続を行っていた場合に、元の接続を一度切断しなければならない場合があるという不利益がある。例えば、Bluetoothイヤホンで音楽を聴いたまま購入を行えないといったことが発生する。本実施形態の販売システムであれば、購入者端末100aとエッジPC100cとが直接通信する必要がないためこのような課題も解決される。 Further, when communication between the purchaser terminal 100a and the edge PC 100c is to be performed, a method of communication can be considered in which the terminals are connected by NFC and then handed over to Bluetooth. In this case, NFC has a short effective communication distance of about 10 cm, and there is a restriction on the installation location that the NFC transmitter/receiver must be installed within reach of the user. Moreover, when Bluetooth is used, there is a disadvantage that if the purchaser terminal 100a is connected to another device via Bluetooth, the original connection may have to be disconnected once. For example, it may happen that you cannot make a purchase while listening to music with a Bluetooth earphone. With the sales system of this embodiment, such problems can be solved because there is no need for direct communication between the purchaser terminal 100a and the edge PC 100c.

また、本実施形態の販売システムでは、購入者120が棚130に載置された商品を購入する際にエッジPC100cに対して何等か操作や入力をする必要がない。従って、棚130に操作や入力を受け付けるための装置を設置する必要がなく、販売スペースの増大や設置コストの増加を抑えることができる。また、決済も購入者端末100aとサーバ装置100bとの処理によって実行されるため、現金授受のための装置や、クレジットカードの読み取り装置といった決済のための装置を設置する必要が無く、設置スペース、設置コストを低減できる。 In addition, in the sales system of this embodiment, when the purchaser 120 purchases a product placed on the shelf 130, there is no need to perform any operation or input to the edge PC 100c. Therefore, it is not necessary to install a device for receiving operations and inputs on the shelf 130, and an increase in sales space and an increase in installation cost can be suppressed. In addition, since settlement is also executed by processing between the purchaser terminal 100a and the server device 100b, there is no need to install a device for settlement such as a device for exchanging cash or a credit card reading device. Installation costs can be reduced.

なお、上述の実施形態においては、商品の陳列場所として商品棚130を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。 In the above-described embodiment, the product shelf 130 is used as an example of the product display location, but the display location is not limited to this, and any place other than the shelf can be used as long as the purchaser can take out the product. There may be.

また、上述の実施形態は、商品の販売の代わりに商品の在庫補充などの場合にも適用可能である。すなわち、本実施形態は、販売システムや在庫管理システムを含む商品管理システムに適用可能である。在庫管理の場合、上述の購入者120を在庫補充者に置き換え、商品を戻したことの検知を在庫を補充したことの検知に置き換え、商品を取り出したことの検知を商品の陳列を取りやめるために商品を取り出したことの検知に置き換えれば適用可能である。すなわち、在庫補充者が所有する端末でQRコード160を読み取ることで在庫補充者が棚130にチェックインする。チェックインした状態で在庫補充や陳列している商品の交換等を行えるようにして、チェックインしていない状態での作業はエラーとして上述した各種通知を行うようにしてもよい。 Also, the above-described embodiments can be applied to cases such as product inventory replenishment instead of product sales. That is, this embodiment is applicable to product management systems including sales systems and inventory management systems. In the case of inventory management, the above-mentioned purchaser 120 is replaced with an inventory replenisher, the detection of product return is replaced with the detection of inventory replenishment, and the detection of product removal is used to cancel the display of products. It can be applied by replacing it with the detection of taking out the product. That is, the inventory replenisher checks in the shelf 130 by reading the QR code 160 with a terminal owned by the inventory replenisher. Inventory replenishment, exchange of displayed products, and the like may be performed in the checked-in state, and the above-described various notifications may be made as an error for work performed in the unchecked-in state.

なお、CPU101a、101b、101cが行うものとして説明した上述の各種制御は、それぞれ1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。 Note that the various controls described above that are performed by the CPUs 101a, 101b, and 101c may be performed by one piece of hardware, or may be shared by a plurality of pieces of hardware (for example, a plurality of processors or circuits). may be used to control the entire device.

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である Moreover, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the gist of the present invention can be applied to the present invention. included. Furthermore, each embodiment described above merely shows one embodiment of the present invention, and it is also possible to combine each embodiment as appropriate.

(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の1つ以上のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and one or more computers (or CPU, MPU, etc.) of the system or device execute the program. This is the process of reading and executing the code. In this case, the program and the storage medium storing the program constitute the present invention.

100a:購入者端末 100b:サーバ装置 100c:エッジPC 130:棚

100a: purchaser terminal 100b: server device 100c: edge PC 130: shelf

Claims (13)

情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御手段と
を有し、
前記情報処理装置の前記第2の制御手段は、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システム。
An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
a second control means for transmitting product information based on the detected content received from the terminal device to an electronic device and controlling such that the product information is displayed on the electronic device;
The second control means of the information processing apparatus receives display location information for identifying the display location received from the electronic device and user information for identifying the electronic device or the user of the electronic device. are controlled so as to be associated with each other.
前記情報処理装置の前記第2の制御手段は、前記関連付け処理を行うと、前記陳列場所情報に対応する前記端末装置に、前記関連付け処理を行った旨の通知を送信するように制御し、
前記端末装置の前記第1の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項に記載の情報処理システム。
The second control means of the information processing device controls to transmit a notification to the effect that the association processing has been performed to the terminal device corresponding to the display location information when the association processing is performed,
The first control means of the terminal device controls to determine whether or not the display location is associated with the user information based on the notification received from the information processing device. 2. The information processing system according to claim 1 .
前記端末装置の前記第1の制御手段は、
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項に記載の情報処理システム。
The first control means of the terminal device,
when a phenomenon in which the product is taken out from the display place in the associated state is detected, the content of the detection is transmitted to the information processing device;
3. The information processing system according to claim 2 , wherein control is performed so as to output an error notification when a phenomenon in which the product is taken out from the display area in a state in which the product is not in the associated state is detected.
前記情報処理装置の前記第2の制御手段は、前記電子機器に設けられた撮像手段で撮像された画像から取得された前記陳列場所情報を前記電子機器から受信することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 2. The second control means of the information processing apparatus receives from the electronic equipment the display location information acquired from an image captured by an imaging means provided in the electronic equipment . 4. The information processing system according to any one of items 1 to 3 . 前記電子機器から受信する前記陳列場所情報は、前記撮像手段で一次元コードまたは二次元コードを撮像することにより取得されることを特徴とする請求項に記載の情報処理システム。 5. The information processing system according to claim 4 , wherein the display location information received from the electronic device is obtained by imaging a one-dimensional code or a two-dimensional code with the imaging means. 前記電子機器から受信する前記陳列場所情報は、ユーザーからの操作入力と前記電子機器の位置情報の少なくとも一方に基づいて取得されることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。 4. The display location information received from the electronic device is obtained based on at least one of an operation input from a user and position information of the electronic device. information processing system. 前記端末装置は、前記電子機器とは直接の通信確立を行わないことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。 7. The information processing system according to claim 1, wherein said terminal device does not directly establish communication with said electronic device. 前記検知手段は、前記陳列場所を撮影した画像に基づいて検知を行うことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。 8. The information processing system according to any one of claims 1 to 7 , wherein said detection means performs detection based on a photographed image of said display place. 前記検知手段は、前記陳列場所の重量の変化、前記陳列場所に関する赤外線センサーからの出力、前記商品に添付されたICタグとの通信の結果のいずれか一つに基づいて検知を行うことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。 The detection means is characterized in that it detects based on any one of a change in weight at the display location, an output from an infrared sensor relating to the display location, and a result of communication with an IC tag attached to the product. The information processing system according to any one of claims 1 to 7 . 前記電子機器は、前記情報処理装置から受信した前記商品情報が表す商品を購入するための決済指示を受け付ける受付手段を更に有し、
前記情報処理装置の前記第2の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理システム。
The electronic device further has reception means for receiving a payment instruction for purchasing the product represented by the product information received from the information processing device,
When the second control means of the information processing apparatus receives from the electronic device that a payment instruction for purchasing the product indicated by the product information received by the electronic device has been received from the electronic device, 10. The information processing system according to any one of claims 1 to 9, wherein control is performed so that payment is made based on the payment instruction.
前記電子機器を更に含むことを特徴とする請求項1乃至1のいずれか1項に記載の情報処理システム。 11. The information processing system according to any one of claims 1 to 10 , further comprising the electronic device. 情報処理装置と、端末装置と、を含む情報処理システムの制御方法であって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第1の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御ステップと
を有し、
前記情報処理装置の前記第2の制御ステップは、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システムの制御方法。
A control method for an information processing system including an information processing device and a terminal device,
The terminal device
a detection step for detecting a phenomenon in which the product is taken out from the display;
a first control step of controlling to transmit the detection content of the detection step to the information processing device;
has
The information processing device is
a second control step of transmitting product information based on the detected content received from the terminal device to an electronic device and controlling the electronic device to display the product information;
The second control step of the information processing apparatus includes displaying display location information for identifying the display location received from the electronic device and user information for identifying the electronic device or the user of the electronic device. A control method for an information processing system, comprising: controlling to associate each other with each other.
1つ以上のコンピュータを、請求項1乃至1のいずれか1項に記載された情報処理システムの各手段として機能させるためのプログラム。 A program for causing one or more computers to function as each means of the information processing system according to any one of claims 1 to 11 .
JP2021144452A 2021-09-06 2021-09-06 Information processing system, information processing system control method, and program Active JP7290842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021144452A JP7290842B2 (en) 2021-09-06 2021-09-06 Information processing system, information processing system control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021144452A JP7290842B2 (en) 2021-09-06 2021-09-06 Information processing system, information processing system control method, and program

Publications (2)

Publication Number Publication Date
JP2023037712A JP2023037712A (en) 2023-03-16
JP7290842B2 true JP7290842B2 (en) 2023-06-14

Family

ID=85514204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021144452A Active JP7290842B2 (en) 2021-09-06 2021-09-06 Information processing system, information processing system control method, and program

Country Status (1)

Country Link
JP (1) JP7290842B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335409A (en) 2019-06-14 2019-10-15 合肥美的智能科技有限公司 Retail units and its control method and machine readable storage medium
JP2019181499A (en) 2018-04-05 2019-10-24 パナソニックIpマネジメント株式会社 Roll press apparatus and powder compact manufacturing method
JP2021093649A (en) 2019-12-11 2021-06-17 キヤノンマーケティングジャパン株式会社 Information processing apparatus, method for controlling information processing apparatus, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027318A1 (en) * 2018-03-20 2021-01-28 Nec Corporation Store management device and store management method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181499A (en) 2018-04-05 2019-10-24 パナソニックIpマネジメント株式会社 Roll press apparatus and powder compact manufacturing method
CN110335409A (en) 2019-06-14 2019-10-15 合肥美的智能科技有限公司 Retail units and its control method and machine readable storage medium
JP2021093649A (en) 2019-12-11 2021-06-17 キヤノンマーケティングジャパン株式会社 Information processing apparatus, method for controlling information processing apparatus, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Brandon Lewis,With Edge AI, Tomorrow’s Autonomous Store Is Here Today [online],2020年02月07日,[2022年12月16日検索],インターネット:<URL: https://www.insight.tech/content/with-edge-ai-tomorrow-s-autonomous-store-is-here-today>

Also Published As

Publication number Publication date
JP2023037712A (en) 2023-03-16

Similar Documents

Publication Publication Date Title
JP6303160B1 (en) Purchase product settlement support system
US20180253604A1 (en) Portable computing device installed in or mountable to a shopping cart
JP6261197B2 (en) Display control apparatus, display control method, and program
JPWO2019181499A1 (en) Store management device and store management method
JP2021536619A (en) Scan omission identification methods and devices, self-service cache register terminals and systems
JP7225434B2 (en) Information processing system
JP5928592B2 (en) Information processing apparatus and screen setting method
CN115516533A (en) Checkout payment device and checkout payment system
US12051093B2 (en) Shopping support system and shopping support method
JP6687199B2 (en) Product shelf position registration program and information processing device
JP2021152895A (en) Reading device, commodity registration device and recording medium
KR20220025354A (en) Apparatus and method for providing customized unmanned stores provided according to the unmanned store environment
CN115516532B (en) Checkout payment device and checkout payment system
JP5412457B2 (en) Product purchasing device and program
JP7290842B2 (en) Information processing system, information processing system control method, and program
US11651416B2 (en) Goods purchase analysis assist system
JP2023037714A (en) Information processing apparatus, method for controlling information processing apparatus, and program
JP2023037716A (en) Program, electronic apparatus control method, and electronic apparatus
WO2022158494A1 (en) Display device and display method
JP2004146902A (en) Apparatus and program for outputting outdoor message
JP7417119B2 (en) Information processing systems, information processing system control methods, electronic devices, programs
JP6798529B2 (en) Information processing equipment, information processing systems, sales promotion methods and programs
US20170083891A1 (en) Information processing apparatus and information processing method
JP2024078756A (en) Information processing system, method of controlling information processing system, electronic device, and program
US20230259914A1 (en) Display processing apparatus, transaction support apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R151 Written notification of patent or utility model registration

Ref document number: 7290842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151