JP7290842B2 - Information processing system, information processing system control method, and program - Google Patents
Information processing system, information processing system control method, and program Download PDFInfo
- Publication number
- JP7290842B2 JP7290842B2 JP2021144452A JP2021144452A JP7290842B2 JP 7290842 B2 JP7290842 B2 JP 7290842B2 JP 2021144452 A JP2021144452 A JP 2021144452A JP 2021144452 A JP2021144452 A JP 2021144452A JP 7290842 B2 JP7290842 B2 JP 7290842B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- information processing
- information
- shelf
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 91
- 230000010365 information processing Effects 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 description 244
- 230000008569 process Effects 0.000 description 81
- 238000012937 correction Methods 0.000 description 16
- 238000009434 installation Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Description
本発明は、無人または少ない店員で商品の管理や販売が可能なシステムに関する。 The present invention relates to a system that enables merchandise management and sales with unmanned or a small number of clerks.
従来から、自動販売機や無人店舗など、商品の販売に要する人件費を削減した販売システムが提案されている。 Conventionally, sales systems such as vending machines and unmanned stores that reduce labor costs required for selling products have been proposed.
特許文献1には、重量センサーが備えられた商品棚に、それぞれRFIDタグが添付された複数の商品を配置した販売システム(商品管理装置)が提案されている。商品棚の重量の変化を検知すると、重量が変化した商品棚に置かれていた商品であって、かつ、RFIDタグの受信強度が変化した商品を、物理的に移動した商品(購入者が手に取った可能性のある商品)として特定する。精算の際には、RFIDリーダーによって、買い物カゴの中に入っている商品に添付されたRFIDタグを読み取ることで合計金額を算出して商品管理装置の表示部に表示する。そして、購入者が支払額読み取り部に金銭を投入することで精算が行われる。
特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、というものであった。販売システムの導入コストや設置スペースの削減などを考慮すると、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できることが課題となる。
The system described in
本発明は上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供することを目的とする。 SUMMARY OF THE INVENTION In view of at least one of the above problems, it is an object of the present invention to provide a more suitable system for managing and selling merchandise.
上記課題を解決するために、本発明の情報処理システムは、
情報処理装置と、端末装置と、を含む情報処理システムであって、
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づき前記商品を特定する特定手段と、
前記特定手段で特定された前記商品に係る情報を電子機器に送信して、前記電子機器に前記商品に係る情報が表示されるように制御する第2の制御手段と
を有することを特徴とする。
In order to solve the above problems, the information processing system of the present invention includes:
An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
identifying means for identifying the product based on the detected content received from the terminal device;
and second control means for transmitting information on the product specified by the specifying means to an electronic device and controlling the electronic device to display the information on the product. .
本発明によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present invention, it is possible to provide a more suitable system for product management and sales.
特許文献1に記載のシステムは、例えば、商品毎にRFIDタグを添付する、合計金額を表示する表示部を設置する、精算のための装置を設置する、といったことが必要であり、商品棚を設置するためにコストと設置スペースの増大を招いていた。すなわち、販売システムの導入コスト及び/または設置スペースに改善の余地があった。コストやスペースの削減などのために、各購入者が所有するユーザー端末を利用することも考えられるが、その場合は、より多くのユーザーが利用できるように、ユーザー端末で利用する機能はより汎用的であることが好ましい。さらに、無人あるいは店員を少なくした販売システムでは店員による案内が無い、または少ないため、購入者が適切に、あるいは簡単に、または気軽に買い物を行うことについても改善の余地があった。
The system described in
本実施形態では上記課題の少なくとも1つに鑑み、商品の管理や販売に関するより好適なシステムを提供する技術を提供することを目的とする。 In view of at least one of the above problems, the present embodiment aims to provide a technique for providing a more suitable system for product management and sales.
以下、図面を参照して本発明の好適な実施形態を説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
図1に、本実施形態の情報処理システム(販売システム)のシステム構成の一例を示す。本実施形態の販売システムは販売員を置かずとも販売が可能な無人販売システムである。本実施形態の販売システムには、購入者端末100a(電子機器)、サーバ装置100b(情報処理装置)、エッジPC100c(情報処理装置としての端末装置)が含まれる。購入者端末100aはインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。また、エッジPC100cもインターネットを介して、あるいは直接、サーバ装置100bと通信可能である。一方、購入者端末100aとエッジPC100cは直接通信を行う必要はない。 FIG. 1 shows an example of the system configuration of the information processing system (sales system) of this embodiment. The sales system of this embodiment is an unmanned sales system that enables sales without a salesperson. The sales system of this embodiment includes a purchaser terminal 100a (electronic device), a server device 100b (information processing device), and an edge PC 100c (terminal device as an information processing device). The purchaser terminal 100a can communicate with the server device 100b directly or via the Internet. The edge PC 100c can also communicate with the server device 100b directly or via the Internet. On the other hand, the purchaser terminal 100a and the edge PC 100c do not need to communicate directly.
商品131を含む1つ以上(少なくとも1つ)の商品が、商品の陳列場所(載置する場所を含む)の一例としての商品棚である棚130に載置(陳列)されている。また、棚130自体、あるいは棚130の近傍に、棚130の識別情報(棚ID)を持つQRコード(商標)160が掲示されている。本実施形態では棚130には扉や蓋、カバーなどの購入者とを仕切る仕切り部材を設けず、購入者が扉を開けたりしなくても直接商品を手で取り出せるようにしている。このようにすることで購入者が商品を手に取る物理的及び心理的ハードルが下がるため、購入者にとっては気軽に購買を行うことができ、販売者にとっては販売量の増加につながる。なお、扉や蓋、カバーなどを設けたとしても後述する本実施形態は適用可能である。また、販売促進などのために店員をおいていたとしても後述する本実施形態は適用可能である。 One or more (at least one) products including the product 131 are placed (displayed) on a shelf 130, which is an example of a product display place (including a place where the products are placed). Also, a QR code (trademark) 160 having identification information (shelf ID) of the shelf 130 is posted on the shelf 130 itself or near the shelf 130 . In this embodiment, the shelf 130 is not provided with a partitioning member such as a door, a lid, or a cover to separate the product from the purchaser, so that the purchaser can directly take out the product by hand without opening the door. By doing so, the physical and psychological hurdles for the purchaser to pick up the product are lowered, so that the purchaser can easily purchase the product, and the seller can increase the sales volume. Even if a door, a lid, a cover, or the like is provided, this embodiment, which will be described later, can be applied. Further, even if a store clerk is employed for sales promotion, etc., the present embodiment, which will be described later, can be applied.
棚130に陳列された商品が取り出された、あるいは戻されたことを検知するための情報を取得するセンサーとして、本実施形態の販売システムに含まれる装置としてカメラ140が設置される。カメラ140は、カメラ140で棚130からの商品の出し入れの様子が撮影できる撮影範囲となるように設置されている。エッジPC100cは棚130に対応付けられており、カメラ140で撮影された画像を取得可能なように、有線または無線通信でカメラ140と接続されている。本実施形態ではエッジPCと商品棚を1対1で対応づけて処理する例を説明するが、エッジPC1台に対して複数の商品棚を対応付けて処理してもよい。
A
エッジPC100cは、カメラ140から送信された撮影画像(映像)を解析し、棚130から商品が取り出された、戻された、などを検知する。そして商品が取り出されたあるいは戻されたという情報をサーバ装置100bに送信する。
The
購入者120は、自身の保有するスマートフォンなどの購入者端末100aでQRコード160を撮影することで、棚IDを取得する。そして棚IDと購入者120の識別情報(ユーザーID)とをサーバ装置100bに送信する。
The purchaser 120 acquires the shelf ID by photographing the
サーバ装置100bでは、購入者端末100aから受信した棚IDとユーザーIDに基づき、購入者120のユーザーIDと、棚130の棚IDとを関連付ける(すなわち、購入者120と棚130を関連付ける)。以下、ユーザーIDと棚IDとを関連付ける(関連付けて記憶する)処理をチェックイン処理、関連付いた状態をチェックイン状態(チェックインされた状態)と称する。チェックイン処理が完了すると、チェックインが完了した旨をサーバ装置100bから購入者端末100aとエッジPC100bに通知する。この状態で購入者120が棚130に置かれた商品を取り出して良い状態となる。購入者120が棚130に置かれた商品を手に取って取り出すと、それをエッジPC100cがカメラ140で撮影された画像に基づいて検知し、サーバ装置100bに検知結果を送信する。サーバでは取り出された商品を特定し、棚130と関連付けられた購入者120の仮想のカート(買い物かご。以下、単にカートと称する)に取り出された商品を追加する。カートの状態はサーバ装置100bから購入者端末100aに送信され、購入者端末100aで表示されるため、購入者120は自身が手に取った商品がカートに入っていることを確認できる。そして、ユーザーが購入者端末100aを操作して決済処理を行うと、サーバ装置100bはインターネット上の決済サービス170を呼び出して決済を行う。このようにして、購入者120は購入者端末100aでQRコード160を読み込み、商品を手に取り、決済操作を行うという、気軽で簡単な工程によって商品を購入することができる。
Based on the shelf ID and user ID received from the purchaser terminal 100a, the server device 100b associates the user ID of the purchaser 120 with the shelf ID of the shelf 130 (that is, associates the purchaser 120 with the shelf 130). Hereinafter, the processing of associating (associating and storing) the user ID and the shelf ID will be referred to as check-in processing, and the associated state will be referred to as the check-in state (checked-in state). When the check-in process is completed, the server device 100b notifies the purchaser terminal 100a and the edge PC 100b of the check-in completion. In this state, the purchaser 120 can take out the product placed on the shelf 130 . When the purchaser 120 picks up and takes out the product placed on the shelf 130, the edge PC 100c detects it based on the image captured by the
図2(a)に、本発明を適用可能な装置の一例としての購入者端末100aの構成の一例を示す。購入者端末100aは購入者であるユーザーが持つ電子機器であり、スマートフォン(携帯電話端末)やタブレットPCなどを用いて構成可能なものである。 FIG. 2(a) shows an example of the configuration of a purchaser terminal 100a as an example of a device to which the present invention can be applied. The purchaser terminal 100a is an electronic device possessed by a user who is a purchaser, and can be configured using a smart phone (mobile phone terminal), a tablet PC, or the like.
図2において、内部バス150aに対してCPU101a、メモリ102a、不揮発性メモリ103a、画像処理部104a、ディスプレイ105a、操作部106a、記録媒体I/F107a、外部I/F109a、通信I/F110aが接続されている。内部バス150aに接続される各部は、内部バス150aを介して互いにデータのやりとりを行うことができるようにされている。
In FIG. 2, a
メモリ102aは、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101aは、例えば不揮発性メモリ103aに格納されるプログラムに従い、メモリ102aをワークメモリとして用いて、購入者端末100aの各部を制御する。不揮発性メモリ103aには、画像データや音声データ、その他のデータ、CPU101aが動作するための各種プログラムなどが格納される。不揮発性メモリ103aは例えばフラッシュメモリやROMなどで構成される。
The
画像処理部104aは、CPU101aの制御に基づいて、不揮発性メモリ103aや記録媒体108aに格納された画像や、外部I/F109aや通信I/F110aを介して取得した画像、撮像された画像などに対して各種画像処理を施す。画像処理部104aが行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。画像処理部104aは特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部104aを用いずにCPU101aがプログラムに従って画像処理を施すことも可能である。
Under the control of the
ディスプレイ105aは、CPU101aの制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101aは、プログラムに従い表示制御信号を生成し、ディスプレイ105aに表示するための映像信号を生成してディスプレイ105aに出力するように購入者端末100aの各部を制御する。ディスプレイ105は出力された映像信号に基づいて映像を表示する。なお、購入者端末100a自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105aは外付けのモニタ(テレビなど)で構成してもよい。
The
操作部106aは、ユーザー操作を受け付けるための入力デバイスである。操作部1006aには、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル70aといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む。タッチパネル70aは、ディスプレイ105aに重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
The
記録媒体I/F107aは、メモリーカードなどの記録媒体108aが装着可能とされ、CPU101aの制御に基づき、装着された記録媒体108aからのデータの読み出しや、当該記録媒体108aに対するデータの書き込みを行う。外部I/F109aは、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110aは、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
A
カメラ部112aは、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子(撮像センサー)等で構成されるカメラユニットである。カメラ部112aには、ズームレンズやフォーカスレンズを含むレンズ群(撮影レンズ)、絞り機能を備えるシャッター、撮像素子、撮像素子から出力されるアナログ信号をデジタル信号に変換するA/D変換器、撮像系を覆って汚れや破損を防止するバリアを含む。画像処理部104aは、カメラ部112aで撮像して取得したデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。画像処理部104aにより得られた演算結果に基づいてCPU101aが露光制御、測距制御、AWB(オートホワイトバランス)処理を行う。カメラ部112aで撮像され、画像処理部104aで画像処理された表示用の画像データはディスプレイ105aにより表示される。カメラ部112aで撮像され、A/D変換器によって一度A/D変換されメモリ102aに蓄積されたデジタル信号をD/A変換器でアナログ変換し、ディスプレイ105aに逐次転送して表示することで、ライブビュー表示(LV表示)を行える。ライブビューは、静止画の撮影待機状態、動画の撮影待機状態、動画の記録時に表示可能であり、撮像された被写体像がほぼリアルタイムに表示される。CPU101aは、操作部106aで行われたユーザー操作に基づく撮影準備指示に応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB処理等の動作を開始するように、カメラ部112a、画像処理部104aを制御する。CPU101aは、撮影指示に応じて、本露光して撮像部素子からの信号を読み出し、撮像された画像を画像処理部104aで画像処理して画像ファイルを生成し、記録媒体108aに記録するまでの一連の撮影処理(本撮影)の動作を開始ように制御する。撮影指示は、操作部106aに対するユーザー操作によって行うことができる。カメラ部112aは、静止画及び動画の撮影が可能である。
The
図2(b)に、本発明を適用可能な装置の一例としてのサーバ装置100bの構成の一例を示す。サーバ装置100bは購入者端末100a及びエッジPC100cと通信可能な情報処理装置であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。サーバ装置100bが有する構成である、符号101b~104b、106b~110b、150bが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、サーバ装置100bはディスプレイとカメラ部を有さないものとして説明するが、ディスプレイとカメラ部を有する装置をサーバ装置100bとして用いてもよい。
FIG. 2(b) shows an example of the configuration of a server device 100b as an example of a device to which the present invention can be applied. The server device 100b is an information processing device that can communicate with the purchaser terminal 100a and the
図2(c)に、本発明を適用可能な装置の一例としてのエッジPC100cの構成の一例を示す。エッジPC100cはサーバ装置100bと通信可能な端末装置(情報処理装置)であり、パーソナルコンピュータ(PC)などを用いて構成可能なものである。エッジPC100cが有する構成である、符号101c~104c、106c~110c、150cが示す構成は、前述した購入者端末100aが有する符号101a~104a、106a~110a、150aが示す構成と同様である。従って詳細な説明を省略する。また、エッジPC100cはディスプレイとカメラ部を有さないものとして説明する。すなわち、デスクトップ型のPC本体部分だけのような装置に適用することができ、ディスプレイとカメラ部の少なくとも一方を有さなくても構成できる分、コストや設置スペースを削減することができる。ただし、ディスプレイとカメラ部を有する装置をエッジPC100cとして用いてもよい。音声出力部113cはスピーカーに有線または無線通信によって音声信号を送信して発音させる出力部、あるいはスピーカー自体である。音声出力部113cから出力する通知音または音声メッセージによって、購入者120に各種ガイダンスや警告などの情報を通知する(認識させる)ことができる。
FIG. 2(c) shows an example of the configuration of an
図3に、購入者端末100aにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。購入者120が棚130の商品を購入するべく、購入者端末100aにおけるQRコードを読取可能なアプリケーションプログラムを起動するか、本システム用のアプリケーションプログラム(以下、単に購入アプリと称する)を起動すると図3の処理が開始される。
FIG. 3 shows a flowchart of processing related to the sales system in the purchaser terminal 100a. This processing is realized by loading the program recorded in the
S301では、CPU101aは、QRコードの読み取り画面にカメラ部112aで撮影したLV画像を表示する。図8(a)に、購入アプリによる、ディスプレイ105a(タッチパネル70a)におけるQRコードの読み取り画面の表示例を示す。メッセージ801はQRコード160を購入者端末100aに読み取らせる(撮影範囲にQRコード160を収めるようにフレーミングする)ことを購入者120に促すガイダンスメッセージである。例えば、「商品棚に貼られているQRコードを読み取らせてください」と表示される。枠802は、QRコードを撮影範囲に収めるようにフレーミングするための目安のガイド枠である。カートアイコン803は、カート画面への遷移指示を受け付けるためのタッチアイコンである。カートアイコン803は、購入者120のユーザーIDに対応するカートに商品が入っている場合に表示され、そうでない場合には表示されない。すなわち、初期起動時には表示されない。図示を省略しているが、QRコードの読み取り画面にはカメラ部112aで撮影されているLV画像が表示され、メッセージ801、枠802、カートアイコン803はLV画像に重畳して表示される。
In S301, the
S302では、CPU101aは、不揮発性メモリ103aに記録したカート情報を参照し、カートに商品があるか否かを判定する。カートに商品があると判定した場合にはS303に進み、そうでない場合(カートが空、あるいはカート情報が生成されていない初期状態)にはS304へ進む。
In S302, the
S304では、CPU101aは、カート画面への遷移指示があったか否かを判定する。カート画面への遷移指示があった、すなわちカートアイコン803へのタッチ操作があった場合にはS330へ進み、そうでない場合にはS304へ進む。
In S304, the
S304では、CPU101aは、QRコードが撮影されてQRコードの持つ情報を取得できたか否かを判定する。購入者120が購入者端末100aをフレーミングしたことにより撮影範囲内にQRコード160が収まり、LV画像として撮影された画像からQRコード160を取得し、解析して、QRコード160の持つ情報を取得できた場合にはS310に進む。そうでない場合にはS305に進む。
In S304, the
S305では、CPU101aは、終了イベント(例えば、QRコードの読み取り画面を閉じる操作)があったか否かを判定する。終了イベントが無い場合にはS302に戻って処理を繰り返し、終了イベントがあった場合には図3の処理を終了する。
In S305, the
S310では、CPU101aは、S304で取得したQRコードの情報が棚IDを含むか否かを判定する。QRコードの情報が棚IDを含まない場合とは、撮影されたQRコードが本実施形態の販売システムとは関係のないQRコードであった場合である。棚IDを含む場合はS312に進み、棚IDを含まない場合はS311に進んでエラー表示を行う、あるいは、本システムとは別の処理(QRコードに基づく処理)を行う。
In S310, the
S312では、CPU101aは、S304で取得したQRコードの情報が示す処理の実行を決定する操作があったか否かを判定する。例えば、撮影されたQRコードが棚IDの情報を持っていた場合、ディスプレイ105aに「67890番の棚にチェックインしますか?」というメッセージと、「はい」、「いいえ」の選択肢を表示する。「67890番の」というのは例であって、チェックインする対象の棚がどの棚であるかユーザーが識別できる識別情報であればよい。「はい」が選択された場合に、QRコードの情報が示す処理の実行を決定する操作があったと判定してS313に進む。「いいえ」が選択されるとS302に戻る。なお、QRコード160に、購入アプリを起動する、あるいはインターネット上のWEBアプリにアクセスするための情報を持たせておいてもよい。その場合、汎用のQRコードリーダーでQRコード160を読み取り、決定指示を受け付けた場合に購入アプリまたはWEBアプリに従ってS313以降の処理を行う。また、S312の処理を省き、読み取ったQRコードに棚IDが含まれていると判定した場合(S310Yes)に、購入者120からの操作(決定指示の操作)を待つことなくS313の処理を行ってもよい。
In S312, the
S313では、CPU101aは、読み取ったQRコードから取得した棚IDと、購入者120を識別するためのユーザーIDを含む、チェックインのリクエスト情報をサーバ装置100bに送信する。棚IDは、陳列場所である棚130を識別するための陳列場所情報である。ユーザーIDは本実施形態では、購入アプリへのログインID(予め記憶されていたもの、あるいは購入アプリ起動時に購入者120が入力したもの)とする。ユーザーIDはこれに限るものではなく、棚130にチェックインしている購入者120を他のユーザーと識別できる情報であれば他の情報を用いてもよい。ユーザーIDとして例えば、購入者端末100aのSSID、SNSなどの連携している他のサービスのアカウント情報、購入者端末100aのログインアカウントの情報などを用いてもよい。すなわち、ユーザーIDは、購入者端末100aあるいは購入者120を識別するためのユーザー情報である。購入者端末100aからサーバ装置100bに棚IDとユーザーIDを送信すると、サーバ装置100bにおいてチェックインを試み、サーバ装置100bからチェックインできたかどうかの情報が返送されてくる。
In S313, the
なお、本実施形態では購入者端末100aでの棚IDの取得方法として、二次元コードであるQRコード160を撮影する方法を説明したが、これに限るものではない。バーコードなどの一次元コードを撮影することによって取得してもよいし、文字列として掲示された棚IDを撮影し、画像からの文字認識によって取得してもよい。また、文字列として掲示された棚IDを、購入者端末100aのディスプレイ105aに表示される棚IDの入力画面からユーザーが操作入力することにより取得してもよい。あるいは、購入者端末100aのGPS測位ユニットなどの位置情報取得部(不図示)から取得された購入者端末100aの位置情報に基づいて取得してもよい。撮像画像から取得した情報、操作入力されることで取得した情報、位置情報との少なくとも2つを組み合わせて棚IDを取得してもよい。
In this embodiment, as a method of acquiring a shelf ID at the purchaser terminal 100a, a method of photographing the
S314では、CPU101aは、サーバ装置100bから、チェックインができなかったことを示すチェックイン不可通知があったか否かを判定する。例えば購入者120とは別のユーザーがすでに棚130にチェックインしていた場合、購入者120は棚130にはチェックインできないものとする。チェックイン不可通知を受信した場合にはS315に進み、そうでない場合には316に進む。
In S314, the
S315では、CPU101aは、現在チェックインができないことを示すチェックインエラー情報をディスプレイ105aに表示する。例えば、「他の方が利用中のため、チェックインできません。前の方の御利用が終わってからチェックインしてください」といったメッセージを表示する。すなわち、他のユーザーがチェックインしていること示す情報、及び/または、時間をおいてから再びチェックインのリクエスト情報を送信することを促す情報を表示する。棚130に扉などがあれば、扉の開閉状態によって他の購入者が購入行為の途中であるのかどうかを判断できるが(すなわち他の人物が扉を開いていればその人物に優先権があるとわかるが)、本実施形態では扉を設けていない。そのため棚130の外観では他の利用者がいるのかどうかがわかりにくいケースがある。例えば棚130の付近に別の人物がいたとしてもその人物が購入するかどうかを決めていない、あるいは購入とは別の用事でそこにいるのか、購入の途中であるのかを判断することができないことがある。しかし本実施形態のように、チェックインエラー表示をすることで、他の利用者が購入動作の途中であるため待つべきであることを購入者120が認識することができる。また、本実施形態のように、1人の購入者がチェックインしている場合に他の利用者がチェックインできないようにすることで、棚130から商品を取り出した利用者が誰なのか判別できなくなる(購入者の混同が起こる)ことも抑止することができる。
In S315, the
S316では、CPU101aは、サーバ装置100bから、チェックインができたことを示すチェックイン完了通知があったか否かを判定する。チェックイン完了通知を受信した場合にはS317に進み、そうでない場合には314に戻る。
In S316, the
S317では、CPU101aは、S302と同様に、カートに商品があるか否かを判定する。カートに商品がある場合にはS330へ進み、そうでない場合にはS320に進む。
In S317, the
S320では、CPU101aは、ディスプレイ105aに空カート表示を行う。空カート表示の表示例を図8(b)に示す。
In S320, the
表示アイテム810は、現在表示している画面が、カートに商品があるかの状態を示すカート表示の画面であることを示す画面タイトル部分である。本実施形態では「カートに入っている商品」と表示される。
A
ガイダンス811は、ユーザーである購入者120に、棚130から商品を取り出すことを促すガイド表示である。図8(b)の例では、「商品棚から商品を取り出してください」との文字列(メッセージ)が表示される。本実施形態の販売システムにおいては、商品棚130に扉やカバーを設けていない。従って、外観上は商品棚130を取り出して良い状態であるか否かを購入者120(ユーザー)が判別することが難しい。特に無人店舗であれば、無断で商品を取り出すことには躊躇してしまう可能性がある。これに対し、ガイダンス811を表示することで、購入者120は商品を棚130から取り出して良い状態であることが認識でき、安心して商品を取り出し、買い物を行うことができる。また、購入者端末100aのディスプレイ105aにガイダンス811を表示することで、エッジPC100cの音声出力部113cでの音声通知に頼らなくとも取り出して良い状態であることを通知できる。従って音声による通知が難しい環境(静かにすべき環境、あるいは逆に雑音の大きい環境)であっても、購入者120に商品を取り出して良い状態であることを確実に通知することができる。また、エッジPC100cにディスプレイを接続したり、棚130付近に通知用のモニタ等を設置する必要もないため、設置コストや設置スペースの増大も抑えて、購入者120に商品を取り出して良い状態であることを確実に通知することができる。すなわち、本実施形態の販売システムを、商品を購入するユーザーがより簡単に利用可能となる。なお、ガイダンス811は、購入者120に棚130からの商品の取り出しを促すものであれば図示の例に限るものではない。例えば、別の文字列によるメッセージや、アイコン表示、アニメーション表示、動画再生、購入者端末100aからの音声出力によるガイダンスでもよい。
The
表示アイテム812はカートにある商品の合計金額を示す。図8(b)の例では、カートに商品は無いので0円である旨が表示される。
購入指示アイコン813は、カートに入っている商品の購入を実行して決済を行う指示を行うためのタッチアイコン(表示アイテム)である。図8(b)の例では、カートに商品が無く、何も購入できないため、グレーアウト(非アクティブ表示)されており、タッチしても操作を受け付けない状態となっている。カートに商品が入ったことに応じてグレーアウトが解除され、アクティブ表示となり、タッチによる操作受付が可能な状態となる。
The
中止指示アイコン814は、購入動作(買い物)のキャンセル指示を受け付けるタッチアイコン(表示アイテム)である。
A cancel
棚移動アイテム815は、現在チェックインしている棚とは別の棚にチェックインする指示を行うためのタッチアイコン(表示アイテム)である。
The
S321では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS322に進み、そうでない場合にはS325に進む。
In S321, the
S322では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。
In S322, the
S323では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合にはS324にすすみ、そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。
In S323, the
S324では、CPU101aは、メモリ102aに保持したカート情報をクリア(消去)し、ディスプレイ105aにチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。図8(d)にチェックアウト表示の表示例を示す。チェックアウト表示には、購入(買い物)に関する処理を終了したことを示す「ご利用ありがとうございました」といったメッセージ830が表示される。チェックアウト表示を所定時間(例えば5秒)表示した後、S301のLV表示(QRコードの読み取り画面)に戻る。
In S324, the
S325では、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS328へ進む。 In S325, it is determined whether or not there has been a shelf move operation (touching the shelf move item 815). If there is a shelf movement operation, the process proceeds to S326; otherwise, the process proceeds to S328.
S326では、CPU101aは、棚移動操作が行われたことを示す棚移動指示をサーバ装置100bに送信する。
In S326, the
S327では、CPU101aは、サーバ装置100bからチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合には、他の棚のQRコードを読み取るため、S301のLV表示(QRコードの読み取り画面)に戻る。そうでない場合にはS323でチェックアウト完了通知を受信するのを待つ。
In S327, the
S328では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS321へ進む。
In S328, the
なお、本実施形態では、空のカート表示を行っている場合には、購入指示アイコン813へのタッチ操作を受け付けない(無視する)例を説明したが、これに限るものではない。例えば、空のカート表示中に購入指示アイコン813へのタッチ操作を検知した場合には、棚から商品を取り出すことを改めて促す表示(S320の表示とは異なる第2の表示)を行ってもよい。例えば、ガイダンス811を点滅させたり色を変えたりするなどしてS320とは異なる表示形態で強調表示したり、ガイダンス811とは別の表示で棚から商品を取り出すことを促す表示を行ってもよい。特に、決済前に棚から商品を取り出して良い旨を表示すると良い。カートに商品が無い状態、すなわち商品が取り出されていない状態で購入指示アイコン813が操作された場合、購入者120が、決済を行わないと棚から商品を取り出してはいけないと誤認している可能性がある。従って棚から商品を取り出すことを改めて促す表示を行うことで、購入者の誤認を解消してスムーズな購入動作を行えるようにすることができる。
In this embodiment, an example in which the touch operation to the
S330では、CPU101aは、表示部に商品ありの場合のカート表示を行う。商品ありのカート表示の表示例を図8(c)に示す。図8(b)と同じ表示物については、同じ符号を付して説明を省略する。
In S330, the
商品一覧820は、サーバ装置100bから受信した更新通知に含まれる商品情報を含む情報であって、メモリ102aに保持した最新のカートの状態を示すカート情報基づく、カートに入っている商品の一覧表である。商品一覧820は行毎に1つの商品の情報を表しており、列821~列824を含む。列821は各行の商品の外観を示す表示物であり、取り出した商品の写真、あるいは取り出した商品の種別を表すアイコン(例えば、飲料であれば図示のようなペットボトルを模したアイコン、食品であれば食品を模したアイコンなど)が表示される。商品の種別を写真で表す場合は、購入アプリのデータとして購入者端末100aの不揮発性メモリ103aに予め記憶されていた画像か、サーバ装置100bから受信した画像を表示する。列822は各行の商品の名前(商品名)を表しており、列823は各行の商品の価格を表している。列824は各行の商品についての修正指示の操作を受け付けるための表示アイテムである。図8(c)の例では、購入指示アイコン813は、カートに商品が有り購入が可能であるため、タッチ操作を受け付け可能な表示形態で表示されている(アクティブ表示)。一方、中止指示アイコン814はグレーアウトして表示している。これは。このケースはカートに商品が入っており、カートに入っている商品を棚130に戻さないと購入のキャンセルが完了できないためである。ただし本実施形態ではグレーアウトしていても中止指示アイコン814へのタッチ操作は受け付けるものとする。ただしこれに限るものではなく、カートに商品が入っている場合には、中止指示アイコン814へのタッチ操作を受け付けないようにしてもよい。
The
S331では、CPU101aは、修正操作があったか否かを判定する。修正操作とは、いずれかの行の列824に表示された表示アイテムへタッチ操作が行われ、その後に表示される修正内容入力画面(タッチされた行の商品について修正する画面)での操作が完了し、修正内容を確定する操作である。修正内容入力画面は例えば、棚130に置かれている販売中の商品の一覧を表示し、一覧からいずれかの商品の選択を受け付ける画面である。このように、商品の修正操作を受け付けることで、画像解析での商品判定で判定された商品が実際に取り出した商品と異なっていることが万が一あった場合に、購入者120が正しい内容に修正することができる。
In S331, the
S332では、CPU101aは、修正内容入力画面で入力された修正内容である、修正後の商品を示す情報をサーバ装置100bに送信する。
In S332, the
S333では、CPU101aは、サーバ装置100bからの更新通知を待ち、更新通知があると通知に基づいてメモリ102aに保持したカート情報を更新してS317に進む。こうして、ディスプレイ105aのカート表示も修正を反映したものが表示される。
In S333, the
S334では、CPU101aは、中止操作(中止指示アイコン814へのタッチ)があったか否かを判定する。中止指示があった場合にはS335に進み、そうでない場合にはS340に進む。
In S334, the
S335では、CPU101aは、中止操作が行われたことを示す中止指示をサーバ装置100bに送信する。
In S335, the
S336では、CPU101aは、ディスプレイ105aに返却メッセージを表示する。返却メッセージは、棚130から購入者120が取り出した商品を、棚130に戻すことを促す表示であり、例えば、「商品をもとの位置に戻してください」といった文字列(メッセージ)が表示される。これによって購入者120は、取り出した商品を棚130に戻さないと買い物の中止(キャンセル)ができないことを認識することができ、手に持っている商品を棚130に戻そうとする。この結果、カートに入っていた商品(購入者120が取り出した商品)が棚130に戻されると、カメラ140によって戻した様子の映像から商品が戻されたことが検知され、エッジPC100cからサーバ装置100bに商品が戻された旨の情報が送信される。サーバ装置100bは、商品戻された旨の情報を受信すると、サーバ装置100bに保持したカート情報を更新し、更新通知として購入者端末100aに送信する。
In S336, the
S337では、CPU101aは、サーバ装置100bから更新通知を受信したか否かを判定する。更新通知を受信した場合には、受信した更新通知に含まれる最新のカート情報でメモリ102aのカート情報を更新し、S338に進む。更新通知を受信できない場合はS337で更新通知の受信を待ち、チェックアウト表示には進まない。
In S337, the
S338では、CPU101aは、S337で受信した更新通知に基づいて更新した最新のカート情報に基づき、カートに商品があるか否かを判定する。カートに商品が無い場合は、購入者120が棚130から取り出した商品がすべて棚130に戻された場合である。カートに商品が無い場合にはS339に進み、そうでない場合(まだカートに商品がある場合)にはS336へ進む。
In S338, the
ここで、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定された場合は、購入者120がまだ棚130から取り出した商品を棚130に戻していない場合である。従って、S334で中止指示があってから、S337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、S336で表示した返却メッセージを表示し続けることにより、購入者120に確実な商品の返却を促す。また、返却メッセージを表示してからS337で更新通知を受信しない場合、あるいはS338でカートに商品があると判定される場合には、段階的に返却メッセージを強調してもよい。例えば、所定時間が経過したら返却メッセージを点滅表示する、警告音を発音する、等をしてもよい。 Here, if no update notification is received in S337, or if it is determined in S338 that there is an item in the cart, it means that the purchaser 120 has not returned the item taken out from the shelf 130 to the shelf 130 yet. Therefore, if the update notification is not received in S337 after the cancellation instruction is issued in S334, or if it is determined in S338 that there is an item in the cart, the return message displayed in S336 continues to be displayed, thereby allowing the purchase to be canceled. The person 120 is urged to surely return the merchandise. Further, when the update notification is not received in S337 after the return message is displayed, or when it is determined in S338 that there are products in the cart, the return message may be emphasized step by step. For example, after a predetermined period of time has elapsed, a return message may be flashed, an alarm may be sounded, or the like.
S339では、CPU101aは、S324と同様にチェックアウト表示を行う。また、メモリ102aに保持したカート情報を消去(クリア)する。これによって購入者120は、取り出した商品を棚130に戻したことが正しく認識され、購入のキャンセルが正しく行われたことがわかり、決済をせずに立ち去っても問題がないことを認識することができる。
In S339, the
S340では、CPU101aは、購入指示の操作(購入指示アイコン813へのタッチ)があったか否かを判定する。購入指示の操作は決済をするための操作であり、決済操作の一種である。購入指示の操作があった場合にはS341へ進み、そうでない場合にはS344へ進む。
In S340, the
S341では、CPU101aは、購入指示の操作が行われたことを示す購入指示の通知をサーバ装置100bに送信する。
In S341, the
S342では、CPU101aは、サーバ装置100bと連携した処理により、決済処理を行う。例えば、クレジットカートによる決済画面や、電子マネーによる決済画面などが表示され、これらの決済画面に対する操作(タッチパネル70aに対する決済操作)に応じて、カートに入った商品に対する支払い(決済、課金)が行われる。決済が完了するとS339へ進む。S339でのチェックアウト表示により、決済が正常に完了し、棚130から取り出した商品(購入済みの商品)をもってその場を立ち去ってもよいことを購入者120が認識できる。
In S342, the
S344では、CPU101aは、棚移動操作(棚移動アイテム815へのタッチ)があったか否かを判定する。棚移動操作があった場合にはS326へ進み、そうでない場合にはS345へ進む。
In S344, the
S345では、CPU101aは、サーバ装置100bからカート情報の更新通知を受信したか否かを判定する。更新通知を受信した場合には受信した更新通知に含まれる最新のカートの状態を示す情報をメモリ102aに記憶し(すなわちメモリ102aに記憶されたカート情報を更新する)、S317へ進む。更新通知を受信していない場合にはS331へ進む。
In S345, the
図4に、サーバ装置100bにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103aに記録されたプログラムをメモリ102aに展開し、CPU101aが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。
FIG. 4 shows a flowchart of processing related to the sales system in the server device 100b. This processing is realized by loading the program recorded in the
S401では、CPU101bは、メモリ102bに保持された各種変数、情報(カート情報)などを初期化する。また、不揮発性メモリ103bには、サーバ装置100bで管理している複数の商品棚のIDが記憶されている。この管理対象の商品棚のIDをすべて読み込み、チェックイン状態の管理情報をメモリ102bに作成したうえで、すべての棚について状態を非チェックインに設定する。チェックイン状態の管理情報の例を図5(a)に示す。管理情報には、管理対象となる棚のIDと、チェックイン状態と、チェックイン状態である場合にはチェックイン(CI)しているユーザーのIDとが対応付けて記憶される。S401においては、チェックイン状態は全て非チェックイン、CIユーザーはすべての棚において無しとなる。
In S401, the
S402では、CPU101bは、購入者端末100aから送信された棚IDを受信したか否かを判定する。これは前述の図3のS313で購入者端末100aから送信された棚IDとユーザーIDを受信したか否かの判定である。棚IDを受信した場合にはS402に進み、そうでない場合にはS407に進む。
In S402, the
S403では、メモリ102bに保持したチェックイン状態の管理情報を参照し、受信した棚IDの棚がすでにチェックイン中である(チェックイン状態である)か否かを判定する。チェックイン状態であればS404に進み、そうでない場合(非チェックイン状態である場合)にはS405に進む。
In S403, the check-in status management information held in the
S404では、チェックインできない旨を示すチェックイン不可通知を、S402で受信した棚IDの送信元の購入者端末100aに送信する。また、メモリ102bに保持したチェックイン状態の管理情報は更新しない。すなわち、この場合は受信した棚IDでのチェックイン処理は行わない。こうしてS404で送信されたチェックイン不可通知が前述した図3のS314で受信され、S315でチェックインエラーが表示される。
In S404, a check-in disapproval notification indicating that check-in is not possible is transmitted to the purchaser terminal 100a that transmitted the shelf ID received in S402. Also, the check-in state management information held in the
S405では、CPU101bは、チェックイン処理を行う。具体的には、メモリ102bに保持されたチェックイン状態の管理情報において、S402で受信した棚IDの棚について、チェックイン状態を「チェックイン」とし、CIユーザーに、棚IDとともに受信したユーザーIDを関連付けて記憶する。すなわち、チェックイン処理は、棚ID(陳列場所情報)とユーザーID(ユーザー情報)とを関連付ける関連付け処理である。この場合の管理情報の例を図5(a)に示す。棚ID「678ユーザーID90」の棚について、チェックイン状態を「チェックイン」とし、CIユーザーのID「12345」を関連付けて記憶している。
In S405, the
また、S404において、受と信したCIユーザーのカート情報が生成されていなかった場合には、メモリ102bにCIユーザーのカート情報を生成する。図5(b)に、ユーザーID「12345」のカート情報の例を示す。カート情報には、ユーザーID毎に生成される情報である。カート情報には、ユーザーID、チェックインしている棚ID、商品棚から取り出した商品(カートに入っている商品)の商品名(あるいは商品の識別情報)、価格、数量、小計、商品の取出元の棚IDと、カート内の全商品の合計価格が関連付けて記憶される。図5(a)の例は、ユーザーが棚ID「67890」の棚にチェックインした直後の状態の例であり、カート内の商品が無い状態である。
Also, in S404, if the received CI user's cart information has not been generated, the CI user's cart information is generated in the
なお、S402で受信した棚IDとユーザーIDのうち、該当するユーザーIDのカート情報がメモリ102bにすでに記憶されている場合には、新たにカート情報を生成することはしない。この場合、既存の該当ユーザーIDのカート情報におけるチェックイン中の棚IDを受信した棚IDで更新する。このケースは第1の棚からの棚移動指示があり、決済することなく第1の棚からのチェックアウトが行われた後に、別の棚(第2の棚)にチェックインするケースである。第2の棚にチェックインした後に、第2の棚から商品を取り出すと、取り出した商品がカートに追加される。図5(c)に、棚ID「67890」の棚(第1の棚)で商品Aと商品Bを取り出した後に棚移動の指示が行われ、棚ID「67891」の棚(第2の棚)にチェックインして商品Cが取り出された場合のカート情報を示す。第1の棚で取り出した商品Aと商品Bに加え、第2の棚で取り出された商品Cが記録されており、合計価格は商品A,B,Cの合計となっている。
Note that if the cart information of the corresponding user ID among the shelf ID and user ID received in S402 is already stored in the
S406では、CPU101bは、チェックインが完了した旨を示すチェックイン完了通知を、購入者端末100aと、エッジPC100cとの双方に送信する。ここで送信したチェックイン完了通知が、購入者端末100aにおいては前述の図3のS316で受信され、エッジPC100cにおいては後述する図6のS603で受信される。
In S406, the
S407では、CPU101bは、エッジPC100cから送信された棚IDと商品認識スコアを受信したか否かを判定する。受信した場合にはS408に進み、そうでない場合にはS411へ進む。
In S407, the
S408では、CPU101bは、エッジPC100cから受信した商品認識スコアに基づいて、棚からの取り出し/戻しが行われた対象の商品が何であるかを判定する。本実施形態ではこのように、商品の最終判定をエッジPC100cでなくサーバ装置100b側で行う。これにより、機械学習などの高機能な、あるいは最新の判定方法を用いたり、新商品の情報をエッジPCに反映することなくサーバ装置100bに反映するだけで商品判定を行うことができるといった効果がある。すなわち、エッジPC100cの高機能化に伴う設置コスト増加や、エッジPC100cの更新作業などの管理負荷を軽減することができる。エッジPCから受信する商品認識スコアは、商品をある程度推定した結果の情報(推論スコア)であってもよいし、商品を推定する前の、形状、色、大きさのパラメータなどの情報であってもよい。カメラ140で撮影された画像自体ではなく、ある程度パラメータ化した商品認識スコアを受信することによって、エッジPC100cとサーバ装置100bとの通信量を抑制し、高速な判定、応答を可能としている。
In S408, the
なお、エッジPC100cからサーバ装置100bに商品認識スコアを送信するものに限るものではない。例えば、エッジPC100c側では商品が何であるかの判定のための処理を行わずに、商品の取り出し/戻しがあったと推定される場面についてカメラ140で撮影された画像自体(動画または静止画)を送信してもよい。この場合、受信したカメラ140での撮影画像に基づいてサーバ装置100bで商品を判定する。また逆に、エッジPC100c側で、取り出し/戻しがあったこと、及び対象の商品が何であるかの判定を行い、判定結果のみをサーバ装置100bに送信するようにしてもよい。この場合はS408の処理は省略される。
In addition, it is not limited to transmitting the product recognition score from the
S409では、CPU101bは、S408で判定された商品に基づき、メモリ102bに保持したカート情報を更新する。すなわち、S408で商品が棚から取り出されたと判定した場合は、受信した棚IDに関連付いたユーザーIDのカート情報にS408で判定した商品の情報を追加する。逆に、S408で商品が棚に戻されたと判定した場合は、チェックイン中のユーザーのカート情報のうち、受信した棚IDが取り出し元として記録されているカート情報から、S408で判定した商品を削除する。図5(b)に、元々カート情報に商品Aが入っている状態から、S407で、棚ID「67890」の棚IDと商品認識スコアを受信し、S408で商品Bが棚から取り出されたと判定された場合のカート情報の例を示す。商品Aに加えて商品Bの情報が追加されている。
In S409, the
S410では、CPU101bは、カート情報を更新したことを示す更新通知を購入者端末100aに送信する。更新通知にはメモリ102bに保持した最新のカート情報も含まれる。すなわち、商品棚130からの商品の取り出しが行われた場合には、S408で判定された取り出された商品情報を含むカート情報も送信する。
In S410, the
S411では、CPU101bは、購入者端末100aから送信された修正指示(前述の図3のS332で購入者端末100aから送信した修正内容)を受信したか否かを判定する。修正指示を受信したと判定した場合は、S409へ進み、修正指示として受信した修正内容に基づいてメモリ102bに保持したカート情報を更新する。修正指示を受信していない場合にはS412に進む。
In S411, the
S412では、CPU101bは。購入者端末100aから送信された中止指示を受信したか否かを判定する。中止指示を受信した場合にはS413へ進み、そうでない場合にはS417へ進む。
In S412, the
S413では、CPU101bは、S412で受信した中止指示を行ったユーザーのユーザーIDのカート情報に、商品が入っているか否かを判定する。商品が入っている場合にはS414に進み、そうでない場合にはS419に進む。
In S413, the
S414~S416の処理は、S408~S410の処理と同様である。これによって中止指示を行ったユーザーのカート内から商品がなくなるとS413でNoと判定され、チェックアウト処理を伴う中止の処理(S419~S422の処理)が行われる。中止指示を行ったユーザーのカート内にまだ商品があるうちはS413でNoと判定されないため、チェックアウト処理を伴う中止の処理は行われない。 The processing of S414-S416 is the same as the processing of S408-S410. As a result, when there is no product in the cart of the user who issued the cancellation instruction, No is determined in S413, and cancellation processing (processing of S419 to S422) accompanied by checkout processing is performed. As long as there are still products in the cart of the user who issued the cancellation instruction, the judgment in S413 is not No, so the cancellation process accompanying the checkout process is not performed.
S417では、CPU101bは、購入者端末100aから送信された決済指示(前述の図3のS341で購入者端末100aから送信した決済指示)を受信したか否かを判定する。決済指示を受信したと判定した場合は、S418へ進み、そうでない場合はS423に進む。
In S417, the
S418では、CPU101bは、決済サービス170を呼び出し、決済サービス170に基づく決済処理を行う。
In S<b>418 , the
S419では、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDについてのメモリ102bに保持したカート情報をクリア(消去)する。
In S419, the
S420では、CPU101bは、チェックアウト処理を行う。具体的には、CPU101bは、S412で中止指示を受け付けたユーザーIDまたはS417で決済指示を受け付けたユーザーIDでチェックインしていた商品棚について、状態をチェックアウト状態に更新する。すなわち、チェックイン状態の管理情報(図5(a))における該当の棚IDについて、状態をチェックアウト状態とし、CIユーザーを消去する。これによって、棚とユーザー(購入者)との関連付けが消去される。
In S420, the
S421では、CPU101bは、チェックアウトが完了した旨を示すチェックアウト完了通知を、購入者端末100aとエッジPC100cに送信する。
In S421, the
S422では、CPU101bは、購入者端末100aから送信された棚移動指示(前述の図3のS328で購入者端末100aから送信した棚移動指示)を受信したか否かを判定する。棚移動指示を受信したと判定した場合は、S423へ進み、そうでない場合はS424に進む。
In S422, the
S423では、CPU101bは、前述のS420と同様、チェックアウト処理を行う。
In S423, the
S424では、CPU101bは、図4の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図4の処理を終了し、終了イベントが無い場合にはS402に進んで処理を繰り返す。
In S424, the
図6に、エッジPC100cにおける販売システムに関する処理のフローチャートを示す。この処理は、不揮発性メモリ103cに記録されたプログラムをメモリ102cに展開し、CPU101cが実行することにより実現する。この処理は、本実施形態における販売システムによる販売が開始されるタイミング(営業時間の開始時間など)で、手動で開始される、あるいは所定の時間(営業時間の開示時間など)になったことに応じて自動的に開始される。図6は個別の棚に関する処理であり、本実施形態では棚130(棚ID:67890)の棚に関する処理として説明する。
FIG. 6 shows a flowchart of processing related to the sales system in the
S601では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、非チェックイン状態とする。
In S601, the
S602では、CPU101cは、カメラ140からの映像を取得する。ここで取得する映像は、棚130の商品の取り出し口が写った動画であるものとする。なお、商品の取り出し/戻しの検知にカメラ140以外のセンサーを用いる場合には、そのセンサーからの出力値を得る処理となる。
In S<b>602 , the
S603では、CPU101cは、サーバ装置100bから送信されたチェックイン完了通知を受信したか否かを判定する。チェックイン完了通知を受信した場合にはS604へ進み、そうでない場合にはS606に進む。
In S603, the
S604では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、チェックインに対応する情報に設定して記憶する。すなわち、チェックイン状態(棚130と購入予定者が関連付いた状態)とする。
In S604, the
S605では、CPU101cは、音声出力部113cから、棚130から商品を取り出して良いことになった旨を示す音声を出力する。例えば、「ポーン」という効果音や「いらっしゃいませ」という音声メッセ―ジを鳴らし、購入者端末100aでQRコード160を読み取ったことに応じて棚130にチェックインできた(棚130が応答した)ことをユーザーに通知する。あるいは、「棚から商品を取り出してください」、「棚から商品を取り出した後、お手持ちの端末で決済を行ってください」といった、購入者120に棚から商品と取り出すことを促す音声(音声ガイダンス)や、買い物の仕方を説明する音声を鳴らしてもよい。すなわち、非チェックイン状態からチェックイン状態になったことに応じて、状態が変化したことを通知する、及び/または、商品棚130から商品を取り出すことを促す。
In S605, the
S606では、CPU101cは、カメラ140から取得した映像に基づいて、棚130からの商品の取り出し、あるいは、棚130への商品の返却(戻し)があったか否かを判定する。すなわち、カメラ140で商品棚130を撮影した画像に基づいて、陳列場所から商品が取り出されたか否かを検知する。例えば、画像に基づいて、商品棚130の手前の基準位置から手が進入し、商品が置かれていた場所の被写体が変化し、基準位置から手が抜けたことを、商品を取り出した現象があったものとして検知する。取り出したまた返却された現象を検知した場合は取り出しまたは返却があったものとしてS607に進み、そうでない場合にはS610へ進む。
なお、本実施形態では、カメラ140で撮影された映像に基づいて商品の取り出し/戻しを検知する例を説明したが、検知する方法はこれに限るものではない。例えば、棚130の棚板などの陳列場所に陳列された物の重量を検知する重量センサーを陳列場所に取り付け、重量センサーから出力に基づく重量の変化によって商品の取り出し/戻しを検知してもよい。また、商品毎にICタグなどのRFID(radio frequency identifier)タグを取り付けておき、このタグとの無線通信によって商品の取り出し/戻しを検知してもよい。さらに、赤外線センサーを備え、赤外線センサーで棚130の手前(取り出し口)の基準線を越えて商品が移動したり、商品が置いてあった位置から無くなる、商品が無かった位置に商品が置かれる、などを検知してもよい。このような検知を示す赤外線センサーからの出力に基づいて商品の取り出し/戻しを検知してもよい。複数の検知方法の1つを採用してもよいし、複数を組み合わせて商品の取り出し/戻しを検知してもよい。
In S<b>606 , the
In the present embodiment, an example of detecting the removal/return of the product based on the image captured by the
S607では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶している状態情報を参照し、チェックイン状態であるか否かを判定する。チェックイン状態である場合にはS608へ進み、そうでない場合にはS609に進む。
In S607, the
S608では、CPU101cは、管理対象である棚130の棚ID(本実施形態では67890)と、S606で取り出しまたは返却があった旨、及び取り出しまたは返却の現象が検知された商品の商品認識スコアをサーバ装置100bに送信する。すなわち、商品の取り出し/返却の検知に関する検知内容を送信する。なお、商品認識スコアは、例えば、カメラ140で撮影された画像を、機械学習で学習された学習済みモデルに入力し、推論処理を行った結果として出力される情報である。また、商品認識スコアは、カメラ140で撮影された画像に基づき、外観・形状から商品の類推を行い候補となる商品のスコア付けを行った結果ともいえる。
In S608, the
S609では、CPU101cは、音声出力部113cから音声でエラー通知(エラー出力)を行う。この場合、エッジPC100cからはサーバ装置100bに対しての商品スコアの送信は行わない。サーバ装置100bと通信することなくエラー通知を行うことで、より素早くエラー通知を行え、購入者120により早くエラーとなる行為であることを認識させることができる。なお、チェックインせずに取り出された商品が何であるかを管理するために、この場合にも商品スコアをサーバ装置100bに送信するようにしてもよいが、送信のタイミングはエラー通知よりも後であるものである。すなわち、エラー通知を出力するタイミングにおいては、サーバ装置100bへの検知結果の送信をすることなくエラー通知を出力する。また、エラー通知を出力するトリガーは、S606で説明した商品が取り出されたことを検知したことではなく、例えば、手が商品棚130に進入してきたという現象を検知したこととしてもよい。このトリガーでエラー通知を出力することで、より早いタイミングで購入者120にエラーとなる行動であることを認識させることができ、商品が取り出されることを未然に防ぐことができる可能性もある。この現象は、商品が取り出される可能性のある現象であり、商品の取り出しの準備動作である。このように、商品が取り出される現象としての商品の取り出しの準備動作を検知することで、商品の取り出しがあったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が取り出される現象であり、当該現象の検知により、商品の取り出しがあったものとして処理される。返却についても同様であり、商品が返却された現象のみならず、商品が返却される現象としての商品の返却の準備動作を検知することで、商品の返却があったことを検知した場合と同様の処理をしてもよい。この場合、検知の対象は、商品が返却される現象であり、当該現象の検知により、商品の返却があったものとして処理される。
In S609, the
エラー通知は、非チェックイン状態で取り出された商品が棚130に戻された、もしくは所定時間(例えば1分)が経過したことに応じて自動で解除される。取られた商品が返却されない場合にもエラー通知を所定時間出力した後に自動的に解除することで、不正な操作によって、無人である棚130でエラー通知が長く継続してしまい、別の購入者の購買機会が損なわれてしまうことを防止することができる。 The error notification is automatically canceled when the product that was taken out in the non-checked-in state is returned to the shelf 130 or when a predetermined time (for example, 1 minute) has passed. By automatically canceling the error notification after outputting the error notification for a predetermined time even when the taken merchandise is not returned, the error notification continues for a long time on the unmanned shelf 130 due to illegal operation, and another purchaser is made. It is possible to prevent that the purchase opportunity of the customer is spoiled.
エラー通知は、例えば、「商品を取り出す前にチェックインを行ってください」、「棚に掲示されたQRコードをお手持ちの端末で読み取ってから商品を取り出してください」といったチェックインするための行動を促す音声メッセージや、効果音である。また、「一度商品を棚に戻してから棚のQRコードを読み取ってください」といったメッセージのより、一度商品をもとの位置に戻すことを促してもよい。エラー通知は、商品棚130から商品を取り出した人物、または取り出そうとした人物が聞くことが可能な音によって出力される。このエラー通知によって、購入者120(購入予定者)は、商品を取って良い状態でない場合に商品を取ってしまった場合に、それに気づいて元に戻せる。すなわち、本実施形態の販売システムを適切に利用することができる。 Error notifications are actions for check-in, such as "Please check in before taking out the product" or "Please read the QR code posted on the shelf with your device and then take out the product". It is a voice message or a sound effect that prompts you to Alternatively, a message such as "Please read the QR code on the shelf after returning the product to the shelf" may prompt the customer to return the product to its original position. The error notification is output by a sound that can be heard by the person who has taken out the product from the product shelf 130 or the person who has tried to take it out. With this error notification, the purchaser 120 (prospective purchaser) can notice and restore the product when the product is not in good condition. That is, the sales system of this embodiment can be used appropriately.
S610では、CPU101cは、サーバ装置100bから送信されたチェックアウト完了通知を受信したか否かを判定する。チェックアウト完了通知を受信した場合はS611に進み、そうでない場合にはS613に進む。
In S610, the
S611では、CPU101cは、棚130の状態としてメモリ102cまたは不揮発性メモリ103cに記憶して管理している状態情報を、非チェックインに対応する情報に設定して記憶する。すなわち、チェックアウトして非チェックイン(棚130と購入予定者が関連付いていない状態)とする。
In S611, the
S612では、CPU101cは、音声出力部113cから、棚130からのチェックアウトに伴う音声を出力する。例えば、「ピロリン」という効果音や、「ご利用ありがとうございました」といった音声メッセ―ジを鳴らす。
In S612, the
S613では、CPU101cは、図6の処理の終了イベントがあったか否かを判定する。営業時間終了やユーザーからの終了指示、電源オフなどの終了イベントがあった場合には図6の処理を終了し、終了イベントが無い場合にはS02に進んで処理を繰り返す。
In S613, the
図7に、図3で説明した購入者端末100aの処理、図4で説明したサーバ装置100bの処理、図6で説明したエッジPC100cの処理の連携によって実現する、本実施形態の販売システムでの販売に係る処理シーケンスの例を示す。括弧内に、図3、図4、図6で前述した処理の対応するステップを示す。
FIG. 7 shows the sales system of the present embodiment, which is realized by linking the processing of the purchaser terminal 100a explained in FIG. 3, the processing of the server device 100b explained in FIG. 4, and the processing of the
S700では、購入者端末100aにおいてQRコードの読み取り画面を開き、LV画像が表示された状態で、購入者120が購入者端末100aのカメラ部112aをQRコード160に向ける。
In S700, a QR code reading screen is opened on the purchaser terminal 100a, and the purchaser 120 points the
S701では、購入者端末100aのカメラ部112aでQRコード160の撮影、読み取りが行われる(S304Yes)。
In S701, the
S702では、購入者端末100aからサーバ装置100bに棚IDとユーザーIDが送信される(S313)。 In S702, the shelf ID and user ID are transmitted from the purchaser terminal 100a to the server device 100b (S313).
S703では、サーバ装置100bにおいてチェックイン処理が行われる(S405)。 In S703, check-in processing is performed in the server apparatus 100b (S405).
S704でサーバ装置100bからエッジPC100cにチェックイン完了通知が送信され(S406)、これに応じてS705ではエッジPCでのチェックイン(S604)と、音声ガイドの出力(S605)が行われる。
In S704, the server apparatus 100b transmits a check-in completion notification to the
S706でサーバ装置100bから購入者端末100aにチェックイン完了通知が送信され(S406)、これに応じてS707で購入者端末100aにおける空カート表示が行われる(S320)。 In S706, a check-in completion notice is transmitted from the server device 100b to the purchaser terminal 100a (S406), and in response to this, an empty cart is displayed on the purchaser terminal 100a in S707 (S320).
S708で、購入者120が棚130から商品を取り出す。 At S<b>708 , the purchaser 120 removes the item from the shelf 130 .
S709では、エッジPC100cで商品が取り出されたことを検知し(S606Yes)、棚IDと商品認識スコアをサーバ装置100bに送信する(S608)。
In S709, the
S710では、サーバ装置100bで商品判定を行い(S408)、カート内の商品を更新する(S409)。 In S710, the server device 100b performs product determination (S408), and updates the products in the cart (S409).
S711では、サーバ装置100bから購入者端末100aにカート情報の更新通知を送信する(S410)。 In S711, the server device 100b transmits a cart information update notification to the purchaser terminal 100a (S410).
S712では、購入者端末100aにおいてカートの表示を更新する。この例では、この状態で、S708で取り出した商品がカートに入った商品ありのカート表示となる(S330)。 In S712, the display of the cart is updated on the purchaser terminal 100a. In this example, in this state, the cart display shows that the product taken out in S708 is in the cart (S330).
S713では、購入者120が中止指示アイコン814をタッチする中止操作を行う。
In S<b>713 , the purchaser 120 performs a cancellation operation by touching the
S714では、中止操作に応じて、購入者端末100aからサーバ装置100bに中止指示を送信する(S335)。 In S714, a cancellation instruction is transmitted from the purchaser terminal 100a to the server device 100b in response to the cancellation operation (S335).
S715では、カートに商品が入っているため、購入者端末100aにおいて返却メッセージを表示する(S336)。 In S715, since there are products in the cart, a return message is displayed on the purchaser terminal 100a (S336).
S716では、返却メッセージを見た購入者120が、S708で取り出した商品を、棚130に戻す(返却する)。 In S716, the purchaser 120 who saw the return message returns (returns) the product taken out in S708 to the shelf 130. FIG.
S717では、エッジPC100cが、カメラ140で撮影された画像に基づいて商品が返却されたことを検知し(S606)、棚IDと返却された商品認識スコアをサーバ装置100bに送信する(S608)。
In S717, the
S718では、サーバ装置100bにおいて、受信した棚IDと商品認識スコアに基づいて返却された商品を判定(特定)し(S415)、カート内の商品を更新する(S416)。すなわち、カートに入っていた商品のうち返却された商品を削除する。 In S718, the server device 100b determines (identifies) the returned product based on the received shelf ID and product recognition score (S415), and updates the product in the cart (S416). In other words, the returned item among the items in the cart is deleted.
S719では、カート情報の更新通知をサーバ装置100bから購入者端末100aに送信する(S416)。 In S719, a cart information update notification is transmitted from the server device 100b to the purchaser terminal 100a (S416).
S720では、S708で取り出された商品が返却されたためカートに商品が無い状態となったため(S413No)、S714で送信された中止指示に応じてチェックアウト処理を行う(S420)。 In S720, since the product taken out in S708 has been returned and there is no product in the cart (No in S413), checkout processing is performed according to the cancellation instruction transmitted in S714 (S420).
S721では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S722では、エッジPC100cがチェックアウト完了通知に応じて、棚130の状態を非チェックインとする(S611)。
In S721, a checkout completion notice is transmitted from the server device 100b to the
S722では、サーバ装置100bからエッジPC100cにチェックアウト完了通知を送信する(S421)。S724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後(S339)、QRコード読み取り画面でLV表示を行う。
In S722, the server apparatus 100b transmits a checkout completion notification to the
また、別のケースとして、カートに商品が入っている状態で、S730で購入者120が購入指示アイコン813をタッチする購入指示の操作を行うと、S731で、購入者端末100aからサーバ装置100bに決済指示の通知を送信する。
In another case, when the
S732では、サーバ装置100bにおいて、決済指示の通知に応じて、決済サービス170を用いた決済処理を行う。決済を行うとカートの商品をクリアし、S733でチェックアウト処理を行う。
In S732, the server device 100b performs payment processing using the
S734では、サーバ装置100bからエッジPC100cにチェックアウト完了通知が送信され、S735で
エッジPC100cが棚130の状態を非チェックインとする。
In S734, the server apparatus 100b transmits a check-out completion notification to the
S736では、サーバ装置100bから購入者端末100aにチェックアウト完了通知を送信する。SS724では、チャックアウト完了通知に応じて、購入者端末100aにおいてチェックアウト画面を表示した後、QRコード読み取り画面でLV表示を行う(S301)。 In S736, a checkout completion notice is transmitted from the server device 100b to the purchaser terminal 100a. At SS724, after the checkout screen is displayed on the purchaser terminal 100a in response to the checkout completion notification, the LV is displayed on the QR code reading screen (S301).
以上説明した本実施形態によれば、商品の管理や販売に関するより好適なシステムを提供することができる。 According to the present embodiment described above, it is possible to provide a more suitable system for managing and selling merchandise.
また、本実施形態の販売システムは、図7のシーケンス図からも明らかなとおり、購入者端末100aとエッジPC100cとが直接通信する必要がない。すなわち、本実施形態においては、購入者端末100aと前記エッジPC100cは直接の通信確立を行わない。従って、購入者端末100aとエッジPC100cとが直接通信するための機能が無い装置も、購入者端末100aとして利用することができる。購入者端末100aとエッジPC100cとが直接通信するための機能としては、例えば、NFC(Near field communication)やBluetooth(商標)などの近距離無線通信機能がある。しかし、安価なスマートフォンや携帯電話端末などの電子機器には、カメラ部を備えていても、NFCやBluetoothの機能は有していないものが存在する。本実施形態の販売システムでは、そのようなNFCやBluetoothの機能を有していない電子機器でも購入者端末100aとして用いて買い物を行うことができる。すなわち、近距離無線通信機能の無い電子機器のユーザーの購入機会を妨げ、近距離無線通信機能を有する電子機器を所有するユーザーだけに購入者が限られてしまうということを防止することができる。言い換えれば、より幅広いユーザーが購入することが可能であり、販売機会の増大に寄与する。すなわち、より多くのユーザーが利用可能な販売システムを提供することができる。
Further, in the sales system of this embodiment, as is clear from the sequence diagram of FIG. 7, there is no need for direct communication between the purchaser terminal 100a and the
また、購入者端末100aとエッジPC100cとが直接通信する必要がないため、エッジPC100cと接続された近距離無線通信の送受信機などの機器を商品棚130の近辺に設置する必要がない。従って設置スペースの増加や設置コストの増大も抑えることができる。
In addition, since there is no need for direct communication between the purchaser terminal 100a and the
また、購入者端末100aとエッジPC100cとの通信を行おうとする場合、NFCで接続したのちにBluetoothにハンドオーバーするといった通信の仕方が考えられる。この場合、NFCは有効通信距離が10cm程度と短く、NFCの送受信機をユーザーが手の届くところに設置しないといけないという設置場所の制約が発生する。また、Bluetoothを用いる場合、購入者端末100aで他の機器とBluetooth接続を行っていた場合に、元の接続を一度切断しなければならない場合があるという不利益がある。例えば、Bluetoothイヤホンで音楽を聴いたまま購入を行えないといったことが発生する。本実施形態の販売システムであれば、購入者端末100aとエッジPC100cとが直接通信する必要がないためこのような課題も解決される。
Further, when communication between the purchaser terminal 100a and the
また、本実施形態の販売システムでは、購入者120が棚130に載置された商品を購入する際にエッジPC100cに対して何等か操作や入力をする必要がない。従って、棚130に操作や入力を受け付けるための装置を設置する必要がなく、販売スペースの増大や設置コストの増加を抑えることができる。また、決済も購入者端末100aとサーバ装置100bとの処理によって実行されるため、現金授受のための装置や、クレジットカードの読み取り装置といった決済のための装置を設置する必要が無く、設置スペース、設置コストを低減できる。
In addition, in the sales system of this embodiment, when the purchaser 120 purchases a product placed on the shelf 130, there is no need to perform any operation or input to the
なお、上述の実施形態においては、商品の陳列場所として商品棚130を例に挙げたが、これに限るものではなく、陳列場所は、購入者が商品を取り出せる場所であれば棚以外の場所であってもよい。 In the above-described embodiment, the product shelf 130 is used as an example of the product display location, but the display location is not limited to this, and any place other than the shelf can be used as long as the purchaser can take out the product. There may be.
また、上述の実施形態は、商品の販売の代わりに商品の在庫補充などの場合にも適用可能である。すなわち、本実施形態は、販売システムや在庫管理システムを含む商品管理システムに適用可能である。在庫管理の場合、上述の購入者120を在庫補充者に置き換え、商品を戻したことの検知を在庫を補充したことの検知に置き換え、商品を取り出したことの検知を商品の陳列を取りやめるために商品を取り出したことの検知に置き換えれば適用可能である。すなわち、在庫補充者が所有する端末でQRコード160を読み取ることで在庫補充者が棚130にチェックインする。チェックインした状態で在庫補充や陳列している商品の交換等を行えるようにして、チェックインしていない状態での作業はエラーとして上述した各種通知を行うようにしてもよい。
Also, the above-described embodiments can be applied to cases such as product inventory replenishment instead of product sales. That is, this embodiment is applicable to product management systems including sales systems and inventory management systems. In the case of inventory management, the above-mentioned purchaser 120 is replaced with an inventory replenisher, the detection of product return is replaced with the detection of inventory replenishment, and the detection of product removal is used to cancel the display of products. It can be applied by replacing it with the detection of taking out the product. That is, the inventory replenisher checks in the shelf 130 by reading the
なお、CPU101a、101b、101cが行うものとして説明した上述の各種制御は、それぞれ1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
Note that the various controls described above that are performed by the
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である Moreover, although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms within the scope of the gist of the present invention can be applied to the present invention. included. Furthermore, each embodiment described above merely shows one embodiment of the present invention, and it is also possible to combine each embodiment as appropriate.
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置の1つ以上のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, the software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and one or more computers (or CPU, MPU, etc.) of the system or device execute the program. This is the process of reading and executing the code. In this case, the program and the storage medium storing the program constitute the present invention.
100a:購入者端末 100b:サーバ装置 100c:エッジPC 130:棚
100a: purchaser terminal 100b:
Claims (13)
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知手段と、
前記検知手段での検知内容を前記情報処理装置に送信するように制御する第1の制御手段と、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御手段と
を有し、
前記情報処理装置の前記第2の制御手段は、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システム。 An information processing system including an information processing device and a terminal device,
The terminal device
a detection means for detecting a phenomenon in which a product is taken out from a display place;
a first control means for controlling to transmit the detection contents of the detection means to the information processing device;
has
The information processing device is
a second control means for transmitting product information based on the detected content received from the terminal device to an electronic device and controlling such that the product information is displayed on the electronic device;
The second control means of the information processing apparatus receives display location information for identifying the display location received from the electronic device and user information for identifying the electronic device or the user of the electronic device. are controlled so as to be associated with each other.
前記端末装置の前記第1の制御手段は、前記情報処理装置から受信した前記通知に基づき、前記陳列場所が前記ユーザー情報に関連付けられた状態であるか否かを判定するように制御することを特徴とする請求項1に記載の情報処理システム。 The second control means of the information processing device controls to transmit a notification to the effect that the association processing has been performed to the terminal device corresponding to the display location information when the association processing is performed,
The first control means of the terminal device controls to determine whether or not the display location is associated with the user information based on the notification received from the information processing device. 2. The information processing system according to claim 1 .
前記関連付けられた状態で前記陳列場所から前記商品が取り出される現象が検知された場合には前記検知内容を前記情報処理装置に送信し、
前記関連付けられた状態でない状態で前記陳列場所から前記商品が取り出される現象が検知された場合にはエラー通知を出力する
ように制御することを特徴とする請求項2に記載の情報処理システム。 The first control means of the terminal device,
when a phenomenon in which the product is taken out from the display place in the associated state is detected, the content of the detection is transmitted to the information processing device;
3. The information processing system according to claim 2 , wherein control is performed so as to output an error notification when a phenomenon in which the product is taken out from the display area in a state in which the product is not in the associated state is detected.
前記情報処理装置の前記第2の制御手段は、前記電子機器で受信された前記商品情報が表す商品を購入するための決済指示が前記電子機器で受け付けられたことを前記電子機器から受信すると、前記決済指示に基づく決済を行うように制御する
ことを特徴とする請求項1乃至9のいずれか1項に記載の情報処理システム。 The electronic device further has reception means for receiving a payment instruction for purchasing the product represented by the product information received from the information processing device,
When the second control means of the information processing apparatus receives from the electronic device that a payment instruction for purchasing the product indicated by the product information received by the electronic device has been received from the electronic device, 10. The information processing system according to any one of claims 1 to 9, wherein control is performed so that payment is made based on the payment instruction.
前記端末装置は、
陳列場所から商品が取り出される現象を検知する検知ステップと、
前記検知ステップでの検知内容を前記情報処理装置に送信するように制御する第1の制御ステップと、
を有し、
前記情報処理装置は、
前記端末装置から受信した前記検知内容に基づく商品情報を電子機器に送信して、前記電子機器に前記商品情報が表示されるように制御する第2の制御ステップと
を有し、
前記情報処理装置の前記第2の制御ステップは、前記電子機器から受信した、前記陳列場所を識別するための陳列場所情報と、前記電子機器あるいは前記電子機器のユーザーを識別するためのユーザー情報とを、互いに関連付け処理をするように制御することを特徴とする情報処理システムの制御方法。 A control method for an information processing system including an information processing device and a terminal device,
The terminal device
a detection step for detecting a phenomenon in which the product is taken out from the display;
a first control step of controlling to transmit the detection content of the detection step to the information processing device;
has
The information processing device is
a second control step of transmitting product information based on the detected content received from the terminal device to an electronic device and controlling the electronic device to display the product information;
The second control step of the information processing apparatus includes displaying display location information for identifying the display location received from the electronic device and user information for identifying the electronic device or the user of the electronic device. A control method for an information processing system, comprising: controlling to associate each other with each other.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021144452A JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021144452A JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023037712A JP2023037712A (en) | 2023-03-16 |
JP7290842B2 true JP7290842B2 (en) | 2023-06-14 |
Family
ID=85514204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021144452A Active JP7290842B2 (en) | 2021-09-06 | 2021-09-06 | Information processing system, information processing system control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290842B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335409A (en) | 2019-06-14 | 2019-10-15 | 合肥美的智能科技有限公司 | Retail units and its control method and machine readable storage medium |
JP2019181499A (en) | 2018-04-05 | 2019-10-24 | パナソニックIpマネジメント株式会社 | Roll press apparatus and powder compact manufacturing method |
JP2021093649A (en) | 2019-12-11 | 2021-06-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210027318A1 (en) * | 2018-03-20 | 2021-01-28 | Nec Corporation | Store management device and store management method |
-
2021
- 2021-09-06 JP JP2021144452A patent/JP7290842B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019181499A (en) | 2018-04-05 | 2019-10-24 | パナソニックIpマネジメント株式会社 | Roll press apparatus and powder compact manufacturing method |
CN110335409A (en) | 2019-06-14 | 2019-10-15 | 合肥美的智能科技有限公司 | Retail units and its control method and machine readable storage medium |
JP2021093649A (en) | 2019-12-11 | 2021-06-17 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, method for controlling information processing apparatus, and program |
Non-Patent Citations (1)
Title |
---|
Brandon Lewis,With Edge AI, Tomorrow’s Autonomous Store Is Here Today [online],2020年02月07日,[2022年12月16日検索],インターネット:<URL: https://www.insight.tech/content/with-edge-ai-tomorrow-s-autonomous-store-is-here-today> |
Also Published As
Publication number | Publication date |
---|---|
JP2023037712A (en) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6303160B1 (en) | Purchase product settlement support system | |
US20180253604A1 (en) | Portable computing device installed in or mountable to a shopping cart | |
JP6261197B2 (en) | Display control apparatus, display control method, and program | |
JPWO2019181499A1 (en) | Store management device and store management method | |
JP2021536619A (en) | Scan omission identification methods and devices, self-service cache register terminals and systems | |
JP7225434B2 (en) | Information processing system | |
JP5928592B2 (en) | Information processing apparatus and screen setting method | |
CN115516533A (en) | Checkout payment device and checkout payment system | |
US12051093B2 (en) | Shopping support system and shopping support method | |
JP6687199B2 (en) | Product shelf position registration program and information processing device | |
JP2021152895A (en) | Reading device, commodity registration device and recording medium | |
KR20220025354A (en) | Apparatus and method for providing customized unmanned stores provided according to the unmanned store environment | |
CN115516532B (en) | Checkout payment device and checkout payment system | |
JP5412457B2 (en) | Product purchasing device and program | |
JP7290842B2 (en) | Information processing system, information processing system control method, and program | |
US11651416B2 (en) | Goods purchase analysis assist system | |
JP2023037714A (en) | Information processing apparatus, method for controlling information processing apparatus, and program | |
JP2023037716A (en) | Program, electronic apparatus control method, and electronic apparatus | |
WO2022158494A1 (en) | Display device and display method | |
JP2004146902A (en) | Apparatus and program for outputting outdoor message | |
JP7417119B2 (en) | Information processing systems, information processing system control methods, electronic devices, programs | |
JP6798529B2 (en) | Information processing equipment, information processing systems, sales promotion methods and programs | |
US20170083891A1 (en) | Information processing apparatus and information processing method | |
JP2024078756A (en) | Information processing system, method of controlling information processing system, electronic device, and program | |
US20230259914A1 (en) | Display processing apparatus, transaction support apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7290842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |