JP5412457B2

JP5412457B2 - Product purchasing device and program

Info

Publication number: JP5412457B2
Application number: JP2011073376A
Authority: JP
Inventors: 雅彦水口
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2011-03-29
Filing date: 2011-03-29
Publication date: 2014-02-12
Anticipated expiration: 2031-03-29
Also published as: JP2012208702A

Description

本発明の実施形態は、商品購入装置およびプログラムに関する。 Embodiments of the present invention is directed to purchase equipment you and program.

日常生活において買物をしたいが、何らかの理由により店舗に行けない場合、顧客は、インターネットで注文を受け付けて、既存店舗から個人宅まで注文を受け付けた商品を配達する買物代行宅配サービスを利用して買物を行う（特許文献１参照）。 If you want to shop in daily life, but you cannot go to the store for any reason, customers can use the shopping agency courier service that accepts orders from the Internet and delivers the ordered products from existing stores to private homes. (See Patent Document 1).

ところで、買物代行宅配サービスなどのネットスーパーを利用して買物を行う場合、顧客は、店舗に陳列されている商品の商品コードなどの商品の情報が必要となる。しかしながら、ネットスーパーを利用して買物を行う顧客は、実際の店舗に出向くことができない場合が多いため、店舗に在庫として蓄えられている商品の情報を知るすべがなく、顧客が欲しい商品を買物することができない、という課題がある。 By the way, when shopping using a net supermarket such as a shopping agency home delivery service, the customer needs information on a product such as a product code of a product displayed in the store. However, customers who shop using online supermarkets often cannot go to actual stores, so there is no way to know information about products stored in stores, and customers can purchase products they want. There is a problem that it cannot be done.

実施形態の商品購入装置は、受信部と、送信部と、登録部と、を備える。前記受信部は、店舗に陳列された商品を撮影した複数のフレームから構成され当該フレームに撮影時刻が付加された動画像を表示しかつ前記動画像における注文を受けた商品の位置を示す位置情報を受け付ける商品注文装置と接続されたサーバから、前記位置情報および当該位置情報が受け付けられた時刻が前記撮影時刻として付加された前記フレームを受信する。前記送信部は、受信した前記フレームにおいて受信した前記位置情報が示す位置の商品の特定商品画像を前記商品注文装置に送信して、前記特定商品画像を前記商品注文装置に表示させる。前記登録部は、前記特定商品画像を送信した後、前記商品注文装置から、注文を受けた商品の登録許可を示す確認結果を受信した場合に、受信した前記位置情報が示す位置の商品を登録する。 The product purchasing apparatus according to the embodiment includes a reception unit, a transmission unit, and a registration unit. The receiving unit displays position information indicating a position of an ordered product in the moving image, displaying a moving image composed of a plurality of frames in which the item displayed in the store is imaged and having a shooting time added to the frame. from a server connected to the product ordering device for receiving a time in which the position information and the position information is received to receive the added the frame as the imaging time. The transmission unit transmits the specific commodity image of the commodity of the position indicated by the position information received in the previous SL frame it receives the product order device to display the specific goods image on the product order device. The registration unit, after transmitting the specific goods image, from the product order device, when receiving the check result indicating the registration permission of the product which has received an order, the position of the product indicated by the position information it receives sign up.

図１は、本実施形態にかかる買物システムの全体構成を概略的に示すシステム構成図である。FIG. 1 is a system configuration diagram schematically showing the overall configuration of the shopping system according to the present embodiment. 図２は、ショッピングカートに搭載されたＷｅｂカメラによって店舗内の商品陳列状態を撮影する様子を示す図である。FIG. 2 is a diagram illustrating a state in which a product display state in a store is photographed by a Web camera mounted on a shopping cart. 図３は、店員端末のハードウェア構成を示すブロック図である。FIG. 3 is a block diagram illustrating a hardware configuration of the clerk terminal. 図４は、サーバのハードウェア構成を示すブロック図である。FIG. 4 is a block diagram illustrating a hardware configuration of the server. 図５は、商品画像ファイルのデータ構成を示す図である。FIG. 5 is a diagram showing the data structure of the product image file. 図６は、商品マスタファイルのデータ構成を示す図である。FIG. 6 is a diagram showing the data structure of the product master file. 図７は、注文主マスタファイルのデータ構成を示す図である。FIG. 7 shows the data structure of the orderer master file. 図８は、注文主端末のハードウェア構成を示すブロック図である。FIG. 8 is a block diagram showing a hardware configuration of the orderer terminal. 図９は、店員端末の機能構成を示すブロック図である。FIG. 9 is a block diagram illustrating a functional configuration of the clerk terminal. 図１０は、サーバの機能構成を示すブロック図である。FIG. 10 is a block diagram illustrating a functional configuration of the server. 図１１は、注文主端末の機能構成を示すブロック図である。FIG. 11 is a block diagram showing a functional configuration of the orderer terminal. 図１２は、本実施形態にかかる買物システムにおける商品の登録処理の流れを示すシーケンス図である。FIG. 12 is a sequence diagram showing a flow of product registration processing in the shopping system according to the present embodiment. 図１３は、動画像を含む商品注文画面の一例を示す図である。FIG. 13 is a diagram illustrating an example of a product order screen including a moving image. 図１４は、動画像を含む商品登録画面の一例を示す図である。FIG. 14 is a diagram illustrating an example of a product registration screen including a moving image. 図１５は、注文主端末から受信した変更指示を表す情報を含む商品登録画面の一例を示す図である。FIG. 15 is a diagram illustrating an example of a product registration screen including information indicating a change instruction received from the orderer terminal. 図１６は、Ｗｅｂカメラの撮影領域が変更された後の動画像を含む商品登録画面の一例を示す図である。FIG. 16 is a diagram illustrating an example of a product registration screen including a moving image after the shooting area of the Web camera is changed. 図１７は、動画像を構成するフレームに位置情報が示す位置を表す情報を重ね合わせた画像を含む商品登録画面の一例を示す図である。FIG. 17 is a diagram illustrating an example of a product registration screen including an image in which information representing a position indicated by position information is superimposed on a frame constituting a moving image. 図１８は、特定商品画像を含む商品注文画面の一例を示す図である。FIG. 18 is a diagram illustrating an example of a product order screen including a specific product image. 図１９は、特定商品画像を含む商品登録画面の一例を示す図である。FIG. 19 is a diagram illustrating an example of a product registration screen including a specific product image.

図１は、本実施形態にかかる買物システムの全体構成を概略的に示すシステム構成図である。図２は、ショッピングカートに搭載されたＷｅｂカメラによって店舗内の商品陳列状態を撮影する様子を示す図である。図１に示すように、買物システム１は、店員端末１０１およびＷｅｂカメラ１０６が取り付けられたショッピングカート１０５と、注文主の自宅等で使用され店舗に陳列された商品を注文する商品注文装置としての注文主端末１０２と、店舗のバックヤード等に設置された上位装置としてのサーバ１０３と、がインターネットや電話網などの通信回線であるネットワーク１０４を介して接続されている。 FIG. 1 is a system configuration diagram schematically showing the overall configuration of the shopping system according to the present embodiment. FIG. 2 is a diagram illustrating a state in which a product display state in a store is photographed by a Web camera mounted on a shopping cart. As shown in FIG. 1, the shopping system 1 is a shopping cart 105 to which a clerk terminal 101 and a web camera 106 are attached, and a product ordering apparatus that orders products displayed at a store used at the orderer's home or the like. An orderer terminal 102 and a server 103 as a host device installed in a backyard of a store are connected via a network 104 which is a communication line such as the Internet or a telephone network.

店員端末１０１およびＷｅｂカメラ１０６は、注文主端末１０２から注文を受けた商品の登録を行う商品購入装置を構成するものであり、店舗の天井等に設置される無線通信ユニット（図示しない）によってネットワーク１０４に接続されて、注文主端末１０２、およびサーバ１０３と無線通信を可能とされている。 The salesclerk terminal 101 and the Web camera 106 constitute a product purchase apparatus for registering a product ordered from the orderer terminal 102, and are networked by a wireless communication unit (not shown) installed on the ceiling of the store. 104, wireless communication with the orderer terminal 102 and the server 103 is enabled.

また、Ｗｅｂカメラ１０６は、ホルダ１０７によってショッピングカート１０５に取り付けられ、自身の撮影領域１０８内に入った商品陳列状態の画像を撮影するものである。本実施形態では、Ｗｅｂカメラ１０６は、店舗に設置された商品棚等に陳列された商品のうち撮影領域１０９に入った商品の動画像（商品画像）を撮影する。そして、Ｗｅｂカメラ１０６は、撮影した動画像を、図示しないＵＳＢ（Universal Serial Bus）ケーブル等のケーブルで接続された店員端末１０１に入力する。また、Ｗｅｂカメラ１０６は、後述する制御部３０１による制御に応じて、上下左右への首振りを行って、撮影領域１０８を変更することができるものとする。 The Web camera 106 is attached to the shopping cart 105 by a holder 107 and captures an image of a product display state that is in its own imaging area 108. In the present embodiment, the Web camera 106 captures a moving image (product image) of a product that has entered the imaging area 109 among products displayed on a product shelf or the like installed in a store. Then, the Web camera 106 inputs the captured moving image to the salesclerk terminal 101 connected by a cable such as a USB (Universal Serial Bus) cable (not shown). Further, it is assumed that the Web camera 106 can change the imaging region 108 by swinging up and down and left and right in accordance with control by the control unit 301 described later.

このような買物システム１では、まず、注文主が、注文主端末１０２を操作して、店員端末１０１に対して、所望の商品を特定する商品コードなどを送信して、商品の注文を行う。注文主端末１０２からの商品の注文を受けると、店員は、注文主端末１０２からの注文に従って、店舗内の各売り場をショッピングカート１０５を押しながら移動するとともに、注文を受けた商品をピッキングしてショッピングカート１０５に収納するとともにピッキングした商品の商品コードを登録する。 In such a shopping system 1, first, the orderer operates the orderer terminal 102 to transmit a product code specifying a desired product to the clerk terminal 101 to place an order for the product. Upon receiving an order for the product from the orderer terminal 102, the store clerk moves to each store in the store while pushing the shopping cart 105 according to the order from the orderer terminal 102 and picks the ordered product. The product code of the product stored in the shopping cart 105 and picked is registered.

そして、注文を受けた商品が商品棚に陳列されていないこと（つまり、在庫がなく欠品していること）を認識した場合、店員は、店員端末１０１を操作して、注文主端末１０２に対して商品の在庫がないことを通知するとともに、Ｗｅｂカメラ１０６により撮影した動画像（在庫がない商品の陳列場所の周囲の動画像）を注文主端末１０２に送信する。注文主は、店員端末１０１から受信した動画像を注文主端末１０２で見ながら、店員と音声などでコミュニケーションをとり、動画像に含まれる商品の中に注文した商品の代わりとなる商品（代替品）を見つけた場合、代替品を指示する。店員は、注文主が指示した代替品をピッキングするとともに、ピッキングした代替品の商品コードを登録する。 When the clerk recognizes that the ordered product is not displayed on the merchandise shelf (that is, it is out of stock and is out of stock), the clerk operates the clerk terminal 101 to display the orderer terminal 102. In addition to notifying that there is no product in stock, a moving image taken by the Web camera 106 (moving image around the display place of the product not in stock) is transmitted to the orderer terminal 102. The orderer communicates with the store clerk by voice or the like while viewing the moving image received from the clerk terminal 101 on the orderer terminal 102, and replaces the item ordered in the product included in the moving image (substitute item) ) If you find a replacement, order a replacement. The store clerk picks the substitute specified by the orderer and registers the product code of the picked substitute.

なお、本実施形態では、注文を受けた商品をピッキングしてショッピングカート１０５に収納しながら当該注文を受けた商品の登録を行う例ついて説明するが、これに限定するものではない。例えば、店員端末１０１を店員が自身の手で持ちかつＷｅｂカメラ１０６を店員の頭に固定（または、店員端末１０１に内蔵）するとともに、注文を受けた商品を商品籠内に収納しながら当該注文を受けた商品の登録を行っても良い。または、店員端末１０１を店員が自身の手で持ちかつＷｅｂカメラ１０６を店員の頭等に固定（または、店員端末１０１に内蔵）するとともに、注文を受けた商品のピッキングを行わず、当該注文を受けた商品の商品コードの登録を行っても良い。 In the present embodiment, an example in which an ordered product is picked up and stored in the shopping cart 105 while the ordered product is registered will be described, but the present invention is not limited to this. For example, the store clerk terminal 101 is held by the store clerk's hand and the Web camera 106 is fixed to the store clerk's head (or built in the store clerk terminal 101), and the ordered product is stored in the product basket while the order is received. You may register the received product. Alternatively, the clerk terminal 101 is held by the clerk's own hand and the Web camera 106 is fixed to the clerk's head or the like (or built in the clerk terminal 101), and the ordered product is not picked without picking up the ordered product. The product code of the received product may be registered.

また、本実施形態では、注文を受けた商品が欠品している場合に、Ｗｅｂカメラ１０６により撮影した動画像を注文主端末１０２に送信し、送信した動画像に含まれる商品の中から当該注文を受けた商品の代わりとなる代替品の指示を受けているが、これに限定するものではない。例えば、注文を受けた商品が欠品しているか否かに関わらず、Ｗｅｂカメラ１０６により撮影した動画像を注文主端末１０２に送信し、送信した動画像に含まれる商品の中から、注文する商品の指示を受けても良い。 In this embodiment, when the ordered product is missing, the moving image captured by the Web camera 106 is transmitted to the orderer terminal 102, and the item is included in the transmitted moving image. The user is instructed to substitute for a product that has been ordered, but the present invention is not limited to this. For example, regardless of whether the ordered product is missing or not, the moving image captured by the Web camera 106 is transmitted to the orderer terminal 102 and an order is placed from among the products included in the transmitted moving image. You may receive product instructions.

図３は、店員端末のハードウェア構成を示すブロック図である。店員端末２は、各部を駆動制御する制御部３０１を備える。制御部３０１は、各部を集中的に制御するＣＰＵ（Central Processing Unit）３０２に、バスライン３１２を介して、固定データを固定的に記憶するＲＯＭ（Read Only Memory）３０３と、可変データを書き換え自在に記憶してＣＰＵ３０２のワークエリア等として機能するＲＡＭ（Random Access Memory）３０４と、不揮発性メモリ３０５とが接続されている。ＲＡＭ３０４には、後述するスキャナ３０８により読み取られた商品コードの一覧である商品一覧などを記憶する記憶領域が設けられている。また、不揮発性メモリ３０５には、ＣＰＵ３０２により実行されるプログラムが記憶されている。 FIG. 3 is a block diagram illustrating a hardware configuration of the clerk terminal. The salesclerk terminal 2 includes a control unit 301 that drives and controls each unit. The control unit 301 can rewrite variable data to a ROM (Read Only Memory) 303 that stores fixed data in a fixed manner via a bus line 312 in a CPU (Central Processing Unit) 302 that centrally controls each unit. A RAM (Random Access Memory) 304 that functions as a work area of the CPU 302 and the like, and a nonvolatile memory 305 are connected. The RAM 304 is provided with a storage area for storing a product list that is a list of product codes read by a scanner 308 described later. The nonvolatile memory 305 stores a program executed by the CPU 302.

また、制御部３０１には、各種情報を表示する表示部としてのＬＣＤ３０６、ＬＣＤ３０６上に積層配置されて店員による操作を入力する入力部としてのタッチパネル３０７、注文を受けた商品に付されたバーコード等のコードシンボルから商品コードを読み取るスキャナ３０８、注文主と音声でコミュニケーションをとるためのヘッドセット３１０がバスライン３１２を介して接続されている。 Further, the control unit 301 includes an LCD 306 as a display unit for displaying various information, a touch panel 307 as an input unit that is arranged on the LCD 306 and inputs an operation by a store clerk, and a barcode attached to the ordered product. A scanner 308 for reading a product code from a code symbol such as a headset 310 for communicating with an orderer by voice is connected via a bus line 312.

さらに、制御部３０１には、無線通信装置３０９およびＵＳＢポート３１１がバスライン３１２を介して接続されている。無線通信装置３０９は、ネットワーク１０４により注文主端末１０２およびサーバ１０３との間の通信を実現する。ＵＳＢポート３１１は、Ｗｅｂカメラ１０６により撮影された動画像の入力を実現する。 Further, a wireless communication device 309 and a USB port 311 are connected to the control unit 301 via a bus line 312. The wireless communication device 309 realizes communication between the orderer terminal 102 and the server 103 via the network 104. The USB port 311 realizes input of moving images taken by the Web camera 106.

図４は、サーバのハードウェア構成を示すブロック図である。サーバ１０３は、各部を駆動制御する制御部４０１を備える。制御部４０１は、各部を集中的に制御するＣＰＵ４０２に、バスライン４０９を介して固定データを固定的に記憶するＲＯＭ４０３と、可変データを書き換え自在に記憶してワークエリア等として機能するＲＡＭ４０４と、が接続されている。また、制御部４０１には、バスライン４０９を介してＨＤＤ４０５も接続されている。ＨＤＤ４０５には、プログラム、商品画像ファイル５００（図５参照）、商品マスタファイル６００（図６参照）、注文主マスタファイル７００（図７参照）等が記憶されている。このＨＤＤ４０５に記憶されたプログラムおよび各種ファイル等は、その全部または一部がサーバ１０３の起動時にＲＡＭ４０４に移されて使用される。そして、制御部４０１には、バスライン４０９を介して表示部としてのＬＣＤ４０６、入力部としてのキーボード４０７も接続されている。また、サーバ１０３には、ネットワーク１０４を介して各装置と通信するためのライン通信装置４０８が備えられており、バスライン４０９を介して制御部４０１に接続されている。 FIG. 4 is a block diagram illustrating a hardware configuration of the server. The server 103 includes a control unit 401 that drives and controls each unit. The control unit 401 includes a CPU 403 that centrally controls each unit, a ROM 403 that fixedly stores fixed data via a bus line 409, a RAM 404 that stores variable data in a rewritable manner and functions as a work area, and the like. Is connected. The control unit 401 is also connected with an HDD 405 via a bus line 409. The HDD 405 stores a program, a product image file 500 (see FIG. 5), a product master file 600 (see FIG. 6), an orderer master file 700 (see FIG. 7), and the like. All or a part of the programs and various files stored in the HDD 405 are moved to the RAM 404 and used when the server 103 is activated. An LCD 406 as a display unit and a keyboard 407 as an input unit are also connected to the control unit 401 via a bus line 409. In addition, the server 103 is provided with a line communication device 408 for communicating with each device via the network 104, and is connected to the control unit 401 via the bus line 409.

図５は、商品画像ファイルのデータ構成を示す図である。商品画像ファイル５００は、図５に示すように、店員が操作する店員端末１０１を特定する店員端末ＩＤと、注文主が操作する注文主端末１０２を特定する注文主端末ＩＤと、店員端末１０１から注文主端末１０２に送信された動画像と、を対応付けて記憶する。なお、本実施形態では、商品画像ファイル５００に記憶された動画像を構成する各フレームには、Ｗｅｂカメラ１０６により撮影された時刻が付加されているものとする。 FIG. 5 is a diagram showing the data structure of the product image file. As shown in FIG. 5, the product image file 500 includes a clerk terminal ID that identifies the clerk terminal 101 that the clerk operates, an orderer terminal ID that identifies the orderer terminal 102 that the orderer operates, and the clerk terminal 101. The moving images transmitted to the orderer terminal 102 are stored in association with each other. In this embodiment, it is assumed that the time taken by the Web camera 106 is added to each frame constituting the moving image stored in the product image file 500.

図６は、商品マスタファイルのデータ構成を示す図である。商品マスタファイル６００は、図６に示すように、商品を特定する商品コードに対応付けて、商品の単価、商品の形態を示す商品画像、商品の名称を示す商品名称等を記憶する。 FIG. 6 is a diagram showing the data structure of the product master file. As shown in FIG. 6, the product master file 600 stores a unit price of a product, a product image indicating the form of the product, a product name indicating the name of the product, and the like in association with a product code specifying the product.

図７は、注文主マスタファイルのデータ構成を示す図である。注文主マスタファイル７００は、図７に示すように、注文主を特定する注文主ＩＤに対応付けて、注文主が操作する注文主端末１０２を特定する注文主端末ＩＤ、注文主の性別、注文主の家族構成、注文主が購入した商品の購買履歴、店員端末１０１において登録された商品を示す登録商品情報等を記憶する。 FIG. 7 shows the data structure of the orderer master file. As shown in FIG. 7, the orderer master file 700 is associated with an orderer ID that identifies the orderer, and is associated with the orderer terminal 102 operated by the orderer, the orderer terminal ID, the sex of the orderer, the order The main family structure, the purchase history of the product purchased by the orderer, registered product information indicating the product registered in the clerk terminal 101, and the like are stored.

図８は、注文主端末のハードウェア構成を示すブロック図である。注文主端末１０２は、各部を駆動制御する制御部８０１を備える。制御部８０１は、各部を集中的に制御するＣＰＵ８０２、バスライン８１１を介して固定データを固定的に記憶するＲＯＭ８０３、可変データを書き換え自在に記憶してワークエリア等として機能するＲＡＭ８０４とが接続されている。また、制御部８０１には、バスライン８１１を介してＨＤＤ８０５も接続されている。ＨＤＤ８０５には、プログラム等が記憶されている。このプログラム等は、その全部または一部が注文主端末１０２の起動時にＲＡＭ８０４に移されて使用される。そして、制御部８０１には、各種情報を表示する表示部としてのＬＣＤ８０６、ＬＣＤ８０６上に積層配置されて注文主による操作を入力する入力部としてのタッチパネル８０７、店員とコミュニケーションをとるために音声を入力するマイク８０８、および店員とコミュニケーションをとるために音声を出力するスピーカ８０９がバスライン８１１を介して接続されている。また、注文主端末１０２は、ネットワーク１０４を介して各装置と通信するためのライン通信装置８１０が備えられており、バスライン８１１を介して制御部８０１に接続されている。 FIG. 8 is a block diagram showing a hardware configuration of the orderer terminal. The orderer terminal 102 includes a control unit 801 that drives and controls each unit. The control unit 801 is connected to a CPU 802 that centrally controls each unit, a ROM 803 that fixedly stores fixed data via a bus line 811, and a RAM 804 that functions as a work area by storing variable data in a rewritable manner. ing. The control unit 801 is also connected with an HDD 805 via a bus line 811. The HDD 805 stores programs and the like. All or a part of this program or the like is transferred to the RAM 804 and used when the orderer terminal 102 is activated. The control unit 801 inputs an LCD 806 as a display unit for displaying various types of information, a touch panel 807 as an input unit that is arranged on the LCD 806 and inputs an operation performed by the orderer, and a voice for communicating with a store clerk. A microphone 808 that connects to the store clerk and a speaker 809 that outputs sound to communicate with the store clerk are connected via a bus line 811. The orderer terminal 102 includes a line communication device 810 for communicating with each device via the network 104, and is connected to the control unit 801 via the bus line 811.

次に、図９を用いて、店員端末１０１の機能構成をついて説明する。図９は、店員端末の機能構成を示すブロック図である。本実施形態にかかる店員端末１０１は、ＣＰＵ３０２が不揮発性メモリ３０５に記憶されたプログラムを実行することにより、送受信部９０１、登録部９０２、表示制御部９０３などが実現される。 Next, the functional configuration of the clerk terminal 101 will be described with reference to FIG. FIG. 9 is a block diagram illustrating a functional configuration of the clerk terminal. In the store clerk terminal 101 according to the present embodiment, a transmission / reception unit 901, a registration unit 902, a display control unit 903, and the like are realized by the CPU 302 executing a program stored in the nonvolatile memory 305.

送受信部９０１は、ＵＳＢポート３１１を介してＷｅｂカメラ１０６から入力された動画像を、サーバ１０３を介して注文主端末１０２に送信する。さらに、送受信部９０１は、注文主端末１０２に動画像を送信している間、サーバ１０３の商品画像ファイル５００から、注文主端末１０２に送信した動画像を受信する。これにより、送受信部９０１は、注文主端末１０１が店員端末１０１から送信された動画像を受信するタイミングに同期して、サーバ１０３から動画像を受信することができる。 The transmission / reception unit 901 transmits the moving image input from the Web camera 106 via the USB port 311 to the orderer terminal 102 via the server 103. Furthermore, the transmission / reception unit 901 receives the moving image transmitted to the orderer terminal 102 from the product image file 500 of the server 103 while transmitting the moving image to the orderer terminal 102. Accordingly, the transmission / reception unit 901 can receive a moving image from the server 103 in synchronization with the timing at which the orderer terminal 101 receives the moving image transmitted from the salesclerk terminal 101.

また、送受信部９０１は、注文主端末１０２に動画像を送信している間、注文主端末１０２から、店舗内に陳列された商品に近づくまたは離れる、上下左右へ撮影領域１０８の移動など、Ｗｅｂカメラ１０６の撮影領域１０８の変更指示を受信する。なお、送受信部９０１によって撮影領域１０８の上下左右への移動を変更指示として受信した場合、制御部３０１は、Ｗｅｂカメラ１０６の首振りによって、Ｗｅｂカメラ１０６の撮影領域１０８を上下左右に移動させる。 In addition, the transmission / reception unit 901 moves the shooting area 108 up and down, left and right, and the like, while moving a moving image to the orderer terminal 102, approaching or leaving the product displayed in the store. An instruction to change the shooting area 108 of the camera 106 is received. When the transmission / reception unit 901 receives movement of the shooting area 108 in the up / down / left / right directions as a change instruction, the control unit 301 moves the shooting area 108 of the Web camera 106 up / down / left / right by swinging the Web camera 106.

また、送受信部９０１によって店舗内に陳列された商品に近づくまたは離れることを変更指示として受信した場合、店員が、ショッピングカート１０５を前後に移動させることにより、Ｗｅｂカメラ１０６の撮影領域１０８を商品に近づけたり離したりするものとする。なお、Ｗｅｂカメラ１０６がズームアウトまたはズームインする機能を有している場合、制御部３０１は、Ｗｅｂカメラ１０６のズームアウトまたはズームインする機能を用いて、Ｗｅｂカメラ１０６の撮影領域１０８を商品に近づけたり離したりしても良い。 In addition, when a change instruction is received indicating that the product displayed in the store is approaching or leaving the store by the transmission / reception unit 901, the store clerk moves the shopping cart 105 back and forth so that the shooting area 108 of the Web camera 106 is converted into the product. It shall be approached and separated. Note that when the Web camera 106 has a function of zooming out or zooming in, the control unit 301 can use the zooming out or zooming in function of the Web camera 106 to bring the shooting area 108 of the Web camera 106 close to a product. It may be separated.

また、送受信部９０１は、注文主端末１０２に送信した動画像における、商品の位置を示す位置情報を、サーバ１０３を介して注文主端末１０２から受信する。本実施形態では、注文主端末１０２に送信した動画像は、格子状に複数の領域に分けられ、かつ各領域には固有の番号が付されているものとする。そして、送受信部９０１は、店員端末１０１に送信した動画像に含まれる領域のうち、注文主がタッチパネル８０７によりタッチ指定した領域に付された番号を、位置情報として注文主端末１０２から受信するものとする。 The transmission / reception unit 901 receives position information indicating the position of the product in the moving image transmitted to the orderer terminal 102 from the orderer terminal 102 via the server 103. In the present embodiment, it is assumed that the moving image transmitted to the orderer terminal 102 is divided into a plurality of areas in a grid pattern, and each area is given a unique number. Then, the transmission / reception unit 901 receives, from the orderer terminal 102, as position information, the number assigned to the area specified by the orderer using the touch panel 807 among the areas included in the moving image transmitted to the salesclerk terminal 101. And

また、送受信部９０１は、位置情報を受信した際、注文主端末１０２に送信した動画像を構成するフレームのうち、注文主端末１０２において位置情報の入力を受け付けた際に注文主端末１０２のＬＣＤ８０６に表示されたフレームに付加された時刻と同じ時刻が付加されたフレームをサーバ１０３から受信する。 In addition, the transmission / reception unit 901 receives the position information of the frames constituting the moving image transmitted to the orderer terminal 102 when the position information is received. A frame in which the same time as the time added to the frame displayed on is added from the server 103 is received.

また、送受信部９０１は、商品登録画面Ｄ（図１４参照）に表示された位置情報要求ボタン１４０３（図１４参照）が押下されて、注文主端末１０２に対して位置情報を再送信することが要求された場合、注文主端末１０２から、再度、位置情報を受信する。 Further, the transmission / reception unit 901 may retransmit the position information to the orderer terminal 102 when the position information request button 1403 (see FIG. 14) displayed on the product registration screen D (see FIG. 14) is pressed. When requested, the position information is received again from the orderer terminal 102.

また、送受信部９０１は、商品登録画面Ｄ（図１７参照）に表示された商品確認ボタン１７０４（図１７参照）が押下された場合、店員がＷｅｂカメラ１０６の撮影領域１０８に商品をかざして撮影された商品の画像を、注文主端末１０２から受信した位置情報が示す位置の商品の特定商品画像として注文主端末１０２に送信して、注文した商品の確認を要求する。そして、送受信部９０１は、注文主端末１０２から、注文した商品の登録許可または登録禁止など注文した商品の確認結果を注文主端末１０２から受信する。 In addition, when the product confirmation button 1704 (see FIG. 17) displayed on the product registration screen D (see FIG. 17) is pressed, the transmission / reception unit 901 takes a picture by holding the product over the photographing area 108 of the Web camera 106. The ordered product image is transmitted to the orderer terminal 102 as a specific product image of the product at the position indicated by the location information received from the orderer terminal 102, and a confirmation of the ordered product is requested. Then, the transmission / reception unit 901 receives from the orderer terminal 102 the confirmation result of the ordered product such as registration permission or registration prohibition of the ordered product from the orderer terminal 102.

また、送受信部９０１は、登録した商品の商品コードの送信を要求する送信要求および商品の登録の終了を要求する終了要求を受信する。そして、送受信部９０１は、受信した送信要求および終了要求に応答して、ＲＡＭ３０４に記憶させた商品コード（つまり、登録した商品の商品コード）を注文主端末１０２に送信する。 The transmission / reception unit 901 receives a transmission request for requesting transmission of a product code of a registered product and an end request for requesting completion of registration of the product. In response to the received transmission request and end request, the transmission / reception unit 901 transmits the product code stored in the RAM 304 (that is, the product code of the registered product) to the orderer terminal 102.

さらに、送受信部９０１は、店員との音声によるコミュニケーションを要求する音声通話要求を受信する。そして、送受信部９０１は、受信した音声通話要求に応じて、注文主端末１０２と店員端末１０１との間での音声による通話を実現する。具体的には、送受信部９０１は、ヘッドセット３１０が備えるマイクから入力された音声を注文主端末１０２に送信し、かつ注文主端末１０２から受信した音声をヘッドセット３１０が備えるヘッドフォンに出力する。 Furthermore, the transmission / reception unit 901 receives a voice call request for requesting voice communication with a store clerk. The transmission / reception unit 901 realizes a voice call between the orderer terminal 102 and the clerk terminal 101 in response to the received voice call request. Specifically, the transmission / reception unit 901 transmits the sound input from the microphone included in the headset 310 to the orderer terminal 102 and outputs the sound received from the orderer terminal 102 to the headphones included in the headset 310.

登録部９０２は、送受信部９０１によって注文主端末１０２から登録許可を受信した場合、送受信部９０１によってサーバ１０２から受信した動画像において、当該注文主端末１０２から受信した位置情報が示す位置の商品の商品コードを、スキャナ３０８から取得する。そして、登録部９０２は、スキャナ３０８から取得した商品コードをＲＡＭ３０４に記憶させて、商品の登録を行う。また、登録部９０２は、ＲＡＭ３０４に記憶させた商品コードをサーバ１０３に送信して、送信した商品コードを登録商品情報として注文主マスタファイル７００に記憶させる。 When the registration unit 902 receives registration permission from the orderer terminal 102 by the transmission / reception unit 901, in the moving image received from the server 102 by the transmission / reception unit 901, the registration unit 902 stores the product at the position indicated by the position information received from the orderer terminal 102. A product code is acquired from the scanner 308. Then, the registration unit 902 stores the product code acquired from the scanner 308 in the RAM 304 and registers the product. Also, the registration unit 902 transmits the product code stored in the RAM 304 to the server 103 and stores the transmitted product code in the orderer master file 700 as registered product information.

なお、本実施形態では、登録部９０２は、送受信部９０１によって注文主端末１０２から登録許可を受信するのを待って、商品の登録を行っているが、送受信部９０１によって注文主端末１０２から登録許可を受信するのを待たずに、注文主端末１０２から位置情報を受信した際に、商品の登録を行っても良い。 In the present embodiment, the registration unit 902 waits for the transmission / reception unit 901 to receive registration permission from the orderer terminal 102, and registers the product. However, the transmission / reception unit 901 performs registration from the orderer terminal 102. The product may be registered when position information is received from the orderer terminal 102 without waiting for permission to be received.

また、本実施形態では、登録部９０２が、スキャナ３０８から商品コードを取得する例について説明するが、これに限定するものではなく、例えば、登録部９０２は、タッチパネル１０７に表示されたソフトウェアキーボード（図示しない）から入力された商品コード、または送受信部９０１によってサーバ１０２から受信したフレームに含まれるコードシンボルから認識した商品コードを取得しても良い。 In this embodiment, an example in which the registration unit 902 acquires a product code from the scanner 308 is described. However, the present invention is not limited to this. For example, the registration unit 902 displays a software keyboard ( A product code input from (not shown) or a product code recognized from a code symbol included in a frame received from the server 102 by the transmission / reception unit 901 may be acquired.

表示制御部９０３は、送受信部９０１によってサーバ１０３から受信した動画像（Ｗｅｂカメラ１０６により撮影した動画像）を含む商品登録画面Ｄ（図１４参照）、送受信部９０１によってサーバ１０３から受信したフレームに、送受信部９０１により受信した位置情報の位置を表す情報（例えば、丸印など）を重ね合わせた画像を含む商品登録画面Ｄ（図１７参照）、送受信部９０１により注文主端末１０２に送信した特定商品画像を含む商品登録画面Ｄ（図１９参照）など、各種情報をＬＣＤ３０６に表示する。 The display control unit 903 displays the product registration screen D (see FIG. 14) including the moving image (moving image captured by the Web camera 106) received from the server 103 by the transmission / reception unit 901, and the frame received from the server 103 by the transmission / reception unit 901. The product registration screen D (see FIG. 17) including an image in which information (for example, a circle) representing the position of the position information received by the transmission / reception unit 901 is superimposed, and the identification transmitted to the orderer terminal 102 by the transmission / reception unit 901 Various information such as a product registration screen D (see FIG. 19) including product images is displayed on the LCD 306.

次に、図１０を用いて、サーバ１０３の機能構成について説明する。図１０は、サーバの機能構成を示すブロック図である。本実施形態にかかるサーバ１０３は、ＣＰＵ４０２がＨＤＤ４０５に記憶されたプログラムを実行することにより、送受信部１００１、格納部１００２などが実現される。 Next, the functional configuration of the server 103 will be described with reference to FIG. FIG. 10 is a block diagram illustrating a functional configuration of the server. The server 103 according to the present embodiment implements a transmission / reception unit 1001, a storage unit 1002, and the like when the CPU 402 executes a program stored in the HDD 405.

送受信部１００１は、店員端末１０１から送信された動画像を受信するとともに、受信した動画像を店員端末１０１および注文主端末１０２に送信する。 The transmission / reception unit 1001 receives the moving image transmitted from the clerk terminal 101 and transmits the received moving image to the clerk terminal 101 and the orderer terminal 102.

また、送受信部１００１は、注文主端末１０２において受け付けた位置情報、および当該位置情報が受け付けられた際に注文主端末１０２のＬＣＤ８０６に表示されたフレームに付加された時刻を受信する。そして、送受信部１００１は、商品画像ファイル５００に記憶された動画像を構成するフレームから、受信した時刻が付加されたフレームを読み出す。次いで、送受信部１００１は、読み出したフレームおよび位置情報を店員端末１０１に送信する。 Further, the transmitting / receiving unit 1001 receives the position information received at the orderer terminal 102 and the time added to the frame displayed on the LCD 806 of the orderer terminal 102 when the position information is received. Then, the transmission / reception unit 1001 reads out a frame to which the received time is added from the frames constituting the moving image stored in the product image file 500. Next, the transmission / reception unit 1001 transmits the read frame and position information to the clerk terminal 101.

さらに、送受信部１００１は、店員端末１０１から、登録された商品の商品コード（つまり、店員端末１０１のＲＡＭ３０４に記憶された商品コード）を受信する。 Further, the transmission / reception unit 1001 receives the product code of the registered product (that is, the product code stored in the RAM 304 of the store clerk terminal 101) from the store clerk terminal 101.

格納部１００２は、送受信部１００１により店員端末１０１から受信した動画像を、商品画像ファイル５００に格納するものである。また、格納部１００２は、送受信部１００１により店員端末１０１から受信した商品コードを登録商品情報として注文主マスタファイル７００に格納する。 The storage unit 1002 stores the moving image received from the salesclerk terminal 101 by the transmission / reception unit 1001 in the product image file 500. The storage unit 1002 stores the product code received from the salesclerk terminal 101 by the transmission / reception unit 1001 in the orderer master file 700 as registered product information.

次に、図１１を用いて、注文主端末１０２の機能構成について説明する。図１１は、注文主端末の機能構成を示すブロック図である。本実施形態にかかる注文主端末１０２は、ＣＰＵ８０２がＨＤＤ８０５に記憶されたプログラムを実行することにより、送受信部１１０１、表示制御部１１０２、受付部１１０３などが実現される。 Next, the functional configuration of the orderer terminal 102 will be described with reference to FIG. FIG. 11 is a block diagram showing a functional configuration of the orderer terminal. The orderer terminal 102 according to the present embodiment implements a transmission / reception unit 1101, a display control unit 1102, a reception unit 1103, and the like by the CPU 802 executing a program stored in the HDD 805.

表示制御部１１０２は、店員端末１０１から受信した動画像を含む商品注文画面Ｅ（図１３参照）や、店員端末１０１から受信した特定商品画像を含む商品注文画面Ｅ（図１８参照）などの各種情報をＬＣＤ８０６に表示する。 The display control unit 1102 includes various items such as a product order screen E including a moving image received from the clerk terminal 101 (see FIG. 13) and a product order screen E including a specific product image received from the clerk terminal 101 (see FIG. 18). Information is displayed on the LCD 806.

受付部１１０３は、商品注文画面Ｅ（図１３参照）に表示された動画像における、注文する商品の位置（つまり、注文主がタッチパネル８０７にタッチ指定した位置）を示す位置情報を受け付けるものである。また、受付部１１０３は、店員端末１０１から位置情報の再送信の要求を受信した場合に、再度、位置情報を受け付ける。なお、本実施形態では、商品注文画面Ｅ（図１３参照）に表示された動画像に含まれる複数の領域のうち、注文主がタッチ指定した領域に付された固有の番号を、位置情報として受け付けるものとする。 The accepting unit 1103 accepts position information indicating the position of the product to be ordered (that is, the position designated by the orderer touching the touch panel 807) in the moving image displayed on the product ordering screen E (see FIG. 13). . In addition, when the reception unit 1103 receives a request for retransmission of position information from the clerk terminal 101, the reception unit 1103 receives position information again. In the present embodiment, among the plurality of areas included in the moving image displayed on the product order screen E (see FIG. 13), a unique number assigned to the area designated by the orderer is specified as the position information. It shall be accepted.

送受信部１１０１は、店員端末１０１から送信された動画像を、サーバ１０３を介して受信する。 The transmission / reception unit 1101 receives the moving image transmitted from the salesclerk terminal 101 via the server 103.

また、送受信部１１０１は、店員端末１０１から受信した動画像が表示された商品注文画面Ｅ（図１３参照）に含まれる撮影領域変更ボタン１３０２〜１３０３（図１３参照）が押下されて、Ｗｅｂカメラ１０６の撮影領域１０８の変更が要求された場合、Ｗｅｂカメラ１０６の撮影領域１０８の変更要求を店員端末１０１に送信する。 In addition, the transmission / reception unit 1101 presses the shooting area change buttons 1302 to 1303 (see FIG. 13) included in the product order screen E (see FIG. 13) on which the moving image received from the clerk terminal 101 is displayed, and the Web camera When a change in the shooting area 108 of 106 is requested, a change request for the shooting area 108 of the Web camera 106 is transmitted to the clerk terminal 101.

また、送受信部１１０１は、受付部１１０３により受け付けた位置情報を、サーバ１０３を介して店員端末１０１に送信する。さらに、送受信部１１０１は、店員端末１０１から位置情報の再送信の要求を受信した場合、受付部１１０３により再度受け付けた位置情報を、サーバ１０３を介して店員端末１０１に再送信する。なお、本実施形態では、送受信部１１０１は、店員端末１０１に位置情報を送信する際、受付部１１０３により位置情報を受け付けた際にＬＣＤ８０６に表示されたフレームに付加された時刻をサーバ１０３に送信するものとする。 In addition, the transmission / reception unit 1101 transmits the position information received by the reception unit 1103 to the clerk terminal 101 via the server 103. Furthermore, when the transmission / reception unit 1101 receives a request for retransmission of position information from the salesclerk terminal 101, the transmission / reception unit 1101 retransmits the position information received again by the reception unit 1103 to the salesclerk terminal 101 via the server 103. In this embodiment, the transmission / reception unit 1101 transmits the time added to the frame displayed on the LCD 806 to the server 103 when the position information is received by the reception unit 1103 when transmitting the position information to the clerk terminal 101. It shall be.

また、送受信部１１０１は、店員端末１０１から、特定商品画像を受信する。そして、送受信部１１０１は、受信した特定商品画像が表示された商品注文画面Ｅ（図１８参照）に含まれる確認結果ボタン１８０４（図１８参照）が押下された場合、押下された確認結果ボタン１８０４に応じた確認結果（商品の登録許可または登録禁止）を店員端末１０１に送信する。 The transmission / reception unit 1101 receives a specific product image from the salesclerk terminal 101. When the confirmation result button 1804 (see FIG. 18) included in the product order screen E (see FIG. 18) on which the received specific product image is displayed is pressed, the transmission / reception unit 1101 presses the confirmation result button 1804 that is pressed. A confirmation result (product registration permission or registration prohibition) is transmitted to the clerk terminal 101.

また、送受信部１１０１は、商品注文画面Ｅ（図１８参照）に含まれる送信要求ボタン１８０６が押下された場合、登録した商品の商品コードの送信を要求する送信要求を、店員端末１０１に送信する。そして、送受信部１１０１は、送信した送信要求に応じて店員端末１０１から送信された商品コードを受信する。 When the transmission request button 1806 included in the product order screen E (see FIG. 18) is pressed, the transmission / reception unit 1101 transmits a transmission request for requesting transmission of the product code of the registered product to the salesclerk terminal 101. . The transmission / reception unit 1101 receives the product code transmitted from the salesclerk terminal 101 in response to the transmitted transmission request.

また、送受信部１１０１は、商品注文画面Ｅ（図１８参照）に含まれる終了要求ボタン１８０５が押下された場合、商品の登録の終了を要求する終了要求を、店員端末１０１に送信する。そして、送受信部１１０１は、終了要求に応じて店員端末１０１から送信された商品コードを受信する。 In addition, when the end request button 1805 included in the product order screen E (see FIG. 18) is pressed, the transmission / reception unit 1101 transmits an end request for requesting the end of product registration to the clerk terminal 101. And the transmission / reception part 1101 receives the merchandise code transmitted from the salesclerk terminal 101 in response to the termination request.

さらに、送受信部１１０１は、商品注文画面Ｅ（図１３参照）に含まれる音声通話ボタン１３０４が押下された場合、店員との音声によるコミュニケーションを要求する音声通話要求を店員端末１０１に送信する。そして、送受信部１１０１は、店員端末１０１と注文主端末１０２との間で音声による通話を実現する。具体的には、送受信部１１０１は、マイク８０８から入力された音声を店員端末１０１に送信し、かつ店員端末１０１から受信した音声をスピーカ８０９に出力する。 Furthermore, when the voice call button 1304 included in the product order screen E (see FIG. 13) is pressed, the transmission / reception unit 1101 transmits a voice call request for requesting voice communication with the clerk to the clerk terminal 101. Then, the transmission / reception unit 1101 realizes a voice call between the clerk terminal 101 and the orderer terminal 102. Specifically, the transmission / reception unit 1101 transmits the voice input from the microphone 808 to the clerk terminal 101 and outputs the voice received from the clerk terminal 101 to the speaker 809.

次に、図１２を用いて、本実施形態にかかる買物システム１における商品の登録処理の流れについて説明する。図１２は、本実施形態にかかる買物システムにおける商品の登録処理の流れを示すシーケンス図である。 Next, the flow of a product registration process in the shopping system 1 according to the present embodiment will be described with reference to FIG. FIG. 12 is a sequence diagram showing a flow of product registration processing in the shopping system according to the present embodiment.

注文を受けた商品が商品棚に陳列されていないこと認識した場合、店員による店員端末１０１の操作に応じて、Ｗｅｂカメラ１０６は、動画像の撮影を開始する（ステップＳ１２０１）。そして、Ｗｅｂカメラ１０６は、撮影した動画像を、ＵＳＢポート３１１を介して店員端末１０１に入力する（ステップＳ１２０２）。 If it is recognized that the ordered product is not displayed on the product shelf, the Web camera 106 starts capturing a moving image in response to the operation of the salesclerk terminal 101 by the salesclerk (step S1201). Then, the Web camera 106 inputs the captured moving image to the clerk terminal 101 via the USB port 311 (step S1202).

店員端末１０１の送受信部９０１は、Ｗｅｂカメラ１０６から動画像が入力されると、入力された動画像を、サーバ１０３に送信する（ステップＳ１２０３）。なお、店員端末１０１の送受信部９０１は、注文主端末１０２から終了要求を受信するまで、Ｗｅｂカメラ１０６から入力された動画像をサーバ１０３に送信し続けるものとする。 When a moving image is input from the Web camera 106, the transmission / reception unit 901 of the salesclerk terminal 101 transmits the input moving image to the server 103 (step S1203). It is assumed that the transmission / reception unit 901 of the salesclerk terminal 101 continues to transmit the moving image input from the Web camera 106 to the server 103 until an end request is received from the orderer terminal 102.

サーバ１０３の送受信部１００１は、店員端末１０１から動画像を受信すると、受信した動画像を注文主端末１０２および店員端末１０１に送信する（ステップＳ１２０４，ステップＳ１２０５）。そして、サーバ１０２から動画像が送信されている間、店員端末１０１の送受信９０１および注文主端末１０２の送受信部１１０１は、サーバ１０２から送信された動画像を同期して受信し続ける。 When receiving the moving image from the clerk terminal 101, the transmission / reception unit 1001 of the server 103 transmits the received moving image to the orderer terminal 102 and the clerk terminal 101 (steps S1204 and S1205). While the moving image is transmitted from the server 102, the transmission / reception 901 of the salesclerk terminal 101 and the transmission / reception unit 1101 of the orderer terminal 102 continue to receive the moving image transmitted from the server 102 in synchronization.

注文主端末１０２の表示制御部１１０２は、送受信部１１０１によってサーバ１０３から動画像を受信すると、受信した動画像を含む商品注文画面Ｅ（図１３参照）をＬＣＤ８０６に表示する。 When the display control unit 1102 of the orderer terminal 102 receives the moving image from the server 103 by the transmission / reception unit 1101, the display order unit E 102 displays a product order screen E (see FIG. 13) including the received moving image on the LCD 806.

図１３は、動画像を含む商品注文画面の一例を示す図である。表示制御部１１０２は、サーバ１０３から動画像を受信すると、図１３に示すように、受信した動画像１３０１に加えて、撮影領域変更ボタン１３０２，１３０３、および音声通話ボタン１３０４を含む商品注文画面ＥをＬＣＤ８０６に表示する。撮影領域変更ボタン１３０２は、Ｗｅｂカメラ１０６の撮影領域１０８を上下左右に移動させる変更指示を送信するためのボタンである。撮影領域変更ボタン１３０３は、Ｗｅｂカメラ１０６の撮影領域１０８を商品に近づけるまたは離すことを指示する変更指示を送信するためのボタンである。音声通話ボタン１３０４は、店員との音声によるコミュニケーションを要求する音声通話要求を送信するためのボタンである。 FIG. 13 is a diagram illustrating an example of a product order screen including a moving image. When the display control unit 1102 receives the moving image from the server 103, as shown in FIG. 13, in addition to the received moving image 1301, the product order screen E including the shooting area change buttons 1302, 1303 and the voice call button 1304 is displayed. Is displayed on the LCD 806. The shooting area change button 1302 is a button for transmitting a change instruction for moving the shooting area 108 of the Web camera 106 in the vertical and horizontal directions. The shooting area change button 1303 is a button for transmitting a change instruction instructing to move the shooting area 108 of the Web camera 106 closer to or away from the product. The voice call button 1304 is a button for transmitting a voice call request for requesting voice communication with a store clerk.

また、店員端末１０１の表示制御部９０３は、サーバ１０３から動画像を受信すると、受信した動画像を含む商品登録画面Ｄ（図１４参照）をＬＣＤ３０６に表示する。 When the display control unit 903 of the clerk terminal 101 receives the moving image from the server 103, the display unit 903 displays a product registration screen D (see FIG. 14) including the received moving image on the LCD 306.

図１４は、動画像を含む商品登録画面の一例を示す図である。表示制御部９０３は、サーバ１０３から動画像を受信すると、図１４に示すように、受信した動画像１４０１に加えて、商品一覧１４０２、位置情報要求ボタン１４０３、動画像要求ボタン１４０４を含む商品登録画面ＤをＬＣＤ３０６に表示する。商品一覧１４０２は、登録部９０２により登録された商品の一覧である。具体的には、表示制御部９０３は、サーバ１０３の商品マスタファイル６００から、登録部９０２により登録した商品の商品コード（つまり、ＲＡＭ３０４に記憶させた商品コード）と対応付けられた商品の単価、商品画像、商品名称等の商品情報を読み出し、読み出した商品情報を商品の一覧としてＬＣＤ３０６に表示する。位置情報要求ボタン１４０３は、注文主端末１０２に対して位置情報の再送信を要求するためのボタンである。また、動画像要求ボタン１４０４は、商品登録画面Ｄに動画像１４０１が表示されていない場合に、動画像１４０１の表示を要求するためのボタンである。 FIG. 14 is a diagram illustrating an example of a product registration screen including a moving image. When the moving image is received from the server 103, the display control unit 903 includes a product list 1402, a location information request button 1403, and a moving image request button 1404 in addition to the received moving image 1401, as shown in FIG. Screen D is displayed on LCD 306. The product list 1402 is a list of products registered by the registration unit 902. Specifically, the display control unit 903 determines the unit price of the product associated with the product code of the product registered by the registration unit 902 (that is, the product code stored in the RAM 304) from the product master file 600 of the server 103. Product information such as product images and product names is read out, and the read product information is displayed on the LCD 306 as a list of products. The position information request button 1403 is a button for requesting the orderer terminal 102 to retransmit the position information. The moving image request button 1404 is a button for requesting display of the moving image 1401 when the moving image 1401 is not displayed on the product registration screen D.

さらに、店員端末１０１の表示制御部９０３は、送受信部９０１によりＷｅｂカメラ１０６の撮影領域１０８の変更指示を受信した場合、受信した変更指示を表す情報を含む商品登録画面Ｄ（図１５参照）をＬＣＤ３０６に表示する。 Further, when the display control unit 903 of the salesclerk terminal 101 receives an instruction to change the shooting area 108 of the Web camera 106 by the transmission / reception unit 901, the display control unit 903 displays a product registration screen D (see FIG. 15) including information indicating the received change instruction. Displayed on the LCD 306.

図１５は、注文主端末から受信した変更指示を表す情報を含む商品登録画面の一例を示す図である。送受信部９０１によりＷｅｂカメラ１０６の撮影領域１０８の変更指示を受信した場合、表示制御部９０３は、図１５に示すように、送受信部９０１により受信した動画像１４０１に、注文主端末１０２から受信した変更指示を表す情報１５０１（例えば、Ｗｅｂカメラ１０６の撮影領域１０８を商品から離すことを指示する変更指示を表す「全体」）が重ね合わされた商品登録画面ＤをＬＣＤ３０６に表示する。 FIG. 15 is a diagram illustrating an example of a product registration screen including information indicating a change instruction received from the orderer terminal. When the transmission / reception unit 901 receives an instruction to change the shooting area 108 of the Web camera 106, the display control unit 903 receives the moving image 1401 received by the transmission / reception unit 901 from the orderer terminal 102 as illustrated in FIG. 15. A product registration screen D on which information 1501 indicating a change instruction (for example, “whole” indicating a change instruction that instructs to release the shooting area 108 of the Web camera 106 from the product) is superimposed is displayed on the LCD 306.

そして、表示制御部９０３は、注文主端末１０２から受信した変更指示に従ってＷｅｂカメラ１０６の撮影領域１０８が変更された後、送受信部９０１により受信した動画像を含む商品登録画面Ｄ（図１６参照）を再びＬＣＤ３０６に表示する。 Then, the display control unit 903 changes the shooting area 108 of the Web camera 106 in accordance with the change instruction received from the orderer terminal 102, and then the product registration screen D including the moving image received by the transmission / reception unit 901 (see FIG. 16). Is again displayed on the LCD 306.

図１６は、Ｗｅｂカメラの撮影領域が変更された後の動画像を含む商品登録画面の一例を示す図である。注文主端末１０２から受信した変更指示に従ってＷｅｂカメラ１０６の撮影領域１０８が変更された後（例えば、Ｗｅｂカメラ１０６の撮影領域１０８が商品から離された後）、表示制御部９０３は、送受信部９０１により受信した動画像１４０１（例えば、Ｗｅｂカメラ１０６の撮影領域１０８を商品から離して撮影された動画像）を含む商品登録画面ＤをＬＣＤ３０６に表示する。 FIG. 16 is a diagram illustrating an example of a product registration screen including a moving image after the shooting area of the Web camera is changed. After the shooting area 108 of the Web camera 106 is changed according to the change instruction received from the orderer terminal 102 (for example, after the shooting area 108 of the Web camera 106 is released from the product), the display control unit 903 includes the transmission / reception unit 901. The product registration screen D including the moving image 1401 (for example, a moving image taken with the shooting area 108 of the Web camera 106 separated from the product) received on the LCD 306 is displayed on the LCD 306.

図１２に戻り、注文主端末１０２の送受信部１１０１により受信した動画像１３０１を含む商品注文画面ＥがＬＣＤ８０６に表示されている間に、注文主がタッチパネル８０７にタッチ指定すると、受付部１１０３は、動画像１３０１における、注文する商品の位置を示す位置情報を受け付ける（ステップＳ１２０６）。そして、送受信部１１０１は、受付部１１０３により受け付けた位置情報、および当該位置情報を受け付けた際にＬＣＤ８０６に表示された動画像を構成するフレームに付加された時刻を、サーバ１０２に送信する（ステップＳ１２０７）。 Returning to FIG. 12, when the orderer touches the touch panel 807 while the product order screen E including the moving image 1301 received by the transmission / reception unit 1101 of the orderer terminal 102 is displayed on the LCD 806, the reception unit 1103 Position information indicating the position of the product to be ordered in the moving image 1301 is received (step S1206). Then, the transmission / reception unit 1101 transmits the position information received by the reception unit 1103 and the time added to the frame constituting the moving image displayed on the LCD 806 when the position information is received to the server 102 (Step S1101). S1207).

次に、サーバ１０３の送受信部１００１は、注文主端末１０２から位置情報および時刻を受信すると、商品画像ファイル５００に記憶された動画像を構成するフレームから、受信した時刻が付加されたフレームを読み出す。そして、送受信部１００１は、読み出したフレームおよび位置情報を店員端末１０１に送信する（ステップＳ１２０８）。 Next, when receiving the position information and the time from the orderer terminal 102, the transmission / reception unit 1001 of the server 103 reads a frame to which the received time is added from the frames constituting the moving image stored in the product image file 500. . Then, the transmission / reception unit 1001 transmits the read frame and position information to the clerk terminal 101 (step S1208).

店員端末１０１の送受信部９０１がサーバ１０３から位置情報およびフレームを受信すると、表示制御部９０３は、送受信部９０１によってサーバ１０３から受信したフレームに、位置情報が示す位置を表す情報を重ね合わせた画像を含む商品登録画面Ｄ（図１７参照）をＬＣＤ３０６に表示する。 When the transmission / reception unit 901 of the salesclerk terminal 101 receives the position information and the frame from the server 103, the display control unit 903 superimposes information indicating the position indicated by the position information on the frame received from the server 103 by the transmission / reception unit 901. A product registration screen D (see FIG. 17) including “” is displayed on the LCD 306.

図１７は、動画像を構成するフレームに位置情報が示す位置を表す情報を重ね合わせた画像を含む商品登録画面の一例を示す図である。表示制御部９０３は、サーバ１０３から受信したフレーム１７０２に、サーバ１０３から受信した位置情報が示す位置を表す情報である丸印１７０５およびショッピングカート１０５の移動を停止することを指示するメッセージ１７０３を重ね合わせた画像１７０１を含む商品登録画面ＤをＬＣＤ３０６に表示する。また、表示制御部９０３は、注文主端末１０２から受信した位置情報が示す位置の商品の確認を要求する商品確認ボタン１７０４を商品登録画面Ｄに含める。 FIG. 17 is a diagram illustrating an example of a product registration screen including an image in which information representing a position indicated by position information is superimposed on a frame constituting a moving image. The display control unit 903 overlaps the frame 1702 received from the server 103 with a circle 1705 that is information indicating the position indicated by the position information received from the server 103 and a message 1703 that instructs to stop the movement of the shopping cart 105. A product registration screen D including the combined image 1701 is displayed on the LCD 306. Further, the display control unit 903 includes a product confirmation button 1704 for requesting confirmation of the product at the position indicated by the position information received from the orderer terminal 102 in the product registration screen D.

図１２に戻り、表示制御部９０３は、図１７に示す商品登録画面Ｄの商品確認ボタン１７０４が押下されると、注文主端末１０２から受信した位置情報が示す位置の商品の特定商品画像（例えば、商品確認ボタン１７０４が押下された後にＷｅｂカメラ１０６により撮影された商品の画像）を、サーバ１０３を介して注文主端末１０２に送信する（ステップＳ１２０９，ステップＳ１２１０）。 Returning to FIG. 12, when the product confirmation button 1704 on the product registration screen D shown in FIG. 17 is pressed, the display control unit 903 displays a specific product image (for example, the product at the position indicated by the position information received from the orderer terminal 102). The product image captured by the Web camera 106 after the product confirmation button 1704 is pressed is transmitted to the orderer terminal 102 via the server 103 (steps S1209 and S1210).

注文主端末１０２の送受信部１１０１がサーバ１０３から特定商品画像を受信すると、表示制御部１１０２は、受信した特定商品画像を含む商品注文画面Ｅ（図１８参照）をＬＣＤ８０６に表示する。 When the transmission / reception unit 1101 of the orderer terminal 102 receives the specific product image from the server 103, the display control unit 1102 displays a product order screen E (see FIG. 18) including the received specific product image on the LCD 806.

図１８は、特定商品画像を含む商品注文画面の一例を示す図である。送受信部１１０１によりサーバ１０２から特定商品画像を受信すると、表示制御部１１０２は、注文した商品の確認を促すメッセージ１８０３を特定商品画像１８０２に重ね合わせた画像１８０１に加えて、確認結果ボタン１８０４、終了要求ボタン１８０５、および送信要求ボタン１８０６を含む商品注文画面ＥをＬＣＤ８０６に表示する。確認結果ボタン１８０４は、注文した商品の登録許可または登録禁止など当該注文した商品の確認結果を送信するためのボタンである。終了要求ボタン１８０５は、商品の登録の終了を要求する終了要求を送信するためのボタンである。送信要求ボタン１８０６は、登録した商品の商品コードの送信を要求する送信要求を送信するためのボタンである。 FIG. 18 is a diagram illustrating an example of a product order screen including a specific product image. When the specific product image is received from the server 102 by the transmission / reception unit 1101, the display control unit 1102 adds a message 1803 for confirming the ordered product to the image 1801 superimposed on the specific product image 1802, the confirmation result button 1804, and the end. A product order screen E including a request button 1805 and a transmission request button 1806 is displayed on the LCD 806. The confirmation result button 1804 is a button for transmitting a confirmation result of the ordered product such as registration permission or registration prohibition of the ordered product. An end request button 1805 is a button for transmitting an end request for requesting the end of registration of a product. The transmission request button 1806 is a button for transmitting a transmission request for requesting transmission of the product code of the registered product.

また、店員端末１０１の表示制御部９０３は、サーバ１０３に特定商品画像が送信されると、当該特定商品画像を含む商品登録画面Ｄ（図１９参照）をＬＣＤ３０６に表示する。 Further, when the specific product image is transmitted to the server 103, the display control unit 903 of the salesclerk terminal 101 displays a product registration screen D (see FIG. 19) including the specific product image on the LCD 306.

図１９は、特定商品画像を含む商品登録画面の一例を示す図である。送受信部９０１によりサーバ１０３に特定商品画像が送信されると、表示制御部９０３は、サーバ１０３に送信した特定商品画像１９０１を含む商品登録画面ＤをＬＣＤ３０６に表示する。 FIG. 19 is a diagram illustrating an example of a product registration screen including a specific product image. When the specific product image is transmitted to the server 103 by the transmission / reception unit 901, the display control unit 903 displays a product registration screen D including the specific product image 1901 transmitted to the server 103 on the LCD 306.

図１２に戻り、特定商品画像１８０２を含む商品注文画面Ｅにおいて確認結果ボタン１８０４が押下されると、送受信部１１０１は、押下された確認結果ボタン１８０４に応じた確認結果を、サーバ１０３を介して店員端末１０１に送信する（ステップＳ１２１１，ステップＳ１２１２）。 Returning to FIG. 12, when the confirmation result button 1804 is pressed on the product order screen E including the specific product image 1802, the transmission / reception unit 1101 displays the confirmation result corresponding to the pressed confirmation result button 1804 via the server 103. It transmits to the salesclerk terminal 101 (step S1211, step S1212).

そして、店員端末１０１の送受信部９０１がサーバ１０３から、注文した商品の登録許可を示す確認結果を受信すると、登録部９０２は、送受信部９０１によってサーバ１０２から受信した動画像において、当該注文主端末１０２から受信した位置情報が示す位置の商品の商品コードを、スキャナ３０８から取得する。そして、登録部９０２は、スキャナ３０８から取得した商品コードをＲＡＭ３０４に記憶させて、商品の登録を行う（ステップＳ１２１３）。 When the transmission / reception unit 901 of the clerk terminal 101 receives a confirmation result indicating registration permission of the ordered product from the server 103, the registration unit 902 includes the orderer terminal in the moving image received from the server 102 by the transmission / reception unit 901. The product code of the product at the position indicated by the position information received from 102 is acquired from the scanner 308. Then, the registration unit 902 stores the product code acquired from the scanner 308 in the RAM 304 and registers the product (step S1213).

このように、本実施形態の買物システム１によれば、店員端末１０１が、Ｗｅｂカメラ１０６により撮影した商品の商品画像を、注文主端末１０２に送信し、送信した商品画像における、注文主端末１０２において受け付けた商品の位置を示す位置情報を注文主端末１０２から受信し、送信した商品画像において受信した位置情報が示す位置の商品を登録する。また、注文主端末１０２が、店員端末１０１から商品画像を受信し、受信した商品画像をＬＣＤ８０６に表示し、表示した商品画像における、注文する商品の位置を示す位置情報を受け付け、受け付けた位置情報を店員端末１０１に送信する。これにより、実際の店舗に出向かなくても店舗に実際に陳列されている商品の情報を知ることができるので、ネットスーパーを利用して買物する場合も顧客が欲しい商品を買物することができる。 As described above, according to the shopping system 1 of the present embodiment, the clerk terminal 101 transmits the product image of the product photographed by the Web camera 106 to the orderer terminal 102, and the orderer terminal 102 in the transmitted product image. The position information indicating the position of the received product is received from the orderer terminal 102, and the product at the position indicated by the received position information in the transmitted product image is registered. Further, the orderer terminal 102 receives the product image from the clerk terminal 101, displays the received product image on the LCD 806, receives position information indicating the position of the ordered product in the displayed product image, and receives the received position information. Is transmitted to the clerk terminal 101. As a result, it is possible to know the information of products actually displayed in the store without going to the actual store, so even when shopping using the net supermarket, the customer can purchase the desired product. .

なお、本実施形態の店員端末１０１、注文主端末１０２、およびサーバ１０３で実行されるプログラムは、不揮発性メモリ３０５、ＨＤＤ４０５，８０５等に予め組み込まれて提供されるが、これに限定するものではない。 In addition, the program executed by the salesclerk terminal 101, the orderer terminal 102, and the server 103 according to the present embodiment is provided by being incorporated in advance in the nonvolatile memory 305, the HDDs 405, 805, and the like, but is not limited thereto. Absent.

本実施形態の店員端末１０１、注文主端末１０２、およびサーバ１０３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The programs executed by the clerk terminal 101, the orderer terminal 102, and the server 103 according to the present embodiment are files in an installable format or executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, and a DVD. (Digital Versatile Disk) or the like may be provided by being recorded on a computer-readable recording medium.

さらに、本実施形態の店員端末１０１、注文主端末１０２、およびサーバ１０３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の〜装置で実行される〜プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Furthermore, the program executed by the salesclerk terminal 101, the orderer terminal 102, and the server 103 of the present embodiment is stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. It may be configured. In addition, the program executed in the apparatus of the present embodiment may be provided or distributed via a network such as the Internet.

１買物システム
１０１店員端末
１０２注文主端末
１０４ネットワーク
１０６Ｗｅｂカメラ
１０８撮影領域
３０２，８０２ＣＰＵ
３０５不揮発性メモリ
８０５ＨＤＤ
９０１，１１０１送受信部
９０２登録部
９０３，１１０２表示制御部
１１０３受付部 DESCRIPTION OF SYMBOLS 1 Shopping system 101 Clerk terminal 102 Ordering party terminal 104 Network 106 Web camera 108 Image | photographing area 302,802 CPU
305 Non-volatile memory 805 HDD
901, 1101 Transmission / reception unit 902 Registration unit 903, 1102 Display control unit 1103 Reception unit

特開２００３−１８７０９７号公報JP 2003-187097 A

Claims

A merchandise ordering apparatus that displays a moving image composed of a plurality of frames in which a merchandise displayed at a store is photographed and has a photographing time added to the frame, and receives position information indicating the position of the ordered product in the moving image. from a server connected to the a receiving unit for a time that the positional information and the position information is received to receive the added the frame as the photographing time,
Specific commodity image of the commodity of the position indicated by the position information received in the previous SL frame received and transmitted to the commodity order device, a transmitting unit for displaying the specific goods image on the product order device,
After transmitting the specific goods image, from the product order device, when receiving the check result indicating the registration permission of the product which has received an order, a registration unit for registering the position of the product indicated by the position information it receives ,
Product purchase device with

The received the frame, product purchase device of claim 1, comprising a display control unit for displaying an image obtained by superposing information representing the position indicated by the position information received.

A merchandise ordering apparatus that displays a moving image composed of a plurality of frames in which a merchandise displayed at a store is photographed and has a photographing time added to the frame, and receives position information indicating the position of the ordered product in the moving image. from a server connected to the a receiving unit for a time that the positional information and the position information is received to receive the added the frame as the photographing time,
Specific commodity image of the commodity of the position indicated by the position information received in the previous SL frame received and transmitted to the commodity order device, a transmitting unit for displaying the specific goods image on the product order device,
After transmitting the specific goods image, from the product order device, when receiving the check result indicating the registration permission of the product which has received an order, a registration unit for registering the position of the product indicated by the position information it receives ,
Program to function as.

The received the frame, the program according to claim 3 in order to function as a display control unit for displaying an image obtained by superposing information representing the position indicated by the position information received.