JP2012108805A

JP2012108805A - Try-on system

Info

Publication number: JP2012108805A
Application number: JP2010258299A
Authority: JP
Inventors: Mahina Nakamura; 麻日奈中村; Masanori Sato; 真紀佐藤; Yumiko Okuma; 裕美子大熊; Tsunehiro Mogi; 常浩茂木
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2010-11-18
Filing date: 2010-11-18
Publication date: 2012-06-07

Abstract

PROBLEM TO BE SOLVED: To enable a client to easily grasp an image of wearing an article of actual clothing.SOLUTION: A try-on system includes imaging means, selection means, discrimination means and display means. The imaging means images a moving image of a person trying and article of clothing on. The selection means selects clothing data. The discrimination means discriminates a direction of the person whose moving image has been imaged by the imaging means. The display means displays a composite image where a clothing image oriented to the same direction as the direction of the person discriminated by the discrimination means is overlapped on the moving image of the person imaged by the imaging means based on the clothing data selected by the selection means.

Description

本発明の実施形態は、試着システムに関する。 Embodiments described herein relate generally to a try-on system.

近年、人物を撮影した画像データに対して、衣料品を撮影した画像データを重ね合わせた合成画像を形成する技術が開示されている（特許文献１参照）。これにより、購入を検討している衣料品を顧客が実際に試着することなく、衣料品を着用したイメージを捉えることができるので、衣料品を試着する手間が省け、衣料品の購買を促すことができる。 In recent years, there has been disclosed a technique for forming a composite image in which image data obtained by photographing clothing is superimposed on image data obtained by photographing a person (see Patent Document 1). This allows customers to capture the image of wearing clothing without actually trying on the clothing they are considering purchasing, thus saving the effort of trying on clothing and encouraging the purchase of clothing. Can do.

しかしながら、従来技術においては、予め設定された向きを向いて人物が衣料品を着用した場合の衣料品の画像データしか用意されていないため、人物を撮影した動画像データに対して衣料品の画像データを重ね合わせた合成画像を形成した場合、人物の向きが変化しているにも関わらず、衣料品の向きが変化しないため、顧客が実際に衣料品を着用したイメージを捕らえ難い、という課題がある。 However, in the prior art, since only image data of clothing when a person wears clothing in a preset direction is prepared, the image of the clothing with respect to moving image data obtained by photographing the person When a composite image is created by superimposing data, the orientation of the clothing does not change even though the orientation of the person has changed, so it is difficult to capture the image that the customer actually wears the clothing There is.

実施形態の試着システムは、撮影手段と、選択手段と、判別手段と、表示手段と、を備える。前記撮影手段は、衣料品を試着する人物の動画像を撮影する。前記選択手段は、衣料品データを選択する。前記判別手段は、前記撮影手段により動画像を撮影した人物の向きを判別する。前記表示手段は、前記選択手段により選択された衣料品データを元に、前記判別手段により判別された向きと同じ向きに向けた場合の衣料品画像を前記撮影手段により撮影した人物の動画像に重ね合わせた合成画像を表示する。 The try-on system of the embodiment includes an imaging unit, a selection unit, a determination unit, and a display unit. The photographing means photographs a moving image of a person trying on clothing. The selection means selects clothing data. The discriminating unit discriminates the direction of the person who has photographed the moving image by the photographing unit. Based on the clothing data selected by the selection means, the display means is a moving image of a person photographed by the photographing means when the clothing image is oriented in the same direction as the orientation determined by the determination means. The superimposed composite image is displayed.

図１は、本実施形態にかかる業務支援システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a business support system according to the present embodiment. 図２は、ハンディーターミナルの構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of the handy terminal. 図３は、試着室端末が設置されている試着室を示す斜視図である。FIG. 3 is a perspective view showing a fitting room in which a fitting room terminal is installed. 図４は、試着室端末のハードウェア構成を示すブロック図である。FIG. 4 is a block diagram showing a hardware configuration of the fitting room terminal. 図５は、商品ファイルのデータ構成を示す図である。FIG. 5 is a diagram showing the data structure of the product file. 図６は、在庫ファイルのデータ構成を示す図である。FIG. 6 is a diagram showing the data structure of the inventory file. 図７は、画像ファイルのデータ構成を示す図である。FIG. 7 shows the data structure of the image file. 図８は、顧客ファイルのデータ構成を示す図である。FIG. 8 is a diagram showing the data structure of the customer file. 図９は、合成画像の表示処理の流れを示すフローチャートである。FIG. 9 is a flowchart showing the flow of the composite image display process. 図１０は、衣料品の試着開始の操作を受け付けるスタート画面の一例である。FIG. 10 is an example of a start screen for accepting an operation to start trying on clothing. 図１１は、顧客の動画像および衣料品画像のサムネイル画像を表示した画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of a screen displaying a moving image of a customer and a thumbnail image of a clothing image. 図１２は、顧客の動画像に生成した衣料品画像を重ね合わせた合成画像が表示された画面の一例である。FIG. 12 is an example of a screen on which a composite image in which a clothing image generated on a customer moving image is superimposed is displayed. 図１３は、選択した衣料品に組み合わせて着用可能な衣料品の衣料品画像の他の表示例を示す図である。FIG. 13 is a diagram illustrating another display example of the clothing image of the clothing that can be worn in combination with the selected clothing. 図１４は、選択した衣料品と組み合わせて着用する衣料品を選択する処理を説明するための図である。FIG. 14 is a diagram for describing processing for selecting a clothing item to be worn in combination with the selected clothing item. 図１５は、選択した衣料品と組み合わせて着用する衣料品を選択する処理を説明するための図である。FIG. 15 is a diagram for describing processing for selecting a clothing item to be worn in combination with the selected clothing item. 図１６は、合成画像に衣料品画像を重ね合わせた新たな合成画像が表示された画面の一例である。FIG. 16 is an example of a screen on which a new composite image in which a clothing image is superimposed on the composite image is displayed. 図１７は、合成画像および人型のシルエットを含む画面の一例を示す図である。FIG. 17 is a diagram illustrating an example of a screen including a composite image and a humanoid silhouette. 図１８は、合成画像およびカウントダウン表示を含む画面の一例を示す図である。FIG. 18 is a diagram illustrating an example of a screen including a composite image and a countdown display. 図１９は、合成画像およびカウントダウン表示を含む画面の一例を示す図である。FIG. 19 is a diagram illustrating an example of a screen including a composite image and a countdown display. 図２０は、静止画を含む画面の一例を示す図である。FIG. 20 is a diagram illustrating an example of a screen including a still image. 図２１は、登録された商品の一覧が表示された画面の一例を示す図である。FIG. 21 is a diagram illustrating an example of a screen on which a list of registered products is displayed. 図２２は、商品登録処理の終了画面を示す図である。FIG. 22 is a diagram illustrating an end screen of the product registration process.

本実施形態では、衣料品店の店舗に導入されている業務支援システムを構成する試着システムへの適用例である。図１は、本実施形態にかかる業務支援システムの構成を示すブロック図である。業務支援システム１１が導入されている店舗は、衣料品店であるため商品としての衣料品３１（図３参照）が多数陳列されている。 This embodiment is an application example to a try-on system that constitutes a business support system installed in a clothing store. FIG. 1 is a block diagram showing a configuration of a business support system according to the present embodiment. Since the store where the business support system 11 is introduced is a clothing store, a large number of clothing items 31 (see FIG. 3) as products are displayed.

本実施形態では、業務支援システム１１は、有線または無線の通信回線（例えば、インターネット等）１５等を介して相互に電気的に接続されたコンピュータ３０１や、ＰＯＳ（Point Of Sale）端末５０１、試着室端末１０１、クライアント端末４０１、ハンディーターミナル６０１等を備えている。 In the present embodiment, the business support system 11 includes a computer 301, a POS (Point Of Sale) terminal 501, and a try-on that are electrically connected to each other via a wired or wireless communication line (for example, the Internet) 15 or the like. A room terminal 101, a client terminal 401, a handy terminal 601 and the like are provided.

この業務支援システム１１では、一つまたは複数のコンピュータ３０１が、所定のサービスを提供するサーバとして機能することができる。この業務支援システム１１では、例えばＳａａＳ(Software as a Service)の形態で、サービスが提供されうる。 In this business support system 11, one or a plurality of computers 301 can function as a server that provides a predetermined service. In the business support system 11, a service can be provided in the form of SaaS (Software as a Service), for example.

ＰＯＳ端末５０１は、店舗の出口付近に設けられたレジカウンタ（図示せず）に設定されている。ＰＯＳ端末５０１は、衣料品３１毎に固有の商品ＩＤを読み取って出力するスキャナ５０２を備えている。商品ＩＤは、衣料品３１（図３参照）に付されているタグ４１（図３参照）に、バーコードや２次元コード等のコードシンボルの形態で印刷されている。そして、ＰＯＳ端末５０１は、読み取られた情報に基づいて、商品販売データ処理を実行する。 The POS terminal 501 is set in a cashier counter (not shown) provided near the store exit. The POS terminal 501 includes a scanner 502 that reads and outputs a unique product ID for each clothing item 31. The product ID is printed on a tag 41 (see FIG. 3) attached to the clothing 31 (see FIG. 3) in the form of a code symbol such as a barcode or a two-dimensional code. The POS terminal 501 executes merchandise sales data processing based on the read information.

このようなＰＯＳ端末５０１には、通信回線１５を介して、コンピュータ３０１、クライアント端末４０１、試着室端末１０１、およびハンディーターミナル６０１が接続されている。 A computer 301, a client terminal 401, a fitting room terminal 101, and a handy terminal 601 are connected to the POS terminal 501 through the communication line 15.

コンピュータ３０１には、ストレージデバイスとしてＨＤＤ（Hard Disk Drive）等の記憶装置が内蔵され、この記憶装置には各種ファイルが記憶されている。 The computer 301 includes a storage device such as an HDD (Hard Disk Drive) as a storage device, and various files are stored in the storage device.

クライアント端末４０１は、業務支援システム１１が導入された店舗を利用する顧客の家に設定されている。クライアント端末４０１は、開閉自在の筐体を有するいわゆるノートパソコンであり、情報を表示するＬＣＤ（Liquid Crystal Display）４０２と、情報を入力するためのキーボード４０３と、ＬＣＤ４０２の画面上に表示されるマウスポインタを移動させるためのトラックパッド（図示せず）とを備えている。なお、クライアント端末４０１のその他の構成は、一般的なノートパソコンの構成と変わるところがないため、説明を省略する。 The client terminal 401 is set in a customer's house that uses a store where the business support system 11 is introduced. The client terminal 401 is a so-called notebook personal computer having an openable / closable housing, and includes an LCD (Liquid Crystal Display) 402 for displaying information, a keyboard 403 for inputting information, and a mouse displayed on the screen of the LCD 402. And a track pad (not shown) for moving the pointer. Since the other configuration of the client terminal 401 is not different from the configuration of a general notebook personal computer, description thereof is omitted.

ハンディーターミナル６０１は、店舗に来店した顧客に貸し出され、顧客により操作される携帯端末であり、顧客が自ら商品の登録を行うことができる。図２は、ハンディーターミナルの構成を示すブロック図である。ハンディーターミナル６０１は、図２に示すように、スキャナ６０２、操作部６０３、表示部６０４、通信インタフェース６０５、記憶部６０６、および制御部６０７を備えている。 The handy terminal 601 is a portable terminal that is lent to a customer who visits the store and is operated by the customer, and the customer can register the product himself. FIG. 2 is a block diagram showing the configuration of the handy terminal. As illustrated in FIG. 2, the handy terminal 601 includes a scanner 602, an operation unit 603, a display unit 604, a communication interface 605, a storage unit 606, and a control unit 607.

スキャナ６０２は、衣料品３１（図３参照）に付されているタグ４１に印刷されたバーコード４２（図３参照）から商品ＩＤを読み取る。操作部６０３は、各種キーやタッチパネル等の入力デバイスを有し、この入力デバイスの操作に応じた操作信号を制御部６０７に通知する。表示部６０４は、ＬＣＤ等の表示デバイスを有し、制御部６０７の制御に従い文字や図形を表示デバイスに表示する。通信インタフェース６０５は、中継装置１２を介してコンピュータ３０１と接続し、装置間で行われるデータ通信を制御する。 The scanner 602 reads the product ID from the barcode 42 (see FIG. 3) printed on the tag 41 attached to the clothing 31 (see FIG. 3). The operation unit 603 includes input devices such as various keys and a touch panel, and notifies the control unit 607 of an operation signal corresponding to the operation of the input device. The display unit 604 has a display device such as an LCD, and displays characters and figures on the display device under the control of the control unit 607. The communication interface 605 is connected to the computer 301 via the relay device 12 and controls data communication performed between the devices.

記憶部６０６は、例えばＨＤＤやＳＳＤ（Solid State Drive）、フラッシュメモリ等であって、制御部６０７が実行する各種プログラムや設定情報を予め記憶する。 The storage unit 606 is, for example, an HDD, an SSD (Solid State Drive), a flash memory, or the like, and stores various programs executed by the control unit 607 and setting information in advance.

制御部６０７は、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成され、記憶部６０６に記憶された所定のプログラムを実行することでハンディーターミナル６０１の各部の動作を統括的に制御する。 The control unit 607 includes a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The control unit 607 executes a predetermined program stored in the storage unit 606 to control operations of each unit of the handy terminal 601. To control.

図１に戻り、試着室端末１０１は、顧客が商品である衣料品３１（図３参照）を試着する際に使用する試着室２１に設置されている。顧客は、試着室２１で試着してから衣料品３１（図３参照）の購入を検討する。 Returning to FIG. 1, the fitting room terminal 101 is installed in a fitting room 21 used when a customer tries on a clothing item 31 (see FIG. 3) as a product. The customer considers purchase of clothing 31 (see FIG. 3) after trying on in the fitting room 21.

図３は、試着室端末が設置されている試着室を示す斜視図である。試着室２１は、図３に示すように、上面と正面の一部とが開口した直方体形状を有している。試着室２１の正面の開口部分は、顧客が出入するための出入口２２となっている。出入口２２には、布製のカーテン２３が図示しないカーテンレールによって開閉自在に取り付けられている。なお、試着室２１の出入口２２は、カーテン２３の代わりに、例えばスライド開閉自在な扉が設けられていても良い。図３では、カーテン２３を開いた状態の試着室２１を示しているため、試着室２１の中を視認できる。試着室２１の中の背面側の壁には、衣料品３１を試着した顧客の動画像の表示や、商品の登録を行う試着室端末１０１が取り付けられている。また、試着室端末１０１の上方位置には、蛍光灯である照明２５が取り付けられている。 FIG. 3 is a perspective view showing a fitting room in which a fitting room terminal is installed. As shown in FIG. 3, the fitting room 21 has a rectangular parallelepiped shape with an upper surface and a part of the front surface opened. An opening portion in front of the fitting room 21 serves as an entrance / exit 22 for a customer to enter and exit. A cloth curtain 23 is attached to the doorway 22 so as to be freely opened and closed by a curtain rail (not shown). The entrance / exit 22 of the fitting room 21 may be provided with, for example, a door that can be freely opened and closed, instead of the curtain 23. In FIG. 3, since the fitting room 21 with the curtain 23 opened is shown, the inside of the fitting room 21 can be visually recognized. A fitting room terminal 101 for displaying a moving image of a customer who has tried on clothing 31 and registering a product is attached to the back wall in the fitting room 21. Further, an illumination 25 that is a fluorescent lamp is attached above the fitting room terminal 101.

図３に示すように、試着室端末１０１は、厚みのある平板状のハウジング１０２を備えている。このハウジング１０２には、表示部としてのＬＣＤ１０３、試着室２１に入って衣料品３１を試着する顧客（人物）の動画像を撮影するカメラ１０４、および試着室２１に入った顧客が音声を入力するためのマイク１０５（図４参照）が取り付けられている。 As shown in FIG. 3, the fitting room terminal 101 includes a flat plate-like housing 102 having a thickness. In this housing 102, an LCD 103 as a display unit, a camera 104 that takes a moving image of a customer (person) who enters the fitting room 21 and tries on the clothing 31, and a customer who enters the fitting room 21 inputs voice. A microphone 105 (see FIG. 4) is attached.

さらに、試着室端末１０１には、コンピュータ３０１やハンディーターミナル６０１等とデータ通信を実行するための通信インタフェース１６２（図４参照）が内蔵されている。 Further, the fitting room terminal 101 has a built-in communication interface 162 (see FIG. 4) for executing data communication with the computer 301, the handy terminal 601, and the like.

また、試着室端末１０１の下方位置には、タグ４１に印刷されたバーコード４２から商品ＩＤを読み取るスキャナ１８１が取り付けられている。スキャナ１８１は、試着室端末１０１との間でデータ通信可能に有線接続されている。スキャナ１８１は、商品タグ４１に印刷されたバーコード４２から商品ＩＤのデータを読み取って出力する。こうして出力された商品ＩＤのデータは、試着室端末１０１のＣＰＵ１５１（図４参照）に入力される。 A scanner 181 that reads a product ID from a barcode 42 printed on the tag 41 is attached to a position below the fitting room terminal 101. The scanner 181 is wired to the fitting room terminal 101 so that data communication is possible. The scanner 181 reads and outputs the product ID data from the barcode 42 printed on the product tag 41. The product ID data thus output is input to the CPU 151 (see FIG. 4) of the fitting room terminal 101.

また、図３に示すように、試着室２１の背面には、細長い円柱状のポール１９１が立設されている。ポール１９１の先端部には、青色と赤色と緑色とを選択的に発光可能な報知部としての発光部１９２が設けられている。発光部１９２は、ポール１９１を通る図示しないケーブルによって試着室端末１０１と接続されており、試着室端末１０１のＣＰＵ１５１（図４参照）によって動作制御を受ける。なお、ＣＰＵ１５１による動作制御を受けていない状態では、発光部１９２は発光動作をしていない。 As shown in FIG. 3, an elongated cylindrical pole 191 is erected on the back surface of the fitting room 21. A light emitting unit 192 as a notification unit capable of selectively emitting blue, red, and green is provided at the tip of the pole 191. The light emitting unit 192 is connected to the fitting room terminal 101 by a cable (not shown) passing through the pole 191 and is subjected to operation control by the CPU 151 (see FIG. 4) of the fitting room terminal 101. In a state where the operation control by the CPU 151 is not received, the light emitting unit 192 does not perform the light emitting operation.

また、図３に示すように、試着室２１の出入口２２の一方の側部には、出入口２２を通過する顧客を検出する人感センサとして赤外線センサ１７１が取り付けられている。この赤外線センサ１７１は、いわゆる焦電型赤外線センサである。つまり、赤外線センサ１７１は、出入口２２を通過する顧客の人体が発する赤外線を受光し、受光した赤外線を熱変換し、その熱を素子の焦電効果で電荷に変えて出力する。このような赤外線センサ１７１は、試着室端末１０１と図示しないケーブルによって接続されており、赤外線センサ１７１の出力は、試着室端末１０１のＣＰＵ１５１（図４参照）へと入力される。 As shown in FIG. 3, an infrared sensor 171 is attached to one side of the entrance / exit 22 of the fitting room 21 as a human sensor that detects a customer passing through the entrance / exit 22. This infrared sensor 171 is a so-called pyroelectric infrared sensor. That is, the infrared sensor 171 receives infrared rays emitted from the customer's human body that passes through the doorway 22, converts the received infrared rays into heat, and converts the heat into electric charges by the pyroelectric effect of the element and outputs the charges. Such an infrared sensor 171 is connected to the fitting room terminal 101 via a cable (not shown), and the output of the infrared sensor 171 is input to the CPU 151 (see FIG. 4) of the fitting room terminal 101.

図４は、試着室端末のハードウェア構成を示すブロック図である。試着室端末１０１は、各種演算処理を実行し各部を制御する情報処理部としてのＣＰＵ１５１を備えている。ＣＰＵ１５１には、コンピュータプログラム等の固定データを固定的に記憶保存するＲＯＭ１５２と、可変データを書き換え自在に記憶してワークエリアとして使用されるＲＡＭ１５３と、試着室端末１０１の電源を落としてもデータ内容を保持する不揮発性メモリであるフラッシュメモリ１５４とがバス接続されている。 FIG. 4 is a block diagram showing a hardware configuration of the fitting room terminal. The fitting room terminal 101 includes a CPU 151 as an information processing unit that executes various arithmetic processes and controls each unit. The CPU 151 includes a ROM 152 that stores fixed data such as computer programs in a fixed manner, a RAM 153 that stores variable data in a rewritable manner and is used as a work area, and data contents even when the fitting room terminal 101 is turned off. Is connected to a flash memory 154 which is a non-volatile memory holding the memory.

ＣＰＵ１５１には、前述したＬＣＤ１０３、カメラ１０４、マイク１０５、通信インタフェース１６２、赤外線センサ１７１、スキャナ１８１、および発光部１９２が、いずれも各種の入出力回路を介して接続され、ＣＰＵ１５１によって動作制御される。 The LCD 151, the camera 104, the microphone 105, the communication interface 162, the infrared sensor 171, the scanner 181, and the light emitting unit 192 are all connected to the CPU 151 via various input / output circuits, and the operation is controlled by the CPU 151. .

なお、本実施形態では、試着室端末１０１は、顧客からの操作入力を受け付けるためのタッチパネルや操作キーなどのハードウェアを備えておらず、ＣＰＵ１５１が、カメラ１０４により撮像された動画像内の顧客のジェスチャによる操作またはマイク１０５から入力された音声による操作を受け付けるものとする。なお、ジェスチャまたは音声による操作を受け付ける方法については、各種の公知手法を用いて実行するものとし、ここでは説明を省略する。 In the present embodiment, the fitting room terminal 101 does not include hardware such as a touch panel and operation keys for receiving operation input from the customer, and the CPU 151 uses the customer in the moving image captured by the camera 104. It is assumed that an operation by a gesture or a voice input from the microphone 105 is accepted. In addition, about the method of receiving operation by gesture or an audio | voice, it shall perform using various well-known methods, and abbreviate | omits description here.

フラッシュメモリ１５４には、各種コンピュータプログラムおよび各種ファイルが記憶されている。このようなフラッシュメモリ１５４に記憶されている各種コンピュータプログラムおよび各種ファイルは、試着室端末１０１の起動時に、その全部または一部がＲＡＭ１５３にコピーされて使用される。 The flash memory 154 stores various computer programs and various files. Various computer programs and various files stored in the flash memory 154 are used by copying all or a part of them to the RAM 153 when the fitting room terminal 101 is activated.

そして、試着室端末１０１のＣＰＵ１５１は、コンピュータプログラムに従って実行する処理中に各種のファイルにデータアクセスする。アクセスされるファイルは、コンピュータ３０１のＨＤＤ（図示せず）に格納されているファイルである。コンピュータ３０１は、通信回線１５を介して試着室端末１０１と接続されている。そのため、これらのファイルは、試着室端末１０１のＣＰＵ１５１によってデータアクセス可能となっている。 Then, the CPU 151 of the fitting room terminal 101 performs data access to various files during processing executed according to the computer program. The file to be accessed is a file stored in the HDD (not shown) of the computer 301. The computer 301 is connected to the fitting room terminal 101 via the communication line 15. Therefore, these files can be accessed by the CPU 151 of the fitting room terminal 101.

ここで、図５〜８を用いて、コンピュータ３０１のＨＤＤ（図示せず）に格納されている各種のファイル（商品ファイルＦ１、在庫ファイルＦ２、顧客ファイルＦ４、画像ファイルＦ３等）について説明する。 Here, various files (product file F1, inventory file F2, customer file F4, image file F3, etc.) stored in the HDD (not shown) of the computer 301 will be described with reference to FIGS.

図５は、商品ファイルのデータ構成を示す図である。商品ファイルＦ１は、商品（衣料品３１）を特定する商品ＩＤに対応付けて、商品名と、単価と、当該商品ＩＤにより特定される商品と組み合わせて着用可能な商品のうちおすすめコーディネート商品の商品ＩＤと、を記憶するファイルである。本実施形態では、商品ＩＤは、８桁の数字で表され、例えば、三つボタンジャケットを特定する商品ＩＤは、「１２３４××××」である。「１２３４××××」における下四桁「××××」は任意の数字である。そのため、例えば、「１２３４５６７８」と「１２３４１２３４」とは、いずれも三つボタンジャケットを示す商品ＩＤである。 FIG. 5 is a diagram showing the data structure of the product file. The product file F1 is a product of recommended coordinated products among products that can be worn in combination with the product name, unit price, and the product specified by the product ID in association with the product ID specifying the product (clothing 31). This is a file for storing the ID. In the present embodiment, the product ID is represented by an 8-digit number. For example, the product ID that specifies the three-button jacket is “1234xxx”. The last four digits “xxxx” in “1234xxx” are arbitrary numbers. Therefore, for example, “12345678” and “12341234” are both product IDs indicating a three-button jacket.

なお、商品ファイルＦ１は、ＰＯＳ端末５０１による商品販売データ処理の実行中にもデータアクセスされて、商品名と単価とが読み出される。つまり、商品販売データ処理は、スキャナ５０２によって読み取られた商品ＩＤに基づいて、商品ファイルＦ１から対応する商品名および単価のデータを読み出し、読み出した単価に基づいて決済金額を算出する処理である。 The product file F1 is also accessed during execution of the product sales data processing by the POS terminal 501, and the product name and unit price are read out. That is, the product sales data process is a process of reading the corresponding product name and unit price data from the product file F1 based on the product ID read by the scanner 502, and calculating the settlement amount based on the read unit price.

図６は、在庫ファイルのデータ構成を示す図である。在庫ファイルＦ２は、店舗に陳列されている商品（衣料品３１）について、商品名および在庫数を書き換え自在に記憶するファイルである。 FIG. 6 is a diagram showing the data structure of the inventory file. The stock file F2 is a file that stores the product name and the number of stocks in a rewritable manner for the product (clothing 31) displayed in the store.

また、在庫ファイルＦ２には、店舗にある全ての在庫についての商品ＩＤに対応付けて、商品ＩＤによって特定される個別の商品についての属性情報である色およびサイズが記憶されている。 In addition, the stock file F2 stores the color and size, which are attribute information about individual products specified by the product ID, in association with the product IDs of all stocks in the store.

さらに、在庫ファイルＦ２には、商品ＩＤに対応付けて場所が記憶されている。場所には、店舗におけるその商品の陳列場所が所定の場所記号（Ａ−１−ａ、Ｂ−２−ｃ等）で記憶される。場所記号は陳列場所毎に割り当てられている。なお、その商品が店舗に陳列されておらず倉庫にある場合に、場所には「倉庫」という情報が記憶される。 Further, the inventory file F2 stores a location in association with the product ID. In the place, the display place of the product in the store is stored with a predetermined place symbol (A-1-a, B-2-c, etc.). A place symbol is assigned to each display place. When the product is not displayed in the store and is in the warehouse, information “warehouse” is stored in the place.

例えば、図６に示すように、三つボタンジャケットについては、在庫数＝９である。そして、この９つの在庫中、商品ＩＤ＝１２３４５６７８によって特定される三つボタンジャケットは、色＝ダークブラウン、サイズ＝Ｍ、場所＝Ａ−１−ａである。 For example, as shown in FIG. 6, the number of stocks = 9 for a three button jacket. In the nine stocks, the three-button jacket specified by the product ID = 12345678 is color = dark brown, size = M, and place = A-1-a.

図７は、画像ファイルのデータ構成を示す図である。画像ファイルＦ３は、図７に示すように、商品ＩＤに対応付けて、複数の向きの衣料品３１の衣料品画像を、衣料品３１の向きを付加して記憶する。なお、衣料品画像は、バーチャルな３Ｄ画像であっても良いし、２Ｄ画像であっても良い。 FIG. 7 shows the data structure of the image file. As illustrated in FIG. 7, the image file F <b> 3 stores the clothing image of the clothing 31 in a plurality of directions in association with the product ID with the orientation of the clothing 31 added. The clothing image may be a virtual 3D image or a 2D image.

図８は、顧客ファイルのデータ構成を示す図である。顧客ファイルＦ４は、図８に示すように、顧客を特定する顧客ＩＤと対応付けて、顧客の氏名、顧客が着用する商品のサイズ、登録済み商品の商品ＩＤ、および顧客によってクライアント端末４０１から予め登録された衣料品画像を記憶する。ここで、登録済み商品の商品ＩＤとは、スキャナ６０２により読み取った商品ＩＤおよび試着室端末１０１において登録された商品の商品ＩＤである。 FIG. 8 is a diagram showing the data structure of the customer file. As shown in FIG. 8, the customer file F4 is associated with a customer ID that identifies the customer in advance from the client terminal 401 by the customer's name, the size of the product worn by the customer, the product ID of the registered product, and the customer. Store the registered clothing image. Here, the product ID of the registered product is the product ID read by the scanner 602 and the product ID of the product registered in the fitting room terminal 101.

このような構成において、店舗に訪れた顧客は、店舗内に陳列されている１又は２以上の衣料品３１を選び、購入検討のために試着室２１に持ち込む。この際、試着室端末１０１において、衣料品３１の衣料品画像を、カメラ１０４により撮影された顧客の動画像に重ね合わせた合成画像を表示する処理について説明する。 In such a configuration, a customer who visits the store selects one or more clothing items 31 displayed in the store and brings them into the fitting room 21 for purchase consideration. At this time, a process of displaying a composite image in which the clothing image of the clothing 31 is superimposed on the moving image of the customer photographed by the camera 104 in the fitting room terminal 101 will be described.

図９は、合成画像の表示処理の流れを示すフローチャートである。ＲＯＭ１５２に記憶されているコンピュータプログラムには、合成画像の表示処理用のプログラムが含まれている。この合成画像の表示処理用のプログラムは、その起動時にＲＡＭ１５３にコピーされて使用される。図９に示すフローチャートの処理は、ＲＡＭ１５３にコピーされた合成画像の表示処理用のプログラムに従いＣＰＵ１５１が実行する処理内容を示している。 FIG. 9 is a flowchart showing the flow of the composite image display process. The computer program stored in the ROM 152 includes a composite image display processing program. The composite image display processing program is copied to the RAM 153 and used when it is activated. The processing of the flowchart shown in FIG. 9 shows the processing contents executed by the CPU 151 in accordance with the composite image display processing program copied to the RAM 153.

試着室端末１０１のＣＰＵ１５１は、赤外線センサ１７１の検出出力が入力されるのを待機している。ここで、顧客が衣料品３１を試着室２１の中に持ち込むに際しては、顧客は必ず出入口２２を通過する。このとき、赤外線センサ１７１は、出入口２２を通過する顧客の身体が発する赤外線を検出して出力する。そして、この検出出力は試着室端末１０１のＣＰＵ１５１に入力される。 The CPU 151 of the fitting room terminal 101 waits for the detection output of the infrared sensor 171 to be input. Here, when the customer brings the clothing 31 into the fitting room 21, the customer always passes through the doorway 22. At this time, the infrared sensor 171 detects and outputs the infrared rays emitted by the customer's body passing through the doorway 22. This detection output is input to the CPU 151 of the fitting room terminal 101.

ＣＰＵ１５１は、赤外線センサ１７１からの検出出力が入力された場合、衣料品３１の試着開始の操作を受け付けるスタート画面を、ＬＣＤ１０３に表示する。図１０は、衣料品の試着開始の操作を受け付けるスタート画面の一例である。本実施形態では、ＣＰＵ１５１は、図１０に示すように、衣料品３１の試着開始の操作を受け付けるためのスタートボタン１００１や、店舗名：「×××××」や、顧客名：「△△△△」や、顧客が試着室２１に持ち込んだ試着する衣料品３１に付された商品タグ４１に印刷されたバーコード４２のスキャナ１８１による読み取りを指示するメッセージなどが表示されたスタート画面１０００を、ＬＣＤ１０３に表示する。また、本実施形態では、ＣＰＵ１５１は、データベースサーバ３０１の顧客ファイルＦ４から、ハンディーターミナル６０１の操作部６０３から入力された顧客ＩＤと対応付けられた氏名を読み込み、読み込んだ氏名が顧客名として表示されたスタート画面１０００をＬＣＤ１０３に表示するものとする。 When the detection output from the infrared sensor 171 is input, the CPU 151 displays on the LCD 103 a start screen for accepting an operation to start trying on the clothing 31. FIG. 10 is an example of a start screen for accepting an operation to start trying on clothing. In the present embodiment, as shown in FIG. 10, the CPU 151 has a start button 1001 for accepting an operation for starting to try on clothing 31, a store name: “xxxx”, and a customer name: “ΔΔ. “△△”, a start screen 1000 on which a message instructing the scanner 181 to read the barcode 42 printed on the product tag 41 attached to the clothing item 31 to be tried on brought into the fitting room 21 by the customer is displayed. Displayed on the LCD 103. In the present embodiment, the CPU 151 reads the name associated with the customer ID input from the operation unit 603 of the handy terminal 601 from the customer file F4 of the database server 301, and the read name is displayed as the customer name. The start screen 1000 is displayed on the LCD 103.

図１０に示すスタート画面１０００を表示した後、ＣＰＵ１５１は、スタートボタン１００１の操作を待つ。そして、スタートボタン１００１が操作されると、ＣＰＵ１５１は、カメラ１０４に撮影された顧客の動画像を取り込むとともに、コンピュータ３０１の画像ファイルＦ３から、スキャナ１８１により読み取った商品ＩＤと対応付けられた衣料品画像（正面を向かせた衣料品３１の衣料品画像）を読み込む。そして、ＣＰＵ１５１は、カメラ１０４から取り込んだ顧客の動画像、および商品ファイルＦ１から読み込んだ衣料品画像のサムネイル画像をＬＣＤ１０３に表示する。図１１は、顧客の動画像および衣料品画像のサムネイル画像を表示した画面の一例を示す図である。本実施形態では、ＣＰＵ１５１は、図１１に示すように、カメラ１０４から取り込んだ顧客の動画像１１０１、商品ファイルＦ１から読み込んだ衣料品画像のサムネイル画像１１０２、試着室２１を利用可能な残り時間等が表示された画面１１００をＬＣＤ１０３に表示する。顧客は、画面１１００内のサムネイル画像１１０２を操作することにより、試着する商品の選択を要求することができる。 After displaying the start screen 1000 shown in FIG. 10, the CPU 151 waits for the operation of the start button 1001. When the start button 1001 is operated, the CPU 151 captures the moving image of the customer photographed by the camera 104, and the clothing associated with the product ID read by the scanner 181 from the image file F3 of the computer 301. An image (clothing image of clothing 31 facing front) is read. The CPU 151 displays on the LCD 103 a customer moving image captured from the camera 104 and a thumbnail image of the clothing image read from the product file F1. FIG. 11 is a diagram illustrating an example of a screen displaying a moving image of a customer and a thumbnail image of a clothing image. In the present embodiment, as shown in FIG. 11, the CPU 151 has a customer moving image 1101 captured from the camera 104, a thumbnail image 1102 of the clothing image read from the product file F1, a remaining time in which the fitting room 21 can be used, and the like. Is displayed on the LCD 103. The customer can request selection of a product to try on by operating the thumbnail image 1102 in the screen 1100.

画面１１００内のサムネイル画像１１０２が操作されると、ＣＰＵ１５１（選択部）は、スキャナ１８１により読み取った商品ＩＤから特定される商品のうち、サムネイル画像１１０２が操作された商品を顧客に試着させる衣料品３１（衣料品データ）として選択する（ステップＳ９０１）。顧客に試着させる衣料品３１が選択されると、ＣＰＵ１５１（判別部）は、カメラ１０４により動画像を撮影した顧客の向きを判別する（ステップＳ９０２）。本実施形態では、ＣＰＵ１５１は、各種の公知手法を用いて、カメラ１０４から取り込んだ動画像から、顧客の顔や肩や腕や足等の部分を抽出する。一例として、人の顔では、両目と口とがある範囲内で予め決められた配列をとるので、両目であろう部分と口であろう部分とを画像処理技術によって判別し、その配列がある範囲で予め決められた配列をとるのであれば、これを人の顔と判定する。両目であろう部分と口であろう部分とは、その画像上の各種の特徴量から推定することが可能である。そして、ＣＰＵ１５１は、各種の公知手法を用いて、抽出した顧客の顔や肩や腕等の部分から、顧客の向きを判別する。一例として、両目であろう部分と口であろう部分との配置関係、そのような配置関係から定まる顔の中心に対する顎であろう部分の左右バランス等から、推定することが可能である。 When the thumbnail image 1102 in the screen 1100 is operated, the CPU 151 (selection unit) causes the customer to try on the product for which the thumbnail image 1102 has been operated among the products specified from the product ID read by the scanner 181. 31 (clothing data) is selected (step S901). When the clothing item 31 to be tried on by the customer is selected, the CPU 151 (discriminating unit) discriminates the orientation of the customer who captured the moving image by the camera 104 (step S902). In the present embodiment, the CPU 151 extracts portions such as a customer's face, shoulders, arms, and legs from a moving image captured from the camera 104 using various known methods. As an example, in a human face, both eyes and mouth take a predetermined arrangement within a certain range. Therefore, a part that is likely to be both eyes and a part that is likely to be mouth are discriminated by image processing technology, and there is such an arrangement. If an arrangement predetermined in the range is taken, this is determined as a human face. The part which will be both eyes and the part which will be the mouth can be estimated from various feature values on the image. And CPU151 discriminate | determines a customer's direction from extracted parts, such as a customer's face, a shoulder, and an arm, using various well-known methods. As an example, it is possible to estimate from an arrangement relationship between a part that will be both eyes and a part that will be the mouth, a left-right balance of a part that will be a chin with respect to the center of the face determined from such an arrangement relation.

次に、ＣＰＵ１５１は、選択した衣料品３１を元に、判別した顧客の向きと同じ向きに向かせた場合の衣料品画像を生成する（ステップＳ９０３）。本実施形態では、ＣＰＵ１５１は、画像ファイルＦ３から、選択した商品の商品ＩＤと対応付けられ、かつ判別した向きが付加された衣料品画像を読み込むものとする。また、本実施形態では、ＣＰＵ１５１は、衣料品画像の読み込みと同時に、商品ファイルＦ１から、選択した商品の商品ＩＤと対応付けられた商品名、単価、おすすめコーディネート商品の商品ＩＤを読み込む。また、本実施形態では、ＣＰＵ１５１は、在庫ファイルＦ２から、選択した商品の在庫数およびサイズを読み込む。さらに、本実施形態では、ＣＰＵ１５１は、顧客ファイルＦ４から、ハンディーターミナル６０１の操作部６０３から入力された顧客ＩＤと対応付けられたサイズを読み込む。 Next, based on the selected clothing item 31, the CPU 151 generates a clothing image when the orientation is the same as the determined customer direction (step S <b> 903). In the present embodiment, the CPU 151 reads from the image file F3 a clothing product image that is associated with the product ID of the selected product and has the determined orientation added. In the present embodiment, the CPU 151 reads the product name, unit price, and product ID of the recommended coordinated product associated with the product ID of the selected product from the product file F1 simultaneously with the reading of the clothing image. In the present embodiment, the CPU 151 reads the stock quantity and size of the selected product from the stock file F2. Furthermore, in this embodiment, the CPU 151 reads a size associated with the customer ID input from the operation unit 603 of the handy terminal 601 from the customer file F4.

なお、ＣＰＵ１５１は、カメラ１０４から取り込んだ動画像から抽出した顔や肩や腕や足の角度等に応じて、生成した衣料品画像を変形または拡大することも可能である。この場合に、画像ファイルＦ３は、顔や肩や腕や足の角度等を変化させた場合の衣料品画像を、衣料品画像の向き毎に記憶している必要がある。そして、ＣＰＵ１５１は、判別した向きが付加され、かつカメラ１０４から取り込んだ動画像から抽出した顔や肩や腕や足の角度と一致する衣料品画像を、画像ファイルＦ３から読み込むものとする。 Note that the CPU 151 can also deform or enlarge the generated clothing image according to the angle of the face, shoulder, arm, or foot extracted from the moving image captured from the camera 104. In this case, the image file F3 needs to store a clothing image when the angle of the face, shoulder, arm, foot, or the like is changed for each direction of the clothing image. Then, the CPU 151 reads from the image file F3 a clothing image that is added with the determined orientation and matches the angles of the face, shoulders, arms, and legs extracted from the moving image captured from the camera 104.

次に、ＣＰＵ１５１（表示部）は、生成した衣料品画像を、カメラ１０４から取り込んだ顧客の動画像１１０１に重ね合わせた合成画像をＬＣＤ１０３に表示する（ステップＳ９０４）。図１２は、顧客の動画像に生成した衣料品画像を重ね合わせた合成画像が表示された画面の一例である。本実施形態では、ＣＰＵ１５１は、図１２に示すように、顧客の動画像１１０１のうち衣料品画像１２０６を重ね合わせる部分に当該部分の表示と異ならせる透過処理を施し、透過処理を施した部分に、生成した衣料品画像１２０６を重ね合わせた合成画像１２０１が表示された画面１１００をＬＣＤ１０３に表示する。なお、選択されたサムネイル画像１１０２に対応する衣料品３１を顧客が着用している場合は、ステップＳ９０１〜ステップＳ９０４での合成画像の重ね合わせは実施しないものとする。 Next, the CPU 151 (display unit) displays on the LCD 103 a composite image in which the generated clothing image is superimposed on the customer moving image 1101 captured from the camera 104 (step S904). FIG. 12 is an example of a screen on which a composite image in which a clothing image generated on a customer moving image is superimposed is displayed. In the present embodiment, as shown in FIG. 12, the CPU 151 performs a transparent process for differentiating the display of the part on the part of the customer moving image 1101 on which the clothing image 1206 is superimposed, and applies the transparent process to the part subjected to the transparent process. Then, a screen 1100 on which a composite image 1201 obtained by superimposing the generated clothing image 1206 is displayed is displayed on the LCD 103. In addition, when the customer wears the clothing item 31 corresponding to the selected thumbnail image 1102, the superimposition of the composite image in step S901 to step S904 is not performed.

また、本実施形態では、ＣＰＵ１５１は、現在試着中の衣料品３１（つまり、動画像１１０１に重ね合わせた衣料品画像１２０６の衣料品３１）のサムネイル画像１１０２の縁の色を他のサムネイル画像１１０２の縁の色と異なる色で表示したり、現在試着中の衣料品３１のサムネイル画像１１０２の上に試着中であることを示すメッセージを表示したりして、現在試着中の衣料品３１のサムネイル画像１１０２を強調表示する。 In this embodiment, the CPU 151 changes the color of the edge of the thumbnail image 1102 of the clothing item 31 currently being tried on (that is, the clothing item 31 of the clothing image 1206 superimposed on the moving image 1101) to the other thumbnail image 1102. Display a color different from the color of the edge of the item, or display a message indicating that the item is being tried on on the thumbnail image 1102 of the item 31 currently being tried on. The image 1102 is highlighted.

さらに、本実施形態では、ＣＰＵ１５１は、図１２に示すように、商品ファイルＦ１から読み込んだ商品名および単価や在庫ファイルＦ２から読み込んだサイズなどの商品情報、商品の登録を要求するボタン１２０３などを含むポップアップ１２０２や、試着室端末１０１に対する各種処理の実行を要求する操作ボタン１２０４が表示された画面１１００を、ＬＣＤ１０３に表示する。 Furthermore, in this embodiment, as shown in FIG. 12, the CPU 151 includes product information such as the product name and unit price read from the product file F1, the size read from the inventory file F2, and a button 1203 for requesting registration of the product. The LCD 103 displays a screen 1100 on which an operation button 1204 for requesting execution of various processes for the pop-up 1202 including the fitting room terminal 101 is displayed.

店員の呼び出しを要求する操作ボタン１２０４（「呼び出し」）が操作されると、ＣＰＵ１５１は、発光部１９２を制御して、発光部１９２を発光させて店員を呼び出す。写真撮影を要求する操作ボタン１２０４（「写真撮影」）が操作されると、ＣＰＵ１５１は、カメラ１０４から、操作ボタン１２０４（「写真撮影」）が操作されたタイミングで撮影された静止画を取り込む。 When an operation button 1204 (“call”) for requesting the salesclerk is operated, the CPU 151 controls the light emitting unit 192 to cause the light emitting unit 192 to emit light and call the salesclerk. When an operation button 1204 (“photographing”) for requesting photography is operated, the CPU 151 captures a still image that is captured at the timing when the operation button 1204 (“photographing”) is operated from the camera 104.

また、選択した衣料品３１と組み合わせて着用可能な衣料品の衣料品画像の表示を要求する操作ボタン１２０４（「おすすめコーデ」、「クローゼット」、「買物カゴ」）が操作されると、ＣＰＵ１５１、図１２に示すように、画像ファイルＦ３または顧客ファイルＦ４から、選択した衣料品３１と組み合わせて着用可能な衣料品の衣料品画像１２０５を読み込む。次いで、ＣＰＵ１５１（表示部）は、読み込んだ衣料品画像１２０５および合成画像１２０１を含む画面１１００を、ＬＣＤ１０３に表示する。 When an operation button 1204 (“recommended code”, “closet”, “shopping basket”) for requesting display of a clothing image of clothing that can be worn in combination with the selected clothing 31 is operated, the CPU 151, As shown in FIG. 12, a clothing image 1205 of clothing that can be worn in combination with the selected clothing 31 is read from the image file F3 or the customer file F4. Next, the CPU 151 (display unit) displays a screen 1100 including the read clothing image 1205 and the composite image 1201 on the LCD 103.

例えば、操作ボタン１２０４のうち「おすすめコーデ」が操作された場合、ＣＰＵ１５１は、商品ファイルＦ１から、選択した衣料品３１の商品ＩＤと対応付けられたおすすめコーディネート商品の商品ＩＤを読み込む。次いで、ＣＰＵ１５１は、画像ファイルＦ３から、読み込んだおすすめコーディネート商品の商品ＩＤと対応付けられた衣料品画像１２０５を読み込み、読み込んだ衣料品画像１２０５および合成画像１２０１を含む画面１１００を、ＬＣＤ１０３に表示する。 For example, when “recommended coordination” among the operation buttons 1204 is operated, the CPU 151 reads the product ID of the recommended coordinated product associated with the product ID of the selected clothing item 31 from the product file F1. Next, the CPU 151 reads a clothing image 1205 associated with the product ID of the recommended coordinated product that has been read from the image file F3, and displays a screen 1100 including the read clothing image 1205 and the composite image 1201 on the LCD 103. .

また、操作ボタン１２０４のうち「買物カゴ」が操作された場合、ＣＰＵ１５１は、商品ファイルＦ１から、登録済み商品の商品ＩＤを読み込む。次いで、ＣＰＵ１５１は、画像ファイルＦ３から、読み込んだ登録済み商品の商品ＩＤと対応付けられた衣料品画像１２０５を読み込み、読み込んだ衣料品画像１２０５および合成画像１２０１を含む画面１１００を、ＬＣＤ１０３に表示する。 When “shopping basket” is operated among the operation buttons 1204, the CPU 151 reads the product ID of the registered product from the product file F1. Next, the CPU 151 reads the clothing image 1205 associated with the product ID of the read registered product from the image file F3, and displays a screen 1100 including the read clothing image 1205 and the composite image 1201 on the LCD 103. .

さらに、操作ボタン１２０４のうち「クローゼット」が操作された場合、ＣＰＵ１５１は、顧客ファイルＦ４から、ハンディーターミナル６０１の操作部６０３から入力された顧客ＩＤと対応付けられた衣料品画像１２０５（予め登録した衣料品画像）を読み込み、読み込んだ衣料品画像１２０５および合成画像１２０１を含む画面１１００を、ＬＣＤ１０３に表示する。 Further, when the “closet” of the operation buttons 1204 is operated, the CPU 151 displays a clothing image 1205 (registered in advance) associated with the customer ID input from the operation unit 603 of the handy terminal 601 from the customer file F4. (Clothing image) is read, and a screen 1100 including the read clothing image 1205 and composite image 1201 is displayed on the LCD 103.

なお、本実施形態では、選択した衣料品３１と組み合わせて着用可能な衣料品３１の衣料品画像１２０５を、顧客の動画像１１０１に衣料品画像１２０６を重ね合わせた合成画像１２０１とともに表示しているが、これに限定するものではない。例えば、選択した衣料品３１と組み合わせて着用可能な衣料品３１の衣料品画像１２０５を、顧客の静止画に衣料品画像１２０６を重ね合わせた合成画像とともに表示しても良い。 In the present embodiment, the clothing image 1205 of the clothing item 31 that can be worn in combination with the selected clothing item 31 is displayed together with the composite image 1201 in which the clothing image 1206 is superimposed on the customer moving image 1101. However, the present invention is not limited to this. For example, the clothing image 1205 of the clothing item 31 that can be worn in combination with the selected clothing item 31 may be displayed together with a composite image in which the clothing image 1206 is superimposed on the customer's still image.

また、図１２に示す画面１１００においては、選択した衣料品３１と組み合わせて着用可能な衣料品の衣料品画像１２０５を、合成画像１２０１の周りに、衣料品の種類毎に分けて表示しているが、これに限定するものではない。図１３は、選択した衣料品に組み合わせて着用可能な衣料品の衣料品画像の他の表示例を示す図である。例えば、操作ボタン１２０４のうち「おすすめコーデ」が操作された場合、ＣＰＵ１５１は、図１３に示すように、選択した衣料品３１と、当該選択した衣料品３１と組み合わせて着用可能な衣料品と、を組み合わせた衣料品画像１３０１を含む画面１１００をＬＣＤ１０３に表示しても良い。 In the screen 1100 shown in FIG. 12, clothing images 1205 of clothing that can be worn in combination with the selected clothing 31 are displayed around the composite image 1201 for each type of clothing. However, the present invention is not limited to this. FIG. 13 is a diagram illustrating another display example of the clothing image of the clothing that can be worn in combination with the selected clothing. For example, when “recommended coordination” among the operation buttons 1204 is operated, the CPU 151, as shown in FIG. 13, the selected clothing item 31 and the clothing item that can be worn in combination with the selected clothing item 31, A screen 1100 including a clothing image 1301 combining the above may be displayed on the LCD 103.

図１２に示す画面１１００をＬＣＤ１０３に表示した後、ＣＰＵ１５１は、選択した衣料品３１と組み合わせて着用する衣料品が選択されたか否かを判断する。 After displaying screen 1100 shown in FIG. 12 on LCD 103, CPU 151 determines whether or not a clothing item to be worn in combination with selected clothing item 31 has been selected.

図１４および図１５は、選択した衣料品と組み合わせて着用する衣料品を選択する処理を説明するための図である。ＣＰＵ１５１は、画面１１００に表示した衣料品画像１２０５の中から、選択した衣料品３１と組み合わせて着用する衣料品３１の衣料品画像１４０１が操作されると、図１４に示すように、衣料品画像１４０１の縁の色を変えるなどして強調表示する。さらに、ＣＰＵ１５１は、操作された衣料品画像１４０１の衣料品３１が商品である場合には、図１４に示すように、衣料品画像１４０１の近傍にポップアップ１２０２を表示する。その後、図１５に示すように、衣料品画像１４０１が合成画像１２０１上にドラッグされると、ＣＰＵ１５１は、選択した衣料品３１と組み合わせて着用する衣料品３１が選択されたと判断する。 FIG. 14 and FIG. 15 are diagrams for explaining processing for selecting a clothing item to be worn in combination with the selected clothing item. When the clothing image 1401 of the clothing 31 to be worn in combination with the selected clothing 31 is operated from the clothing images 1205 displayed on the screen 1100, the CPU 151 operates as shown in FIG. It is highlighted by changing the color of the edge 1401. Furthermore, when the clothing item 31 of the operated clothing image 1401 is a product, the CPU 151 displays a pop-up 1202 in the vicinity of the clothing image 1401 as shown in FIG. Thereafter, as shown in FIG. 15, when clothing image 1401 is dragged onto composite image 1201, CPU 151 determines that clothing 31 to be worn in combination with selected clothing 31 has been selected.

選択した衣料品３１を組み合わせて着用する衣料品が選択されたと判断した場合、ＣＰＵ１５１は、図９に示すステップＳ９０２〜ステップＳ９０４に示す処理と同様に、選択された衣料品３１の衣料品画像を、合成画像１２０１に重ね合わせた新たな合成画像の表示処理を実行する。簡単に説明すると、ＣＰＵ１５１は、まず、カメラ１０４により動画像を撮影した顧客の向きを判別する。次に、ＣＰＵ１５１は、選択された衣料品３１を、判別した顧客の向きと同じ向きに向かせた場合の当該選択された衣料品３１の衣料品画像を生成する。そして、ＣＰＵ１５１は、合成画像１２０１に生成した衣料品画像を重ね合わせた新たな合成画像をＬＣＤ１０３に表示する。 When it is determined that the clothing item to be worn by combining the selected clothing items 31 is selected, the CPU 151 displays the clothing image of the selected clothing item 31 in the same manner as the processing shown in steps S902 to S904 shown in FIG. Then, display processing of a new composite image superimposed on the composite image 1201 is executed. In brief, the CPU 151 first determines the orientation of the customer who has captured a moving image with the camera 104. Next, the CPU 151 generates a clothing image of the selected clothing item 31 when the selected clothing item 31 is oriented in the same direction as the determined customer orientation. Then, the CPU 151 displays a new composite image on the LCD 103 by superimposing the generated clothing image on the composite image 1201.

図１６は、合成画像に衣料品画像を重ね合わせた新たな合成画像が表示された画面の一例である。本実施形態では、ＣＰＵ１５１は、図１６に示すように、合成画像１２０１に生成した衣料品画像１６０３を重ね合わせた新たな合成画像１６０１を含む画面１１００をＬＣＤ１０３に表示する。また、本実施形態では、ＣＰＵ１５１は、図１６に示すように、商品ファイルＦ１から読み込んだ商品名および単価、在庫ファイルＦ２から読み込んだサイズ、商品の登録を要求するボタン１２０３などに加え、在庫ファイルＦ２から読み込んだサイズと顧客ファイルＦ４から読み込んだサイズとが異なる場合に、サイズが合っていないことを通知するメッセージ等の警告１６０２を含むポップアップ１２０２を含む画面１１００をＬＣＤ１０３に表示する。 FIG. 16 is an example of a screen on which a new composite image in which a clothing image is superimposed on the composite image is displayed. In the present embodiment, as shown in FIG. 16, the CPU 151 displays on the LCD 103 a screen 1100 including a new composite image 1601 obtained by superimposing the generated clothing image 1603 on the composite image 1201. Further, in this embodiment, as shown in FIG. 16, the CPU 151 includes a stock name and unit price read from the product file F1, a size read from the stock file F2, a button 1203 for requesting registration of the product, etc. When the size read from F2 is different from the size read from the customer file F4, a screen 1100 including a pop-up 1202 including a warning 1602 such as a message notifying that the size does not match is displayed on the LCD 103.

選択した衣料品３１と組み合わせて着用する衣料品３１が選択されなかった場合、ＣＰＵ１５１は、操作ボタン１２０４（「写真撮影」）が操作されて静止画の撮影が要求されたか否かを判断する。静止画の撮影が要求された場合、ＣＰＵ１５１は、合成画像１２０１，１６０１の撮影処理を実行する。具体的には、ＣＰＵ１５１は、まず、合成画像１２０１，１６０１、および動画像内にいる顧客に対して静止画の撮影範囲を示す人型のシルエットを含む画面をＬＣＤ１０３に表示する。図１７は、合成画像および人型のシルエットを含む画面の一例を示す図である。本実施形態では、ＣＰＵ１５１は、図１７に示すように、合成画像１２０１，１６０１および人型のシルエット１７０１に加え、静止画の撮影開始を指示する発話（例えば、「ＯＫ」など）を要求するメッセージ１７０２、および静止画の撮影中止を指示するキャンセルボタン１７０３を含む画面１１００をＬＣＤ１０３に表示する。 When the clothing item 31 to be worn in combination with the selected clothing item 31 is not selected, the CPU 151 determines whether or not the operation button 1204 (“photographing”) has been operated to request the photographing of a still image. When still image shooting is requested, the CPU 151 executes shooting processing of the composite images 1201 and 1601. Specifically, the CPU 151 first displays on the LCD 103 a screen including the composite images 1201 and 1601 and a human-like silhouette indicating a still image shooting range for a customer in the moving image. FIG. 17 is a diagram illustrating an example of a screen including a composite image and a humanoid silhouette. In the present embodiment, as shown in FIG. 17, the CPU 151 requests a utterance (for example, “OK” or the like) instructing the start of still image shooting in addition to the composite images 1201 and 1601 and the humanoid silhouette 1701. 1702 and a screen 1100 including a cancel button 1703 for instructing to stop shooting a still image are displayed on the LCD 103.

次いで、マイク１０５から静止画の撮影開始を指示する発話が入力されると、ＣＰＵ１５１は、合成画像１２０１，１６０１、および撮影タイミングまでのカウントダウン表示をＬＣＤ１０３に表示する。図１８および図１９は、合成画像およびカウントダウン表示を含む画面の一例を示す図である。本実施形態では、ＣＰＵ１５１は、図１８および図１９に示すように、合成画像１２０１，１６０１、「３，２，１」などのカウントダウン表示１８０１，静止画の撮影タイミングを示すフラッシュ表示１９０１（例えば、合成画像１２０１，１６０１の輝度を上げるなど）を含む画面１１００をＬＣＤ１０３に表示する。さらに、本実施形態では、ＣＰＵ１５１は、静止画の撮影タイミングを示す音（例えば、「カシャ」などのカメラのシャッタ音）を図示しないスピーカから出力する。 Next, when an utterance instructing the start of still image shooting is input from the microphone 105, the CPU 151 displays the composite images 1201 and 1601 and a countdown display up to the shooting timing on the LCD 103. 18 and 19 are diagrams illustrating an example of a screen including a composite image and a countdown display. In this embodiment, as shown in FIGS. 18 and 19, the CPU 151 has a countdown display 1801 such as composite images 1201 and 1601 and “3, 2, 1”, and a flash display 1901 indicating the shooting timing of a still image (for example, The screen 1100 including the brightness of the composite images 1201 and 1601 is displayed on the LCD 103. Further, in the present embodiment, the CPU 151 outputs a sound indicating a still image shooting timing (for example, a shutter sound of a camera such as “click”) from a speaker (not shown).

次に、ＣＰＵ１５１は、静止画の撮影タイミングを示すフラッシュ表示１９０１および静止画の撮影タイミングを示す音の出力と同時に、カメラ１０４により撮影された静止画を取り込むとともに、取り込んだ静止画をＬＣＤ１０３に表示する。図２０は、静止画を含む画面の一例を示す図である。本実施形態では、ＣＰＵ１５１は、図２０に示すように、合成画像１２０１，１６０１、ポップアップ１２０２、取り込んだ静止画２００１、静止画２００１の表示の中止を要求するボタン２００２を含む画面１１００をＬＣＤ１０３に表示する。なお、画面１１００に表示された静止画２００１が操作されると、ＣＰＵ１５１は、操作された静止画２００１をハンディーターミナル６０１に送信するものとする。これにより、ユーザは、ハンディーターミナル６０１において、合成画像１２０１，１６０１を確認することができる。 Next, the CPU 151 captures the still image captured by the camera 104 and displays the captured still image on the LCD 103 simultaneously with the flash display 1901 indicating the still image capturing timing and the sound output indicating the still image capturing timing. To do. FIG. 20 is a diagram illustrating an example of a screen including a still image. In the present embodiment, as shown in FIG. 20, the CPU 151 displays on the LCD 103 a screen 1100 including composite images 1201 and 1601, a pop-up 1202, a captured still image 2001, and a button 2002 for requesting to stop displaying the still image 2001. To do. Note that when the still image 2001 displayed on the screen 1100 is operated, the CPU 151 transmits the operated still image 2001 to the handy terminal 601. As a result, the user can check the composite images 1201 and 1601 at the handy terminal 601.

静止画の撮影が要求されなかった場合、ＣＰＵ１５１は、画面１１００においてボタン１２０３が操作されて商品の登録が要求されたか否かを判断する。ボタン１２０３が操作されて商品の登録が要求されると、ＣＰＵ１５１は、登録が要求された商品の商品ＩＤを、顧客ファイルＦ４の登録済み商品の商品ＩＤに追加して、商品の登録を実行する。そして、ＣＰＵ１５１は、登録された商品の一覧をＬＣＤ１０３に表示する。図２１は、登録された商品の一覧が表示された画面の一例を示す図である。本実施形態では、ＣＰＵ１５１は、登録された商品の一覧や、商品の登録をやり直すボタン２１０２や、商品の登録を確定するボタン２１０３などが含まれるポップアップ２１０１を合成画像１２０１，１６０１上に表示した画面１１００をＬＣＤ１０３に表示する。 When still image shooting is not requested, the CPU 151 determines whether registration of a product is requested by operating the button 1203 on the screen 1100. When registration of a product is requested by operating the button 1203, the CPU 151 adds the product ID of the product for which registration has been requested to the product ID of the registered product in the customer file F4, and executes product registration. . Then, the CPU 151 displays a list of registered products on the LCD 103. FIG. 21 is a diagram illustrating an example of a screen on which a list of registered products is displayed. In the present embodiment, the CPU 151 displays a pop-up 2101 including a list of registered products, a button 2102 for redoing product registration, a button 2103 for confirming product registration, and the like on the composite images 1201 and 1601. 1100 is displayed on the LCD 103.

商品の登録を確定するボタン２１０３が操作されると、ＣＰＵ１５１は、商品登録処理を終了する。図２２は、商品登録処理の終了画面を示す図である。本実施形態では、ＣＰＵ１５１は、商品登録処理が終了すると、図２２に示すように、商品登録処理の終了を通知する画面２２００をＬＣＤ１０３に表示する。 When the button 2103 for confirming product registration is operated, the CPU 151 ends the product registration process. FIG. 22 is a diagram illustrating an end screen of the product registration process. In the present embodiment, when the product registration process ends, the CPU 151 displays a screen 2200 for notifying the end of the product registration process on the LCD 103 as shown in FIG.

このように、本実施形態の業務支援システム１１によれば、衣料品を試着する人物の動画像を撮影し、動画像を撮影した人物に試着させる衣料品を選択し、動画像を撮影した人物の向きを判別し、選択した衣料品を、判別された向きと同じ向きに向けた場合の衣料品の衣料品画像を生成し、撮影した人物の動画像に、生成した衣料品画像を重ね合わせた合成画像を表示することにより、人物の動画像の向きの変化に応じて、衣料品の向きも変化させることができるので、顧客が実際の衣料品を着用したイメージを捉え易くすることができる。 As described above, according to the business support system 11 of the present embodiment, a moving image of a person trying on a clothing item is shot, a clothing item to be tried on by the person who has shot the moving image is selected, and the person who shot the moving image is selected. The clothing image of the clothing when the selected clothing is oriented in the same direction as the determined orientation is generated, and the generated clothing image is superimposed on the moving image of the photographed person By displaying the synthesized image, the direction of the clothing can be changed according to the change in the direction of the moving image of the person, so that it is possible to easily capture the image of the customer wearing the actual clothing. .

なお、本実施形態の試着室端末１０１で実行されるプログラムは、ＲＯＭ１５２等に予め組み込まれて提供されるが、これに限定するものではなく、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 Note that the program executed in the fitting room terminal 101 of the present embodiment is provided by being incorporated in advance in the ROM 152 or the like, but is not limited to this, and is a CD in an installable or executable format file. -You may comprise so that it may record and provide on computer-readable recording media, such as ROM, a flexible disk (FD), CD-R, DVD (Digital Versatile Disk).

さらに、本実施形態の試着室端末１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ３０１上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の試着室端末１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the program executed in the fitting room terminal 101 of the present embodiment may be stored on a computer 301 connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed in the fitting room terminal 101 of the present embodiment may be provided or distributed via a network such as the Internet.

なお、本実施形態では、試着室端末１０１単体で上述した各部（選択部、判別部、表示部など）を実現しているが、これに限定するものではなく、通信回線１５に接続された一または複数のコンピュータ３０１で上述した各部（選択部、判別部、表示部など）を実現しても良い。 In the present embodiment, each unit (selection unit, determination unit, display unit, etc.) described above is realized by the fitting room terminal 101 alone, but the present invention is not limited to this, and one unit connected to the communication line 15 is not limited thereto. Alternatively, the above-described units (selection unit, determination unit, display unit, etc.) may be realized by a plurality of computers 301.

１１業務支援システム
１５通信回線
３１衣料品
１０１試着室端末
１０３ＬＣＤ
１０４カメラ
１５１ＣＰＵ
１５２ＲＯＭ
１５３ＲＡＭ
１６２通信インタフェース
３０１コンピュータ
１１０１動画像
１２０１合成画像
１２０２ポップアップ
１２０５，１２０６衣料品画像 11 Business Support System 15 Communication Line 31 Clothing 101 Fitting Room Terminal 103 LCD
104 Camera 151 CPU
152 ROM
153 RAM
162 Communication interface 301 Computer 1101 Moving image 1201 Composite image 1202 Pop-up 1205, 1206 Clothing image

特開２００５−１７４２０４号公報JP-A-2005-174204

Claims

Photographing means for photographing a moving image of a person trying on clothing;
A selection means for selecting clothing data;
Discriminating means for discriminating the direction of the person who captured the moving image by the imaging means;
Based on the clothing data selected by the selection means, a composite image in which a clothing image when oriented in the same direction as that determined by the determination means is superimposed on a moving image of a person photographed by the photographing means Display means for displaying
A fitting system characterized by comprising

The try-on system according to claim 1, wherein the determination unit determines the orientation of the person who has captured the moving image by the shooting unit from the arrangement relationship of the portions of the person who has captured the moving image by the shooting unit. .

The try-on according to claim 1, wherein, when the selected clothing is a product, the display unit displays product information indicating the selected clothing in addition to the composite image. system.

Photographing means for photographing an image of a person trying on clothing;
A selection means for selecting clothing data;
Display means for displaying a clothing image of clothing data to be worn in combination with a composite image in which the clothing image of the selected clothing data is superimposed on the image of the photographed person and the selected clothing data;
A fitting system characterized by comprising

The said display means displays the clothing image of the clothing data currently sold as a product in the store among the clothing data to be worn in combination with the selected clothing data. Try-on system.

The fitting system according to claim 4, wherein the display unit displays a clothing image of clothing data registered in advance among clothing data to be worn in combination with the selected clothing data.