JP6684303B2 - インタラクティブな衣服及びアクセサリのフィッティング方法及びその表示システム - Google Patents

Description

本発明は、表示技術であって、特に、リアルタイムの衣服及びアクセサリのフィッティング及び比較のための場所又は機会に好適に用いられる、インタラクティブな衣服及びアクセサリのフィッティング方法及びその表示システムに関する。

消費者は、物理的な店舗で衣服又はアクセサリを購入しているが、通常、最も満足度の高いものを選択するためには、それらを繰り返し試着する必要がある。しかしながら、消費者は時間がかかり、退屈であると感じるだけでなく、かなりの時間、試着室を占有することになり得る。従来技術の１つとして、カメラを用いてユーザの身体またはユーザの頭部の画像を撮影し、撮影した画像に仮想の衣服を加える、仮想衣服フィッティング製品が提案されている。このような模擬的な環境における仮想の衣服の画像は、ユーザの姿と調和がとれず、非現実的に見えることがある。別の先行技術として、ユーザがそれぞれの衣服を試着している間に写真またはビデオを撮影して、ユーザがそれぞれの衣服のフィッティングの効果をオフラインで比較することを可能にすることが提案されている。これらのアプローチは、不便であり、消費者に別の負担を生じさせ、それによって不利なユーザ体験を引き起こし得る。

情報技術が日常生活の多くの側面に組み込まれるにつれて、スマート製品の開発に重点が置かれる傾向にある。したがって、既存の製品を物理的な店舗に組み込んでインタラクティブなフィッティングと比較を実現することは、消費者の生活経験を最適化する１つの方法となってきている。

したがって、本発明において、ユーザが衣服及びアクセサリを試着している間にインタラクティブでリアルタイムな比較を提供する、インタラクティブな衣服及びアクセサリのフィッティング方法及びその表示システムが提供される。

例示的な一実施形態によれば、画像取込装置とスクリーンとを備える表示システムに適用される、インタラクティブな衣服及びアクセサリのフィッティング方法には、以下の処理が含まれる。ユーザが第１の衣類を着用している間、ユーザの画像が画像取込装置を用いて取り込まれ、それぞれがユーザの異なるポーズに対応する第１の画像で形成される第１の画像シーケンスが生成される。ユーザが第２の衣類を着用している間に、ユーザの画像は、画像取込装置を用いて取り込まれる。ユーザの特定のポーズに対応する第２の比較画像が画像取込装置によって取り込まれると、特定のポーズに対応する第１の比較画像が第１の画像シーケンスから検索され、第１の比較画像及び第２の比較画像が共にスクリーンに表示される。

例示的な一実施形態によれば、表示システムは、画像取込装置、スクリーン、メモリ、及びプロセッサを含む。プロセッサは、画像取込装置、スクリーン、及びメモリに結合される。画像取込装置は、スクリーンと同じ側に配置される。画像取込装置は、画像を取り込むように構成される。スクリーンは画像を表示するように構成される。メモリはデータを格納するように構成される。ユーザが第１の衣類を着用している間、プロセッサは、画像取込装置を使用してユーザの画像を取り込み、それぞれがユーザの異なるポーズに対応する第１の画像で形成される第１の画像シーケンスを生成する。ユーザが第２の衣類を着用している間、プロセッサは、画像取込装置を使用してユーザの画像を取り込む。画像取込装置がユーザの特定のポーズに対応する第２の比較画像を取り込むと、プロセッサは、特定のポーズに対応する第１の比較画像を第１の画像シーケンスから検索し、第１の比較画像及び第２の比較画像を共にスクリーンに表示する。

例示的な一実施形態によれば、画像取込装置とスクリーンとを備える表示システムに適用される、インタラクティブな衣服及びアクセサリのフィッティング方法には、以下の処理が含まれる。第１の衣類に対応し、ユーザの異なるポーズにそれぞれ対応する第１の画像で形成される第１の画像シーケンスと、第２の衣類に対応し、ユーザの異なるポーズにそれぞれ対応する第２の画像で形成される第２の画像シーケンスとが生成される。次に、第１の画像と第２の画像とのペアリングが実行されて、同様のポーズに対応する第１の画像及び第２の画像をそれぞれが含むペア画像セットが生成され、それぞれのペア画像セットがスクリーンに順次表示される。

例示的な一実施形態によれば、表示システムは、画像取込装置、スクリーン、メモリ、及びプロセッサを含む。プロセッサは、画像取込装置、スクリーン、及びメモリに結合される。画像取込装置は、スクリーンと同じ側に配置される。画像取込装置は、画像を取り込むように構成される。スクリーンは画像を表示するように構成される。メモリはデータを格納するように構成される。プロセッサは、第１の衣類に対応し、ユーザの異なるポーズにそれぞれ対応する第１の画像で形成される第１の画像シーケンスと、第２の衣類に対応し、ユーザの異なるポーズにそれぞれ対応する第２の画像で形成される第２の画像シーケンスとを生成し、第１の画像及び第２の画像のペアリングを実行して、同様のポーズに対応する第１の画像及び第２の画像をそれぞれが含むペア画像セットを生成し、それぞれのペア画像セットをスクリーンに順次表示するように構成される。

本開示の前述の特徴及び利点を理解可能にするために、図面を伴う好ましい実施形態を以下で詳細に説明する。前述の一般的な説明及び以下の詳細な説明はいずれも例示的なものであり、特許請求の範囲に記載された本開示のさらなる説明を提供することを意図していることを理解されたい。

しかしながら、本概要は、本開示の態様及び実施形態のすべてを含むわけではなく、したがって、いかなる方法においても制限または限定することを意味するものではないことを理解されたい。また、本開示は、当業者に明らかな改良及び変更を含む。

添付の図面は、本開示のさらなる理解を提供するために本明細書に含まれ、本明細書に組み込まれ、本明細書の一部を構成する。図面は、本開示の実施形態を示し、詳細な説明と共に、本開示の原理を説明するために用いられる。
図１は、本開示の例示的な一実施形態における、表示システムのブロック図を示す。 図２は、本開示の例示的な一実施形態における、インタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。 図３Ａは、本開示の例示的な一実施形態における、第１の比較画像及び第２の比較画像の概略図を示す。図３Ｂは、本開示の例示的な他の実施形態における、第１の比較画像及び第２の比較画像の概略図を示す。 図４Ａは、本開示の例示的な一実施形態における、身体のポーズ角度を決定するための概略図を示す。図４Ｂは、本開示の例示的な一実施形態における、顔のポーズ角度を決定するための概略図を示す。 図５は、本開示の例示的な一実施形態における、コードブックを構築するための概略図を示す。 図６は、本開示の例示的な一実施形態における、記録モードでのインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。 図７は、本開示の例示的な一実施形態における、自動比較モードでのインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。 図８は、本開示の例示的な一実施形態における、手動比較モードでのインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。

上記の本出願の特徴及び利点をより理解しやすくするために、図面を伴ういくつかの実施形態を以下に詳細に説明する。

（実施形態の詳細な説明）
本開示のいくつかの実施形態を、添付の図面を参照して、以下でより詳細に説明するが、これらは本出願の全ての実施形態ではなく一部の実施形態として示される。実際、本開示の様々な実施形態は、多くの異なる形態で実施されてもよく、本明細書に記載の実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が出願可能な法的要件を満たすように提供される。同様の参照符号は、全体を通して同様の要素を指す。

図１は、本開示の例示的な一実施形態における表示システムのブロック図を示す。表示システムのすべての構成要素及びそれらの構成が、最初に図１に示される。構成要素の機能は、図２に関連付けてより詳細に開示される。

図１を参照すると、表示システム１００は、画像取込装置１１０、スクリーン１２０、メモリ１３０、及びプロセッサ１４０を含む。プロセッサ１４０は、画像取込装置１１０、スクリーン１２０、及びメモリ１３０に結合される。画像取込装置１１０は、スクリーン１２０と同じ側に配置される。本実施形態では、表示システム１００は、画像取込装置１１０、スクリーン１２０、メモリ１３０、及びプロセッサ１４０の全てを備えるオールインワンディスプレイであってもよい。他の実施形態では、表示システム１００は、外部接続された画像取込装置１１０を有する、スクリーン１２０、メモリ１３０、及びプロセッサ１４０を備えるコンピュータシステムであってもよい。さらに他の実施形態では、表示システム１００は、スマートフォン、及びタブレットコンピュータ等の、画像取込機能及び画像表示機能を備えた電子機器であってもよい。本開示は、この点に限定されるものではない。

画像取込装置１１０は、スクリーン１２０の前の画像を取り込む（capture）ように構成され、光学レンズ及びセンサ素子を有するカメラレンズを含む。センサ素子は、光学レンズに入射する強度を感知して画像を生成するように構成される。センサ素子は、例えば電荷結合素子（ＣＣＤ）、或いは相補型金属酸化膜半導体（ＣＭＯＳ）等の素子であってもよい。本開示は、この点に限定されるものではない。

スクリーン１２０は、ユーザが見るための画像を表示するように構成される。本実施形態では、スクリーン１２０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、或いは他の種類のディスプレイであってもよい。

メモリ１３０は、画像及びプログラミングコード等のデータを格納するように構成され、固定又は可搬のランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、他の同様のデバイス又は集積回路或いはその組み合わせであってもよい。

プロセッサ１４０は、表示システム１００の構成要素間の動作を制御するように構成され、例えば、中央処理装置（ＣＰＵ）、又はマイクロプロセッサ及びデジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、他の同様の装置、又は前述の装置の組み合わせ等の汎用又は特殊用途の他のプログラム可能な装置であってもよい。

表示システム１００がインタラクティブな衣服及びアクセサリのフィッティング方法をどのように実行するかの詳細なステップは、以下に各構成要素とともに示される。

図２は、本開示の例示的な一実施形態において提案されたインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。

図１及び図２を参照すると、ユーザがスクリーン１２０の前で第１の衣類を着用している間、プロセッサ１４０は、画像取込装置１１０を用いてユーザの画像を取り込み、第１の画像シーケンスを生成し（ステップＳ２０２）、第１の画像シーケンスをメモリ１３０に格納する。ここで、取込時間は、例えば１０秒としてもよい。１０秒の中でユーザが異なるポーズをとり、異なる角度及び方向を向くことで、第１の画像シーケンス内の各画像は、ユーザの異なるポーズにそれぞれ対応しうる。以下において、便宜上、第１の画像シーケンスを構成する各画像を「第１の画像」とよぶ。また、画像取込装置１１０が画像を取り込んでいる間に、プロセッサ１４０は取り込まれた画像をスクリーン１２０に表示して、ユーザが鏡を見ているように、ユーザに第１の衣類のフィッティングの効果を見せうることを、当業者は評価するであろう。

次に、ユーザがスクリーン１２０の前で第２の衣類を着用している間、プロセッサ１４０は、画像取込装置１１０を用いてユーザの画像を取り込む（ステップＳ２０４）。プロセッサ１４０は、ユーザの特定のポーズに対応する画像（以下、「第２の比較画像」という）が画像取込装置１１０によって取り込まれたと判定すると、プロセッサ１４０は、その特定のポーズに対応する画像（以下、「第１の比較画像」という）を第１の画像シーケンスから検索し（ステップＳ２０６）、第１の比較画像及び第２の比較画像を共にスクリーン１２０に表示する（ステップＳ２０８）。詳細には、画像取込装置１１０が第２の衣類を着用しているユーザの画像を取り込んでいる間に、プロセッサ１４０は、取り込まれた各画像からユーザの現在のポーズを共に判定し、第１の衣類を着用している間に取り込まれた第１の画像シーケンスから現在のポーズに最も近い画像を検索し、ユーザが第１の衣類と第２の衣類との差異を比較できるように、２つの画像を共にスクリーン１２０に画面を分割して表示する。さらに、第２の衣類を着用しているユーザが自分のポーズを変更すると、プロセッサ１４０は、第１の画像シーケンスから、変更されたポーズに最も近い他の画像を、インタラクティブでリアルタイムな比較のために検索する。

より具体的に、図３Ａ及び図３Ｂは、本開示の例示的な一実施形態における第１の比較画像及び第２の比較画像の概略図を示す

深度センサ１２５を表示システム１００のスクリーン１２０と同じ側に追加的に配置して、深度情報を用いてユーザのポーズをより正確に判定し得ることに留意されたい。深度センサ１２５は、スクリーン１２０の前の深度情報を検出するように構成され、能動的な深度センサと受動的な深度センサとに分類されることができる。能動的な深度センサは、光源、超音波、及びレーザ等の信号を能動的に送信することによって、スクリーン１２０の前の深度情報を計算してもよい。一方、受動的な深度センサは、例えば、画像取込装置１１０と共に異なる視野角からスクリーン１２０の前の他の画像を取り込む他の画像取込装置であってもよい。２つの画像取込装置によって取り込まれた２つの画像が、スクリーン１２０の前の深度情報を計算するために使用されてもよい。

まず図３Ａを参照して、第１の衣類及び第２の衣類は眼鏡Ａ３１及び眼鏡Ａ３２であるとする。ユーザＯｂｓが眼鏡Ａ３１を試着している間、画像取込装置１１０は、眼鏡Ａ３１を着用しているユーザＯｂｓの第１の画像シーケンスを取り込む。次に、ユーザＯｂｓが眼鏡Ａ３２を試着し、スクリーン１２０の正面を向いている間に、画像取込装置１１０は画像Ｉｍｇ３２（第２の比較画像）を取り込む。一方、プロセッサ１４０は、第１の画像シーケンスからスクリーン１２０の正面を向いているユーザの画像Ｉｍｇ３１（すなわち、第１の比較画像）を検索し、画像Ｉｍｇ３１及び画像Ｉｍｇ３２を共にスクリーン１２０に画面を分割して表示する。

次に図３Ｂを参照して、第１の衣類及び第２の衣類はドレスＡ３３及びドレスＡ３４であるとする。ユーザＯｂｓがドレスＡ３３を試着している間、画像取込装置１１０は、ドレスＡ３３を着用しているユーザＯｂｓの第１の画像シーケンスを取り込む。次に、ユーザＯｂｓが、スクリーン１２０の正面に対して９０度の横向きの立位ポーズＰ’でドレスＡ３４を着用している間に、画像取込装置１１０は、画像Ｉｍｇ３４（すなわち、第２の比較画像）を取り込む。一方、プロセッサ１４０は、スクリーン１２０の正面に対して９０度の横向きの立位ポーズＰでドレスＡ３３を着用したユーザの画像Ｉｍｇ３３（すなわち、第１の比較画像）を第１の画像シーケンスから探し、画像Ｉｍｇ３３及び画像Ｉｍｇ３４をスクリーン１２０に共に画面を分割して表示する。

前述の実施形態は、比較する衣類を３つ以上に拡張することができ、それによって、ユーザは、分割された画面の３つ以上の衣類を比較し得ることに留意されたい。すなわち、分割された画面の１つは、特定の衣類を着用しているユーザのリアルタイム画像を表示してもよく、他の分割された画面は、ユーザが他の衣類を試着して、リアルタイムのポーズに対応するポーズを取っている間に、前もって格納された画像を表示してもよい。さらに、例示的な実施形態では、表示システム１００は、利便性向上のために操作インターフェース（図示せず）を介して、ユーザが現在着用している衣類と比較するための他の衣類の保存画像を選択する機能を、ユーザに提供してもよい。操作インタフェースは、タッチスクリーン、マウス、またはコントローラ等の入力装置であってもよい。図３Ｂの例において、ユーザがドレスＡ３３及びドレスＡ３４を既に試着したとする。ユーザがドレスＡ３３と類似するスタイルの他のドレスを試着するとき、ユーザは、操作インタフェースを介して、彼女が現在着用しているドレスの画像と比較するためのドレスＡ３３の画像を選択することができる。

表示システム１００が正確でロバストなフィッティング手法を提供することを可能にするために、プロセッサ１４０は、取り込まれた画像シーケンスを用いてコードブックを構築してもよい。第１の画像シーケンスの一例として、プロセッサ１４０は、各画像におけるポーズに対応する特徴を抽出して、コードブック（以下、「第１のコードブック」とよぶ）を構築してもよい。特徴は、例えば、複数の特徴点によって形成されたポーズ角度、或いは特定の比較点と基準物体との間の基準距離等であってもよい。詳細は以下に説明する。

ポーズ角度に関して、プロセッサ１４０は、画像シーケンスの各画像におけるユーザの特徴点を画像分析によって取得して、例えば、衣服を試着しているときの身体のポーズ、又は眼鏡を試着している間のスクリーン１２０に対する顔の方向を判定する。例えば、図４Ａは、本開示の例示的な一実施形態における身体のポーズ角度を決定するための概略図を示し、図４Ｂは、本開示の例示的な一実施形態における顔のポーズ角度を決定するための概略図を示す。

まず図４Ａを参照して、プロセッサ１４０は、既存の画像認識手法によって、ユーザの肩の特徴点ｆ１１及びｆ１２と、ユーザの腰部の特徴点ｆ２１及びｆ２２とを画像から抽出してもよい。ここで、水平線と、特徴点ｆ１１及びｆ１２によって形成される線との間の角度をθ_１とし、水平線と、特徴点ｆ２１及びｆ２２によって形成される線との間の角度をθ_２とする。したがって、プロセッサ１４０は、角度θ_１及び角度θ_２を画像におけるユーザのポーズ角度として考慮し、ポーズ角度をパラメータに設定してコードブックを構築してもよい。

次に図４Ｂを参照して、プロセッサ１４０は、任意の従来の画像認識手法によって、画像からユーザの固定された特徴点（例えば、鼻Ｎ）を抽出し、ピッチを表すＸ軸、ヨーを表すＹ軸、及びロールを表すＺ軸に対する角度（θ_Ｘ、θ_Ｙ、θ_Ｚ）を判定する。プロセッサ１４０は、３つの角度を画像におけるユーザのポーズ角度として考慮し、ポーズ角度をパラメータに設定してコードブックを構築してもよい。

ポーズ角度は、ユーザの動き、光及び影の変化などのいくつかの外部要因の影響を受けて、エラーを引き起こしうる、画像における特徴点にのみ対応して推定されるので、本実施形態のプロセッサ１４０は、時分割法に基づいて更にロバストなコードブックを構築し得る。第１の画像シーケンスは、本明細書の説明のために使用される。第１の画像シーケンスにおける第１の画像のそれぞれの内容はユーザの顔であるとする。さらに、正確な計算のために、異なるポーズを有するデモンストレーションビデオがメモリ１３０に予め記憶されていてもよい。画像取込装置１１０がユーザの画像を取り込むとき又はその前に、プロセッサ１４０は、スクリーン１２０にてデモンストレーションビデオを再生して、同様の、コードブック構築に有益なポーズを行うようにユーザに指示する。

最初に、ユーザの顔の回転速度が線形であるとする。プロセッサ１４０は、第１の画像のそれぞれにおけるユーザの顔の固定された特徴点を抽出し、例えば、図４Ｂに示された手法を用いて、第１の画像のそれぞれに示された顔のポーズ角度（θ_Ｘ、θ_Ｙ、θ_Ｚ）を推定したのち、それは、Ｘ軸に対応する両極端のポーズ角度θ_Ｘｍａｘ及びθ_Ｘｍｉｎと、Ｙ軸に対応する両極端のポーズ角度θ_Ｙｍａｘ及びθ_Ｙｍｉｎと、Ｚ軸に対応する両極端のポーズ角度θ_Ｚｍａｘ及びθ_Ｚｍｉｎとを取得する。次に、プロセッサは、両極端のポーズ角度及び第１の画像の総数に基づいて、第１の画像シーケンスのポーズ角度の平均変動Δθ_Ｘ、Δθ_Ｙ、Δθ_Ｚを取得してもよい。計算式は以下のとおりである。
Δθ_Ｘ＝（θ_Ｘｍａｘ−θ_Ｘｍｉｎ）／Ｎ
Δθ_Ｙ＝（θ_Ｙｍａｘ−θ_Ｙｍｉｎ）／Ｎ
Δθ_Ｚ＝（θ_Ｚｍａｘ−θ_Ｚｍｉｎ）／Ｎ
ここで、Ｎは第１の画像の総数である。

例えば、図５は、本開示の例示的な一実施形態におけるコードブックを構築するための概略図を示す。ユーザの顔はＹ軸に対して左右にのみ回転するとする。ユーザがスクリーン１２０の方を向いている場合、対応する画像及び対応する角度は、それぞれＩｍｇ５２及び（０、０、０）となり得る。両極端のポーズ角度θ_Ｙｍａｘ及びθ_Ｙｍｉｎをそれぞれ６０度及び−６０度とし、ユーザの顔が０度から６０度及び−６０度に向かう回転する時間をそれぞれ２秒とし、画像取込装置１１０のフレームレートが毎秒３０フレームであるとする。したがって、ユーザの顔が０度から６０度まで回転すると６０画像が生成され、各画像のポーズ角度の平均変動は１度になる。同様に、ユーザの顔が０度から−６０度まで回転すると６０画像が生成され、各画像のポーズ角度の平均変動は−１度となる。さらに、ユーザの顔は他の軸に対しても回転するものとする。他の軸に対するポーズ角度の平均変動は、同様の方法で計算することができ、ここでは繰り返して説明は行わない。

プロセッサ１４０は、第１の画像シーケンスのポーズ角度の平均変動を取得したのち、それをポーズ角度変動閾値として設定して、すべての第１の画像から画像を選択してコードブックを構築してもよい。（以下、選択された画像を「重要画像」とよぶ）。詳細には、プロセッサ１４０は、第１の画像のそれぞれにおけるポーズ角度の変動がポーズ角度変動閾値以上であるか否かを判定し、そうである場合、プロセッサ１４０は、その画像を重要画像として設定してもよい。第１の画像のそれぞれのポーズ角度の変動は、そのポーズ角度とその前の画像のポーズ角度（以下、「基準ポーズ角度」とよぶ）との差である。現在判定されている第１の画像Ｆ_ｉに対応するポーズ角度をｆ_θ、基準ポーズ角度をｆ_Ｒ、ポーズ角度変動閾値をｔｈ_θとする。｜ｆ_θ−ｆ_Ｒ｜≧ｔｈ_θである時、プロセッサ１４０は、第１の画像Ｆ_ｉを重要画像として設定し、基準ポーズ角度をｆ_Ｒからｆ_θに更新して、第１の画像シーケンス内の全ての第１の画像が処理されるまで、他の重要画像の判定を再処理する。図５の例において、両極端のポーズ角度は６０度及び−６０度であり、ポーズ角度変動閾値は１度である。理想的には、重要画像は１２１個となり得る。

ポーズ角度に加えて、特定の比較点と基準物体との間の基準距離もまた、コードブックを構築するための重要なパラメータとなり得る。比較点及び基準点は、顔の表情又は身体のポーズの変動によって変動することはなく、或いは顔又は体の回転に起因して消失することもない。まず、プロセッサ１４０は、第１画像のそれぞれにおいて少なくとも２つの固定された基準点を用いて基準線を定義し、次に、第１画像のそれぞれにおいて固定された比較点と基準線との間の距離を計算して、第１の画像のそれぞれに対応する基準距離を取得する。他の例示的な実施形態では、プロセッサ１４０は、処理量を削減するために重要画像の基準距離のみを計算してもよい。例えば、図５に示された画像Ｉｍｇ５４におけるユーザの肩の特徴点Ｒ１及びＲ２は、基準点であってもよく、２つの基準点の垂直二等分線ＲＬが基準線であってもよく、ユーザの鼻Ｎが比較点であってもよい。したがって、画像Ｉｍｇ５４に対応する基準距離は、比較点Ｎと垂直二等分線ＲＬとの間の距離ｄであってもよい。

プロセッサ１４０は、コードブックを構築するための重要画像を選択したのち、正確でロバストな比較のために、重要画像のそれぞれと共に、対応するポーズ角度、及び対応する基準距離を第１のコードブックに格納してもよい。図２に示されるステップＳ２０６において、画像取込装置１１０がユーザの特定のポーズに対応する第２の比較画像を取り込むと、プロセッサ１４０は、画像解析によって、ユーザの特定のポーズに対応するポーズ角度及び基準距離（以下、それぞれ「特定のポーズ角度」及び「特定の基準距離」とよぶ）を取得し、特定のポーズ角度及び特定の基準距離に最も近いポーズ角度及び基準距離をそれぞれ有する第１の画像を第１のコードブックに基づいて第１の画像シーケンスから検索し、検索された第１の画像を第１の比較画像とする。たとえば、特定の基準距離が１００ピクセルで、特定のポーズ角度が（０、１０、０）であるとする。プロセッサ１４０は、重要画像から約１００ピクセルの基準距離を有する第１の画像を検索してもよく、そこから、（０、１０、０）から最小のユークリッド距離だけ離れたポーズ角度を有する第１の画像を検索して、第１の比較画像としてもよい。

表示システム１００は、コードブックの構成に基づいて、記録モード、自動比較モード、及び手動比較モードの３つのモードを提供することができる。詳細は以下に説明する。

図６は、本開示の例示的な一実施形態における、記録モードにおけるインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。本実施形態では、ユーザは現在第１の衣類を着用しているものとする。

図６を参照して、ユーザが第１の衣類を着用している間、表示システム１００のプロセッサ１４０は、異なるポーズを有するデモンストレーションビデオをスクリーン１２０にて再生し（ステップＳ６０２）、ユーザに同様のポーズを行うように指示する。次に、画像取込装置１１０がユーザの画像を取り込んだのち（ステップＳ６０４）、プロセッサ１４０は、それに応じてコードブックを構築する（ステップＳ６０６）。ステップＳ６０２〜Ｓ６０６の詳細は、先の実施形態の関連する説明を参照することができ、以下では繰り返して説明は行わない。

一方で、画像取込装置１１０は、ユーザの予め設定されたポーズに対応する第１のプリセット画像を取り込むと、第１のプリセット画像を撮影する（Ｓ６０８）。例えば、予め設定されたポーズが９０度の横向きの立位ポーズであるとする。プロセッサ１４０は、９０度の横向きの立位ポーズのユーザの画像が画像取込装置１１０によって取り込まれたと判断すると、その画像が第１のプリセット画像であると判断して、その画像を撮影してもよい。次に、プロセッサ１４０は、ユーザがダウンロードするための追加の送信モジュール（図示せず）を使用することによって、第１のプリセット画像をメモリ１３０に格納し、或いは第１のプリセット画像をクラウドにアップロードしてもよい。

そして、プロセッサ１４０は、第１の画像のそれぞれにおいてユーザの表情認識及び心拍認識（heartbeat recognition）のうちの少なくとも１つをさらに実行して、第１の衣類に対するユーザの嗜好度（preference level）を判定する（ステップＳ６１０）。ここで、プロセッサ１４０は、任意の既存の画像認識手法を用いて、第１の画像のそれぞれにおいてユーザが笑顔であるか否かを識別してもよい。さらに、買い物中には顕著な表情の変化が見られないユーザもいるため、プロセッサ１４０は、第１の画像のそれぞれにおける顔領域の緑色画素について心拍認識を行い、心拍検出を用いて第１の衣類に対するユーザの嗜好度を特定してもよい。プロセッサ１４０は、感情分類のために、認識された表情及び心拍の特徴をサポートベクトルマシン（ＳＶＭ）感情分類器に入力して、第１の衣類に対するユーザの嗜好度に基づいて他の種類の商品を提案してもよい。

第１の衣類に対するユーザの嗜好度が高い場合、プロセッサ１４０は、第１の衣類に関連する他の衣類をスクリーン１２０にお薦め商品として表示して、商業的効果を生み出してもよい。例えば、これらの他の衣類は、第１の衣類と同様のスタイル又は色の他の衣類、第１の衣類の他の購入者が購入した他の衣類、及び第１の衣類に対して調和する衣類の提案等であってもよい。

一方、図７は、本開示の例示的な一実施形態における自動比較モードにおけるインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。本実施形態では、ユーザが既に第１の衣類を試着して、現在第２の衣類を着用しているとする。

図７を参照して、ユーザが第２の衣類を着用し、表示システム１００のスクリーン１２０の前に立っている間、プロセッサ１４０は、画像取込装置１１０を用いてユーザの画像を取り込み（ステップＳ７０２）、取り込まれた画像においてポーズ角度の推定を行う（ステップＳ７０４）。次に、プロセッサ１４０は、第１の衣類の第１のコードブックを用いて比較を行い（ステップＳ７０６）、第１の画像シーケンスから対応する第１の画像を検索し、ユーザが第１の衣類と第２の衣類との違いを共に比較できるように、検索された第１の画像と現在取り込まれているユーザの画像を共にスクリーン１２０に表示する（ステップＳ７０８）。ステップＳ７０２〜Ｓ７０８の詳細は、先の実施形態の関連する説明を参照することができ、以下では繰り返して説明は行わない。

図８は、本開示の例示的な一実施形態における手動比較モードにおけるインタラクティブな衣服及びアクセサリのフィッティング方法のフローチャートを示す。手動比較モードは、図７に示される自動比較モードと類似している。相違点は、手作業比較モードでは、画像取込処理が完了した後に（すなわち、衣類のフィッティングの後に）選択操作によりオフライン比較をすることができる点である。本実施形態では、ユーザが既に第１の衣類と第２の衣類を試着しているとする。つまり、第１の画像シーケンス及び第２の画像シーケンスと、それらに対応する第１のコードブック及び第２のコードブックとがメモリ１３０に記憶されているとする。

図８を参照して、プロセッサ１４０は、第１のコードブック及び第２のコードブックを用いて２つの画像シーケンスの比較を行い（ステップＳ８０２）、類似するポーズの画像に対してペアリングを行う。したがって、プロセッサ１４０は、それぞれ同様のポーズをして第１の衣類と第２の衣類とを着用したユーザの２つの画像を、後続のステップにて画面を分割してスクリーン１２０に表示することができる。プロセッサ１４０は、コードブックのうちの１つを、他のコードブックとペアリングを行って複数のペア画像セットを生成するための、基準コードブックとして選択してもよい。次に、プロセッサ１４０は、ユーザによって操作インタフェースで選択操作を受け付け（ステップＳ８０４）、スクリーン１２０に表示する画像を変更する（ステップ８０６）。

例えば、ユーザは、スライドジェスチャを用いて、スクリーン１２０に分割ウィンドウで表示されている２つの画像を変更してもよい。スクリーン１２０上に現在表示されている２つの画像における顔の角度が両方ともθ_ｆであるとする。ユーザが指を右にスワイプすると、スクリーン１２０に表示される２つの画像の顔の角度が両方とも（θ_ｆ＋δ）となる。ここで、δはポーズ角度の変動を示す。一方、ユーザが指を左にスワイプすると、スクリーン１２０に表示された２つの画像の顔の角度が両方とも（θ_ｆ−δ）となる。したがって、ユーザは試着した衣類をオフラインで比較することができる。

上述した通り、本開示で提案されているインタラクティブな衣服及びアクセサリのフィッティング方法及びその表示システムにおいて、ユーザが異なる衣服を試着している間に画像取込が行われ、現在のポーズに最も類似する画像が、他の衣類に対応する取り込まれた画像の中から検索され、フィッティング中におけるインタラクティブでリアルタイムな比較をユーザに提供する。したがって、ユーザが同一の衣類を繰り返して試着する回数及び買い物の時間を減らすことができ、それによって、ユーザの物理的な店舗での買い物体験を最適化することができる。

本出願の開示された実施形態の詳細な説明に使用される要素、動作、または命令は、そのように明示的に記載されない限り、本開示に対して絶対的に重要或いは必須であると解釈されるべきではない。また、本明細書で使用するように、単数形で記載したアイテムのそれぞれは、１つ以上のアイテムを含みうる。１つのアイテムのみが意図される場合、「１つの（a single）」という用語又は類似の用語が使用される。さらに、本明細書で使用する複数のアイテム及び／又は複数のアイテムのカテゴリの列挙とともに使われる「任意の（any of）」という用語は、本明細書において、「任意の（any of）」、「任意の組み合わせ（any combination of）」、「任意の複数（any multiple of）」及び／又は任意の複数のアイテム及び／又はアイテムのカテゴリ、個々又は併用の他のアイテム及び／又は他のアイテムのカテゴリの組み合わせを含むことが意図される。さらに、本明細書で使用される「セット」という用語は、ゼロを含む任意の数のアイテムを含むことが意図される。さらに、本明細書で使用される「数」という用語は、ゼロを含む任意の数を含むことが意図される。

本開示の範囲または精神から逸脱することなく、開示された実施形態の構造に対して様々な変更及び変形がなされ得ることは、当業者には明らかであろう。前述の観点から、本開示は、後述する特許請求の範囲及びそれらと等価の範囲内に含まれる、本開示の修正及び変形を含むことを意図する。

Claims (5)

1. 画像取込装置とスクリーンとを有する表示システムに適用される、インタラクティブな衣服及びアクセサリのフィッティング方法であって、
   前記画像取込装置を用いて、第１の衣類を着用しているユーザの複数の画像を取り込み、それぞれが前記ユーザの異なるポーズに対応する第１の画像で形成される第１の画像シーケンスを生成するステップと、
   画像解析によって前記第１の画像のそれぞれにおける前記ユーザの前記ポーズに対応するポーズ角度及び基準距離を取得して、第１のコードブックを構築するステップと、
   前記画像取込装置を用いて、第２の衣類を着用している前記ユーザの複数の画像を取り込むステップと、
   前記ユーザの特定のポーズに対応する第２の比較画像が前記画像取込装置によって取り込まれた場合に、画像解析によって前記ユーザの前記特定のポーズの特定のポーズ角度及び特定の基準距離を取得して、前記第１のコードブックを用いて前記第１の画像シーケンスから前記特定のポーズに対応する第１の比較画像を検索するステップと、前記第１の比較画像及び前記第２の比較画像を前記スクリーンに共に表示するステップと、
   を含み、
   前記第２の比較画像は、前記第２の衣類を着用している前記ユーザの前記複数の画像の１つであって、前記第１の比較画像は、前記ポーズ角度及び前記基準距離がそれぞれ前記特定のポーズ角度及び前記特定の基準距離に最も近い前記第１の画像である、方法。
2. 表示システムであって、
   画像を取り込むように構成された画像取込装置と、
   前記画像取込装置と同じ側に配置され、画像を表示するように構成されたスクリーンと、
   データを格納するように構成されたメモリと、
   前記画像取込装置、前記スクリーン、及び前記メモリに結合されたプロセッサと、
   を備え、
   前記プロセッサは、
   前記画像取込装置を用いて、第１の衣類を着用しているユーザの複数の画像を取り込んで、それぞれが前記ユーザの異なるポーズに対応する第１の画像で形成される第１の画像シーケンスを生成し、
   画像解析によって前記第１の画像のそれぞれにおける前記ユーザの前記ポーズに対応するポーズ角度及び基準距離を取得して、第１のコードブックを構築し、
   前記画像取込装置を用いて、第２の衣類を着用している前記ユーザの複数の画像を取り込み、
   前記ユーザの特定のポーズに対応する第２の比較画像が前記画像取込装置によって取り込まれた場合に、画像解析によって前記ユーザの前記特定のポーズの特定のポーズ角度及び特定の基準距離を取得して、前記第１のコードブックを用いて前記第１の画像シーケンスから前記特定のポーズに対応する第１の比較画像を検索し、前記第１の比較画像及び前記第２の比較画像を前記スクリーンに共に表示するように構成され、
   前記第２の比較画像は、前記第２の衣類を着用している前記ユーザの前記複数の画像の１つであって、前記第１の比較画像は、前記ポーズ角度及び前記基準距離がそれぞれ前記特定のポーズ角度及び前記特定の基準距離に最も近い前記第１の画像である、
   表示システム。
3. 画像取込装置とスクリーンとを有する表示システムに適用される、インタラクティブな衣服及びアクセサリのフィッティング方法であって、
   第１の衣類を着用しているユーザに対応し、前記ユーザの異なるポーズにそれぞれ対応する第１の画像で形成される第１の画像シーケンスと、第２の衣類を着用している前記ユーザに対応し、前記ユーザの異なるポーズにそれぞれ対応する第２の画像で形成される第２の画像シーケンスとを生成するステップと、
   画像解析によって前記第１の画像及び前記第２の画像のそれぞれにおける前記ユーザの前記ポーズに対応するポーズ角度及び基準距離を取得して、第１のコードブック及び第２のコードブックをそれぞれ構築するステップと、
   前記第１のコードブック及び前記第２のコードブックを用いて前記第１の画像と前記第２の画像とのペアリングを実行して、同様のポーズに対応する前記第１の画像及び前記第２の画像をそれぞれが含む複数のペア画像セットを生成するステップであって、前記ペア画像セットは、第１の比較画像及び第２の比較画像を有する特定のペア画像セットを含み、前記第２の比較画像は、前記ポーズ角度及び前記基準距離がそれぞれ前記第１の比較画像の前記ポーズ角度及び前記基準距離に最も近い前記第２の画像であるステップと、
   前記ペア画像セットの少なくとも１つを前記スクリーンに順次表示するステップと、
   を含む方法。
4. 請求項３に記載のインタラクティブな衣服及びアクセサリのフィッティング方法であって、
   他の特定のポーズに対して行われた選択操作を受け付けるステップと、
   前記他の特定のポーズに対応する前記ペア画像セットを前記スクリーンに表示するステップと、
   を更に含む方法。
5. 表示システムであって、
   画像を取り込むように構成された画像取込装置と、
   前記画像取込装置と同じ側に配置され、画像を表示するように構成されたスクリーンと、
   データを格納するように構成されたメモリと、
   前記画像取込装置、前記スクリーン、及び前記メモリに結合されたプロセッサと、
   を備え、
   前記プロセッサは、
   第１の衣類を着用しているユーザに対応し、前記ユーザの異なるポーズにそれぞれ対応する第１の画像で形成される第１の画像シーケンスと、第２の衣類を着用している前記ユーザに対応し、前記ユーザの異なるポーズにそれぞれ対応する第２の画像で形成される第２の画像シーケンスとを生成し、
   画像解析によって前記第１の画像及び前記第２の画像のそれぞれにおける前記ユーザの前記ポーズに対応するポーズ角度及び基準距離を取得して、第１のコードブック及び第２のコードブックをそれぞれ構築し、
   前記第１のコードブック及び前記第２のコードブックを用いて前記第１の画像と前記第２の画像とのペアリングを実行して、同様のポーズに対応する前記第１の画像及び前記第２の画像をそれぞれが含む複数のペア画像セットを生成し、ここで、前記ペア画像セットは、第１の比較画像及び第２の比較画像を有する特定のペア画像セットを含み、前記第２の比較画像は、前記ポーズ角度及び前記基準距離がそれぞれ前記第１の比較画像の前記ポーズ角度及び前記基準距離に最も近い前記第２の画像であり、
   前記ペア画像セットの少なくとも１つを前記スクリーンに順次表示する、表示システム。