JP6517356B2 - タイプに依存しないｒｆ信号表現 - Google Patents

Description

関連出願への相互参照
この出願は、米国特許法§１１９（ｅ）のもと、２０１５年４月３０日に出願された米国仮特許出願連続番号第６２／１５５，３５７号および２０１５年１０月６日に出願された米国仮特許出願連続番号第６２／２３７，７５０号に対する優先権を主張し、それらの全体をここに引用により援用する。

背景
スマートフォン、コンピューティングブレスレット、リング、時計など、小型画面のコンピューティングデバイスが急速に普及している。多くのコンピューティングデバイスと同様に、これらの小型画面デバイスは仮想キーボードを使用してユーザと対話することがよくある。しかしながら、これらの小さな画面では、入力が遅くて不正確になることが多いため、多くの人が、仮想キーボードを介した対話は難しいと感じている。これはユーザを苛立たさせ、小型画面コンピューティングデバイスの適用性を制限する。この問題は、部分的には画面ベースのジェスチャ認識技術によって対処されている。しかしながら、これらの画面ベースのジェスチャは、これらの画面のサイズのため、依然として、かなりのユーザビリティの問題に苦労している。

この問題に対処するために、光学式の指および手の追跡技術が開発されており、画面上で行われないジェスチャの追跡を可能にしている。しかしながら、これらの光学技術は、大型で、コストがかかり、不正確であり、それにより、小型画面コンピューティングデバイスのユーザビリティ問題に対処する際のそれらの有用性が制限されている。

さらに、ジェスチャによる制御は、中距離から遠距離など、他のデバイスや用途に対して増加し続けている。人々は、近くのデバイスを制御するだけでなく、部屋のステレオ、別の部屋のサーモスタット、または数メートル離れたテレビを制御するなど、中距離から遠距離のデバイスも制御したいと考えている。

概要
この文書では、タイプに依存しない無線周波数（ＲＦ）信号表現のための技術およびデバイスについて記載する。これらの技術およびデバイスは、タイプに依存しないＲＦ信号表現の標準的集合を介して、複数の異なるタイプのレーダーシステムおよび場の使用を可能にする。このようにすることで、認識およびアプリケーション層解析は、異なるレーダーシステムおよび場間で異なるさまざまなレーダーパラメータから独立することができる。

これらの技術およびデバイスを使用することにより、ジェスチャの大きさおよびレーダーセンサからの距離の両方における、広い範囲のジェスチャを使用することができる。例えば、異なるレーダーシステムを有する単一のデバイスであっても、異なるレーダーシステムとは独立したジェスチャ解析でこれらのジェスチャを認識することができる。テレビを制御するためにソファに座っている人、アプリケーションを制御するためにコンピューティングウォッチの小画面ディスプレイから数ｃｍでオーブンまたは冷蔵庫を制御するためにキッチンに立っている人のジェスチャ、または部屋を出て行く人の、照明を消す動作さえも、すべて、タイプ特有の認識およびアプリケーション層解析を構築する必要なしに、認識することができる。

この概要は、以下に詳細な説明でさらに説明される、タイプに依存しないＲＦ信号表現に関する簡略化された概念を紹介するために提供される。この概要は、特許請求される主題の本質的な特徴を特定することを意図するものではなく、特許請求される主題の範囲を判断する際の使用を意図したものでもない。

タイプに依存しないＲＦ信号表現のための技術およびデバイスの実施形態を、以下の図面を参照して記載する。類似の特徴および構成要素を参照するために、図面全体にわたって同じ番号が使用される。

タイプに依存しないＲＦ信号表現を可能にする技術を実施してもよい環境の例を示す。環境は、１〜Ｎ個の異なるタイプ特有のレーダーシステム、抽象化モジュール、およびジェスチャモジュールを示す。 図１の抽象化モジュールの一例を詳細に示す。 図１のジェスチャモジュールの一例を詳細に示す。 タイプに依存しないＲＦ信号表現の判断を可能にするコンピューティングデバイスを示す。 タイプに依存しないＲＦ信号表現の判断を通じてジェスチャ認識を可能にする例示的な方法を示す。 図１の異なるレーダー場の例を示す。 タイプに依存しないＲＦ信号表現を実施する、または使用可能にする技術が実現されてもよい、コンピューティングシステムの一例を示す。

詳細な記載
概観
この文書では、タイプに依存しないＲＦ信号表現を可能にする技術およびデバイスについて記載する。これらの技術およびデバイスは、スマートフォンから冷蔵庫に至るさまざまなデバイスを使用、制御、およびそれらと対話するべく、ジェスチャなど、さまざまなレーダータイプまたは場を介して感知された幅広いアクションおよびジェスチャを可能にする。これらの技術およびデバイスは、タイプ特有の認識およびアプリケーション層解析を構築することなく、そのようにすることができる。

タイプに依存しないＲＦ信号表現を可能にする技術を実施してもよい例示的な環境１００を示す図１を考察する。環境１００は、タイプ特有のレーダーシステム１０２−１、１０２−２、および１０２−Ｎとラベル付けされた、１からＮまでの或る数のシステムで示された、異なるタイプ特有のレーダーシステム１０２を含む。これらのタイプ特有のレーダーシステム１０２は、シングルトーン、ステップ状周波数変調、線形周波数変調、インパルス、またはチャープなど、多種多様なレーダー場を提供することができるさまざまなタイプのレーダーシステムを含むことができる。

これらのタイプ特有のレーダーシステム１０２の各々は、１０４−１、１０４−２、１０４−Ｎで示されるように、異なる構造の、または異なる動作のレーダー放射素子１０４を介して異なるレーダー場を提供する。これらのレーダー場は、本明細書で述べるように異なってもよく、異なる変調、周波数、振幅または位相を有してもよい。これらのタイプ特有のレーダーシステム１０２の各々は、さらに、アンテナ素子１０６、およびある場合には、プリプロセッサ１０８を含み、それぞれ、アンテナ素子１０６−１、１０６−２および１０６−Ｎ、ならびにプリプロセッサ１０８−１、１０８−２および１０８−Ｎとラベル付けされる。

これらのタイプ特有のレーダーシステム１０２の各々は、レーダー場１１０を提供するためにレーダーを放射し、レーダー場１１０内で動く対象から反射信号１１２を受信する。ここでは、３つの人間の手が示されており、各々が異なるジェスチャ、つまり手を振るジェスチャ１１４、拳を振るジェスチャ１１６（アメリカ手話言語（ＡＳＬ）で「はい」のジェスチャ）、および指をつねるジェスチャ１１８を示しているが、技術は人間の手やジェスチャに限定されない。

図示されているように、タイプ特有のレーダーシステム１０２の各々は、反射信号１１２の受信に応答して、タイプ特有の生データ１２０を提供する（視覚的簡潔さのため、１つのシステムのみが反射信号１１２を受信するのが示されている）。タイプ特有のレーダーシステム１０２の各々は、システム毎にそれぞれ生データ１２０−１、１２０−２、および１２０−Ｎとして示されるタイプ特有の生データ１２０を提供する。これらの生データ１２０の各々は、タイプ特有のレーダーシステム１０２のプリプロセッサ１０８による前処理が実行されている生デジタルサンプルであってもよいし、そうでなくてもよい。

これらのタイプ特有の生データ１２０は、抽象化モジュール１２２によって受け取られる。一般に、抽象化モジュール１２２は、異なるタイプのタイプ特有の生データ１２０の各々を、タイプ特有の生データ１２０−１、１２０−２、および１２０−Ｎの各々ごとに、タイプに依存しない信号表現１２４−１、１２４−２、および１２４−Ｎとしてそれぞれ示されるように、タイプに依存しない信号表現１２４に変換する。これらのタイプに依存しない信号表現１２４は、次いで、認識モジュール１２６によって受信される。一般に、認識モジュール１２６は、タイプに依存しない信号表現１２４の各々について、それぞれの２つ以上の異なるレーダー場内において対象のジェスチャ１２８またはアクションを判断する。これらのジェスチャ１２８の各々は、タイプに依存しない信号表現１２４−１、１２４−２、および１２４−Ｎの各々について、それぞれ、ジェスチャ１２８−１、１２８−２、および１２８−Ｎとして示されている。ジェスチャ１２８またはアクションが判断されると、認識モジュール１２６は、各ジェスチャ１２８またはアクションを、アプリケーションを制御するためにデバイス上で実行されるアプリケーションのような、別のエンティティに渡す。場合によっては、単一のジェスチャまたはアクションが、２つのレーダーシステムまたは場を同時に使用して、異なるレーダー場内の人の動きを感知する場合においてなどのように、複数の異なる生データ１２０、したがって複数の異なるタイプに依存しない信号表現１２４に対して判断される。抽象化モジュール１２２の機能および能力は、図２の一部、および図３の一部としての認識モジュール１２６の一部として詳細に説明される。

例示的抽象化モジュール
図２は、図１の抽象化モジュール１２２の一例を示す。抽象化モジュール１２２は、タイプ特有の生データ１２０のうちの１つ以上を受信し、生データ１２０−１、１２０−２、…、１２０−Ｎの各々について、タイプに依存しない信号表現１２４−１、１２４−２、…、１２４−Ｎをそれぞれ出力する。ある場合には、生データ１２０は、まず、生信号プロセッサ２０２によって処理され、生信号プロセッサ２０２は、タイプ特有の生データ１２０に基づいて複素信号を提供するように構成されており、複素信号は、タイプ特有の生データ１２０の位相を抽出してアンラップすることができる振幅および位相情報を含む。処理のタイプの例としては、インパルスレーダー（低出力超広帯域レーダーの一種）、平滑化バンドパスフィルタ、およびヒルベルト変換が挙げられる。周波数変調連続波（ＦＭ−ＣＷ）レーダーの処理には、ウィンドウ処理フィルタリングおよびレンジ高速フーリエ変換（ＦＦＴ）が含まれる。さらに、生信号プロセッサ２０２による処理は、フィルタをパルス形状化し、二位相偏移変調（ＢＰＳＫ）レーダーをパルス圧縮するように、構成することができる。

生信号プロセッサ２０２によって処理されようと、タイプ特有の生データ１２０として受信されようと、信号変換部２０４は（処理された、またはそうではない）生データをタイプに依存しない信号表現１２４に変換するように働く。一般に、信号変換部は、生データによって捕捉された対象を、散乱中心の集合としてモデル化するように構成され、散乱中心の集合の各々は、ジェスチャまたはアクションを実行するよう動きをなす対象の形状、大きさ、アスペクトまたは材料に依存する反射率を有する。そうするために、信号変換部２０４は、タイプ特有の生データ１２０から、（例えば、各取得での）高速時間および（例えば、複数回の取得にわたる）低速時間の関数として、または散乱中心の集合の過渡的もしくは遅い時間の（ｌａｔｅ−ｔｉｍｅ）電磁（ＥＭ）応答として、対象の特性およびダイナミクスを抽出することができる。

これは、４つの変換の例で示しており、それらは単独でまたは組み合わせて使用されてもよい。これらは、データをレンジドップラー時間プロファイル２０６、レンジ時間プロファイル２０８、マイクロドップラープロファイル２１０、および高速時間スペクトログラム２１２に変換することを含む。レンジドップラー時間プロファイル２０６は、レンジおよび速度次元で散乱中心を分解する。レンジ時間プロファイル２０８は、レンジプロファイルの時間履歴である。マイクロドップラープロファイル２１０は、ドップラープロファイルの時間履歴である。高速時間スペクトログラム２１２は、周波数／ターゲット依存信号のフェージングおよび共鳴を識別する。これらの変換の各々は、タイプに依存しない信号表現であるが、タイプに依存しない信号表現１２４は、各々の１つ以上を含んでもよい。

例示的ジェスチャモジュール
上述したように、認識モジュール１２６の機能および能力は、図３の一部としてより詳細に記載される。図示されるように、図３は、図１の認識モジュール１２６の一例を示しており、特徴抽出部３０２とジェスチャ認識部３０４とを含む。一般に、認識モジュール１２６は、タイプに依存しない信号表現１２４（１つしか受信および認識できていないが、１からＮまでの信号表現で示される）を受信し、タイプに依存しない信号表現１２４に基づいて、タイプに依存しない信号表現１２４が判断されたそれぞれ異なるタイプのタイプ特有レーダー場内における対象のジェスチャまたはアクションを、判断する。より詳細には、特徴抽出部３０２は、信号変換のような、タイプに依存しない特徴、工学設計された特徴、コンピュータビジョン特徴、機械学習された特徴、または推論されたターゲット特徴を抽出するように構成される。

より詳細には、ジェスチャ認識部３０４は、たとえば、部屋から歩いて出たり、座ったり、チャンネルを変更、メディアプレーヤーの出力を下げる、またはオーブンを消すために身振り手振りを行なうなど、対象によって実行されるアクションまたはジェスチャを判断するように構成される。そうするために、ジェスチャ認識部３０４は、タイプに依存しない信号表現１２４または特徴抽出部３０２からの抽出後特徴に基づいて、ジェスチャ分類、動きパラメータ追跡、回帰推定、またはジェスチャ確率を判断することができる。ジェスチャ認識部３０４は、さらに、ジェスチャ１２８を、アプリケーションおよび／またはデバイス３０６に対して入力される制御に関連付けられる予め構成された制御ジェスチャにマッピングすることもできる。次いで、認識モジュール１２６は、ディスプレイ上のユーザインターフェイス、機能、もしくはデバイスの能力を制御または変更するようになど、アプリケーションおよび／またはデバイス３０６を制御するのに有効な、各判断されたジェスチャ１２８（１つしか判断できていないが、１〜Ｎ個のジェスチャで示される）を渡す。図１に示すように、これらのジェスチャは、いくつかを挙げると、手を振るジェスチャ１１４、拳を振るジェスチャ１１６、および指をつねるジェスチャ１１８のような人間の手のジェスチャを含んでもよい。

上述のように、タイプに依存しないＲＦ信号表現を判断する技術は、認識およびアプリケーション層解析が、異なるレーダーシステムおよび場間で異なるさまざまなレーダーパラメータから独立することを可能にする。これにより、図３の要素のうち、特定のレーダーシステムに特有のものはほとんどないか、または全く存在しないことを可能にする。したがって、認識モジュール１２６は、レーダー場のタイプに特有である必要はなく、１つまたは任意のタイプのレーダー場にさえ対応するように構築されている必要もない。さらに、アプリケーションおよび／またはデバイス３０６は、アプリケーション層解析を必要としない。したがって、認識モジュール１２６ならびにアプリケーションおよび／またはデバイス３０６は、多くの異なるタイプのレーダーシステムおよび場に普遍的であり得る。

この文書は、タイプに依存しないＲＦ信号表現を使用することができる例示的なコンピューティングデバイスに向かい、次いで例示的な方法および例示的なレーダー場で続き、例示的なコンピューティングシステムで終わる。

例示的コンピューティングデバイス
図４は、タイプに依存しないＲＦ信号表現を可能にするコンピューティングデバイスを示す。コンピューティングデバイス４０２は、さまざまな非限定的な例示的デバイス、デスクトップコンピュータ４０２−１、コンピューティングウォッチ４０２−２、スマートフォン４０２−３、タブレット４０２−４、コンピューティングリング４０２−５、コンピューティング眼鏡４０２−６、およびマイクロ波４０２−７とともに示されるが、家庭自動および制御システム、娯楽システム、オーディオシステム、その他の家電製品、セキュリティシステム、ネットブック、自動車、ｅリーダーなどの他のデバイスも使用することができる。コンピューティングデバイス４０２は、ウェアラブル、非ウェアラブルであるがモバイル、または比較的非モバイル（例えば、デスクトップおよび家電製品）であることができることに留意されたい。

コンピューティングデバイス４０２は、１つ以上のコンピュータプロセッサ４０４ならびにメモリ媒体および記憶媒体を含むコンピュータ読取可能媒体４０６を含む。コンピュータ読取可能媒体４０６上でコンピュータ読取可能命令として実施されるアプリケーションおよび／またはオペレーティングシステム（図示せず）は、本明細書で説明される機能のうちのいくつかを提供するようプロセッサ４０４によって実行され得る。コンピュータ読取可能媒体４０６は、さらに、抽象化モジュール１２２および認識モジュール１２６を含み、さらに、それらのオプションのコンポーネントの各々、生信号プロセッサ２０２、信号変換部２０４、特徴抽出部３０２、およびジェスチャ認識部３０４（上記）を含んでもよい。

コンピューティングデバイス４０２は、さらに、有線、無線、または光ネットワークおよびディスプレイ４１０を介してデータを通信するための１つ以上のネットワークインターフェイス４０８を含んでもよい。限定ではなく一例として、ネットワークインターフェイス４０８は、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、メッシュネットワークなどを介してデータを通信してもよい。ディスプレイ４１０は、コンピューティングデバイス４０２と一体化することができ、またはデスクトップコンピュータ４０２−１などのように、コンピューティングデバイス４０２と関連付けることができる。

図１から１つ以上のタイプ特有のレーダーシステム１０２を含むコンピューティングデバイス４０２も示される。注記されるように、これらのタイプ特有のレーダーシステム１０２は、各々、異なるタイプのレーダー場１１０を、異なる種類のレーダー放射素子１０４によるにしろ、またはわずか１種類のレーダー放射素子１０４を使用する異なる方法によるにしろ、提供し、したがって、異なるタイプの生データ１２０を提供する。

より詳細には、異なるタイプのレーダー場１１０は、近接もしくは遠方認識のための、または見通し線もしくは障害を伴う使用のための、連続波およびパルス化レーダーシステムならびに場を含んでもよい。パルス化レーダーシステムは、しばしば送信時間がより短く、ピーク出力がより高く、インパルスレーダーシステムおよびチャープレーダーシステムの両方を含む。パルス化レーダーシステムは、飛行時間に基づく範囲および周波数シフトに基づく速度を有する。チャープレーダーシステムは、（パルス圧縮される）飛行時間に基づく範囲および周波数シフトに基づく速度を有する。連続波レーダーシステムは、送信時間が比較的長く、ピーク出力が比較的低いことが多い。これらの連続波レーダーシステムには、シングルトーン、線形周波数変調（ＦＭ）、およびステップ状ＦＭタイプが含まれる。シングルトーンレーダーシステムは、位相に基づく限定された範囲と、周波数シフトに基づく速度とを有する。線形ＦＭレーダーシステムは、周波数シフトに基づく範囲と、同様に周波数シフトに基づく速度とを有する。ステップ状ＦＭレーダーシステムは、位相または飛行時間に基づく範囲と、周波数シフトに基づく速度とを有する。これらの５つのタイプのレーダーシステムが本明細書に記載されているが、正弦波変調方式レーダーシステムのような他のものも使用されてもよい。

これらのレーダー場１１０は、例えば、１ｍｍ〜５０ｍｍのような小さいサイズから、１．５ｍ〜５ｍ、さらには１ｍ〜約３０ｍまで変化することができる。より大きいサイズの場では、アンテナ素子１０６は、身体、腕または脚の動きによって引き起こされる人間の組織からの反射に基づいて、大きな身体のジェスチャを提供するために、レーダー場の反射を受信して処理するように構成することができるが、小さく、より正確なジェスチャも同様に感知することができる。例として、より大きいサイズのレーダー場は、ユーザがソファからテレビを制御したり、部屋全体にわたってステレオから曲や音量を変更したり、オーブンまたはオーブンタイマをオフにする（近くの場も有用であろう）、部屋で照明をオンまたはオフにするなどのためにジェスチャをなす、レーダー場を含む。

タイプ特有のレーダーシステム１０２は、多くの異なるコンピューティングデバイスまたは周辺機器と共に使用することができ、または家電製品およびシステムを制御するべく家屋の壁（例えば、自動化制御パネル）に、もしくは自動車において内部機能（例えば、音量、経済速度走行制御、もしくはさらには自動車の運転）を制御するべく、もしくはラップトップコンピュータ上のコンピューティングアプリケーションを制御するべくラップトップコンピュータへのアタッチメントとしてなど、それらに埋め込まれることができる。

レーダー放射要素１０４は、コンピューティングデバイスまたはそのディスプレイからの距離があれば、少しから、狭いまたは広いレーダー場を提供するように構成することができる。このレーダー場は、ビーム走査レーダー場とは対照的に完全な連続場であるレーダー場を含む。レーダー放射素子１０４は、上述したさまざまなタイプのレーダーを提供するように構成することができる。アンテナ素子１０６は、レーダー場の反射を受信するか、またはレーダー場内の対話を感知するように構成される。場合によっては、反射には、手や腕の動きなど、レーダー場内にある人間の組織からの反射が含まれる。アンテナ素子１０６は、放射線センサのアレイなどの１つ以上のアンテナまたはセンサを含むことができ、アレイ内の数は所望の分解能、および場が二次元または三次元であるかどうかに基づく。

方法例
図５は、タイプに依存しないＲＦ信号表現を使用してジェスチャおよびアクションを認識する方法５００を示す。方法５００は、１つ以上の異なるタイプのレーダー場からタイプ特有の生データを受け取り、次いで、それらタイプ特有の生データをタイプに依存しない信号表現に変換し、それらをついで用いて、それぞれの異なるレーダー場内においてジェスチャまたはアクションを判断する。この方法は、実行される動作を指定するブロックのセットとして示されているが、必ずしも、それぞれのブロックによって動作を実行するために示された順序または組み合わせに限定されない。以下の議論の部分では、参照が、図１の環境１００に対して、および図２または図３に詳述されるように、可能であるが、それらへの参照は例示に過ぎない。これらの技術は、１つのデバイス上で動作する１つのエンティティまたは複数のエンティティによる実行に限定されない。

より詳細には、方法５００は、５０２において、２つ以上の異なる反射信号を表す異なるタイプのタイプ特有の生データを受信する。これらの２つ以上の異なる反射信号は、上述したように、各々、２つ以上の異なるレーダー場の各々において動く対象から反射される。これらの反射信号は、２つのレーダー場での１つの動きについて同じもしくはほぼ同じ時間に、または異なる時間における２つの異なる場における２つの異なる動きについて、受信することができる。これらの異なる動きおよび時間には、例えば、スマートウォッチを制御するための２本の指の微細な動き、および別の部屋におけるステレオを制御する大きなジェスチャで、一方の動きが今日なされ、別の動きが昨日なされるのを含み得る。異なるタイプのレーダーシステムが図１に示されているが、異なるレーダー場は、２つ以上の変調方式に従う同一のレーダーシステムを介して提供されてもよい。

例として、図６のレーダー場６０２、６０４、６０６、６０８、６１０、６１２で示された６つの異なるレーダー場１１０を考える。変調方式などの細分レベルでの違いを示すのは困難であるが、図６は、近距離から遠距離、および高分解能から低分解能までなど、これらのレーダー場の異なる適用例のいくつかを示す。レーダー場６０２、６０４、および６０６は、部屋を出入りする、テレビまたはコンピュータ上でゲームを操作するべく大きなジェスチャをなす、およびサーモスタットまたはオーブンを制御するための小さなジェスチャなどの、ユーザのアクションおよびジェスチャを検出するための３つの同様のレーダー場を含む。レーダー場６０８は、時計を装着していないユーザの他の手によるコンピューティングウォッチの制御のためのより小さい場を示す。レーダー場６１０は、コンピューティングウォッチを装着しているユーザの手による制御のための非三次元レーダー場を示す。レーダー場６１２は、約１／２〜３ｍでコンピュータの制御を可能にする中間サイズのレーダー場を示す。

これらのレーダー場６０２〜６１２は、ユーザが、レーダー場を遮る腕、身体、指、手（もしくはスタイラスのようなデバイス）で複雑なまたは簡単なジェスチャを行うことを可能にする。例示的なジェスチャには、スワイプ、２本指のピンチ、スプレッド、回転、タップなどの、現在のタッチセンシティブディスプレイで使用可能な多くのジェスチャが含まれる。複雑な、または単純であるが、三次元の他のジェスチャが可能であり、例えば、米国手話言語（ＡＳＬ）および他の世界的な手話言語のような多くの手話ジェスチャが含まれる。これらのいくつかの例は：ＡＳＬで「はい」を意味する上下動の拳；「いいえ」を意味する、開いている人差し指および中指が開いている親指に接続する動き；「前進」を意味する、ステップを上る平らな手；「午後」を意味する、上下に動く平らな角度のある手；「タクシー」を意味する、握った指および開いた親指の、開いた指および開いた親指への動き；「上」を意味する、おおよそ垂直方向に上がる人差し指などである。これらは、ウェブベースのラジオアプリケーション上の別の曲、ステレオで再生するコンパクトディスク上の次の曲、またはコンピュータディスプレイもしくはデジタル画像フレーム上のファイルもしくはアルバム内の次のページもしくは画像にスキップするための前進ジェスチャなど、感知および特定のデバイスまたはアプリケーションにマッピングできる多くのジェスチャのほんの一部である。

図５に戻って、５０４で、方法５００は、異なるタイプのタイプ特有の生データの各々を、タイプに依存しない信号表現に変換する。上述したように、これらの変換は、レンジドップラー時間プロファイルを判断すること５０６、レンジ時間プロファイルを判断すること５０８、マイクロドップラープロファイルを判断すること５１０、および高速時間スペクトログラムを判断すること５１２によって行うことができる。これらは、図２の記載の一部としてより詳細に説明される。

５１４において、方法５００は、動作５０４で作成された２つ以上のタイプに依存しない信号表現の各々について、それぞれの２つ以上の異なるレーダー場内の対象のジェスチャまたはアクションを判断する。

２つ以上の異なるレーダー場の各々において動きをなす対象は、同じアクションをなす同じ対象であり得ることに留意されたい。そのような場合、ジェスチャ認識、ロバストネス、分解能などを改善するために、２つの異なるタイプのレーダー場が使用される。したがって、対象の動きによって実行されるジェスチャまたはアクションを判断することは、この場合、２つ以上のタイプに依存しない信号表現の両方に基づく。

５１６において、方法５００は、判断されたジェスチャまたはアクションの各々を、アプリケーションに関連付けられる表示、機能、もしくは能力を制御もしくは変更するのに有効なアプリケーションまたはデバイスに渡す。

例示的コンピューティングシステム
図７は、前の図１〜図６を参照して説明したような任意のタイプのクライアント、サーバ、および／またはコンピューティングデバイスとして実現することができ、タイプに依存しないＲＦ信号表現を実現する、例示的なコンピューティングシステム７００のさまざまなコンポーネントを示す。

コンピューティングシステム７００は、デバイスデータ７０４（例えば、受信済データ、受信中データ、ブロードキャスト用にスケジュールされたデータ、データのデータパケットなど）の有線および／または無線通信を可能にする通信デバイス７０２を含む。デバイスデータ７０４または他のデバイスコンテンツは、デバイスの構成設定、デバイスに記憶されたメディアコンテンツ、および／またはデバイスのユーザに関連付けられる情報（例えばジェスチャを実行する実行者のアイデンティティ）を含むことができる。コンピューティングシステム７００に格納されるメディアコンテンツは、任意の種類の音声、映像、および／または画像データを含むことができる。コンピューティングシステム７００は、人間の発話、レーダー場との対話、ユーザが選択可能な入力（明示的または暗示的）、メッセージ、音楽、テレビメディアコンテンツ、記録された映像コンテンツ、ならびに任意のコンテンツおよび／またはデータソースから受信した任意の他の種類の音声、映像および／または画像データなどのような、任意の種類のデータ、メディアコンテンツ、および／または入力を受信することができる１つ以上のデータ入力７０６を含む。

コンピューティングシステム７００はさらに、シリアルおよび／またはパラレルインターフェイス、無線インターフェイス、任意の種類のネットワークインターフェイス、モデム、ならびに任意の他の種類の通信インターフェイスのいずれか１つ以上として実現され得る通信インターフェイス７０８を含む。通信インターフェイス７０８は、コンピューティングシステム７００と、他の電子デバイス、コンピューティングデバイスおよび通信デバイスがコンピューティングシステム７００とデータを通信する通信ネットワークとの間の接続および／または通信リンクを提供する。

コンピューティングシステム７００は、１つ以上のプロセッサ７１０（例えば、マイクロプロセッサ、コントローラなどのいずれか）を含み、それ（ら）は、さまざまなコンピュータ実行可能命令を処理して、コンピューティングシステム７００の動作を制御し、タイプに依存しないＲＦ信号表現のための技術を可能にするか、またはタイプに依存しないＲＦ信号表現が実施され得る技術を可能にする。代替的にまたは追加的に、コンピューティングシステム７００は、概して７１２で識別される処理回路および制御回路に関連して実現される、ハードウェア、ファームウェア、または固定論理回路の任意の１つまたは組合せで実現することができる。図示していないが、コンピューティングシステム７００は、デバイス内のさまざまなコンポーネントを結合するシステムバスまたはデータ転送システムを含むことができる。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／またはさまざまなバスアーキテクチャのいずれかを利用するプロセッサもしくはローカルバスなど、異なるバス構造の任意の１つまたは組合せを含むことができる。

コンピューティングシステム７００はさらに、永続的および／または非一時的な（すなわち、単なる信号伝送とは対照的な）データストレージを可能にする１つ以上のメモリデバイスなどのコンピュータ読取可能媒体７１４も含み、その例にはランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの任意の１つ以上）、およびディスク記憶装置を含む。ディスク記憶装置は、ハードディスクドライブ、記録可能および／または書き換え可能なコンパクトディスク（ＣＤ）、任意の種類のデジタル多用途ディスク（ＤＶＤ）などの任意の種類の磁気または光学記憶装置として実現されてもよい。コンピューティングシステム７００は、大容量記憶媒体装置（記憶媒体）７１６を含むこともできる。

コンピュータ読取可能媒体７１４は、デバイスデータ７０４、ならびにさまざまなデバイスアプリケーション７１８、およびコンピューティングシステム７００の動作態様に関連する任意の他の種類の情報および／またはデータを格納するためのデータ記憶機構を提供する。例えば、オペレーティングシステム７２０は、コンピュータ読取可能媒体７１４でコンピュータアプリケーションとして維持され、プロセッサ７１０上で実行され得る。デバイスアプリケーション７１８は、任意の形式の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、抽象化モジュールまたはジェスチャモジュールなどのデバイスマネージャを含むことができる。デバイスアプリケーション７１８はさらに、抽象化モジュール１２２および認識モジュール１２６のような、タイプに依存しないＲＦ信号表現を実現するためのシステムコンポーネント、エンジン、またはマネージャを含む。

コンピューティングシステム７００は、さらに、レーダー放射素子１０４およびアンテナ素子１０６を含むタイプ特有のレーダーシステム１０２の１つ以上を含むか、またはそれ（ら）にアクセスすることもできる。図示されていないが、抽象化モジュール１２２または認識モジュール１２６の１つ以上の要素は、タイプ特有のレーダーシステム１０２と全体または一部が統合されているなど、ハードウェアを介して全体的または部分的に動作されてもよい。

結論
タイプに依存しないＲＦ信号表現を使用する技術およびそれを含む装置を、特徴および／または方法に特有の言語で説明したが、特許請求の範囲の主題は必ずしも記載される特定の特徴または方法に限定されないことを理解されたい。むしろ、それら特定の特徴および方法は、タイプに依存しないＲＦ信号表現を判断する方法の実現例として開示されている。

Claims (19)

1. １つ以上のコンピュータプロセッサによる実行に応答して、抽象化モジュールおよび認識モジュールを実現する命令を含むコンピュータ読取可能なプログラムであって、
   前記抽象化モジュールは、
   異なるタイプのタイプ特有の生データを受信するよう構成され、前記異なるタイプのタイプ特有の生データの各々は、異なるタイプのタイプ特有のレーダー場内で動く対象によってなされた反射信号を表し、前記抽象化モジュールはさらに、
   前記対象を散乱中心の集合としてモデル化するように構成され、前記散乱中心の集合の各々は、前記対象の形状、大きさ、アスペクトまたは材料に依存する反射率を有し、前記抽象化モジュールはさらに、
   前記異なるタイプのタイプ特有の生データの各々を、タイプに依存しない信号表現に変換するよう構成され、
   前記認識モジュールは、
   前記タイプに依存しない信号表現を受信し、
   前記タイプに依存しない信号表現の各々について、前記タイプに依存しない信号表現に基づいて、それぞれの異なるタイプのタイプ特有のレーダー場内で前記対象によって実行されるジェスチャまたはアクションを判断するよう構成される、コンピュータ読取可能なプログラム。
2. 前記抽象化モジュールは、前記散乱中心の集合に基づいて過渡的または遅い時間の電磁（ＥＭ）応答を判断するようにさらに構成される、請求項１に記載のコンピュータ読取可能なプログラム。
3. 前記抽象化モジュールは生信号プロセッサを含み、前記生信号プロセッサは、前記タイプ特有の生データに基づいて複素信号を提供するように構成され、前記複素信号は、前記タイプ特有の生データの位相を抽出してアンラップすることができる振幅および位相情報を有する、請求項１または２に記載のコンピュータ読取可能なプログラム。
4. 前記抽象化モジュールは信号変換部を含み、前記信号変換部は、前記タイプ特有の生データまたは前記タイプ特有の生データから判断される複素信号について、レンジドップラー時間プロファイル、レンジ時間プロファイル、マイクロドップラープロファイル、および高速時間スペクトログラムを判断するよう構成される、請求項１〜３のいずれか１項に記載のコンピュータ読取可能なプログラム。
5. 前記認識モジュールは、タイプに依存しない特徴を抽出するように構成される特徴抽出部を含む、請求項１〜４のいずれか１項に記載のコンピュータ読取可能なプログラム。
6. 前記特徴抽出部が判断するように構成された前記抽出されたタイプに依存しない特徴は、信号変換、工学設計された特徴、コンピュータビジョン特徴、機械学習された特徴、または推論されたターゲット特徴を含む、請求項５に記載のコンピュータ読取可能なプログラム。
7. 前記認識モジュールは、ジェスチャ認識部を含み、前記ジェスチャ認識部は、ジェスチャ分類、動きパラメータ追跡、回帰推定、またはジェスチャ確率の判断を通じて前記ジェスチャまたはアクションを判断するように構成される、請求項１〜６のいずれか１項に記載のコンピュータ読取可能なプログラム。
8. 前記対象は人間の手であり、前記反射信号は、前記タイプ特有のレーダー場内で動く前記人間の手の対話によって引き起こされる、請求項１〜７のいずれか１項に記載のコンピュータ読取可能なプログラム。
9. コンピュータにより実現される方法であって、
   ２つ以上の異なる反射信号を表す異なるタイプのタイプ特有の生データを受信することを備え、前記２つ以上の異なる反射信号は各々異なるレーダー場内で動く対象から反射され、前記異なるレーダー場は異なる変調方式または異なるタイプのハードウェアレーダー放射素子を介して提供され、前記方法はさらに、
   前記対象を散乱中心の集合としてモデル化することを備え、前記散乱中心の集合の各々は、前記対象の形状、大きさ、アスペクトまたは材料に依存する反射率を有し、前記方法はさらに、
   前記異なるタイプのタイプ特有の生データを、２つ以上のタイプに依存しない信号表現に変換することと、
   前記２つ以上のタイプに依存しない信号表現の各々について、それぞれの異なるレーダー場内で前記対象によって実行されるジェスチャまたはアクションを判断することと、
   前記判断されたジェスチャまたはアクションの各々を、アプリケーションに関連付けられる表示、機能、もしくは能力を制御または変更するのに有効な前記アプリケーションに渡すこととを備える、コンピュータにより実現される方法。
10. 前記異なるレーダー場は、同じタイプのハードウェアレーダー放射素子を用いて、異なる変調方式を介して提供される、請求項９に記載の方法。
11. 前記対象が前記異なるレーダー場の各々において動くことは、同じ対象が同じ動きをすることであり、前記対象の動きのジェスチャまたはアクションを判断することは、前記２つ以上のタイプに依存しない信号表現の両方に基づく、請求項９または１０に記載の方法。
12. 前記異なるタイプのタイプ特有の生データの各々を２つ以上のタイプに依存しない信号表現に変換することは、前記異なるタイプのタイプ特有の生データの各々について、レンジドップラープロファイル、レンジプロファイル、マイクロドップラープロファイル、または高速時間スペクトログラムを判断する、請求項９〜１１のいずれか１項に記載の方法。
13. 前記２つ以上のタイプに依存しない信号表現の各々は、動きが前記対象によって行われる異なるレーダー場から独立している、請求項９〜１２のいずれか１項に記載の方法。
14. 前記異なるレーダー場は、異なる変調、周波数、振幅、または位相を有し、前記２つ以上のタイプに依存しない信号表現は、変調、周波数、振幅または位相から独立している、請求項９〜１３のいずれか１項に記載の方法。
15. 前記異なるタイプのタイプ特有の生データは、第１のタイプのレーダーシステムまたは第２のタイプのレーダーシステムに特有であり、前記第１のタイプまたは前記第２のタイプは、各々、以下のタイプのレーダーシステム：シングルトーン、ステップ状周波数変調、線形周波数変調、インパルス、またはチャープのうちの異なるものである、請求項９〜１４のいずれか１項に記載の方法。
16. １つ以上のコンピュータプロセッサと、
    ２つ以上の異なるレーダー場を提供するように構成された１つ以上のタイプ特有のレーダーシステムとを備え、前記２つ以上の異なるレーダー場は、２つ以上の変調方式または２つ以上の異なるタイプのハードウェアレーダー放射素子を介して提供され、前記１つ以上のタイプ特有のレーダーシステムは、
    前記２つ以上の異なるレーダー場を提供するように構成された１つ以上のレーダー放射素子と、
    ２つ以上の異なる反射信号を受信するように構成された１つ以上のアンテナ素子とを含み、前記反射信号の各々は、前記２つ以上の異なるレーダー場の１つにおいて動く対象から反射され、さらに、
    １つ以上のコンピュータプロセッサによる実行に応答して、抽象化モジュールおよび認識モジュールを実現する命令が格納された１つ以上のコンピュータ読取可能記憶媒体を備える装置であって、
    前記抽象化モジュールは、
    前記２つ以上の異なる反射信号を表す異なるタイプのタイプ特有の生データを受信し、
    前記対象を散乱中心の集合としてモデル化するように構成され、前記散乱中心の集合の各々は、前記対象の形状、大きさ、アスペクトまたは材料に依存する反射率を有し、前記抽象化モジュールはさらに、
    前記異なるタイプのタイプ特有の生データを２つ以上のタイプに依存しない信号表現に変換するよう構成され、
    前記認識モジュールは、
    前記タイプに依存しない信号表現のうちの前記２つ以上を受信し、
    前記２つ以上のタイプに依存しない信号表現の各々について、前記２つ以上の異なるレーダー場のそれぞれの１つにおける前記対象のジェスチャまたはアクションを判断し、
    前記判断されたジェスチャまたはアクションの各々を、前記装置の、もしくは前記装置に関連付けられる表示、機能、もしくは能力を制御または変更するのに有効な前記装置で実行されるアプリケーションに渡すよう構成される、装置。
17. 前記１つ以上のタイプ特有のレーダーシステムは、２つ以上のタイプ特有のレーダーシステムであり、前記２つ以上のタイプ特有のレーダーシステムの各々は、前記２つ以上の異なるタイプのハードウェアレーダー放射素子のそれぞれの１つを有する、請求項１６に記載の装置。
18. 前記装置は、一体型ディスプレイを有するモバイルコンピューティングデバイスであり、前記判断されたジェスチャまたはアクションのうちの１つは、前記アプリケーションに関連し、前記一体型ディスプレイ上に提示されるユーザインターフェイスを制御するジェスチャである、請求項１６または１７に記載の装置。
19. 前記抽象化モジュールは、信号変換部を含み、前記信号変換部は、前記２つ以上の異なる反射信号の各々について、レンジドップラープロファイル、レンジプロファイル、マイクロドップラープロファイル、または高速時間スペクトログラムを判断するように構成され、前記判断は前記２つ以上の異なるレーダー場のパラメータから独立したジェスチャまたはアクションの認識を可能にする、請求項１６〜１８のいずれか１項に記載の装置。