JP6654611B2 - 成長型対話装置 - Google Patents

Description

本発明は、成長型対話装置に係り、特に、音声対話を自動的に行うための音声認識学習、意図理解学習をするのに好適な成長型対話装置に関する。

コンピュータまたはロボットと人間のユーザとの間で音声によって対話を行うシステム（以下、「対話システム」と呼ぶ）が開発されている。この対話システムを搭載したロボット、またはスマートフォンやタブレットＰＣなどのデバイス（以下、「対話デバイス」と呼ぶ）は、対話システムを動作させ、対面するユーザに対して音声対話によるサービスを実施する。

この対話システムでは、まずユーザが発話した音声をマイクにより集音し、音声認識する。次に、書き起こされたテキストに対して意図理解と呼ばれる処理により、ユーザが対話システムに何をしてもらいたいと言っているかを判別する。最後に、判別結果に基づき、ユーザが意図した動作、例えば、質問への回答の読み上げや情報の表示などの動作、ロボットであれば移動など動作を対話デバイスが実行する。

この対話システムにおいて、システムが回答を知らない質問をユーザが行った場合、従来であれば対話システムは「知りません」などの回答をしていたが、逆にシステムからユーザにその質問の回答を尋ね、その結果で質問応答の知識を更新させていくことができる。特許文献１ではそのような対話システムの構成を開示している。特許文献１の音声対話装置においては、ユーザから知らないことを聞かれた場合にユーザにその答えを問い返し、その質問内容と答えを記憶して、次からの対話に用いるようにする。このため、知らない対話内容によって対話を中断させたり、ユーザの提示する話題を変更したりする必要性が小さくなると共に、学習によって新たなシナリオや語彙を増やして知識を向上させ、次回からのユーザとの対話に反映することができるとしている。

ところで、対話システムにおいては、ユーザの発話に対して音声認識をおこなうが、音声認識の精度がよくないと結果的に意図理解が正しくおこなわれない結果となる。

特許文献２には、意図理解のための学習テキストにわざと、誤りを含んだ学習テキストを使用して、音声認識での誤りに対して、耐性を高めて意図理解を確実にするための意図推定装置が開示されている。

特開２００４−１０９３２３号公報 特開２０１５−２３０３８４号公報

上記従来技術の特許文献２では、音声認識によって得られるテキストに、誤りのあるテキストを含めることにより、意図推定の精度を高めることができるとしている。

しかしながら、特許文献２では、ユーザの反応に基づいて、音声認識処理、意図理解処理について再学習をして、音声認識処理と意図理解処理の正解精度を上げるという観点については示唆されていない。一般に、対話システムにおいては、ユーザの意図と違っていた場合に、ユーザと対話しながら、音声認識処理、意図理解処理の学習をするが、ユーザの意図を理解するために、音声認識処理をしてから意図理解処理がされるため、その誤りが音声認識処理の時点で生じたものなのか、意図理解処理の時点で生じたものなのか、判別し難いため、どちらの学習データを更新したらよいのか判定するのが難しいという問題がある。

本発明の目的は、ユーザの対応に基づいて、最適な音声認識処理、意図理解処理の再学習を適切におこなって、音声認識処理と意図理解処理の正解精度を共に向上させることのできる成長型対話装置を提供することにある。

本発明の成長型対話装置の構成は、好ましくは、ユーザと音声対話を行って、ユーザの意図を解析して応答する成長型対話装置であって、音声認識用学習データから学習された音声認識用モデルデータを参照して、取得したユーザの発話音声から、音声認識処理をおこないテキスト化する音声認識部と、意図理解用学習データから学習された意図理解用モデルデータを参照して、音声認識部により音声認識されたテキストから発話意図を解析する意図理解処理をおこなう意図理解部と、意図理解用学習データの同一の意図ラベルに対して異なったテキストを対応付けた拡張意図理解用学習データから学習された拡張意図理解用モデルデータを参照して、音声認識部により音声認識されたテキストから発話意図を解析する意図理解処理をおこなう拡張意図理解部と、ユーザの音声応答、ユーザの応答する映像を解析して、成長型対話装置の発話音声に対する応答が肯定的であるか否定的であるかを判定するユーザ反応識別部と、ユーザ反応識別部の判定結果に基づいて、音声認識処理に誤りがあるか、意図理解用モデルデータを参照した意図理解部が出力する意図ラベルに誤りがあるか、拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルに誤りがあるかを判定する誤り原因分析部と、誤り原因分析部の判定に従って、音声認識用学習データから音声認識用モデルデータを更新する音声認識学習処理、意図理解用学習データから意図理解用モデルデータを更新する意図理解学習処理、拡張意図理解用学習データから拡張意図理解用モデルデータを更新する意図理解学習処理のいずれか、または、その組合せの処理を指示する再学習決定部とを備えるようにしたものである。

本発明によれば、ユーザの対応に基づいて、最適な音声認識処理、意図理解処理の再学習を適切におこなって、音声認識処理と意図理解処理の正解精度を共に向上させることのできる成長型対話装置を提供することができる。

実施形態１に係る成長型対話装置の機能構成を示す図である。 意図理解用モデルデータの一例を示す図である。 意図理解用学習データの一例を示す図である。 拡張意図理解用学習データの一例を示す図である。 実施形態１に係る成長型対話装置の処理の流れを示す図である。 実施形態１に係る誤り原因分析処理を示すフローチャートである。 実施形態２に係る成長型対話装置の機能構成を示す図である。 実施形態２に係る成長型対話装置の処理の流れを示す図である。 実施形態２に係る誤り原因分析処理を示すフローチャートである（その一）。 実施形態２に係る誤り原因分析処理を示すフローチャートである（その二）。 書き起こしテキスト入力画面の一例を示す図である。

以下、本発明に係る各実施形態を、図１ないし図１０を用いて説明する。

〔実施形態１〕
以下、本発明の実施形態１を、図１ないし図６を用いて説明する。

先ず、図１を用いて実施形態１に係る成長型対話装置の構成について説明する。
本実施形態に係る成長型対話装置２００は、図１に示されるように、処理部２１０、記憶部２８０、音声入出力部２３０、画像入力部２４０からなる。成長型対話装置２００は、ＰＣやスマートフォンなどの一般的な情報処理装置でもよいし、特定の業務を遂行するためのロボットでもよい。

音声入出力部２３０には、マイク２３１と、スピーカー２３０が接続され、マイク２３１からユーザの音声を入力し、スピーカー２３０からユーザに音声を出力するようになっている。

画像入力部２４０には、カメラ（撮像装置）２４２が接続され、そこから撮影した動画、静止画を取り込むことができる。

処理部２１０は、成長型対話装置２００の各処理を実行する部分であり、発話区間検出部２１１、音声認識部２１２、意図理解部２１３、拡張意図理解部２１４、意図理解モデル学習部２１５、応答生成部２１６、音声合成部２１７、音声感情認識部２１８、顔・表情動作認識部２１９、ユーザ反応識別部２２０、誤り原因分析部２６０、再学習決定部２７０のサブコンポーネントよりなる。
処理部２１０のサブコンポーネントの機能は、ハードウェアとしての中央処理装置（ＣＰＵ）が主記憶装置上にロードされたプログラムを実行することにより、実行される。

発話区間検出部２１１は、ユーザ音声から無音部を検知し、発話区間を検出する機能部である。音声認識部２１２は、ユーザ音声を音声認識して、テキスト化する機能部である。意図理解部２１３は、意図理解用モデルデータ１１０に基づいて、音声認識したテキストからユーザの発話意図を意味づける機能部である。拡張意図理解部２１４は、拡張意図理解用モデルデータ１１１に基づいて、音声認識したテキストからユーザの発話意図を意味づける機能部である。意図理解モデル学習部２１５は、意図理解用学習データ（後述）から意図理解用モデルデータ（後述）を生成する機能部である。応答生成部２１６は、意図理解部２１３の処理に基づいて、成長型対話装置２００の応答のためのデータを生成する機能部である。音声合成部２１７は、成長型対話装置２００がユーザに応答するための音声データを生成する機能部である。音声感情認識部２１８は、ユーザから入力された音声を認識して、ユーザの感情が肯定的か否定的を判定する機能部である。顔・表情動作認識部２１９は、画像入力部２４０から入力したユーザの画像に基づいて、ユーザの顔、表情やその動作を認識して、ユーザの感情が肯定的か否定的を判定する機能部である。誤り原因分析部２６０は、ユーザの応答の結果、ユーザの意図理解の誤りの結果を原因が、音声認識処理によるものなのか意図理解処理によるものなのかを判定する機能部である。再学習処理部２７０は、誤り原因分析部２６０の分析結果に基づき、音声認識の再学習をおこなうか、意図理解の再学習をおこなうかを決定する機能部である。

記憶部２８０は、成長型対話装置２００の各処理を実行するための必要データを格納する部分であり、音声認識用モデルデータ１０８、音声認識用学習データ１５０、意図理解用モデルデータ１１０、拡張意図理解用モデルデータ１１１、意図理解用学習データ１２０、拡張意図理解用学習データ１２１の各種データが記憶される。

音声認識用モデルデータ１０８は、音響データを音素に変換したり、語のつながりを識別するための確率値からなる音声認識用の基準データである。音声認識用学習データ１５０は、音声認識用モデルデータ１０８を作成するために用いられる音声データとテキストをペアとした音声コーパスである。意図理解用モデルデータ１１０は、意図理解用学習データ１２０に基づいて生成されるデータであり、認識されたテキストから意図を抽出するための基準データである。拡張意図理解用モデルデータ１１１は、拡張意図理解用学習データ１２１に基づいて生成されるデータであり、認識されたテキストから意図を抽出するための基準データである。意図理解用学習データ１２０は、認識されたテキストとユーザの発話意図を結びつけるための学習データである。拡張意図理解用学習データ１２１は、意図理解用学習データ１２０に加えて、認識テキストに誤りがある場合のテキストに対する意図を表すラベルを付け加えたデータである。

本実施形態の意図理解用学習データには、通常版の意図理解用学習データ１２０と、それを拡張した拡張意図理解用学習データ１２１の二種類があり、それぞれに対応した意図理解用モデルデータである意図理解用モデルデータ１１０と、拡張意図理解用モデルデータ１１１が生成されることに留意する。
なお、各々のデータの詳細については、後に説明する。

次に、図２ないし図４を用いて本実施形態の成長型対話装置に用いられるデータ構造の主要なものについて説明する。
意図理解用モデルデータ１１０は、認識されたテキストから意図を抽出するための基準データであり、図２に示されるように、テキスト１１０ａ、意図ラベル１１０ｂ、確信度１１０ｃのフィールドからなる。

テキスト１１０ａは、意図理解用学習用データから得られるテキストの単語列を格納するフィールドである。意図ラベル１１０ｂは、成長型対話装置が動作するためのユーザから読み取った意図を表すラベルを格納するフィールドである。確信度１１０ｃは、ユーザとの対話でテキスト１１０ａの単語が出てきたときに、成長型対話装置２００がユーザからの意図ラベル１１０ｂの意図を読み取って対応するときの蓋然性を０〜１の間で数値化した確率を格納するフィールドである。

例えば、図２の第一レコードに示される例では、「高尾山」という単語がユーザとの対話に出てきたときに、ユーザから読み取る意図の「高尾山に登る意図」が、０．３であり、第二レコードに示される例では、「高尾山」「登山」という単語がユーザとの対話に出てきたときに、ユーザから読み取る意図の「高尾山に上る意図」が、０．８であることを示している。

また、図２の第七レコードに示される例では、「高尾山」という単語がユーザとの対話に出てきたときに、ユーザから読み取る意図の「高尾山の高さは？」が、０．４であり、第八レコードに示される例では、「高尾山」「高さ」という単語がユーザとの対話に出てきたときに、ユーザから読み取る意図の「高尾山の高さは？」が、０．９であることを示している。

成長型対話装置２００は、ユーザからの音声を認識して意図理解用モデルデータ１１０を参照し、それに含まれる単語を解析し、一番対応する意図ラベルの確信度が高いものを取得することにより、一番蓋然性の高いユーザの意図を推定することができる。
拡張意図理解用モデルデータ１１１のデータ構造も、意図理解用モデルデータ１１０と同様である。

意図理解用学習データ１２０は、意図理解用モデルデータ１１０を作成するための元データであり、図３に示されるように、テキスト１２０ａ、意図ラベル１２０ｂのフィールドからなる。

テキスト１２０ａは、ユーザの対話を音声認識して書き起こしたテキストを格納するフィールドである。意図ラベル１２０ｂは、テキスト１２０ａに対応した成長型対話装置がユーザの意図を読み取るための意図ラベルを格納するフィールドである。図３に示される例では、ユーザの意図ラベル１２０ｂとして、「高尾山に登る」を読み取るときに対応するテキストが「高尾山に登りたい」、「高尾山に登ってみたい」、「高尾山に登ったことがない」などであることを示している。

拡張意図理解用学習データ１２１は、拡張意図理解用モデルデータ１１１を作成するための元データであり、図Ｅに示されるように、テキスト１２１ａ、意図ラベル１２１ｂのフィールドからなる。拡張意図理解用学習データ１２１は、意図理解用学習データ１２０とデータ構造は、同一であり、テキスト１２１ａ、意図ラベル１２１ｂの意味も意図理解用学習データ１２０のテキスト１２０ａ、意図ラベル１２０ｂとそれぞれ同様である。

ただし、拡張意図理解用学習データ１２１は、図Ｅに示されるように、新たなレコード（第六レコード〜第八レコード）が付け加わっている。これらのレコードは、テキスト１２１ａについての音声認識が誤認識されたときのテキストであり、それに意図ラベル１２１ｂを対応させたものである。例えば、ユーザの発声が、「高尾山に登りたい」であったときに、誤認識して「高尾山にのぞみたい」としたときのテキストに対応したものである。

拡張意図理解用学習データ１２１により、学習させてモデルデータを作成することにより、成長型対話装置２００が、音声認識の処理の誤認識に対して、Ｒｏｂｕｓｔ（頑強）であって、音声認識の処理の誤認識があってもユーザの意図にたどり着けるようになることが期待できる。ただし、第六レコードについていえば、ユーザの音声認識の結果のテキストが「高尾山にのぞみたい」であり、ユーザの意図が「高尾山に望む」（高尾山を遠くから眺める）のときには、誤った意図に導かれる可能性もあることに留意する必要がある。

次に、図５および図６を用いて実施形態１に係る成長型対話装置の処理について説明する。
最初に、図５を用いて成長型対話装置を通した音声対話処理の流れ、特にユーザが発話した質問音声に対して成長型対話装置が回答音声を発話するまでの一連の処理の流れについて説明する。

成長型対話装置は、常に、図１に示したマイク２３１で音声を集音し続けている。この状況下で、ユーザが発声したユーザ発話音声１０１は、音声入力処理１０２がされ、マイクでデジタル信号に変換された後、発話区間検出処理１０３により、ユーザの音声部分のみが切り出される。次に、音声認識処理１０４により、音声認識処理がされて、音声に対応するテキストに書き起こされる。ここで、音声認識処理１０４は、音声認識用モデルデータ１０８を用いる。

次に、拡張意図理解用モデルデータ１１１に基づき、拡張意図理解処理１１５をおこなう。本実施形態では、意図理解用モデルデータ１１０に基づいて、意図理解処理をおこなうのを、意図理解処理１０５（後述）とし、拡張意図理解用モデルデータ１１１に基づいた意図理解処理を、拡張意図理解処理１１５として区別している。拡張意図理解処理１１５は、音声認識テキストに含まれる単語情報をもとに、ユーザ質問の意図ラベル（このとき出力され意図ラベルを、「拡張意図ラベル」ということにする）を決定する処理である。

そして、意図ラベルの出力を受け、応答生成処理１０６をおこない、音声合成処理１０７で回答テキストを合成音声に変換し、スピーカー２３２を通して対話デバイスから音声出力処理１１２をおこない、システム発話音声１１３として発声させる。

一方、成長型対話装置２００は、そのシステム発話音声１１３に対する反応をカメラ２４２により、撮影して、画像入力処理１３０により画像を取り込み、人物・顔切り出し処理１３１により、撮影したユーザの人物像や顔面の切り出しをおこない、顔・表情動作認識処理１３２より、画像認識をおこなう。

また、成長型対話装置２００は、そのシステム発話音声１１３に対する反応として、ユーザ発話音声１０１を音声入力処理１０２により取り込み、音声感情認識処理１３３より、ユーザに対する感情の認識処理をおこなう。

そして、ユーザ反応識別処理１３４により、顔・表情動作認識処理１３２の出力と、音声感情認識処理１３３の出力とを分析して、対象としているユーザの反応が肯定的（Positive）なのものであるか、否定的（Negative）なものであるのかを判定して、その結果を誤り原因分析処理１１６に入力する。

上記処理では、拡張意図理解用モデルデータ１１１に基づき、拡張意図理解処理１１５をおこなったが、同時に、意図理解用モデルデータ１１０に基づき、意図理解処理１０５をおこなって、意図ラベルを得る（このときの意図ラベルを、拡張意図理解処理１１５の出力する意図ラベル「拡張意図ラベル」と区別するために、「通常意図ラベル」ということにする）。

上記拡張意図ラベルと、通常意図ラベルも誤り原因分析処理１１６に入力させる。
そして、誤り原因分析処理１１６の結果により、再学習決定処理１１７を動作させ、１)音声認識用学習データ１５０を用いて、音声認識学習処理１４１をおこなって、音声認識用モデルデータ１０８を更新するか、２)意図理解用学習データ１２０を用いて、意図理解学習処理１４０をおこなって、意図理解用モデルデータ１１０を更新するか、３)拡張意図理解用学習データ１２１を用いて、意図理解学習処理１１８をおこなって、拡張意図理解用モデルデータ１１１を更新するか、４)重み調整学習処理１１９により、拡張意図理解用学習データ１２１の重みを修正して、拡張意図理解用モデルデータ１１１を更新するか、を決定する
また、誤り原因分析処理１１６の結果により、通常意図ラベルの結果に従って、応答生成処理１０６、音声合成処理１０７、音声出力処理１１２をおこない、システム発話音声１１３の発話処理をおこなって、ユーザの反応を見ることもおこなう（画像入力と音声入力により、ユーザ反応識別処理１３４にいたるパス）。

次に、図６を用いて、誤り原因分析処理１１６の詳細について説明する。
先ず、成長型対話装置２００は、ユーザ反応識別処理１３４の結果を受けて、拡張意図ラベルに基づく、システム発話音声１１３のユーザ反応が肯定的であるか否定的であるかを判定する（Ｓ１００）。
ユーザ反応が肯定的なときには（Ｓ１００：ＹＥＳ）、次に、通常意図ラベルと拡張意図ラベルが一致するか否かを判定する（Ｓ１０１）。

通常意図ラベルと拡張意図ラベルが一致するときには（Ｓ１０１：ＹＥＳ）、音声認識処理が正しく、通常意図ラベルが正しく、拡張意図ラベルが正しいと推定される。したがって、このときには、音声認識処理、意図理解の再学習の必要がないと判断して、再学習はおこなわない（Ｓ２００）。

通常意図ラベルと拡張意図ラベルが一致しないときには（Ｓ１０１：ＮＯ）、音声認識処理が誤りで、通常意図ラベルが誤りで、拡張意図ラベルが正しいと推定される。この場合には、拡張意図理解用学習データ１２１の拡張部分が正しい意図ラベルを導出したと考えられ、音声認識処理に誤りがあったと考えられるからである。したがって、このときには、音声認識処理の誤りの再学習をおこなう（Ｓ２０１）。

また、Ｓ１００の処理で、ユーザ反応が否定的なときには（Ｓ１００：ＮＯ）、次に、通常意図ラベルと拡張意図ラベルが一致するか否かを判定する（Ｓ１０２）。

通常意図ラベルと拡張意図ラベルが一致するときには（Ｓ１０２：ＹＥＳ）、音声認識処理が誤りで、通常意図ラベルが誤りで、拡張意図ラベルが誤りと推定される。なお、この場合には、発音が正しいときには、正しい意図ラベルが意図理解処理１０５により導出されることを前提としている。このときには、音声認識処理の誤りの再学習と、意図理解用学習データ１２０を用いた意図理解学習処理１４０による意図理解用モデルデータ１１０の更新と、拡張意図理解用学習データ１２１を用いた意図理解学習処理１１８による拡張意図理解用モデルデータ１１１の更新をおこなう（Ｓ２０２）。

通常意図ラベルと拡張意図ラベルが一致しないときには（Ｓ１０２：ＮＯ）、音声認識処理が正しいか誤りで、通常意図ラベルが正しいか誤りで、拡張意図ラベルが誤りと推定される。

この場合には、通常意図ラベルにより、応答生成処理１０６、音声合成処理１０７、音声出力処理１１２をおこない、システム発話音声１１３の発話処理をおこなって、ユーザの反応を見て、ユーザ反応識別処理１３４により、ユーザの反応が肯定的か否かを判定する（Ｓ１０３）。

Ｓ１０３の処理で、ユーザの反応が否定的なときには（Ｓ１０３：ＮＯ）、音声認識処理が誤りで、通常意図ラベルが誤りで、拡張意図ラベルが誤りと推定される。したがって、音声認識処理の誤りの再学習と、意図理解用学習データ１２０を用いた意図理解学習処理１４０による意図理解用モデルデータ１１０の更新と、拡張意図理解用学習データ１２１を用いた意図理解学習処理１１８による拡張意図理解用モデルデータ１１１の更新をおこなう（Ｓ２０２）。

Ｓ１０３の処理で、ユーザの反応が肯定的なときには（Ｓ１０３：ＹＥＳ）、音声認識処理が正しく、通常意図ラベルが正しく、拡張意図ラベルが誤りと推定される。このときには、拡張意図理解用学習データ１２１の拡張部分が逆効果であることが考えられる。したがって、重み調整学習処理１１９により、拡張部分の重みを減らして、その影響を減じる処理をおこなう（Ｓ２０３）。

拡張部分の重みとは、具体的には、拡張部分のレコード数であり、このレコードが多いほど、音声認識学習処理によって、図２に示した意図理解用モデルデータの確信度１１０Ｃが多くなるようにされている。

以上の説明では、音声認識の誤りの再学習処理と、拡張意図理解用学習データ１２１を用いた意図理解学習処理１１８、意図理解用学習データ１２０を用いた意図理解学習処理１４０は、自動的におこなわれるように記載したが、ダイアローグウインドウを表示装置に出力させて、オペレータに問い合わせて、オペレータが承認したときに、それらの処理をおこなうようにしてもよい。

本実施形態によれば、拡張意図ラベルに基づく成長型対話装置２００の応答に対して、ユーザが肯定的であるか否かに基づき、通常意図ラベルと拡張意図ラベルの内容を比較することによって、適切な音声認識学習、意図理解用学習をおこなうことによって、音声認識処理の精度、意図理解処理の精度を向上させることができる。

〔実施形態２〕
以下、図７ないし図１０を用いて実施形態２を説明する。
実施形態１では、拡張意図理解用学習データ１２１により構築された拡張意図理解用モデルデータ１１１に基づいた意図理解処理に対する対応と、通常意図ラベルと拡張意図ラベルの内容を比較することによって、適切な音声認識学習、意図理解用学習をおこなうものであり、図６の処理によって、どのように学習をするのかを説明した。

しかしながら、このときの音声認識の処理の正誤の判定は、推定が入っており、完全なものではない。例えば、拡張意図ラベルに基づく、システム発話音声１１３のユーザ反応が肯定的（Ｓ１００：ＹＥＳ）であり、通常意図ラベルと拡張意図ラベルが一致する（Ｓ１０１：ＮＯ）の場合には、図６の判定では、音声認識が正しいものと推定したが、この場合でも、音声認識処理が誤っている場合もあり得る。そして、その他のＳ１００のＹＥＳ、ＮＯの組合せ、Ｓ１０１、Ｓ１０２のＹＥＳ、ＮＯの組合せについても同様に、音声認識処理が正しいと推定したときでも、誤っているときもあるし、音声認識処理が誤っていると推定したときでも、正しいときもあり得る。このような場合には、図６のロジックでは、音声認識処理が正しいか誤っているかを判定することは困難である。

本実施形態の成長型対話装置は、オペレータにユーザの発話音声を聴取して書き起こしたテキストを、成長型対話装置に再学習させることによって、より音声認識の精度を向上させることを目指すものである。

本実施形態では、実施形態２と異なる所を中心に説明する。
先ず、図７を用いて実施形態２に係る成長型対話装置の構成について説明する。
実施形態２の成長型対話装置２００は、実施形態１の成長型対話装置２００に加えて、データ入出力部２５０を有している。

データ入出力部２５０は、オペレータがデータを入力したり、データを表示するための機能部であり、表示装置２５１、マウス２５２やキーボード２５３などの入力装置が接続されている。

また、処理部２１０に、テキスト書き起こしインタフェース部２８０が加わっている。テキスト書き起こしインタフェース部２８０は、オペレータがユーザ音声を聴取して、テキストとして書き起こして入力する機能部である。

表示装置２５１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）などの情報を表示する装置である。マウス２５２やキーボード２５３などの入力装置は、オペレータからデータやコマンドを入力するための装置である。

また、記憶部２８０には、実施形態１の成長型対話装置２００に加えて、音声データ１７０と書き起こしテキスト１９０を保持している。
音声データ１７０は、成長型対話装置２００と対話したユーザの音声を録音したデータである。
書き起こしテキスト１９０は、オペレータがユーザの発話した音声をテキストとして書き起こしたデータである。

次に、図８ないし図１０を用いて実施形態２の成長型対話装置の処理について説明する。
実施形態２に係る成長型対話装置２００の処理の流れとしては、図５に示した実施形態１の成長型対話装置２００の処理の流れとして、誤り原因分析処理１１６と再学習決定処理１１７の間に、書き起こしテキスト取得処理１６０が付け加わっている。その他の処理の流れは、図５に示した実施形態１の成長型対話装置２００の処理の流れと同様である。

書き起こしテキスト取得処理１６０では、誤り原因分析処理１１６の判定に基づいて、オペレータにユーザが発話した音声を聴取させて、それをテキストとして書き起こさせる。そして、必要なときには、その音声とテキストを、音声認識用学習データ１５０に格納して再学習することにより、人間が認知した音声とテキストのペアを学習させて、音声認識処理の正解精度を向上させることができる。

次に、図９Ａおよび図９Ｂを用いて実施形態２に係る誤り原因分析処理について詳細に説明する。
実施形態２に係る誤り原因分析処理は、図６に示した実施形態１とほぼ同様であるが、図９Ａに示されるように、図６のＳ１０１：ＮＯ（＊Ａ）、Ｓ１０２：ＹＥＳおよびＳ１０３：ＮＯ（＊Ｂ）の場合の処理が異なっている。

拡張意図ラベルに基づく、システム発話音声１１３のユーザ反応が肯定的であり（Ｓ１００：ＹＥＳ）、通常意図ラベルと拡張意図ラベルが一致しないときには（Ｓ１０１：ＮＯ）、本実施形態では、オペレータがユーザの発話音声を聴取して書き起こしてテキストを入力する（図９ＢのＳ２０１０）。

そして、成長型対話装置２００は、音声認識の結果と、書き起こしテキストが一致するか否かを判定し（Ｓ２０１１）、一致しないときには（Ｓ２０１１：ＮＯ）、音声認識処理が誤りで、通常意図ラベルが正しく、拡張意図ラベルが正しいと推定される。
このときには、音声認識処理の誤りの再学習をする（Ｓ２０１２）。

成長型対話装置２００は、音声認識の結果と、書き起こしテキストが一致するか否かを判定し（Ｓ２０１１）、一致するときには（Ｓ２０１１：ＹＥＳ）、音声認識処理が正しく、通常意図ラベルが誤りで、拡張意図ラベルが正しいと推定される。
このときには、通常意図ラベルが誤りにも関らず、拡張意図ラベルが正しいと判定されたため、拡張意図ラベルによる意図が肯定的であったのは、偶然であると考えられる。そのため、通常の意図理解用学習データ１２０による再学習をおこなって、意図理解用モデルデータ１１０を更新する（Ｓ２０１３）。

次に、拡張意図ラベルに基づく、システム発話音声１１３のユーザ反応が否定的であり（Ｓ１００：ＮＯ）、通常意図ラベルと拡張意図ラベルが一致するとき（Ｓ１０１：ＹＥＳ）、または、通常意図ラベルと拡張意図ラベルが一致せず（Ｓ１０１：ＮＯ）、かつ、通常意図ラベルによるユーザの反応が否定的なときには（Ｓ１０３：ＮＯ）、本実施形態では、オペレータがユーザの発話音声を聴取して書き起こしてテキストを入力する（Ｓ２０１２）。

そして、成長型対話装置２００は、音声認識の結果と、書き起こしテキストが一致するか否かを判定し（Ｓ２０２１）、一致しないときには（Ｓ２０２１：ＮＯ）、音声認識処理が誤りで、通常意図ラベルが誤りで、拡張意図ラベルが誤りであると推定される。したがって、このときには、音声認識処理の誤りの再学習と、意図理解用学習データ１２０を用いた意図理解学習処理１４０による意図理解用モデルデータ１１０の更新と、拡張意図理解用学習データ１２１を用いた意図理解学習処理１１８による拡張意図理解用モデルデータ１１１の更新をおこなう（Ｓ２０２２）。

また、成長型対話装置２００は、音声認識の結果と、書き起こしテキストが一致するか否かを判定し（Ｓ２０２１）、一致するときには（Ｓ２０２１：ＹＥＳ）、音声認識処理が正しく、通常意図ラベルが誤りで、拡張意図ラベルが誤りであると推定される。したがって、このときには、意図理解用学習データ１２０を用いた意図理解学習処理１４０による意図理解用モデルデータ１１０の更新と、拡張意図理解用学習データ１２１を用いた意図理解学習処理１１８による拡張意図理解用モデルデータ１１１の更新をおこなう（Ｓ２０２３）。

次に、図１０を用いてテキスト書き起こしインタフェース部が出力する書き起こしテキスト入力画面の一例について説明する。
書き起こしテキスト入力画面４００は、オペレータがユーザの発話音声を聴取して、書き起こしたテキストを入力する画面であり、図７の表示装置２５１に出力される。

書き起こしテキスト入力画面４００は、音声認識結果表示欄４０１、通常意図ラベル表示欄４０２、拡張意図ラベル表示欄４０３、書き起こしテキスト入力欄４０４、音声出力ボタン４１０、ＯＫボタン４１１、キャンセルボタン４１２からなる。

音声認識結果表示欄４０１は、音声認識処理の結果のテキストを文節単位で表示する欄である。通常意図ラベル表示欄４０２、拡張意図ラベル表示欄４０３は、それぞれ通常意図ラベル、拡張意図ラベルを表示する欄である。

書き起こしテキスト入力欄４０４は、オペレータがユーザの発話音声を聴取して聞き取れたテキストを入力する欄である。テキストを入力は、例えば、キーボード２５３によりおこなう。

音声出力ボタン４１０は、ユーザの発話音声を出力するための操作ボタンである。ＯＫボタン４１１は、書き起こしテキスト入力欄４０４に入力したテキストを確定させて、成長型対話装置２００に入力するボタンである。キャンセルボタン４１２は、処理をキャンセルして、書き起こしテキスト入力画面４００を閉じるための操作ボタンである。ボタンの操作は、マウス２５２のようなポインティングデバイスによりおこなうことができる。

なお、このようなユーザインタフェースによらず、音声認識の結果と、書き起こしテキストを、対比させたＣＳＶ（Comma-Separated Value）形式のようなプレーンテキストとして入力するようにしてもよい。

また、ユーザの発話音声を書き起こすテキストは、音声認識処理の確信度が所定の閾値以下のものに限定するようにしてもよい。また、音声データの文節単位などのある区間が所定の閾値以下のものに限定するようにしてもよい。

本実施形態では、オペレータがユーザの発話音声を聴取して、音声認識の再学習の可否を判断し、書き起こしたテキストにより学習させるため、手間はかかるが、音声認識の正解の精度を向上させることを期待することができる。

１０１…ユーザ発話音声
１０２…音声入力処理
１０３…発話区間検出処理
１０４…音声認識処理
１０５…意図理解処理
１０６…応答生成処理
１０７…音声合成処理
１０８…音声認識用モデルデータ
１１０…意図理解用モデルデータ
１１１…拡張意図理解用モデルデータ
１１２…音声出力処理
１１３…システム発話音声
１１５…拡張意図理解処理
１１６…誤り原因分析処理
１１７…再学習決定処理
１１８…意図理解学習処理
１１９…重み調整学習処理
１２０…意図理解用学習データ
１２１…拡張意図理解用学習データ
１３０…画像入力処理
１３１…人物・顔切り出し処理
１３２…顔・表情動作認識処理
１３３…音声感情認識処理
１４０…意図理解学習処理
１４１…音声認識学習処理
１５０…音声認識用学習データ
１６０…書き起こしテキスト取得処理

Claims (12)

1. ユーザと音声対話を行って、ユーザの意図を解析して応答する成長型対話装置であって、
   音声認識用学習データから学習された音声認識用モデルデータを参照して、取得したユーザの発話音声から、音声認識処理をおこないテキスト化する音声認識部と、
   意図理解用学習データから学習された意図理解用モデルデータを参照して、前記音声認識部により音声認識されたテキストから発話意図を解析する意図理解処理をおこなう意図理解部と、
   前記意図理解用学習データの同一の意図ラベルに対して異なったテキストを対応付けた拡張意図理解用学習データから学習された拡張意図理解用モデルデータを参照して、前記音声認識部により音声認識されたテキストから発話意図を解析する意図理解処理をおこなう拡張意図理解部と、
   ユーザの音声応答、ユーザの応答する映像を解析して、成長型対話装置の発話音声に対する応答が肯定的であるか否定的であるかを判定するユーザ反応識別部と、
   前記ユーザ反応識別部の判定結果に基づいて、音声認識処理に誤りがあるか、前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルに誤りがあるか、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルに誤りがあるかを判定する誤り原因分析部と、
   前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理のいずれか、または、その組合せの処理を指示する再学習決定部とを備えることを特徴とする成長型対話装置。
2. 前記ユーザ反応識別部は、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルによる成長型対話装置の発話応答に対して、肯定的であるか、否定的であるかの第一のユーザ反応を判定し、
   前記誤り原因分析部は、前記ユーザ反応識別部が判定した前記第一のユーザ反応と、同一のユーザの発話音声に対して、前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとの一致とに基づいて判定することを特徴とする請求項１記載の成長型対話装置。
3. 前記ユーザ反応識別部の判定した第一のユーザ反応が、肯定的であり、
   前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致しないときには、
   前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこなうことを特徴とする請求項２記載の成長型対話装置。
4. 前記ユーザ反応識別部の判定した第一のユーザ反応が、否定的であり、
   前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致するときには、
   前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこない、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこなうことを特徴とする請求項２記載の成長型対話装置。
5. 前記ユーザ反応識別部の判定した第一のユーザ反応が、否定的であり、
   前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致しないときは、
   前記ユーザ反応識別部は、前記意図理解用モデルデータを参照した意図理解部が出力する拡張意図ラベルによる成長型対話装置の発話応答に対して、肯定的であるか、否定的であるかの第二のユーザ反応を判定し、
   前記ユーザ反応識別部の判定した第二のユーザ反応が、否定的であるときには、
   前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこない、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこない、
   前記ユーザ反応識別部の判定した第二のユーザ反応が、肯定的であるときには、
   前記拡張意図理解用モデルデータの生成にあたり影響のある拡張意図理解用学習データの重みを調整する処理をおこなうことを特徴とする請求項２記載の成長型対話装置。
6. 前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理のいずれか、または、その組合せの処理をおこなうかは、さらに、オペレータの指示があったときにおこなう請求項１記載の成長型対話装置。
7. さらに、ユーザの発話音声を聴取して、オペレータが書き起こしたテキストを入力するテキスト書き起こしインタフェース部を備え、
   同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するか否かを判定することを特徴とする請求項１記載の成長型対話装置。
8. 前記ユーザ反応識別部は、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルによる成長型対話装置の発話応答に対して、肯定的であるか、否定的であるかの第一のユーザ反応を判定し、
   前記誤り原因分析部は、前記ユーザ反応識別部が判定した前記第一のユーザ反応と、同一のユーザの発話音声に対して、前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとの一致とに基づいて判定することを特徴とする請求項７記載の成長型対話装置。
9. 前記ユーザ反応識別部の判定した第一のユーザ反応が、肯定的であり、
   前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致しないときには、
   同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するか否かを判定し、
   同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致しないときには、
   前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこない、
   同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するときには、
   前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこなうことを特徴とする請求項８記載の成長型対話装置。
10. 前記ユーザ反応識別部の判定した第一のユーザ反応が、否定的であり、
    前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致するときには、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するか否かを判定し、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致しないときには、
    前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこない、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこない、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するときには、
    前記誤り原因分析部の判定に従って、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこなうことを特徴とする請求項８記載の成長型対話装置。
11. 前記ユーザ反応識別部の判定した第一のユーザ反応が、否定的であり、
    前記意図理解用モデルデータを参照した意図理解部が出力する意図ラベルと、前記拡張意図理解用モデルデータを参照した拡張意図理解部が出力する拡張意図ラベルとが一致しないときは、
    前記ユーザ反応識別部は、前記意図理解用モデルデータを参照した意図理解部が出力する拡張意図ラベルによる成長型対話装置の発話応答に対して、肯定的であるか、否定的であるかの第二のユーザ反応を判定し、
    前記ユーザ反応識別部の判定した第二のユーザ反応が、否定的であるときには、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するか否かを判定し、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致しないときには、
    前記誤り原因分析部の判定に従って、前記音声認識用学習データから前記音声認識用モデルデータを更新する音声認識学習処理をおこない、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこない、
    同一のユーザの発話音声に対して、音声認識処理の出力するテキストと、前記オペレータが書き起こしたテキストが一致するときには、
    前記誤り原因分析部の判定に従って、前記意図理解用学習データから前記意図理解用モデルデータを更新する意図理解学習処理をおこない、前記拡張意図理解用学習データから前記拡張意図理解用モデルデータを更新する意図理解学習処理をおこなうことを特徴とする請求項８記載の成長型対話装置。
12. 前記音声認識処理の確信度が所定の閾値以下のテキスト、または、音声データの文節単位などのある区間が所定の閾値以下のテキストに対する音声の書き起こしテキストのみを入力することを特徴とする請求項７記載の成長型対話装置。

Images