JP2019020684A - 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム - Google Patents
感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム Download PDFInfo
- Publication number
- JP2019020684A JP2019020684A JP2017141791A JP2017141791A JP2019020684A JP 2019020684 A JP2019020684 A JP 2019020684A JP 2017141791 A JP2017141791 A JP 2017141791A JP 2017141791 A JP2017141791 A JP 2017141791A JP 2019020684 A JP2019020684 A JP 2019020684A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- utterance
- speaker
- target
- interaction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
Description
実施形態の感情インタラクションモデル学習装置は、以下のようにして、目的話者の感情を推定するために用いる感情インタラクションモデルを学習する。
実施形態の感情認識装置は、以下のようにして、感情インタラクションモデルを用いて目的話者の発話の感情を認識する。
上述の実施形態では、感情インタラクションモデル学習装置1と感情認識装置2を別個の装置として構成する例を説明したが、感情インタラクションモデルを学習する機能と学習済みの感情インタラクションモデルを用いて感情を認識する機能とを兼ね備えた1台の感情認識装置を構成することも可能である。すなわち、変形例の感情認識装置は、学習データ記憶部10、発話検出部11、発話毎感情認識部12、モデル学習部13、発話毎感情認識モデル記憶部19、感情インタラクションモデル記憶部20、および感情再推定部23を含む。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
10 学習データ記憶部
11 発話検出部
12 発話毎感情認識部
13 モデル学習部
19 発話毎感情認識モデル記憶部
2 感情認識装置
20 感情インタラクションモデル記憶部
21 発話検出部
22 発話毎感情認識部
23 感情再推定部
Claims (7)
- 目的話者の複数の発話と相手話者の複数の発話とからなる対話を収録した対話音声と、上記対話に含まれる各発話に対する感情の正解値とからなる学習データを記憶する学習データ記憶部と、
上記対話音声から抽出した各発話に対する発話毎感情を認識して、上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを生成する発話毎感情認識部と、
上記感情の正解値と上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを用いて、上記目的話者の発話である目的発話の発話毎感情と上記目的発話の直前に上記相手話者が行った直前発話の発話毎感情とを入力として上記目的発話の感情を再推定する感情インタラクションモデルを学習するモデル学習部と、
を含む感情インタラクションモデル学習装置。 - 請求項1に記載の感情インタラクションモデル学習装置であって、
上記感情インタラクションモデルは、1個の目的発話に対して1個の発話感情推定器を構成するものであり、
上記発話感情推定器は、上記目的発話の発話毎感情と上記直前発話の発話毎感情とを入力とし、上記目的発話の前に上記目的話者が行った発話に関する感情の情報または上記目的発話の前後に上記目的話者が行った発話に関する感情の情報とを用いて、上記目的発話の感情を再推定して上記目的発話の感情の推定値を出力するものである、
感情インタラクションモデル学習装置。 - 請求項2に記載の感情インタラクションモデル学習装置であって、
上記発話感情推定器は、入力ゲートと出力ゲート、入力ゲートと出力ゲートと忘却ゲート、リセットゲートと更新ゲート、のいずれかを備えることを特徴とする、
感情インタラクションモデル学習装置。 - 請求項1から3のいずれかに記載の感情インタラクションモデル学習装置により学習した感情インタラクションモデルを記憶するモデル記憶部と、
目的話者の複数の発話と相手話者の複数の発話とからなる対話に含まれる各発話に対する発話毎感情を認識して、上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを生成する発話毎感情認識部と、
上記目的話者の発話である目的発話の発話毎感情と、上記目的発話の直前に上記相手話者が行った直前発話の発話毎感情とを上記感情インタラクションモデルに入力して上記目的発話の感情を再推定する感情再推定部と、
を含む感情認識装置。 - 学習データ記憶部に、目的話者の複数の発話と相手話者の複数の発話とからなる対話を収録した対話音声と、上記対話に含まれる各発話に対する感情の正解値とからなる学習データが記憶されており、
発話毎感情認識部が、上記対話音声から抽出した各発話に対する発話毎感情を認識して、上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを生成し、
モデル学習部が、上記感情の正解値と上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを用いて、上記目的話者の発話である目的発話の発話毎感情と上記目的発話の直前に上記相手話者が行った直前発話の発話毎感情とを入力として上記目的発話の感情を再推定する感情インタラクションモデルを学習する、
感情インタラクションモデル学習方法。 - モデル記憶部に、請求項5に記載の感情インタラクションモデル学習方法により学習した感情インタラクションモデルが記憶されており、
発話毎感情認識部が、目的話者の複数の発話と相手話者の複数の発話とからなる対話に含まれる各発話に対する発話毎感情を認識して、上記目的話者の発話毎感情系列と上記相手話者の発話毎感情系列とを生成し、
感情再推定部が、上記目的話者の発話である目的発話の発話毎感情と、上記目的発話の直前に上記相手話者が行った直前発話の発話毎感情とを上記感情インタラクションモデルに入力して上記目的発話の感情を再推定する、
感情認識方法。 - 請求項1から3のいずれかに記載の感情インタラクションモデル学習装置または請求項4に記載の感情認識装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017141791A JP6732703B2 (ja) | 2017-07-21 | 2017-07-21 | 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017141791A JP6732703B2 (ja) | 2017-07-21 | 2017-07-21 | 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019020684A true JP2019020684A (ja) | 2019-02-07 |
JP6732703B2 JP6732703B2 (ja) | 2020-07-29 |
Family
ID=65353540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017141791A Active JP6732703B2 (ja) | 2017-07-21 | 2017-07-21 | 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6732703B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583965A (zh) * | 2020-04-28 | 2020-08-25 | 北京慧闻科技(集团)有限公司 | 一种语音情绪识别方法、装置、设备及存储介质 |
JP2020184243A (ja) * | 2019-05-09 | 2020-11-12 | 株式会社Empath | 営業支援装置、営業支援方法、営業支援プログラム |
CN112185423A (zh) * | 2020-09-28 | 2021-01-05 | 南京工程学院 | 基于多头注意力机制的语音情感识别方法 |
WO2021084810A1 (ja) | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに人工知能モデル製造方法 |
JPWO2021171552A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
JP2021162627A (ja) * | 2020-03-30 | 2021-10-11 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
CN113889149A (zh) * | 2021-10-15 | 2022-01-04 | 北京工业大学 | 语音情感识别方法及装置 |
JPWO2022049613A1 (ja) * | 2020-09-01 | 2022-03-10 | ||
CN115240657A (zh) * | 2022-07-27 | 2022-10-25 | 深圳华策辉弘科技有限公司 | 一种语音处理方法、装置、设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102541660B1 (ko) | 2021-01-05 | 2023-06-12 | 세종대학교산학협력단 | 음성 신호에 기반한 감정 인식 장치 및 방법 |
-
2017
- 2017-07-21 JP JP2017141791A patent/JP6732703B2/ja active Active
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020184243A (ja) * | 2019-05-09 | 2020-11-12 | 株式会社Empath | 営業支援装置、営業支援方法、営業支援プログラム |
WO2021084810A1 (ja) | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに人工知能モデル製造方法 |
JPWO2021171552A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
WO2021171552A1 (ja) * | 2020-02-28 | 2021-09-02 | 日本電信電話株式会社 | 感情認識装置、感情認識モデル学習装置、それらの方法、およびプログラム |
JP2021162627A (ja) * | 2020-03-30 | 2021-10-11 | パイオニア株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
CN111583965A (zh) * | 2020-04-28 | 2020-08-25 | 北京慧闻科技(集团)有限公司 | 一种语音情绪识别方法、装置、设备及存储介质 |
JPWO2022049613A1 (ja) * | 2020-09-01 | 2022-03-10 | ||
WO2022049613A1 (ja) * | 2020-09-01 | 2022-03-10 | 三菱電機株式会社 | 情報処理装置、推定方法、及び推定プログラム |
CN112185423A (zh) * | 2020-09-28 | 2021-01-05 | 南京工程学院 | 基于多头注意力机制的语音情感识别方法 |
CN112185423B (zh) * | 2020-09-28 | 2023-11-21 | 南京工程学院 | 基于多头注意力机制的语音情感识别方法 |
CN113889149A (zh) * | 2021-10-15 | 2022-01-04 | 北京工业大学 | 语音情感识别方法及装置 |
CN113889149B (zh) * | 2021-10-15 | 2023-08-29 | 北京工业大学 | 语音情感识别方法及装置 |
CN115240657A (zh) * | 2022-07-27 | 2022-10-25 | 深圳华策辉弘科技有限公司 | 一种语音处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6732703B2 (ja) | 2020-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6732703B2 (ja) | 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム | |
US10902843B2 (en) | Using recurrent neural network for partitioning of audio data into segments that each correspond to a speech feature cluster identifier | |
JP6469309B2 (ja) | 発話を処理する方法 | |
US10347244B2 (en) | Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response | |
JP6933264B2 (ja) | ラベル生成装置、モデル学習装置、感情認識装置、それらの方法、プログラム、および記録媒体 | |
US10249292B2 (en) | Using long short-term memory recurrent neural network for speaker diarization segmentation | |
Xia et al. | A multi-task learning framework for emotion recognition using 2D continuous space | |
Ando et al. | Soft-target training with ambiguous emotional utterances for dnn-based speech emotion classification | |
CN110136749A (zh) | 说话人相关的端到端语音端点检测方法和装置 | |
Tong et al. | A comparative study of robustness of deep learning approaches for VAD | |
JP2021533397A (ja) | 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション | |
US20150325240A1 (en) | Method and system for speech input | |
CN109686383B (zh) | 一种语音分析方法、装置及存储介质 | |
EP3469582A1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
Triantafyllopoulos et al. | Deep speaker conditioning for speech emotion recognition | |
Heusser et al. | Bimodal speech emotion recognition using pre-trained language models | |
CN108885870A (zh) | 用于通过将言语到文本系统与言语到意图系统组合来实现声音用户接口的系统和方法 | |
Sahu et al. | Multi-Modal Learning for Speech Emotion Recognition: An Analysis and Comparison of ASR Outputs with Ground Truth Transcription. | |
Sahoo et al. | Emotion recognition from audio-visual data using rule based decision level fusion | |
Basak et al. | Challenges and Limitations in Speech Recognition Technology: A Critical Review of Speech Signal Processing Algorithms, Tools and Systems. | |
JP7526846B2 (ja) | 音声認識 | |
Kim et al. | Multistage data selection-based unsupervised speaker adaptation for personalized speech emotion recognition | |
Zhang et al. | Multimodal Deception Detection Using Automatically Extracted Acoustic, Visual, and Lexical Features. | |
Chen et al. | Sequence-to-sequence modelling for categorical speech emotion recognition using recurrent neural network | |
JP7420211B2 (ja) | 感情認識装置、感情認識モデル学習装置、それらの方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6732703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |