メインコンテンツまでスキップ

感情解析

概要

感情解析とは、音声データから発話者の感情を解析する機能です。ESジャパン社のESAS (Emotional Signature Analysis Solution)感情解析エンジンを利用して音声から感情パラメータを返します。ESASは、イスラエルのNemesysco社が提供する最新の感情解析エンジン『LVA7』をベースに日本向けにチューニングした感情解析エンジンです。技術的な背景については、ESジャパン社のサイトを参照ください。

音声認識のリクエストを行うときに、感情解析も合わせて行うことができます。

note

2022-06-22 時点で感情解析は、非同期 HTTP 音声認識 API でのみ対応しています。

利用方法

音声認識のリクエスト時に、dパラメータにsentimentAnalysis=Trueのように設定することで、感情解析機能が有効になります。

AmiVoice API のサンプルプログラムに同梱している音声をcurlコマンドを使って、感情解析を有効にして非同期音声認識APIを実行する場合は以下のようにします。

curl -X POST https://acp-api-async.amivoice.com/v1/recognitions \
-F d="grammarFileNames=-a-general sentimentAnalysis=True" \
-F u={APP_KEY} \
-F a=@test.wav

成功したときのレスポンス

感情解析の結果は、sentiment_analysisに得られます。

例:

{
"audio_md5": "40f59fe5fc7745c33b33af44be43f6ad",
"audio_size": 306980,
"code": "",
"message": "",
"segments": [
{
"results": [
{
"confidence": 0.998,
"endtime": 8794,
"rulename": "",
"starttime": 250,
"tags": [],
"text": "アドバンスト・メディアは、人と機械との自然なコミュニケーションを実現し、豊かな未来を創造していくことを目指します。",
"tokens": [
{
"confidence": 1,
"endtime": 1578,
"spoken": "あどばんすとめでぃあ",
"starttime": 522,
"written": "アドバンスト・メディア"
},
{
"confidence": 1,
"endtime": 1834,
"spoken": "は",
"starttime": 1578,
"written": "は"
},
/* 省略 */
]
}
],
"text": "アドバンスト・メディアは、人と機械との自然なコミュニケーションを実現し、豊かな未来を創造していくことを目指します。"
}
],
"sentiment_analysis": {
"segments": [
{
"starttime": 10,
"endtime": 20,
/* 感情解析パラメータ20個の結果 */
},
{
"starttime": 100,
"endtime": 200,
/* 感情解析パラメータ20個の結果 */
},
/* 省略 */
]
},
"service_id": "user01",
"session_id": "018160cbe43f0a304474a999",
"status": "completed",
"text": "アドバンスト・メディアは、人と機械との自然なコミュニケーションを実現し、豊かな未来を創造していくことを目指します。",
"utteranceid": "20220614/15/018160cc54ee0a3044b539d0_20220614_150012"
}

失敗したとき

何らかの原因で感情解析に失敗したときは、sentiment_analysisに以下のようにcodeerror_codeerror_messageが設定されます。

"sentiment_analysis":{"code":503,"error_code":"","error_message":""}
codeerror_codeerror_message説明
400BAD_REQUESTfile format is invalid音声ファイルが存在しない、またはフォーマットが不正
500INTERNAL_SERVER_ERRORinternal server error has occurred内部サーバエラー
INTERNAL_SERVER_ERRORinternal server error has occurred before processing sentiment-analyzer内部サーバエラー

結果について

感情解析エンジンが発話を検出した部分に対して約2秒に1回、感情解析した結果が配列として得られます。starttimeendtimeには音声の開始を0としたミリ秒単位の時間情報が設定されています。

感情パラメータの値域と値の傾向

結果として得られる感情パラメータは 20 個あります。以下の表にはパラメータごとの最小値、最大値、その値が大きいほどポジティブなのか、ネガティブなのかといった傾向をまとめています。

パラメータ名最小値最大値値の傾向
エネルギー0100-
ストレス0100ネガティブ
感情バランス論理1500-
集中0100-
期待0100-
興奮030ポジティブ
躊躇030-
不確実030-
思考0100-
想像力030-
困惑030ネガティブ (*1)
情熱030ポジティブ
脳活動0100-
自信030-
攻撃性憤り030ネガティブ (*2)
雰囲気会話傾向-100100-
動揺030ネガティブ (*1,*2)
喜び030ポジティブ (*2)
不満030ネガティブ (*3)
極端な起伏030-

値の傾向について

  • ポジティブ: 値が大きいほど、ポジティブな反応を示唆する可能性が高いパラメータ
  • ネガティブ: 値が大きいほど、ネガティブな反応を示唆する可能性が高いパラメータ
  • その他(-): 値の大きさによって意味が変わるパラメータや、必ずしもポジティブ/ネガティブに分類が困難なパラメータ
  • *1: 数値の大小問わずネガティブに分類されます。
  • *2: 0 よりも大きな値を取ることはまれなので、0 よりも大きな値であれば高いとみなせます。
  • *3: 攻撃性憤り と同時発生した場合、怒りを表現する事から「発散」の傾向として捉える場合もあります。例えば、怒鳴っているケース等に散見されます。

感情パラメータの意味と解釈の仕方

感情パラメータの意味や解釈の仕方について説明します。

note

感情パラメータの平均やばらつき、値が通常よりも高い、低いと判断するための閾値は、環境によって異なります。そのため、ある程度の期間で傾向を見て判断する必要があります。より詳細な利用の仕方については、ESジャパン社にお問い合わせください。

エネルギー

感情パラメータの中で最も根幹となる指標です。値の範囲に応じて意味、解釈が変わり、高領域では、感情の昂ぶり、非常に精力的なことを示唆します。 一方、低領域では、興味の欠如(退屈)、寄り添いの不足、睡眠不足(眠気)等の体調不良を示唆します。0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

値の傾向

値の範囲説明
0 ~ 10低領域 気落ち、退屈、疲れ、悲しみを示唆
※持続的に低い数値が検出された場合は就業意欲の低下等も示唆
11 ~ 20快適な会話が行えていることを示唆
21 ~ 40会話の盛り上がりを示唆
※必ずしもポジティブ指標ではなく、ネガティブな不満や怒りを伴った盛り上がりの可能性もある
41 ~ 100高領域 感情の昂ぶり、非常に精力的なことを示唆
※必ずしもポジティブな指標ということではなく怒り等の可能性もある

ストレス

ストレスや精神的な負荷を示す感情パラメータで根幹となる指標です。高領域では、ストレスや精神的な負荷が高いことを示します。 基本的に0付近の値をとり、比較的緩やかに値が変化するパラメータです。

値の傾向

高領域 話者が根幹的なストレス、精神負荷を抱えていることを示唆

  • 会話の性質問わず週間/月間を通して持続して高い数値が検出された場合は話者が根幹的な精神負荷を抱えている可能性が高く、就業意欲の低下や離職リスクを示唆
  • 通話平均値より高く、かつ持続的に発生した場合はポジティブな意思決定や応対結果には繋がらない傾向あり
    例)商談成立、購入、契約申し込み等

感情/バランス/論理

感情的(情動的)な思考に紐づいた内容なのか論理的(冷静な)思考に紐づいた内容なのかのバランスを示す指標です。 発生領域により、感情的(情動的)な発言か論理的(冷静な)発言かを示します。

様々な分析を行う際、話者を3つの感情タイプに分類し、タイプ毎にパラメータの考察をするために利用できます。

値の傾向

値の範囲説明
1 ~ 65論理的
65 ~ 85バランス
85 ~ 100感情的(情動的)

集中

話者の集中の度合い示す指標です。 短時間で下限値に近い値から上限値に近い値まで上がる、または上限値に近い値から下限値に近い値まで下がることがあるパラメータです。

値の傾向

  • 通話平均値より高く、かつ持続的に発生した場合は、話者にとっての重要なポイントであることも示唆
  • 通常、コールセンター等での会話(特に商談等)において、「集中」の上昇は望ましい傾向にあるという解釈ができる

期待

何かが起こることへの期待を示す指標です。 高領域ではポジティブな期待、ネガティブな期待双方の可能性がある。基本的には低い値で発生するが、突出して高い値が出ることがあるパラメータです。

値の傾向

  • 高領域 ポジティブ

    • 相手にどう伝わって欲しいかの期待を示唆
    • 通話平均値より高く、かつ持続的に発生した場合は、相手の役に立ちたいという意思、いわゆる前傾姿勢での応対を示唆
  • 高領域 ネガティブ

    • 誇張や誘導、操作を示唆
    • 高領域=嘘という意味では無く、背景に意図がある恣意的な発言であることを示唆

興奮

興奮や高揚の度合いを示す指標です。 基本的に同じくらいの値(15 前後)をとり、比較的緩やかに値が変化しますが、ときどき突出して高い値が発生します。

値の傾向

  • 興味喚起等、会話に対する意欲の度合いを考察する指標として活用
  • 商品の購入等の重要な意思決定に影響を及ぼす

躊躇

発言へのためらいの度合いを示す指標です。 基本的に同じくらいの値(15 前後)をとり、比較的緩やかに値が変化するパラメータです。

値の傾向

  • 通話平均値より高く、かつ持続的に発生した場合は発言にためらいがある、負い目、引け目を感じていることを示唆する。ストレス同様、意思決定にはネガティブな作用あり。

不確実

自信の無さを示す指標です。 基本的に同じくらいの値(15 前後)をとり、比較的緩やかに値が変化しますが、短時間で下限値に近い値から上限値に近い値まで上がる、または上限値に近い値から下限値に近い値まで下がることがあるパラメータです。

値の傾向

  • 通話平均値より高く、かつ持続的に発生した場合は自信の無さ、不安、理解や状況把握の不足、不信感を示唆する。ストレス同様、意思決定にはネガティブな作用あり。

思考

思考しながら発言している状態を示す指標です。 基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

値の傾向

  • 通話平均値より高く、かつ持続的に発生した場合は、発言の際に思考していること、建設的な話が行えている可能性、会話が難解である可能性を示唆
  • 話者双方に高く発生し持続した場合は会話での合意や意思疎通が難航している可能性を示唆

想像力

記憶や想像をしてイメージを膨らましている度合いを示す指標です。 高領域では何らかの説明をする際、ものごとの伝え方に対して想像力が働いていることを示唆します。発言の根拠が事実や記憶からなのか、または想像なのかを推定するためにも活用する指標です。基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

値の傾向

  • 高領域 ポジティブ

    • 相手の発言に対し、状況を理解しようとしていることを示唆
    • ディスカッション等においては活発である(頻繁に検出される)ことが望ましい。
  • 高領域 ネガティブ

    • はぐらかしや回答に苦慮している可能性を示唆

困惑

困惑している状態を示す指標です。 基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

情熱

心の底から興味を示しているかを示す指標です。 基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

脳活動

主に調査目的に使用する脳活動の全般的な活性を示す指標です。

値の傾向

  • 研究での活用が主な目的となる指標

自信

自信の高さを示す指標です。

値の傾向

  • 高領域
    • 話者にとって意思決定された内容であることをも示唆する。

攻撃性憤り

話者の攻撃性を示唆する指標です。基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

値の傾向

  • 誤って異なる気分を怒りと検出することがあり、扱いには注意が必要となる検証中パラメータ

雰囲気会話傾向

その他のパラメータの解釈と複合的に見ることで解釈の信憑性を高めるための補助指標です。

動揺

不満あるいは悲しみを示す指標です。基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。0よりも大きな値になることは稀です。

喜び

満足、喜びを示す指標です。基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。0よりも大きな値になることは稀です。

値の傾向

  • 会話における様々な心理的性質により、時に議論(口論)といった状況時にも検出される
  • 人が議論にて怒りを感じた際に相手に言い返す事でその怒りを表現、発散した結果、(セグメント単位レベルで)検出されるケースあり

不満

高いストレスと高いレベルの不満の組み合わせを示す指標です。頻繁に値が変化することはなく、連続して同じ値が発生する傾向があります。

値の傾向

  • 事前期待に対する(悪い)乖離を示唆する

極端な起伏

感情全般の動きの極限さを示す指標です。基本的に 0 付近の値を取ることが多く、比較的緩やかに値が変化するパラメータです。

値の傾向

  • 単独では無くその他パラメータの発生状況より、より正確な考察する事に活用する。
    例)このパラメータと合わせてストレスが高く検出された場合、情動的、衝動的な怒りが発生している状況である可能性あり