このたび、Teeradaj Racharak 准教授 および Watanee Jearanaiwongkul 助教 が共著した以下の論文が、国際学術誌 Frontiers in Artificial Intelligence（Impact Factor：6.7）に掲載されました（2026年10月29日公開）。Frontiers in Artificial Intelligence は、人工知能に関する幅広い分野の研究成果を発表するオープンアクセスの査読付き国際学術誌です。

掲載論文

Atitaya Yakaew, Teeradaj Racharak, Matthew N. Dailey, Watanee Jearanaiwongkul,

Lightweight audio-visual sentiment analysis with dynamic mouth-state modeling and multimodal LLM benchmarking

Frontiers in Artificial Intelligence, vol. 9, Article 1855069, 2026.

論文： https://doi.org/10.3389/frai.2026.1855069

動画からの感情（センチメント）分析には、時間的な変化と、音声・表情といった複数の情報（マルチモーダル）を効果的に捉えることが求められます。本論文では、ライブ映像に対して低遅延で動作するよう設計された軽量なマルチモーダルCNN-LSTMモデルを提案し、音声と映像の特徴を統合して、人物の感情状態を「ネガティブ」「ニュートラル」「ポジティブ」の三つに分類します。さらに、口の動きの状態（dynamic mouth state）の分類を組み込むことで、発話や感情に関わる細かな視覚的手がかりを捉えやすくしています。

感情表現データセットRAVDESSを用いた実験では、三クラスの感情認識で84.89%のテスト精度を達成し、パラメータ数が一桁少ないにもかかわらず、より大規模な音声・映像モデルに匹敵する性能を示しました。また、複数のマルチモーダル大規模言語モデル（LLM）との詳細な比較を通じて、音声・映像による感情分析におけるLLMの強みと限界を明らかにするとともに、ストリーミング映像に対しては、コンパクトなタスク特化型モデルが依然として有効であることを示しています。

著者の皆様のご活躍を心よりお祝い申し上げます。