［本站讯］近日，山东大学与西安交通大学的联合研究团队在情感计算与多模态大模型领域取得相关研究成果。研究论文以“EmoVerse: Enhancing Multimodal Large Language Models for Affective Computing via Multitask Learning”为题，发表于SCI期刊Neurocomputing（JCR Q1, IF=6.5,中科院二区TOP）。山东大学政治学与公共管理学院电子科学与技术+行政管理双学位专业2021级本科生李傲、信息科学与工程学院硕士生许龙威为共同第一作者，信息科学与工程学院副教授王鹏伟为通讯作者，山东大学为第一单位。

当前情感计算领域的多模态大模型面临诸多挑战，例如面部表情识别精度不足、多模态长上下文理解能力有限，以及对情感产生原因的理解深度不够。为解决上述问题，研究团队从“多模态大模型的数据与训练方式”两个维度展开研究。在数据层面，团队构建了情感计算领域首个多模态大模型多任务指令数据集——Affective Multitask Dataset。该数据集涵盖五项核心任务：情感识别、情绪识别、情绪原因推断、面部表情识别以及情绪原因对提取，共计三万余条样本。数据构建结合了多模态大模型生成与人工标注筛选的方法，兼顾规模与质量。在训练方法上，团队设计了包含两个阶段的多任务训练流程，即 Multitask Pretraining 和 Multitask Reason Finetuning，并引入课程学习策略。第一阶段侧重于让模型从图像出发，掌握基础的情绪识别能力；第二阶段则进一步引导模型理解视频中更复杂的情感及其深层原因。基于上述策略，所构建的多模态大模型 EmoVerse-4B 与 EmoVerse-8B 在 MOSEI、MELD、ECF2.0 等多个不同任务数据集上均取得了不错的效果，展现出在多种情感任务中的强泛化能力。该成果为提升情感计算领域多模态大模型的通用性与推理能力提供了一种新思路，具有一定理论参考意义与实际应用价值。

此外，李傲作为共同第一作者撰写的论文“Sentiment Perception from Tokens: A Multitask Learning Framework with Entropy-Driven Fusion”被收录到CCF-C 2025年度会议中。

李傲所在的“行政管理+电子科学与技术”双学位项目由政治学与公共管理学院主管，政治学与公共管理学院、信息科学与工程学院、计算机科学与技术学院、网络空间安全学院四个学院联合培养。项目以学科交叉与融合为基础，通过新兴信息手段认识和研究公共管理的问题，打破学科壁垒下的知识与能力限制，致力于培养既懂管理又懂技术的高层次、复合型管理技术人才，是山东大学建设世界一流大学、探索拔尖创新人才培养改革新范式的重要项目。