日前,副校长、机器人学院院长李树涛教授课题组团队在多模态情感分析挑战赛MuSe2021(The Multimodal Sentiment Challenge)获得多模态连续情绪识别赛道冠军。电气与信息工程学院博士生马子瑜和马付严参赛,李树涛教授及电气院孙斌副教授参与指导。
MuSe 2021冠军证书。
课题组依托国家重点研发计划 “多模态融合的机器人自然交互”项目,对多模态信息融合技术进行深入研究,开发多模态融合机器人自然交互系统。
竞赛中,李树涛教授课题组提出多模态数据动态多级融合方法,实现对视频、音频、生理信号(心电图、呼吸、心率)等多模态数据的高效融合分析,解决了模型在自然场景下面临的小样本和鲁棒性问题。本项目未来有望应用于心理健康诊疗、智能安防监控、个性化推荐等实际场景,推动多模态服务机器人在医疗健康、公共安全等行业的应用和发展。
MuSe 2021是由多媒体国际顶级会议ACM Multimedia举办的第二届多模态情感分析挑战赛,由英国帝国理工学院、德国奥斯堡大学、芬兰奥卢大学等高校共同发起,吸引了60多支来自瑞士洛桑联邦理工学院、新加坡南洋理工大学、中国科学院自动化所等世界著名大学和科研机构队伍参赛。