论文

会议2025 IEEE International Conference on Multimedia and Expo (ICME)

Interact with me: Joint Egocentric Forecasting of Intent to Interact, Attitude and Social Actions

Tongfei Bian, Yiming Ma, Mathieu Chollet, Victor Sanchez, Tanaya Guha

论文《Interact with me: Joint Egocentric Forecasting of Intent to Interact, Attitude and Social Actions》的方法总览图

一句话总结

要高效地与人交互,智能体应当在交互开始前就认出目标用户并做好准备;SocialEgoNet 只看第一人称视频里 1 秒的全身关键点,用分层多任务学习同时预判交互意图、态度和动作,能实时推理,在新标注的 JPL-Social 数据集上平均准确率 83.15%。

摘要

为了高效的人机交互,智能体应当主动识别目标用户,并为即将发生的交互做好准备。我们把这一具有挑战性的问题表述为一个新任务:从智能体的(第一人称)视角,联合预测一个人与智能体交互的意图、对智能体的态度以及将要做出的动作。我们提出 SocialEgoNet——一个基于图的时空框架,通过分层多任务学习利用任务之间的依赖关系。SocialEgoNet 使用仅从 1 秒视频中提取的全身骨架(面部、手部和身体的关键点),以获得较高的推理速度。为了评估,我们为一个现有的第一人称人机交互数据集补充了新的类别标签和边界框标注。在这个名为 JPL-Social 的扩充数据集上的大量实验表明,我们的模型能实时推理,性能优于多个有竞争力的基线(所有任务的平均准确率:83.15%)。新增的标注和代码见 github.com/biantongfei/SocialEgoNet。

引用

@INPROCEEDINGS{11210231,
  author={Bian, Tongfei and Ma, Yiming and Chollet, Mathieu and Sanchez, Victor and Guha, Tanaya},
  booktitle={2025 IEEE International Conference on Multimedia and Expo (ICME)},
  title={Interact with me: Joint Egocentric Forecasting of Intent to Interact, Attitude and Social Actions},
  year={2025},
  pages={1-6},
  doi={10.1109/ICME59968.2025.11210231}}