Robust Multiview Multimodal Driver Monitoring System Using Masked Multi-Head Self-Attention

一句话总结
多传感器的驾驶员监控系统在决策层融合数据,可能没有充分利用各传感器之间的互补性;改用多头自注意力在特征层融合多个视角和模态,AUC-ROC 达到 97.0%,优于所有基线;训练时加入块遮挡,让系统在某个视角或模态失效时依然稳健。
摘要
驾驶员监控系统(DMS)对 L2 级以上自动驾驶车辆的安全接管至关重要。最先进的 DMS 利用安装在不同位置的多个传感器监控驾驶员和车内场景,并采用决策层融合来整合这些异构数据。然而,这种融合方式可能无法充分利用不同数据源之间的互补性,也可能忽视它们的相对重要性。为解决这些局限,我们提出一种新的多视角多模态驾驶员监控系统,它通过多头自注意力(MHSA)进行特征层融合。我们将其与四种其他融合策略(Sum、Conv、SE 和 AFF)比较,证明了它的有效性。我们还提出一个新的、对 GPU 友好的有监督对比学习框架 SuMoCo,以学习更好的表示。此外,我们细化了 DAD 数据集测试集的标注,使其能用于驾驶员活动的多类别识别。在这个增强后的数据库上的实验表明:1)所提出的基于 MHSA 的融合方法(AUC-ROC:97.0%)优于所有基线和以往方法;2)用块遮挡训练 MHSA 可以提高它在模态或视角失效时的鲁棒性。代码和标注已公开。
引用
@INPROCEEDINGS{10208640,
author={Ma, Yiming and Sanchez, Victor and Nikan, Soodeh and Upadhyay, Devesh and Atote, Bhushan and Guha, Tanaya},
booktitle={2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)},
title={Robust Multiview Multimodal Driver Monitoring System Using Masked Multi-Head Self-Attention},
year={2023},
pages={2617-2625},
doi={10.1109/CVPRW59228.2023.00260}}