论文

预印本

Real-Time Driver Monitoring Systems through Modality and View Analysis

Yiming Ma, Victor Sanchez, Soodeh Nikan, Devesh Upadhyay, Bhushan Atote, Tanaya Guha

论文《Real-Time Driver Monitoring Systems through Modality and View Analysis》的方法总览图

一句话总结

最先进的驾驶员监控方法重准确率、轻延迟,处理的是相邻帧高度相似的多视角、多模态视频;舍弃帧与帧之间的时间关系后,模型能实时运行,计算量大幅减少,性能相近(AUC-PR 97.5%),并且发现顶视角的红外通道是信息量最大的单一模态。

摘要

众所周知,驾驶员分心是交通事故的主要原因。监控系统可以检测与驾驶无关的活动、帮助降低风险,但要能实际应用,它们必须既准确又高效。遗憾的是,最先进的方法重视准确率而忽视延迟,因为它们使用的是跨视角、多模态的视频,而视频中相邻帧高度相似。因此,本文舍弃视频帧之间的时间关系,追求省时的检测模型,并研究每种传感模态在检测驾驶员活动中的重要性。实验表明:1)我们提出的算法能实时运行,与基于视频的模型相比,在计算量大幅减少的情况下取得相近的性能(AUC-PR 97.5%);2)顶视角的红外通道比其他任何单一模态的信息量都更大。此外,我们人工标注了 DAD 数据集的测试集,使其能用于多类别分类。我们还深入分析了视觉传感器的类型和安装位置对各类别预测的影响。代码和新标注将会公开。

引用

@misc{ma2022dms1,
  title         = {Real-Time Driver Monitoring Systems through Modality and View Analysis},
  author        = {Yiming Ma and Victor Sanchez and Soodeh Nikan and Devesh Upadhyay and Bhushan Atote and Tanaya Guha},
  year          = {2022},
  eprint        = {2210.09441},
  archivePrefix = {arXiv},
  url           = {https://arxiv.org/abs/2210.09441},
}