论文题目：驾驶员和驾驶行为监控的各种方法:综述
Abstract
背景
近年来，驾驶员困倦和注意力分散已经成为大量事故中的重要因素，因为它们降低了驾驶员的感知水平和决策能力，对车辆的控制能力产生了负面影响。减少这类事故的一种方法是通过监测驾驶员和驾驶行为，并在驾驶员昏昏欲睡或分心的状态下提醒驾驶员。此外，如果能够提前预测不安全的驾驶行为，这也将有助于安全驾驶。
本文将讨论对驾驶员和驾驶行为的各种监测方法以及对不安全驾驶行为的预测。
驾驶员困倦的监测
讨论了驾驶员行为的视觉特征和非视觉特征，以及与车辆特征相关的驾驶行为。
视觉特征方面： 详细讨论了眼睛的相关测量、哈欠检测、面部表情等视觉特征测量
非视觉特征： 探索各种生理信号和利用这些信号可能的睡意检测方法。
基于车辆的特征： 描述了方向盘运动和横向位置的标准偏差。
驾驶员的注意力分散的监测
描述了头部姿势和注视方向的方法。
不安全的驾驶行为的预测
解释了基于面部表情和汽车动力学的预测方法
主动驾驶安全系统需要解决的几个问题
- 检测睡意的混合方法
- 安全驾驶的驾驶上下文感知
- 需要公共数据集的模拟和真实驾驶条件。
introduction
原因
司机困倦(drowsiness)和注意力分散(distraction)是交通事故的主要原因
解决方法
设计一个框架包含两个阶段：监控和预测驾驶员和驾驶行为
监测困倦状态
视觉特征
驾驶员疲劳或者困倦可能与眼运动(eye movement)、面部表情(facial expression)、心跳和呼吸频率(heart and breathing rate)以及大脑活动(brain activity)的症状相关。
为了检测驾驶员的困倦，视觉特征(visual features)比如眼运动和面部表情是非常重要的;
打哈欠的测量(yawning measurement)
非视觉特征
非视觉特征(non-visual features),间接评估驾驶员的等级可以考虑下面几个方面：
- 心率变异率 heart rate variability (HRV)
- 皮肤电反应 galvanic skin response (GSR)
- 传导性 conductivity
- 方向盘控制压力 steering-wheel grip pressure
- 体温 body temperature
- Electroencephalogram 脑电图(EEG)和 Electro-oculogram 眼电图(EoG)提供关于困倦或情绪反应[13]的额外的心理生理学信息。
行为信息
驾驶行为信息如方向盘运动(steering wheel movement)、车道保持(lane keeping)、加速踏板运动(acceleration pedal movement)、制动(braking)等也应被考虑来检测驾驶员是否困倦。
监测注意力分散
视觉分心指的是“眼离路”的状态，而认知分心被描述为“脑离路”的状态。
为了检测驾驶员的注意力分散，需要有效地提取驾驶员 头部姿态或注视信息 。
通过仔细监测驾驶员和驾驶表现行为，可以预测 小事故和大事故(minor and major accidents)
- Jabon et al.[15]在事故发生前的不同时间段里识别了一套驾驶员的关键面部特征，并用它们来预测小事故和大事故。这种方法对于主动驾驶安全系统的设计是非常重要的，以防止事故。
- 瑞士EPFL的信号处理实验室[16]通过分析面部表情和肌肉运动来检测驾驶员的分心以及情绪，这些情绪可能表明驾驶员不能胜任手头的工作。
本文的 目的：探讨监控驾驶员的状态以及预测不安全驾驶行为。
开发一个包括两个阶段的框架的几个问题:监测和预测驾驶员和驾驶行为。
Driver drowsiness measurement
监测困倦状态的原因
微睡眠(micro-sleep)的持续时间可以在几秒到30秒甚至更多之间。因此，驾驶员的困倦状态，即从清醒到睡眠的过渡状态，应该被监测。
上图是监测司机困倦状态的特征总结。
驾驶员行为信息包括 视觉特征和 非视觉特征。
视觉特征
- 闭眼(eye closure)
- 眨眼(eye blinking)
- 打哈欠(yawning)
- 头部姿势(head pose)
- 面部表情(facial expression)
可以增加的： - 眨眼频率(frequency of eye blinking)：衡量疲劳程度的良好指标
- 眼睑张开程度(degree of eyelid opening)：衡量疲劳程度的良好指标
非视觉特征
- 心率(heart rate)
- 脉搏率(pulse rate)
- 大脑活动(brain activity)。
可以增加一些生理信号: - 心电图(electrocardiogram ECG)
- 肌电图(electromyogram EMG)
- 眼电图(electro-oculogram EoG)
- 脑电图(electroencephalogram EEG))
驾驶行为信息
- 车道位置偏差(deviations from lane position)
- 车速(vehicle speed)
- 转向运动(steering movement)
- 加速踏板压力(pressure on the acceleration pedal)等
Visual features
从视觉方面主要是看监测面部动作，面部动作(facial movements)包括下面三个方面：
- 眨眼(eye blinking)
- 频繁打哈欠(frequent yawning)
- 点头或者摆动头(nodding or swinging head)
PERCLOS (Percent Eye Closure)
- 对司机警觉性水平的可靠和有效的测定
- PERCLOS是驾驶员眼睑闭合时间占瞳孔总时间的80%(或以上)，也反映了眼睑闭合缓慢。？？
- 当PERCLOS超过预定的阈值，提出的系统产生瞌睡警告。
- 其缺点是，有些情况监测不到：有时试图保持清醒的司机可能睁着眼睛睡着了。
计算PERCLOS需要提取包括瞳孔面积在内的眼睛区域
在提取这些视觉特征方面存在一些限制：合适的照明(proper lighting)
监测司机是否困倦应该考虑真实情况：
- 白天和晚上：一个简单的CCD或网络相机在白天使用，而红外相机在晚上使用
- 司机 是否戴眼镜：
- 需要找到合适的近红外(Near IR NIR)光照波长【一个可能的候选波长是850nm。在真实的汽车环境中，反射的阳光也产生在眼镜的外表面。为了减少反射效果，Jo等[34]使用了带窄带通滤光片的近红外光源，将入射光的波长限制在850nm。这是因为高功率LED照明灯比车内的阳光更强大。】
- 用于商业产品如视觉机器[35]的faceLAB。利用被动式摄像机对视频图像进行实时处理，确定各特征的三维位置。该系统能够确定一个精确的3D头部姿态和计算眼睛注视方向。它的优点包括能够很好地应对光线不足的情况，以及司机戴着太阳镜时头部的运动。
Non-visual features
原因
非视觉特征或生理信号，如心率和大脑活动，在预测困倦方面是有用的，与视觉特征相比，假阳性更少，因为只有在司机很好地在睡觉的路上，才能从视觉特征判断困倦状态。即基于这些生理信号的困倦预测使我们有可能及时地向困倦的司机发出警告。
生理信号
- 心电图(ECG)
- 从心电图信号中可以提取出心率(HR);心率可以用来检测睡意，因为它在警觉性和睡意状态之间存在显著差异[19,39]。
- 心率变异性(HRV)测量每一拍心跳的变化，也可用来检测睡意。随着司机从警觉状态到昏昏欲睡状态，心电图信号中低频与高频的比率逐渐降低[20,40]。
- 脑电图(EEG)
- 肌电图(EMG)
- 眼电图(EoG)
- 光容积描记(PPG)
过程
- 处理生理信号的一个 关键问题是消除真实环境中不可避免的噪声和人为因素。
- 在有效滤波之后，采用了快速傅立叶变换(FFT)和离散小波变换(DWT)等特征提取技术。
- 然后，利用支持向量机(SVM)、人工神经网络(ANN)、线性判别分析(LDA)等方法对提取出来的特征进行分类[40-43]
局限性
优点：检测驾驶员睡意的可靠性和准确性比可见特征高
重要局限性：侵入性
解决方案
- 使用无线技术，如Zigbee和Blutooth，通过将电极放置在方向盘或驾驶员座位上，以非侵入性的方式测量生理信号[44,45]。最后，信号由智能手机处理，确定司机瞌睡[46]。然而，由于电极接触不当，这种非侵入式系统与侵入式系统相比精度较低。
- 为了获得可靠的驾驶员嗜睡检测结果，人们尝试融合各种测量结果[20,47]。将PERCLOS、ECC和EEG混合用于检测驾驶员嗜睡，其成功率高于单独测量[20]。Cheng等人[47]使用PERCLOS融合、眨眼频率、最大闭合时间和非转向百分比等方法检测睡意。
Driving behavior features
驾驶行为特征或驾驶性能指标包括方向盘运动、车道保持、加速踏板运动和制动等[48-50]。这些特征与车辆类型以及驾驶员在驾驶习惯、驾驶技能和驾驶经验方面的差异性有关。检测驾驶员睡意水平最常用的两种驾驶行为指标是 方向盘运动和横向位置的标准偏差。
Driver distraction detection
暂无
Predicting unsafe driving behavior
对驾驶员状态、驾驶行为性能和车辆状态的监测对于提高驾驶员主动安全系统的性能是非常重要的。
驾驶员的状态通过测量困倦、疲劳或压力水平来监测[61-64]。通过分析驾驶速度、方向盘角度、制动和加速等信息，还可以监测驾驶行为、性能和车辆状态[48- 50,65,66]。在检测到困倦或注意力分散后，就会向司机发送警报。
主动驾驶员安全系统的另一个 重要问题是开发一种机制来 提前预测小事故和大事故。
基于面部表情和汽车动力学的预测方法
Jabon等人[15]使用面部特征来帮助预测驾驶员事故。他们结合了车辆动力学和驾驶员面部分析来预测事故。
过程
- 首先，对22个原始面部特征进行综合分析。
- 然后从一组时域和频域的数值中提取出对事故预测最有价值的统计量，从而实现对重大和轻微事故的预测。
结果
虽然Jabon et al.[15]的实验结果并不是基于真实的道路情况，但已经发现面部特征在事故发生前4秒表现出最准确的预测能力，并且在预测小事故时比预测大事故更有帮助。这是因为对重大事故的预测精度主要来自车辆的特征，而不是面部特征。
新技术
EPFL and PSA Peugeot Citroen[16]正在开发一种技术，以检测司机的分心以及情绪，表明司机不能胜任手头的任务。即，面部表情和肌肉运动在分析司机是否太过分散注意力、太累或甚至太过愤怒而无法安全控制车辆时非常重要。
局限性
虽然面部特征已被证明有助于预测小事故，但其预测效果还有待提高。
为了更准确地预测事故，有必要捕捉来自驾驶员或驾驶员环境系统其他部分的其他生理信号。在此基础上，可以提出一种新的交通事故预测模型。特别是在构建更广泛、更通用的事故预测模型时，需要考虑不同的参与者群体、交通文化和驾驶环境。
Discussion
Hybrid measures for drowsiness detection
目前监测司机睡意的存在的问题
- 在驾驶行为和驾驶员行为特征中，驾驶行为有时不能可靠地检测驾驶员的嗜睡。
- 驾驶员行为特征优于驾驶行为特征，但视觉特征有时会受到光照条件和驾驶员姿态[34]的限制。
- 非视觉特征，如生理特征是可靠和准确的，但其本质是侵入性的。在它们能够在真实的车辆环境中使用之前，应该解决侵入性这个问题。虽然已经开发了一种侵入性较小的ECG测量方法[45]，但EEG和EoG仍然需要以侵入性的方式将电极放置在头皮或眼睛区域。然而，非侵入性的生理信号测量可能在不久的将来发展。
混合方法
融合 视觉、生理和 驾驶行为特征的混合测量
即使在某些传感器失效的情况下，融合方法也能很好地检测出睡意。图4显示了一个用于驱动状态检测的混合测量示例。其中一个问题是在特征级或决策级[20]上开发一种可靠的数据融合方法。
Driving context-awareness for safe driving
为了安全驾驶，驾驶上下文感知是必要的，需要有效地探索与驾驶条件和环境相关的各种信息。
将驾驶上下文划分为全局和局部。
- 全局驾驶上下文是指车辆类型、道路类型、驾驶时间、驾驶环境、路况等等
- 局部(local)驱动上下文指的是驾驶员状态(driver status)。即局部语境与驾驶员的视觉和认知知觉以及驾驶员因分心、嗜睡和/或情绪而导致的视觉和认知知觉的恶化有关。
发展方向：结合 驾驶环境和 驾驶员状态的基于驾驶上下文的计算模型。使用这样的模型，注意力分散和嗜睡的检出率将会增加，这将有助于预测不安全驾驶行为。
Necessity for public data sets for simulation and real driving conditions
在真实的驾驶环境中测试困倦有危险。
真实驾驶条件的必要性
Philp等人[67]发现，由于体验的单调性，在模拟环境中，来自自我评价的反应时间和嗜睡程度比在真实驾驶环境中要高。
Engstorm等[68]指出，真实驾驶条件下的生理负荷和转向活性均高于模拟环境。在真实的驾驶条件下，包括灯光和噪音的变化在内的各种因素也会影响驾驶员的注意力。
没有可用的基准数据集
Conclusion
这篇文章回顾了各种可用的方法来确定困倦和分心的司机的状态。通过对驾驶员视觉特征、非视觉特征和驾驶行为行为等驾驶员行为的研究来检测驾驶员困倦。
- PERCLOS、闭眼时间(ECD)、闭眼频率(FEC)是一种基于视觉特征的检测驾驶员睡意的系统。
其中，PERCLOS在检测睡意方面表现良好，但存在光照条件等局限性。为了克服这个问题，使用了850nm的IR光源。 - 生理信号如ECG、EEG、EoG和PPG信号作为非视觉特征检测驾驶员困倦。尽管生理信号比视觉特征表现出更好的表现，但它们也有一些局限性，尤其是它们的侵入性。为了克服这个问题，应该开发侵入性较小的传感器。目前，ECG信号可以用一种较少干扰的方式捕获。驾驶性能行为如方向盘运动和侧位标准偏差也被用来检测困倦。
- 驾驶员注意力分散是通过头部姿势和注视方向来检测的。驾驶员的分心可能会导致更大的车道变化，更慢的对障碍的反应，以及更突然的转向控制。因此，为了开发一个更安全的驾驶员监控系统，我们应该监控驾驶员的分心。
- 对于主动驾驶安全系统而言，预测不安全驾驶行为是一种可取的方法。本文解释了基于面部表情和汽车动力学的预测方法。通过面部表情检测驾驶员的情绪，有助于预测驾驶员的驾驶行为。
- 最后本文讨论了主动驾驶安全系统未来发展中需要解决的几个问题。它们是a)检测睡意的混合措施，b)安全驾驶的驾驶环境感知，c)模拟和真实驾驶条件的公共数据集的可用性。
