驾驶员疲劳驾驶预警系统的设计

马乐;姜立标;王会荣;王蒙

【摘 要】针对疲劳驾驶监测的要求,设计了一种基于IT公司高速图像处理芯片TMS320DM2的疲劳驾驶预警系统,用以判定驾驶员的疲劳程度,降低交通事故.系统采用机器视觉的方法,先通过CCD摄像头拍下驾驶员的面部图像序列,然后检测出脸部,从而定位眼睛,再利用PERCLOS算法判定疲劳状态.实验结果表明,该系统准确率高、速度快,可以满足非接触式、全天候、实时监测的要求. 【期刊名称】《哈尔滨工业大学学报》 【年(卷),期】2011(043)005 【总页数】5页(P139-143)

【关键词】疲劳驾驶;数字信号处理器;人脸检测;PERCLOS算法;级联分类器 【作 者】马乐;姜立标;王会荣;王蒙

【作者单位】中国农业大学,工学院,100083;北京华南理工大学广州汽车学院,510800,广州;华南理工大学,机械与汽车工程学院,5100,广州;哈尔滨工业大学(威海)汽车工程学院,2209,山东,威海;Griffith,College,Dublin,Dublin 【正文语种】中 文 【中图分类】U463.33

疲劳驾驶已经成为引发交通事故的主要原因之一.在当前的疲劳驾驶检测技术领域，基于驾驶员脸部特征的非接触式疲劳检测算法的研究和疲劳预警系统的开发已经成

为了主流之一.

驾驶员脸部主要特征的人脸和眼睛检测是指对于任意一幅给定的图像，通过一定的方法和策略，搜索并确定其中是否存在人脸，如果存在则返回人脸相应的信息［1］;在人脸检测的基础上，定位、检测眼睛是睁开还是闭合，并返回眼睛相应的信息.人脸和眼睛检测系统的精度与速度直接影响疲劳预警系统的性能.驾驶员疲劳驾驶预警系统的应用超越了人脸识别系统的范畴，在视频会议、智能人机交互、虹膜识别系统等方面也有重要的应用价值. 1 系统设计

1.1 人脸检测和人眼定位算法开发

本文选用现在比较热门的MB－LBP特征描述人脸和人眼，该特征具有噪声敏感度小的优点.选用adaboost算法家族中性能最为优异的Gentleadaboost算法来训练人脸检测和人眼定位分类器.通过训练挑选出检测率高的弱分类器，再将选出的弱分类器按照权重组成强分类器，进而形成级联分类器.最终经过反复实验调整参数，在PC机上运行获得较高的人眼检测率. 1.2 检测与识别算法的数字信号处理器移植

在TI公司的CCS3.1软件中对人脸检测和人眼定位算法进行仿真，然后移植到以数字信号处理器(DSP)为核心的DM2开发板中.在移植过程中运用多种优化手段，最终算法在DSP中运行能够达到18帧/s的检测速度，满足实时检测的性能要求. 1.3 实验分析

完成算法的开发后，分别建立以 PC机和DSP为基础的实验装置，对算法的正确性和实时性进行分析.通过实验，使得本文所研究的疲劳驾驶预警装置能够基本上达到预期目的.

因驾驶防瞌睡装置的应用特殊性［2］，设计的系统必须满足:1)非接触式，即不对驾驶员的驾驶行为产生干扰影响;2)实时性，能实时地检测驾驶员驾驶疲劳生理特

征参数，迅速、准确、及时地对处于疲劳状态的司机发出警告;3)全天候，无论工作在光照充足、微光、无光状态下，系统都可以对司机的疲劳状态做出正确的分析.疲劳驾驶预警系统如图1. 图1 疲劳驾驶预警系统的实物图 2 系统硬件电路设计

系统硬件电路主要由5部分组成:图像采集、图像处理、疲劳判定、报警和电源管理.系统设计应遵循以下原则:

1)准确性.系统力求能够准确定位人脸、定位眼睛、计算眼睛状态和PERCLOS值，并在标定阀值后实现疲劳判断，尽量减少误判.

2)实时性.系统硬件的选择要保证系统能运行流畅，程序的编写应尽量选择经典的优化算法，以快速实现图像的截取、人脸和眼睛的定位以及眼睛状态和PERCLOS值的计算.

3)经济性.选择市场易购买、性能匹配和价格低廉的设备. 2.1 图像采集

采用CCD摄像头拍下驾驶员头部图像，经过高精度的A/D转换成DSP可以读取的数字图像.本文使用了SONY420线彩色红外夜视海螺型CCD摄像头作为图像的采集设备.这款CCD能自动感应外界光线，当外界光线充足时得到普通的彩色图像，而光线不足时由CCD自动开启镜面上自带的两圈红外LED灯，利用LED发出的近红外作为光源获得红外图像，满足系统全天候工作的要求.采用Philips公司的视频采集处理芯片SAA7113H［3］作为视频解码器，来实现模拟视频的数字化. 2.2 图像处理

图像处理和分析由DSP完成，图像处理包括图像的预处理及面部图像、眼部图像的处理.由于实际环境中图片背景较复杂，容易使程序对人脸区域进行错误划分.利用图像预处理技术对噪声、光照不足、图像扭曲等问题进行纠正，保证人脸图像中

人脸大小、位置以及人脸图像质量的一致性.在预处理的基础上，进行面部图像和眼部图像的处理，使系统能更好地判定人眼的状态，进而进行疲劳状态的判定.图像处理流程如图2所示. 图2 图像处理的流程图

选用TI公司的TMS320DM2作为核心处理器，其主要原因为:1)为便于将开发的疲劳驾驶监测技术运用于实际驾驶环境中，必须将疲劳驾驶监测技术从体积大的PC机上移植到体积小、稳定性高和功耗低的嵌入式系统中，由于DSP的应用日渐广泛且体积小、功耗低，为此可将疲劳驾驶监测技术移植到DSP中，以组装成一个完整的疲劳驾驶监测系统.2)TI公司的编译器 CCS (Code Composer Studio)产生代码的平均效率是其他DSP编译器的3倍，可借助CCS编译器降低开发难度，缩短系统的开发周期.3) TMS320DM2工作频率高，计算速度快，可轻松处理25～30帧的图像，满足系统实时性的要求，非常吻合本系统的设计需要［4－5］. 2.3 疲劳判定和报警

在图像预处理和人脸检测的基础上，利用PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)算法对人眼进行检测，PERCLOS (Percent eye Closure)是指在一定的时间内眼睛闭合时所占的时间比例［6］.实验表明，眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重.在实际驾驶中，连续检测司机的PERCLOS和眼睛持续闭合时间，如果有，PERCLOS＞40%，眼睛持续闭合时间＞3 s，就判定该司机处于疲劳状态，疲劳预警系统对驾驶员给出语音提示.语音报警电路如图3所示. 图3 语音报警电路 2.4 电源模块

系统采用的电源是220 V直流电.针对本系统所购买的器件，需要考虑2个问题:首先，外围电路(SONY420线彩色红外夜视海螺型CCD摄像头)所需电压为+12 V，

需要将220 V直流电压转换成摄像头所需的+12 V电压;其次，DSP开发板电源(J12)接口需要的电压是+5 V，需要将220 V直流电压转换成DSP开发板所需的+5 V电压.

DSP工作电压:I/O电压+3.3 V，核电压+1.4 V，系统采用TPS54310芯片，经降压芯片把DSP开发板电源(J12)接口的5 V电压转换成DSP工作电压+3.3 V和+1.4 V，稳压电路如图4、5所示. 图4 +3.3V稳压电路 图5 +1.4 V稳压电路 3 人脸和人眼的检测原理 3.1 MB－LBP特征的应用

本文所应用的MB－LBP特征是LBP特征的一种扩展［7］.这种特征可以解决原始LBP特征只能描述小范围的图像信息以及易受噪声影响的问题.实验发现，在视频监控数据以及人脸检测数据上，MB－LBP特征相比原始LBP特征有更好的分辨能力，同时，MB－LBP特征保持了LBP特征运算复杂度低，灰度尺寸的鲁棒性好，计算速度较快的优点.由于MB－LBP特征将目标图像升维成相当高的维度，Gentleboost学习算法被用来降维并且构建分类器.另外，设计了多叉树型的弱分类器来针对MB－LBP特征的非度量特性问题.

MB－LBP还有一个优点［8］，即特征数目少，在训练阶段所耗费的时间会大大减少.在20*20的图像中，大概含有上万个haar特征，但是只包含2 000左右的MB－LBP特征，特征数目减小约80%，利用MB－LBP特征训练样本库的时间会少很多.在实际操作过程中，由于haar的特征是表示度量意义的，在每次迭代中都需要将全部的m个haar特征的特征值排序，从中选择最优的阈值作为单个haar特征弱分类器的分类标准.但是，MB－LBP特征是非度量的，因此在每次迭代中不需要对特征编码进行排序，所以利用MBLBP特征来训练样本库又会快很多.

3.2 Gentleboost的训练过程

假设训练集有m张人脸图像，n张非人脸图像，尺寸为N*N训练集中的图像被定义为二元组(xi，yi)，xi代表图像，yi代表该图像的归类，如果是人脸图像则yi为1，否则为－1［9－10］.具体训练过程如下. 1)初始化样本的权重:

2)迭代T次:

◇对每个MB－LBP特征进行测试，得到一个弱分类器，ht∈{0，1}. ◇计算其分类的错误率，

◇记录其能够得到的min{ε}作为该特征的分类错误率. ◇在所有特征中，将具有最小错误率的特征加入到强分类器中. ◇更新样本的权重，. ◇归一化样本权值，

3)得到最终的强分类器:

式中，φt表示设定的阈值，T表示弱分类器的数目. 3.3 基于MB－LBP的级联分类器

级联分类器由多个强分类器组合而成，它的每一层都是由gentleboost算法训练得到的强分类器，从第一层分类器出来的正确结果触发第二层分类器，而从第二层出来的正确结果将触发第三层分类器，以此类推.相反，从任何一个结点输出的被否定了的结果都会导致对这个子窗口的检测立即停止.通过设置每层的阈值，使得绝大多数人脸都能通过，而绝大部分的非人脸不能通过，靠近级联分类器后端的层

拒绝了大部分的非人脸，其过程如图6所示. 图6 级联分类器 4 系统的抗干扰措施 4.1 硬件抗干扰措施

硬件抗干扰总的设计原则就是抑制干扰源，切断干扰传播路径，提高敏感器件的抗干扰性能.

抑制干扰源的措施如下:a.尽量缩短信号线的长度;b.为防止电磁感应，信号线应采用屏蔽线;c.使电源线、地线的走向与数据传递的方向一致，应尽量使用45°折线而不要使用90°折线，以减少高频噪声辐射.

切断干扰传播路径的措施如下:a.PCB合理布局，将继电器、电机等噪声元件与单片机尽量远离;b.布线时要减小信号线间的交叉干扰;c.时钟振荡电路部分用地线包围以来，让周围的电场趋近于零.

提高敏感器件的抗干扰性能的措施如下:a.不同的电源电压、数字和模拟、高速和低速、电流的大小电路分别设置地线，防止产生公共地阻抗的干扰;b.电源线和接地线尽量布粗，使它能通过三倍于印制板上的允许电流.如有可能，接地线应在2～3 mm以上;c.在PCB布线时尽量减少环路的面积，以降低感应噪声. 4.2 软件抗干扰措施

嵌入式系统的可靠性由多种因素决定，其中系统的软件抗干扰性能是系统可靠性的重要指标之一.尽管采取了硬件抗干扰措施，但仍然很难保证系统完全不受干扰.因为软件抗干扰是一种廉价、灵活、方便的抗干扰方法，不改变硬件的环境，不需要对干扰源精确定位，不需要定量分析，因此本系统采取软件抗干扰技术加以补充，作为硬件抗干扰措施的辅助手段，采用的软件抗干扰方法主要有数字滤波技术和软件看门狗技术［11］. 5 实验平台

本实验的运行环境包括硬件和软件2个部分，硬件部分为:摄像头，

TMS320DM2开发板、XDS510－USB2.0仿真器、AMD turion(tm) X2 mobile technology、内存为768MB;软件环境包括:matlab2009a、CCS3.1及windows XP系统，可运行程序由matlab语言和C语言混合编程.利用matlab良好的图形界面设计和C语言高效的运行效率，将这2种语言混合编程，核心算法由C语言实现，而输入输出则由matlab语言来完成.

训练基于MB－LBP特征的级联分类器时，使用16 000个正样本，4 433 000个负样本，正样本中包括－30°～+30°内的人脸图像.所有的负样本均来源于4 433张非人脸图像，采用bootstrap策略，在每张图中随机采10 000张20*20的非人脸图像.正样本来源不一，包括从人脸数据库中得到，以及viola－jones库自带的4 916张图片.

本文的重点放在基于MB－LBP特征的人脸检测上，因此，最终的系统构建是利用gentleboost训练基于MB－LBP特征的强分类器.利用gentleboost训练的MB－LBP特征强分类器对静态图像的测试效果如图7(a)所示;对CCD摄像头拍摄的图片的仿真结果如图7(b)、(c)所示. 图7 眼睛的实验结果

将疲劳驾驶检测与识别算法移植到DSP芯片中，经过算法的调试和优化，运行成功后，CCD摄像头拍下的驾驶员面部图像序列经DSP处理后的试验结果如图8所示.司机清醒时，眼睛是睁开的，实验中能检测到人眼，检测到人眼时用小方框标定出人眼位置，表示人眼是睁开的，如图8(a)所示;司机疲劳时，眼睛闭合，实验中检测不到人眼，如图8(b)所示.根据系统设定的阈值，就可判断出司机是否处于疲劳状态.

图8 DSP中的实验结果 6 结论

1)利用最新的数字图像处理方法，设计了一种基于机器视觉的驾驶员疲劳驾驶预警系统，该系统满足防瞌睡装置的非接触式、实时性、全天候要求，并且设计可靠，体积小，便于携带.

2)用gentleboost训练基于MB－LBP特征的强分类器，利用PERCLOS算法对眼睛的状态特征进行检测，能够实时快速地反映驾驶员的疲劳状态.

3)利用级联分类器的手段，经过反复实验调整参数，在PC机上运行，获得较高的人眼检测率;并在移植过程中运用多种优化手段，实现了算法在DSP中运行能够达到18帧/s的检测速度. 参考文献:

［1］YANG M H，KRIEGMAN D，AHUJA N.Detecting faces in images:A survey［J］.Transactions on Pattern Analysis and Machine Intelligence，2002，24(1):34－58.

［2］刘志强.基于机器视觉的驾驶疲劳检测方法［J］.中国制造业信息化，2006，35(3):－66.

［3］PHILIPS.SAA7113H 9-bit video input processor［EB/ OL］.［S.l.］:Philips，2000［2010－03－

01］.http://www.semiconductors.philips.com.

［4］TEXAS INSRUMENTS.TMS320DM2 video/imaging fixed point digital signal processor［M］.［S.l.］:Texas lnsmments Incorporated，2003:1－6.

［5］陶芬.全天候疲劳驾驶监测系统的研究及实现［D］.南京:南京理工大学，2009.

［6］DAVID F，RICHARD D.PERCLOS:A valid psychophysiological measure of alertness as assessed by psychomotor vigilance［EB/OL］.Washington，

DC:Federal Motor Carrier Safety Administration，1998［2010－03－02］.http://www.fmcsa.dot.gov.

［7］ZHANG Lei，STAN Z L.QU Zhi-yi，et al.Boosting local feature based classifiers for face recognition［C］// 2004 Conference on Computer Vision and Pattern Recognition Workshop(CVPRW＇04).Washington，D.C:［s.n.］，2004:84.

［8］张伦.MB－LBP特征在视觉目标检测和分类中的应用［D］.北京:中国科学院研究生院，2005.

［9］OJALA T，PIETIKINEN M，HARWOOD D.A comparative study of texture measures with classfication based on feature distribution［J］.Pattern Recognition，1996，29:51－59.

［10］FREUND Y，SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting［J］.Journal of Computer and System Science，1997，55:119－139.

［11］胡谦，赵丹阳.单片机应用系统抗干扰技术［J］.黑龙江科技信息，2007(15):52.