022-27893551marketing@eboata.com
登录 | 注册
主页 > 行业资讯 > 行业动态 >
| 行业资讯
Industry Information
基于深度学习的DMS
作者:admin 发布时间:2020-12-30 次浏览

在“智能汽车大脑”战略下,四维图新重点聚焦在前端的算法,以及后端的应用场景和数据,旨在打通智能汽车的完整生态。在算法端,四维图新基础技术研究院的深度学习研发部在视觉及感知层面也研发出了很多成果,今天文章就说说其中之一 —— 基于深度学习的DMS。

DMS背景

随着智能驾驶概念的火爆,作为安全驾驶中的重要一环,DMS正走进广大驾驶员的视野,欧盟将于2022年7月开始强制新车都必须配备DMS,国内多省出台的车辆安全监测规范开始提议对公共交通运输车辆配备DMS。

DMS是什么

说了半天DMS,先解释一下DMS究竟是什么?

image.png

因为是对驾驶员进行监控,所以DMS通常是对L2-L3级别的自动驾驶系统而言,当然L4级别需要安全员的测试环节同样需要。

DMS的主要职能是对危险驾驶行为进行报警,并且对关键数据进行存储和上传云端,用以后台对驾驶安全的风险管控。

image.png

图为:DMS 作用示意

DMS 基本功能包括疲劳检测(drowsiness detection)、注意力检测(attention detection)、异常行为检测三个主要部分;扩展功能通常包括身份认证、情绪识别、视线追踪、手势识别等功能;其中异常行为检测包括抽烟、打电话、喝水、吃东西等报警内容。

image.png

图为:DMS 内容框架

而DMS对驾驶员进行监测主要通过两种方式,即接触式监测方法与非接触时监测方法

DMS接触式监测方法:主要通过脑电图、心电图,通过跟身体接触的信号来分析测试。该方法对场景要求比较严格,因而在现实中普及非常困难。

DMS非接触式监测方法主要依赖于视觉传感器对驾驶员面部进行监测分析,该过程仅需要一颗对着驾驶员脸部的摄像头,驾驶员在无接触条件下便可以完成全部功能,实用性非常高。而深度学习的一系列算法为完成其监测分析起到了巨大作用。

DMS与深度学习

以基础功能为例,我们来看看深度学习算法都在哪里起到了作用。

首先我们可以把注意力分散,疲劳驾驶以及异常行为总结出脸部的表情和动作,并通过摄像头将驾驶员的面部表情动作进行匹配,从而判定是否要对该驾驶员进行报警。

image.png

所以上述流程中需要解决两个最关键的问题:

image.png

通俗点说就是1.在图像中能够找到脸部的区域;2. 在已检测到的人脸基础上进行人脸关键点检测和分析,并矫正人脸

咱们先说人脸检测(face detection),在人脸识别领域,从一张图片中找到全部人脸是人脸检测的主要任务,深度学习在这个领域的贡献非常巨大,在Wider Face 和 FDDB 两个公开数据集中,深度学习算法模型霸榜,其性能远超传统的机器学习算法模型。

基础技术研究院DMS小组的小伙伴们,研发了符合DMS场景的强鲁棒性的人脸区域检测模型Light-FaceDetector,该模型可以在驾驶员单人脸场景下,检测准确度接近100%,并且在骁龙835平台纯ARM CPU下推理速度达到117FPS。

Light-FaceDetector网络参照多尺度级联的方法,构建了CNN特征提取、多尺度增强的多任务网络,该网络可以同时完成人脸分类任务、边界框回归损失及回归5点关键点的任务。

image.png

在人脸对齐方面,DLFLD98是另外一个由研究院小伙伴复现的用以精准人脸对齐的深度学习模型,该模型的作用在于对已经检测出的人脸区域进行98个点的人脸关键点检测并对人脸进行对齐矫正。该模型在骁龙835平台纯ARM CPU下完成人脸关键点精准定位的同时,前向推理速度最快可达125FPS。

DLFLD98主要参考Wing Loss、Mobilenet V2网络设计,构建了主干网络提取特征并完成关键点回归的任务,辅助网络估计头部姿态用以调整模型训练过程中头部姿态数据不均衡的问题。

image.png

眼部和嘴部的定位均是依赖DLFLD98和Light-FaceDetector的,根据眼部和嘴部精准的区域定位,再结合多个关键点的横纵比例进行开闭判断。

头部姿态估计以自标定的68个点3D模型作为初始模型与2D人脸关键点对应,通过PNP进行空间投影,实时获取头部姿态变换。

image.pngimage.png

image.pngimage.png

下面就让我们结合疲劳检测预警与注意力检测预警两个功能,一起来看看基础技术研究院的小伙伴在车内的一段综合示例:

图片

异常行为分类分析模型,是一个对打电话、抽烟、喝水三个行为所作的多分类任务,通过识别三种行为,异常分析模块起到预警作用。

图片

DMS扩展

除了以上技术内容,DMS小组的小伙伴们也在不断扩展新的模型和功能,比如在人脸认证方面,我们也研发出了自己的一套可以进行FaceID的深度学习算法模型。

图片

在算法的应用方面,小伙伴们也在Android系统上成功移植了疲劳检测和注意力检测所需的深度模型和算法,同时完成了对各个深度模型的加速优化,并且与杰发科技的小伙伴进行合作,在AC8257量产芯片上进行了定制化开发和测试。

image.png


上一篇:ECU远程诊断刷写系统

下一篇:汽车数字座舱的未来

在线客服
扫一扫
手机版
公司地址
天津市西青区环外海泰发展六道海泰绿色产业基地K1-2-601
联系电话