您的位置:首页 >新车 >

未动科技CEO孙铮:智能驾舱视觉技术发展趋势及场景落地

2020-12-08 19:16:06来源:盖世汽车

12月1日-2日,由盖世汽车主办的“2020第二届车联网与智能座舱大会”隆重召开。本次会议主要围绕车联网、座舱域控制器、车载操作系统OS、OTA、座舱显示等车联网及智能座舱领域热门话题展开探讨,共谋产业未来发展之路。下面是北京未动科技有限公司CEO孙铮在本次大会上的发言。

未动科技

北京未动科技有限公司CEO 孙铮

大家好!我是未动科技孙铮,今天非常高兴有机会和大家分享,我这次的主题是“智能驾舱视觉技术发展趋势及场景落地”。在一两年前和大家分享的时候,还在谈愿景,谈我们在做的技术,今天就不一样了,今天我们终于可以跟大家分享我们的一些落地成果,上车经验。同时,今天也跟大家分享一下我们未来的一些技术和正在研发的技术,以及正在实现量产的前沿技术趋势。

先简单介绍一下未动科技,我们成立于2014年,致力于通过视觉感知、视觉AI技术赋能智能座舱和智能驾驶。我们服务于主机厂,聚焦于和业内上下游的合作伙伴一起提高驾乘的体验。我们有两个大的方向,一个是智能驾舱,一个是智能驾驶,今天着重介绍我们的技术在驾舱方面的应用。

第一部分分享一下我们所观察到的行业趋势。这是罗兰贝格的一个信息,我们很认同他们的看法。在驾舱通往第三空间的道路上,传统的驾舱是娱乐中心,在这个过程当中随着感知尤其是智能感知的出现,使得人机交互更加智能化,以及电气化、共享汽车、自动驾驶的发展,整个驾舱其实更像是一个除了办公室和家庭之外舒适的第三空间。我们现在所处的阶段正好是第二、第三阶段。

非常有幸,我们中国的企业在第二、第三阶段参与了整个变革,同时在世界范围内,我们是和其他的国家和地区齐头并进,甚至在一些方面我们是领先于世界,所以说在整个汽车行业大的发展过程当中,我们非常有幸跟上了大潮,并且推动了产业发展。

大家经常问我在驾舱里放摄像头做什么?核心有两个诉求,都是关系到安全,一个是汽车的主动安全,这是刚需。但是刚需的事情可能驾驶员并不一定能够经常体验到,因为发生的概率极小,在出现事故的时候才能意识到安全的要性。

另一方面则是为乘客带来更高的价值,通过人机交互提升舒适性、便捷性。视觉能帮助增强驾驶员或者乘客的驾乘体验,其中交互性是一个很重要的驱动力。接下来看看具体的功能大家就知道,为什么我强调安和交互。

说到安全必须要提到法规,目前欧洲的法规还没有完全公布,原来是说2022年7月份要强制实施,现在目标是2023年,什么意思呢?欧洲的车大家都知道是5星评级,没有视觉的主动安全,也就是过去大家听说过的DMS,没有这个东西5星评级少一星,那你的车上市以后上保险,保险价值就要高,从而导致消费者付出更多的成本,所以说还不如买一辆有主动安全DMS功能的车。预计在2023年,欧洲的车都有基于视觉的DMS功能,现在可以通过其他的,比如说通过驾车的时长去监测驾驶员的疲劳程度,但是2023年一定会强制,这是从安全法律法规角度来考虑。

另外一个很重要的要求是对儿童的监测。在美国由于把儿童遗忘在车里面造成的伤亡事故非常多,所以说对于儿童的监控非常重要,特别是监控驾舱里头是否有遗留儿童,多大岁数的儿童。目前的目标是2025年会强制。当然这里不仅是需要视觉监测是否有儿童,可能还需要其他一些雷达去监测儿童的存在。

另外一个安全关系到了自动驾驶。大家知道汽车智能化肯定先是解放双脚,最早的ACC不需要踩油门。接下来就是解放双手,可以脱手驾驶,但是必须要眼睛盯着路面。再高级别的自动驾驶就可以不盯着路面,L3可以在路面上玩微信,做其他的事情都可以,解放双手双脚、解放眼睛。但大家知道在L5来临之前,车还是有方向盘的,需要有负责驾驶的人来驾驶,因此人机切换的过程安全很重要,车必须保证驾驶员是盯在路面上,拿着方向盘,这个过程需要有DMS,所以视觉监控是很重要的功能。

刚才提到的都是安全功能,从法律法规上对于安全的要求,无论是DMS还是OMS,有的叫IMS,统一称IMS,都是安全法规的需求。另外一个很高的需求就是人机交互,为了更方便人和驾舱的交互。

很重要的时间点是2019、2020年。去年的这个时候我们一直在说2020年将会是DMS的元年,的确也是。大家可以看到,从去年开始一系列的主流车企,不仅仅是造车新势力车企开始去定点,我们通常所说的主流品牌,包括国内的OEM品牌和合资品牌也纷纷开始定点。到明年,我们会看到越来越多的车企定点。大家可以看到,早在2018年推出的CT6和奥迪A8就都有DMS功能,现在欧洲的很多车都加上了DMS功能,国内的车也正在加,下面我会介绍一下我们定点和量产的经验。

这是一个整体的数字,从国内乘用车的保有量到乘用车内智能驾舱视觉系统的产值来看,处在一个爆发期。

刚才谈到的是趋势,现在谈一下具体的功能。DMS能为驾驶员提供什么?这里看到有两个功能,一个就是安全,疲劳、注意力不集中、不规范驾驶等都属于安全范畴,但是这里已经出现了一些和交互相关的,比如说人脸识别、情绪识别、人脸属性识别,这些能够为驾驶员提供什么呢?

大家知道人脸识别尤其是在国内,大家用手机刷脸付款,渗透率非常高。汽车上通过人脸识别可以进行定制化、个性化,其实就相当于汽车能够识别每一位驾驶员甚至乘客是谁,为他们做一些定制化,因为它可以记忆这个人曾经做了什么,比如说调节座椅、空调设置,人脸支付甚至刷脸开车门,这些都是基于生物识别、人脸识别的功能。情绪识别、人脸属性识别也是,汽车能够感知驾驶员甚至每位乘客的身份,记住他的年龄,甚至能够识别他实时情绪变化,由此去引入比如说不同的音乐、氛围灯等功能。

刚才提到了OMS,OMS更多的是驾舱,比如遗留儿童的监测,欧洲的法规还要求检测儿童是否是6岁以下,检测前排是不是有儿童座椅,因为安全气囊弹出来的时候对儿童是非常危险的,这一系列都是从安全的角度出发。

另外一个场景就是基于交互为驾乘提供更舒适的体验。这里很重要的就是多模态的交互,我在不同场合跟大家交流过多模态交互,这个是哈曼的介绍,通过4个麦克风可以识别出乘客坐在哪里,比如乘客说把窗户摇下,系统就可以知道在哪一个位置摇下车窗,这个就是基于语音识别的交互。同样视觉在里面也可以观察人的位置、行为,甚至观察人的手势、视线,为驾舱提供一系列的交互功能。

接下来一个视频是我们在今年年初CES上的展示,大家可以看一下,通过精确的视线追踪可以实现什么样的功能。我们让驾驶员去看不同的圆点,通过视觉算法捕捉到人的视线的位置。这里大家可以看到,通过视线可以确定乘员在看哪一个屏,哪一个屏就会亮,就是视线点亮屏的功能,这个就是语音识别和视觉视线追踪融合的多模态交互典型应用场景。他看到一个建筑物的位置,汽车知道他注视的方向,可以查询这个建筑物到底是什么商店,查询商店信息,甚至可以查到里头是不是有停车位。大家记得小鹏汽车有一个360的摄像头,甚至可以通过视线去看一个建筑物进行拍照,这是视线追踪和其他的语音、地图相结合的典型应用。

谈到视线追踪,精度有多少呢?我听大家说能到3度、2度,我给大家演示一下我们这个精度能精确到多少,大家看到有一个同事在读电话号码,另外一个同事随着他说的眼睛去注视,我们能非常快速准确地识别他眼睛注视的方位,这是非常精确的一个视线追踪。这是我介绍的未来趋势、功能和现在一些新的技术。

接下来跟大家分享一下我们落地的一些工程化的经验。这是典型的智能驾舱视觉算法在不同的硬件产品上应用,这个硬件是不同的SOC,可能是车机,可能是独立的控制器,这是典型车机的,包括大家车机主流的高通、MTK、NXP、TI这些传统车机或者仪表的平台。再有一部分就是独立的控制器,典型的就是ADAS、SOC,包括TI、NXP、华为都有,这是工程化实时部署的一些芯片方案。

操作系统可以在安卓上、可以在QNX上,独立的控制器一般是在LINUX上。这个也是一个典型的配置方法,通过连接到摄像头去实现算法,算法可以在CPU、NPU甚至GPU上,多样部署不同的计算单元,异构的部署。

驾舱内的视觉用摄像头,我们一般是I2,或者RGBI2,这两类用的比较多。这两类摄像头又分为两种,刚才的摄像头比较快的那个,就是来介绍区别的,因为它是一行行扫的,人在动的时候图像画面会产生模糊,我们要通过图像人工智能算法去处理不同的场景,不同摄像头带来的困扰。从图像的角度大家知道越清晰越好,可以根据自己的需求去选择,同时车载又和传统的家里安防环境不一样,整个工况非常复杂,大家可以看一下晴天、阴天,包括太阳直射和斜射,都是基于图象识别的算法需要解决的问题,这些都是工程和算法的问题,在落地过程当中要迈过的槛。

这是我们实际车型的图,这款摄像头的质量还不是非常好,补光非常暗,这种情况下我们要识别出驾驶员是不是疲劳、是不是分神,而且还带了帽子,这也是在工程落地的时候需要去解决的一个又一个的问题。

还有一个问题,车厂经常提给我们,疲劳现在有标准吗?是不是说他闭眼几秒钟,通过监测判断他是3秒、5秒、1秒,确定他是否疲劳,疲劳到底是怎么定义?通过视觉来解决疲劳,和真正的人类或者咱们驾驶员的疲劳是什么关系呢?为此我们做了一个很重要的研究,就是研究人的疲劳。大家看我们有一个实验室是专门通过心电图、脑电图去测试人的疲劳,通过传统在心理学、医学上积累的经验去判断人的疲劳,通过这个依据去检验我们通过视觉定义的疲劳,建立起一一对应的关系,这个大大帮助我们如何更加科学、精确地去定义。这是疲劳的一个指数,给大家介绍一下,传统定义疲劳只是闭眼的时长,现在我们对于疲劳的判定,已经不再局限于眼睛的睁闭,而是根据眼球动作和面部其他的细微表情来判断。

所以说驾舱内视觉方案其实已经不仅仅是视觉算法工程师的天下,而是已经拓展到了心理学、医学等领域,只有全方面研究疲劳,才能真正解决实际问题,这个跟最初大家说通过视觉方法来解决驾舱问题已经完全不一样了,尽管我们提供的是视觉解决方案,但我们研究的范畴已经远远超过了视觉。

现在的落地,我们已经拿到了8个车厂24款车型定点,在未来的三五年内将会有150万台车用我们的智能视觉驾舱解决方案,包括DMS、OMS,大家可以想象,很多车厂车型还在继续定点当中,这个数字只会越来越大,一直在增长。

接下来用一段视频结束我的演讲,这个视频介绍的是我们和合作伙伴延锋一起开发的一个智能驾舱,大家可以看到视觉智能在智能驾舱里面的应用,那个摄像头就是DMS的摄像头,视线点亮屏,后面的OMS是识别儿童。

我们跟很多主机厂和tier1有很好的合作,通过视觉及语音多模态交互实现智能化,为驾驶员和乘客提供更好、更安全舒适的驾乘体验,谢谢大家!