电子元件

ADAS和自动驾驶的解决方案

2025China.cn   2018年04月04日

  闭幕不久的“2018慕尼黑电子展”上,瑞萨电子中国汽车电子ADAS 应用工程师应毅辰在同期举行的“中国国际汽车电子创新技术大会"上为大家发表了题为《ADAS和自动驾驶的解决方案》的演讲,介绍了瑞萨电子在无人驾驶、高级辅助驾驶方面的解决方案及市场风向。

  自动驾驶的市场趋势

  无人驾驶是市场发展的趋势,实际上无人驾驶和辅助驾驶,在现有车辆上已有一些应用。从较基本的环视,高速公路的ACC,提高防碰撞及跟随能力,已经在很多车辆上得到实施和应用。早在上世纪九十年代,汽车上就有定制化应用,发展近三十年后,针对原有的场景,应用的功能得到极大提升,逐步从低速和高速方面,向无人驾驶新领域迈进一大步。

 

  2017年,是环视系统的发展节点,加载更多的设备功能、辅助的功能,来完成远程泊车、自动泊车。在高速方面,也会针对不同的一个应用场景,更好的一个识别、控制,提升车辆的控制精度和功能,为今后高等级L3、L4等级,甚至L5等级做铺垫。瑞萨电子专注这些应用场景,发展完善对应产品,支持现在车厂及各大一级供应商。

  瑞萨电子新型自动驾驶理念

  瑞萨电子提出了Renesas autonomy™平台,针对ADAS感知部分、传感器部分、以及车辆部分,搭建一个这样的平台,让不同产品应用得以应用于ADAS整个场景之中。

 

  摄像头实际上视觉方面的算法非常复杂,其ADAS集成度非常高,整个系统安全可靠性要求也比较高。瑞萨电子发起了基于R-Car产品系列R-Car联盟,与软件、中间件、系统集成等全球各大供应商积极合作,搭建Renesas autonomy™平台,打通上下游生态圈,为客户更好地提供更高效更易使用的平台。

  瑞萨电子全球合作伙伴

 

  环视功能市场细分

  ADAS环视是一个较容易的切入点,它对系统的成本、难度要求相对较低,是市场上较为成熟的辅助功能。对于入门级的环视,是基于模拟摄像头的一个2D静态环视。现在的3D环视,是基于数字高清摄像头,目前已配置到很多汽车中,逐渐这会发展成为一个标配。基于最新3D环视的方案,会有更多的辅助功能,如行人识别、车道线的识别。

 

  针对3D环视方案,性能会有更多提升,加入更多辅助功能,停车时的录制功能,录制车辆行驶过程中的一些信息、远程自动泊车功能,以及全程自动泊车辅助功能,还有支持L2等级的自动驾驶应用。

  环视的应用场景,还可以加上一些额外的辅助功能,比如说加更多的摄像头,监控车舱内信息,补充更多的摄像头去观测到更广阔的范围。环视摄像头还可以替代传统的物理后视镜,通过加屏幕的方式,使用虚拟后视镜,为驾驶员提供更多信息。以上是环视市场的细分。

  第三代R-CAR用于环视市场的优势

  瑞萨电子最新推出的R-Car第三代产品是面向当前发展迅猛的ADAS应用,针对环视、自动泊车等应用场景,瑞萨规划对第三代产品做了系统性规划,以提供高性价比的应用支持。

 

  R-Car 第三代产品线分得很细,从入门级到高级都能提供相应的支持,既可以做简单的3D静态环视,也可以做3D任意视角的动态环视,还可以在3D环视的基础上加入更多的识别功能,从而实现辅助泊车功能。客户可根据自己所需的功能,挑选合适产品,搭建自有平台。为市场提供非常弹性的方案,也是瑞萨电子比较大的优势。

  面向泊车辅助市场的第三代R-CAR产品

  目前,我们会根据不同的显示效果,嵌入一些高性能GPU,形成一个对车体的3D渲染,展示出酷炫的效果。R-Car 第三代产品同时集成了用于识别的性能加速核,提升识别功能的速度,来实现更优的行车辅助功能。

  目前环视应用对显示效果要求较高,我们采用了高带宽的视频输入接口,引入130万像素、甚至200万像素的摄像头,为环视系统、以及辅助泊车提供优异的性能支撑。

  下图是瑞萨电子针对辅助泊车及环视系统的产品线规划,紫色部分是已经量产的产品,主要针对于以前的模拟摄像头、2D环视及低端的3D环视应用。蓝色部分是新的第三代产品,提供从入门级到高级环视应用场景的差异化产品。

 

  R-CAR用于泊车辅助系统的主要优势

  这里向大家介绍一下R-Car系列在泊车系统当中的主要优势,如之前提到的用于视觉辅助的加速核。R-Car系列可支持功能选择,这是辅助驾驶、高级自动驾驶非常重要的一部分,因为这些功能会涉及到控制,控制功能会涉及到驾驶员、乘客的生命安全。因此,我们在芯片中引入了ISO26262标准,以去满足车辆的安全需求,提升整个产品的系统安全性。

 

  瑞萨电子经验证的V3X图形处理

  慕尼黑电子展瑞萨展台上展示了一款合作开发的基于R-Car V3M系列的环视系统,它是一款3D环视方案,可显示任意视角,此外基于此方案还可加入更多识别功能。我们的合作伙伴 Cogent Embedded 还可以为中国客户提供一定程度的定制系统,针对不同的应用场景做一系列的开发。

 

  R-CAR V3X支持3路数据流

  R-Car V3M 是针对车载应用场景而开发的,优化了芯片内部架构。标准的单一环视可能只是用来显示环视,新增功能很难实现。如果你需要加行车记录仪,可能需要外部添加模块;如果你要加识别,可能还需要更强大的芯片。而R-Car V3M可以在一颗芯片中实现所有功能,通过优化的内部系统总线,实现三种数据流的一个并行运算。

  这里展示的是并行处理的环视效果,可同步显示在画面上,这部分的视频输入也可以同步到内部的加速核进行识别,实现诸如障碍物识别、车道线识别等功能。如果你需要行车辅助、行车记录的功能,只需要使用内部视频编码器,对视频进行一个编码,储存到内部数据文件,或者储存到某个公有云,可在手机或车机上观看。

 

  第三代R-CAR中集成ISP

  第三代产品最具优势的是集成了ISP,我们友商的竞品多是使用外置ISP。但我们通过内置ISP,由主控芯片进行计算,对图象的画质带来非常大的改进。环视系统有一个重要特征是同步,而我们通过主控芯片及内置ISP,对摄像头数据提供低延迟的同步,同时还提升在亮度、白平衡、序列识别等方面的显示效果。

 

  IMR 图像失真矫正

  因为环视摄像头一般会使用一些广角摄像头,可能导致鱼眼失真。为了解决鱼眼失真的问题,瑞萨电子在R系列产品中加入了一个叫做IMR图象失真校正引擎,可以用硬件去实现摄像头的基电失真校正,而不需CPU作任何干预。我们这个IMR引擎还可以用来作3D的一些拼接效果,来替代CPU做出同样效果的计算。

 

  以上是瑞萨电子在V3系列上的总视觉IP策略。

  瑞萨电子计算机视觉IP战略

  目前市面上很多竞品的架构,如依赖强大的CPU或GPU进行识别,实现控制。瑞萨的方案是嵌入很多的加速引擎,来弥补GPU或CPU的运算速度和功能。GPU可能相对来说比较灵活,但功耗高;CPU的运行效率低于专用的加速核,因而我们在整个芯片中嵌入多种加速核,还有IP引擎,专门用于识别,之后新的V3系列里面还会嵌入专门用于深度学习的CNN引擎。

  通过整合所有的硬件加速引擎,并结合CPU、GPU,瑞萨电子为您提供了一个完整的视觉处理加速方案。

 

  系统架构

  现在让我们来看一下环视应用的系统架构。因为环视系统相对简单一点,主要就是我们的一个SoC,加入4个摄像头,分别安装在车的前端或后端、左端、右端,去捕获到车周围360度的一个视觉的信息。通过一些中控芯片,提供一个拼接显示。有些可能还会加上通用接口,与车身上的中控导航作一些交互。我们还会预留一些像以太网或者CAN-FD这类的接口,以提供通讯相关功能。

 

  针对较高级的环视系统,我们也会输入像前面提到的V3系列和M3搭配使用一个应用场景。M3主要面向车载娱乐应用场景,对于视觉处理的性能不如V3系列那么强大,如果你需要很强精度很高的识别功能,就需要进行深度学习,来识别障碍物,识别它的车道,M3系统略有不足,可以搭配一个V系列产品满足一些像辅助泊车、自动泊车的应用场景。

 

  正如前面提到,我们产品都会有一些视觉加速的硬件核,这里就是我们视觉加速使用到一个IMP引擎。这个IMP引擎实际上在我们的产品线,已存在了很长时间,早在以前的产品像SH7766这样的模拟环视芯片,就已经有了IMP引擎。其成熟性和功能性,都已经得到了市场验证。我们针对这个IMP的引擎,也提出了很多的优化和提升,应用在最新的这代V3芯片里面。

 

  这个Renesas autonomy ™ 操作面的平台,除了摄像头这方面感知之外,我们还会有融合和判断,这个相当于就是无人驾驶的一个大脑,为车提出一个决策、作一些路径规划、传感器信息融合以及控制。

 

  这方面我们也有类似产品,请看瑞萨电子的产品路线图,现在我们针对像L2、L3等级一些辅助驾驶,一般半自动驾驶搭配R-Car V系列芯片可作为重要解决方案提出。

  R-Car H3因为具备强大的CPU性能,是一个八核芯片,内部有4个A57搭配4个A53,从而令它的计算性能非常强大,同时它也支持LPDDR4内存,为传感器提供了超强的一个运行带宽,可实现L2等级的自动驾驶,如此优异的硬件平台,客户可在上面作很多的算法开发。如果在平台上需要强大的一个视觉处理屏,就可以像前面介绍的那样,搭配上R-Car V3系列的产品。

  针对之后的L3以及L4这种较高等级的自动驾驶,我们下一代产品也在对此进行规划,CPU核将会得到更多提升,它同时也会把V3这块视觉的另外一块SoC集成到同一颗里面去应用,带芯片的方案去提出这样子一个解决方案。同时它的功能安全等级也会从原来的ASIL-B等级,会提升到ASIL-C或ASIL-D等级,更加完整地去满足自动驾驶这样子一个安全需求。

  面对如此复杂的应用场景,客户如果要自己开发硬件会比较困难,为此瑞萨电子也推出了一些开发套件,为我们的客户及感兴趣的一些同行进行先期性开发和验证。HAD解决方案套件内部集成了两颗R-Car H3 SoC和一颗RH850 MCU,搭建了这个平台。基于这个平台,除了做一些先期的算法验证、系统集成,去做先期性研究,为之后的产品导入,加速它的一个导入速度。

 

  我们与第三方合作进一步开发更加成熟的开发套件。与TTTECH的合作,开发出了HADP平台,供大家参考。这就是我们和TTTECH联合开发的,他们在我们的硬件平台上面,搭载了他们具有优势的以太网系统集成方案,集成在一起提供给客户,以加速他们的开发。

 

关于我们

  瑞萨电子是全球首屈一指的微控制器供应商和高级半导体解决方案的首选供应商,产品包括微控制器、SoC解决方案和各种模拟与功率器件。我们将在这里与您分享瑞萨电子的最新产品技术资讯和新闻动态!

(转载)

标签:瑞萨电子 ADAS 自动驾驶 我要反馈 
什么是新一代机器人界面(HMI)?
ABB协作机器人,自动化从未如此简单
优傲机器人下载中心
即刻点击并下载ABB资料,好礼赢不停~
西克
专题报道