自动驾驶是当前---领域很受关注、---挑战和影响力广泛的产业方向，是推动汽车工业变革重要的科技力量。传统自动驾驶算法体系将自动驾驶分为感知、决策、规划与控制，通过分模块的方式完成自动驾驶任务。

与之相对的，人类的开车过程是根据场景信息直接输出控制信号，端到端自动驾驶就是基于这一思想，通过一个端到端网络，直接输出车辆的轨迹规划或控制信号。传统模块化方案的优势是低耦合，可解释性高，但往往会丢失---性。

纯视觉方案具有信息丰富与低成本的优势，同时，以往端到端方案通常单纯使用控制信号进行---。相比于传统方法，端到端自动驾驶---性---，同时人为设计更少，因此对算法提出了更高的要求。

当然，除了自动驾驶车采集的数据，现实生活中还存在着---普通车辆的驾驶数据，比如行车记录仪拍摄下的行驶片段。那么是否可以利用这些数据用来训练感知决策一体化模型呢?

是可以的。

在通用视觉中已经有丰富的大数据自---预训练方法，需要解决的就是在感知决策一体化模型中的迁移。与通用视觉不同的是，这部分数据包含着大量和驾驶决策不相关的信息(如下图，不需要关注所有背景物体、天气变化以及光照变化等)。对于驾驶任务而言，下一步往哪里行驶，信号灯是否允许通行，这些信息才是真正需要关注的。

那么如何让感知决策一体化算法能够自动过滤不相关信息并且关注驾驶相关信息呢?

在工业界，同样对端到端自动驾驶有了相应的方案。openpilot是一套针对高速驾驶场景，面向l2辅助驾驶功能（acc、lka、dms等）的开源项目，已实现将端到端模型应用于量产落地。openpilot采用一个简单的多任务学习模型，以前后两帧前视---头作为输入，直接输出预测轨迹，预测轨迹和雷达信号结合送入mpc控制器得到后面的控制信号。基于此，自动驾驶课题组复现了 openpilot 模型，以多任务学习的形式同时预测了车道线、车辆状态等信息，取得非常---的效果。有兴趣的朋友可以再继续查阅，相关资料已经开源。