Waymo正在使用AI模拟自动驾驶汽车摄像头数据

Waymo表示，它开始利用自动驾驶汽车收集的传感器数据，使用AI生成摄像头图像进行模拟。该公司的研究人员(包括首席科学家德拉戈米尔安古洛夫)共同撰写的最新论文描述了SurfelGAN技术，该技术使用纹理映射的表面元素来重建场景和相机视点的位置和方向。

像Waymo这样的无人驾驶汽车公司在将仿真系统部署到真实汽车之前，会使用仿真环境来训练、测试和验证他们的系统。有无数种方法可以设计模拟器，包括模拟中间对象表示，但是基本模拟器忽略了对理解场景至关重要的线索，例如行人手势和闪光灯。对于像Waymo的CarCraft这样更复杂的模拟器，它们对计算要求很高，因为它们试图以高精度对材料进行建模，以确保像激光雷达和雷达这样的传感器显示出真实的性能。

在SurfelGAN中，Waymo提出了一种更简单的数据驱动方法来模拟传感器数据。AI利用真实世界中激光雷达传感器和摄像机提供的数据，创建并保留关于场景中所有对象的3D几何、语义和外观的丰富信息。重建后，SurfelGAN可以从不同的距离和视角渲染模拟场景。

Waymo的一位发言人通过电子邮件告诉VentureBeat:“我们开发了一种新方法，使我们能够直接使用自动驾驶汽车收集的传感器数据来生成逼真的摄像头图像，以进行模拟。”“在模拟中，当自动驾驶汽车和其他人(如其他汽车、骑自行车的人和行人)的轨迹发生变化时，系统会生成逼真的视觉传感器数据，帮助我们在更新的环境中对场景进行建模.该系统的组件正在生产中。”

冲浪运动员

SurfelGAN使用所谓的纹理增强surfmap表示，这是一种紧凑且易于构建的场景表示，可以保留传感器信息并保持合理的计算效率。Surfels(表面元素的缩写)代表带有光盘的物体，光盘上有照明信息。Waymo的方法使用激光雷达扫描捕获的体素(定义3D空间中的点的图形信息单元)，并将其转换为根据相机数据估计颜色的冲浪者，然后对冲浪者进行后处理，以解决光照和姿势的变化。

为了处理车辆等动态对象，SurfelGAN还使用了Waymo开放数据集(Waymo自动驾驶车辆传感器日志的开源语料库)中的注释。对感兴趣对象的激光雷达扫描数据将被累积，这样Waymo可以生成汽车和行人的重建，尽管它们的几何形状和纹理不完美，但它们可以放置在模拟的任何地方。

surfelGAN中的一个模块——生成对抗网络(GAN)——负责将Surfel图像渲染转换为逼真的图像。它的生成器模型使用分布式采样从随机噪声中生成合成示例，然后将它们与训练数据集中的真实示例一起馈送到鉴别器中，以尝试区分它们。生成器和鉴别器的能力都得到了提高，直到鉴别器无法区分真实例子和合成例子，其准确率优于预期的50%。

SurfelGAN模块以无监督的方式进行训练，这意味着它可以推断语料库中的模式，而无需参考已知的、标记的或注释的结果。有趣的是，鉴别器的工作会通知制作人——每次鉴别器正确识别出复合作品时，它都会告诉制作人如何调整其输出，以便在未来变得更加真实。

有希望的结果

Waymo进行了一系列实验来评估SurfelGAN的性能，为其提供了798个训练序列，包括20秒的摄像头数据(来自5个摄像头)和激光雷达数据，以及Waymo开放数据集中对车辆、行人和骑行者的标注。SurfelGAN团队还创建并使用了一个名为WaymoOpenDataset-newView的新数据集-该数据集缺少相机图像，但从场景开始，并从受现有姿态干扰的相机姿态渲染surf图像-为每一帧创建一个新的surf图像，并将其渲染到原始数据集中。(扰动是由应用随机平移和偏航角引起的。)

最后，Waymo收集了没有标注的额外的相机图像序列(总共9800个，每个序列有100帧)，并建立了一个名为“双相机后期数据集”(DCP)的语料库来衡量SurfelGAN生成的图像的真实性。DCP处理两辆车同时观察同一场景的场景。Waymo使用第一辆车的数据重建场景，并在第二辆车的精确姿态下渲染surf图像，从而生成大约1000对来判断逐像素精度。

该论文的合著者报告说，当SurfelGAN生成的图像被提供给现成的车辆检测器时，最高质量的合成图像达到了与真实图像相当的指数。SurfelGAN还改进了DCP的Surfel渲染，可以在一定距离内生成更接近真实图像的图像。此外，研究人员已经证明，SurfelGAN的图像可以将车辆检测器的平均精度(即不同样本的估计值彼此有多接近)从11.9%提高到13%。

韦默指出，SurfelGAN并不完美。例如，有时无法从损坏的几何图形中恢复，导致外观无法恢复

切实际的车辆。而且在没有冲浪提示的情况下，AI表现出很高的方差，尤其是当它试图使数据集中不常见的幻觉模式产生幻觉时，例如高层建筑。尽管如此，该公司的研究人员认为，它为将来的动态对象建模和视频生成模拟系统奠定了坚实的基础。

发言人说：“仿真是自动驾驶技术发展的重要工具，它使我们能够从超过2000万条公共道路的自动驾驶里程中选择并重播最有趣和最复杂的场景。”“在这种情况下，(使用SurfelGAN等方法)准确模拟车辆传感器的能力非常重要。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！