城市规划与发展战略
城市综合交通
公共交通与非机动化出行
活力街区、街道与城市设计
量化城市与大数据
原文 | 季钧一、史晨虹、黄若畅
编辑 | 众山小 校核 | 众山小
下载上传 | 季钧一 排版 | 张禾荟
微博 | weibo.com/
2019年8月无人驾驶企业Waymo开源了史上最大规模的全场景无人驾驶汽车路测数据,用于进一步研发无人驾驶技术,推动计算机视觉和机器人自动化方向等相关领域的发展。一览团队在第一时间推出介绍《Waymo Demo︱史上最大规模最全场景的自动驾驶汽车路测开放数据》带来了数据的官方描述文件并提供了Demo数据的下载。在对数据进行初步分析之后,一览团队为您解读:(1)Waymo的无人驾驶开源数据如何获取,(2)如此大体量(1TB)的数据里究竟有些什么,(3)从城市与交通的角度,思考数据如何赋能无人驾驶技术发展,数据与技术本身还存在哪些系统性偏差。一览众山小解读团队谨以此文抛转引玉,希望引起更多思考与讨论。
进入Waymo官方下载页面https://waymo.com/open/download/,填写使用目的、所在机构等基础信息后即可获得数据下载权限。同时为了方便数据下载和云处理,Waymo还提供了谷歌云API访问链接(https://console.cloud.google.com/storage/browser/waymo_open_dataset_v_1_0_0),注册谷歌云账号两天后即可使用。
此次公开数据大小约1TB,包括32个训练集和8个验证集。每个数据集约25GB,内含25个TFRecords格式文件,便于在谷歌深度学习框架TensorFlow中存取、预处理。每个文件是一段20秒的连续行驶视频,包含了2D标注、3D标注信息。以下是Waymo官方给出的数据详细描述。
第一部分:开源数据
内容包括:Waymo当前公开的数据源包括1000段路测视频(每个视频时长20秒),均由Waymo自主研发的激光雷达和摄像机所采集。Waymo公开表示将不断扩充数据集,以下是当前包含的内容:
?1000个20秒路测片段,在不同地理位置和环境条件下,以10赫兹帧率(可达到200000帧) 进行收集;
传感器数据
1个中程雷达
4个短程雷达
5个摄像机(分别置于测试车辆前方和侧面)
激光雷达和摄像机数据同步
噪点成像
位姿采样和传感器校准
标记数据
数据标签分为4个类别:车辆,行人,自行车和交通标志
为1000段激光雷达路测数据提供高质量的数据标记
为激光雷达数据提供了高达12M的带追踪ID的三维边界框标签
为100段摄像机(采集到的)数据提供了高质量的数据标签(即将添加更多标签)
为摄像机数据提供了1.2M的带追踪ID的二维边界框标签
代码
GITHUB报告链接如下:https://github.com/waymo-research/waymo-open-dataset
元数据
Waymo公开数据是在多种地理位置、自然条件和天气状况下进行采集的。
如下图所示:
3.1 数据教程
如果您想直接进入,请查看Colab中的教程(https://colab.research.google.com/github/waymo-research/waymo-open-dataset/blob/v1.0.1/tutorial/tutorial.ipynb)。GitHub日志(https://github.com/waymo-research/waymo-open-dataset)
提供了针对Waymo开源数据代码库的安装说明,快速入门链接如下:https://github.com/waymo-research/waymo-open-dataset/blob/master/docs/quick_start.md
3.2 数据标注
数据集包含各自生成的数据标签,分别针对激光雷达和摄像机这两种渠道采集到的二、三维数据,而不仅仅是简单的图像投射。
激光雷达数据提供了三维边界框。这些标签提供了3D七自由度边界框,并配有全球追踪ID。如样本视频所示,三维数据标签分别圈出了车辆、行人、自行车和交通标志。边界框的翻滚角和俯仰角均为零,朝向是绕Z轴车辆前行方向(以弧度[-π,π]表示),将车架方向和X轴进行翻转标准化。
数据集内部分场景可能包括无标记区域(No Label Zone,下称NLZ),例如高速公路对面视角区域。更多相关信息,请详见标签说明(https://github.com/waymo-research/waymo-open-dataset/blob/master/docs/labeling_specifications.md)。NLZ在全局框架中以多边形出现,且不全是凸形形状。除多边形,各激光雷达点均用布尔值进行了注释,以此来判断是否处于无标记区域。
Waymo共享的代码要求用户提供相关预测结果,即用户通过检查其预测结果是否与任何带NLZ注释的激光雷达点(包括一次、二次返回)重叠。
Waymo提供二维边界框标签。摄像机采集图像的数据标签是以全包、轴向对齐的二维边界框来界定的,且配有全球唯一的追踪ID。二维标签的边界框仅覆盖目标对象(车辆,行人和自行车)的可见部分,并没有提供跨相机的全追踪对象标记。
数据标记部分详见GitHub标签定义文档,链接如下:
A.https://github.com/waymo-research/waymo-open-dataset/blob/master/waymo_open_dataset/label.proto
B.https://github.com/waymo-research/waymo-open-dataset/blob/master/docs/labeling_specifications.md
3.3 数据格式
3.3.1 坐标系统
A.(全球)地理定位
在全球地理定位坐标系中,以车辆起步位置作为原点,呈“东-北-上”坐标系。Z轴方向与重力矢量方向对齐,即正向上方向;X轴方向直接沿纬度线指向东;Y轴方向指向北极方向。
B. 车辆定位
在以车辆位姿定位的坐标系中,X轴指向(车辆)前进正向,Y轴指向以前进方向定义为正向的左侧方向,Z轴指向正向向上。车辆位姿有效地帮助科研人员在研发时将车辆定位坐标系切换为全球地理定位坐标系。
C. 传感器定位
每个传感器配有外部交换定位转换功能,用于从传感器定位切换为车辆位姿定位。相机定位基于相机镜头位置,以镜筒向下指向镜头外作为X轴,向上指向作为Z轴。Y轴和Z轴平行于相机平面,坐标系遵循右手定则。
激光雷达传感器定位坐标系中,X轴和Y轴的方向取决于激光雷达位置,Z轴以其相对应的平面指向上方方向。
*激光雷达球坐标系(三维坐标系)
激光雷达球坐标系基于激光雷达传感器定位的笛卡尔坐标系。该坐标系可将笛卡尔坐标系中每个点(X,Y,Z)转换为激光雷达球坐标系中的元组(范围,方位角,倾斜度)。
3.3.2 激光雷达数据
数据来源Waymo无人驾驶车辆配备的五个激光雷达,其中包括一个位于车辆顶部的中距雷达,四个短距雷达(分别位于车辆前后方和左右两侧)。
Waymo公开数据受当前激光雷达射程限制如下:
中距雷达射程缩短至75米;
短距雷达射程缩短至20米;
所有激光雷达提供两次最强脉冲回波强度。
激光雷达数据所具备的优势如下:外部校准矩阵可将雷达定位转换为车辆位姿定位;中矩雷达提供多种照射光束角度;单维张量精准的描述了各照射光束的倾斜度。
激光雷达点云编码为距离图像。每个激光雷达提供两个距离图像,并提供两次最强脉冲回波强度。Waymo自主研发的激光雷达系统提供4组独立的发射机/接收机:
激光雷达探测延伸部分指的是激光脉冲超出正常射程范围的部分。如长脉冲激光在激光反射回程中受脉冲模糊和折射的印象,返回脉冲延迟。除四组基本发射/接受装置,Waymo自主研发的激光雷达还为激光雷达点云三维坐标系下的点投影到相机提供了另外六组装置。投影机制已将相机CMOS感光元件的果冻效应考虑在内:
激光雷达点云所呈现的距离图像遵循以下两个准则:
3.3.3 相机数据
数据来源于五个置于不同方向的摄像机。相机分别置于Waymo无人驾驶车辆的正前方、左前方、右前方、左侧和右侧。相机图像以JPEG格式成对呈现。除图像字节外,Waymo还提供了车辆位姿、与图像中心的曝光时间相对应的速度和卷帘快门定时信息。如有需要,可自定义激光雷达点云投影到相机的时间。
Waymo于今年6月CPVR2019会议(计算机视觉与模式识别顶级会议)上宣布此次数据开源计划,并着手组织相关数据竞赛事宜。Waymo开源计划旨在为无人驾驶车辆研究人员提供更大的多模传感器数据集,从而进一步优化无人驾驶算法,推动无人驾驶研究进程。
一览解读团队从城市与交通的角度出发,思考Waymo公开的数据如何赋能无人驾驶技术发展、如何挖掘Waymo数据在开发计算机视觉技术之外的潜力、思考无人驾驶数据采集与感知技术本身还存在哪些系统性偏差。
以下是一览众山小解读团队提供的数据应用构想:
无人驾驶感知技术的核心是目标检测与追踪,通过对训练集中已人工标注好的对象框进行训练,在验证集与应用场景下进行在线的目标检测与追踪,本质上是有监督学习,是针对已有的标签进行学习。
人工标注是对无人驾驶感知算法精准度检测中不可或缺的一个环节,但实际创建标注好的训练数据,却是一个劳动密集型业务。特斯拉在全世界雇佣了上千人,进行人工标注图像。随着采集到的图像数量激增,图像标注整个过程的错误率和人工标注成本不断攀升。
当下, SCALE、UNDERSTAND.AI等大数据公司,正在开发针对无人驾驶车辆图像识别的自动化系统。无人驾驶车辆利用车载传感器进行图像捕捉,获取大量的行驶数据,图像识别研发团队进一步优化感知算法,实现无人驾驶车辆系统进行图像自主识别。
Waymo公开数据提供的大量2D、3D标注信息,为无人驾驶图像识别领域提供了大量案例进行研究分析,可以极大提高数据标注效率,促进其他图像数据处理平台和公司的研发。
随着更多相关数据的公开,相关领域的研发人员和团队进一步优化计算机视觉算法,加快研发感知算法,推动整个无人驾驶行业的进展。
构想二、测验控制无人驾驶汽车的最优性价比传感器组合
目前无人驾驶汽车推广计划难以落地,很大一部分原因是传感器成本过高。一般商用无人驾驶厂商出于抢占市场心态,需要进行大规模生产,就要从根本上控制成本。像Waymo(Google旗下)研发的无人驾驶汽车,采用激光雷达为主的传感器方案;如Tesla选择以视觉系统为主的方案。而目前机械激光雷达成本过高,厂商若想打造低成本无人驾驶汽车,多采用视觉方案,配备毫米波雷达这样低价传感器。因此,如何通过低成本的传感器组合以求达到相对而言较高的安全系数是目前无人驾驶市场的一大难题。
Waymo开源数据这一行为无疑是对无人驾驶市场的利好消息,其公开的数据来源于激光雷达、毫米波雷达、摄像机等多模式传感器。这些公开数据,其一帮助研发团队构建端到端的无人驾驶模型,如LeNet卷积神经网络模型和NVIDIA深度无人驾驶模型;其二结合其他深度学习模型迁移到无人驾驶模型的构建及优化中,如将LSTM应用到无人驾驶模型;其三通过对不同类型的传感器分析,按照其提供的无人驾驶技术的贡献度进行排序,进一步推进传感器技术研发;其四通过尝试搭配不同类型和数量的传感器组件,测试出最优性价比的传感器组合,降低无人驾驶汽车的生产成本。
如构想一谈到的数据标注,无人驾驶算法需要大量数据源,因为更多的数据可以感知更多信息从而提高驾驶安全性,但这也意味着需要搭载更多的传感器,在设备器材上砸下更多资金。目前市场上的研发团队,无论是采用何种人工智能技术,多是期望用最少的成本来最大意义上的满足无人驾驶算法所需的数据需求。搭载最优性价比的传感器组合,实质上是收益成本之间的博弈与平衡。
通过Waymo开源数据,我们可以尝试不同的传感器组合,测试最优性价比的传感器组合,降低无人驾驶车辆的商用成本。将不同传感器对无人驾驶技术的贡献度进行排序,驱动传感器技术的研发。
无人驾驶算法的鲁棒性,即无人驾驶车辆针对不同情况的适应性。对无人驾驶车辆来说,雨天、夜间这两种场景可以称得上是无人驾驶的灾难。
雨天摄像头采集的图像数据,雨水挂壁会导致镜头外层模糊不清,从而加剧图像畸变,采集到的图像质量严重下滑。而激光雷达采集的数据,也会由于激光在空气中遭遇大量的水滴产生反射现象,从而导致成像时存在大量噪点。
夜间照明不良,摄像机几乎无法捕捉目标,激光雷达也由于不同波长的光线焦距不同,加之路面标识反光、道路线不够清晰,也难以捕捉关键目标对象。
无人驾驶车辆感知机制主要依赖于车辆视觉系统,在这些较为恶劣的驾驶环境下,车辆视觉系统会出现一定程度上的“视力下降”,甚至是“失明”的状况。
Waymo 公开的多场景下的无人驾驶数据,其中包括夜间、阴天和雨天等恶劣驾驶环境。通过这些数据,无人驾驶感知技术开发人员可以测试恶劣驾驶环境下常用目标检测、跟踪算法的有效性,构建并测试适应恶劣驾驶环境下的算法。
当下无人驾驶着眼于感知系统的研发,即通过计算机视觉技术,侦测并追踪与无人驾驶车辆行驶策略相关的关键目标对象,从而取代人在驾驶过程中的视觉感知。这些研发选择性忽视了人、车辆、道路、周围环境之间的关联性和交互性。一旦发生车辆通讯掉线、丢包,车辆性能故障,车辆视觉系统失效,甚至是受到针对无人驾驶系统的物理与虚拟攻击时,后果不堪设想。结合构想三在恶劣天气或者是极端环境下,如何利用数据协同开发无人驾驶安全应急方案迫在眉睫。
提高目标侦测和追踪精度确实能有效提升无人驾驶系统的安全性,但并不是唯一确保安全性能的技术。除当前大热的感知技术外,无人驾驶领域还有其他技术值得深入研究。模拟、预测各种极端条件,不管是外在自然环境,还是技术层面、人为因素,如何从人车交互行为、车辆自身运作机制、道路协同资源调配等角度进行归纳总结分析,就无人驾驶汽车安全而言,提供「系统解决方案」。
一览众山小为您提供本次Waymo开源数据的全部样本1TB数据下载链接,共享数据仅供用于学术研究用途。
共享条款:在遵守以下条款的前提下, 您可以共享:A)最小化:您可以发布数据集中的少量数据作为研究发表作品的说明。B)未经训练的模型体系结构:您可以发布使用该数据集开发的算法和未经训练的模型结构。C)仅限社区内部发布:您可以修改和发布数据集,前提是i)数据受众需在waymo.com/open 上注册并同意本条款,且ii)您同意不准备、发起、主张或以其他任何方式支持Waymo或其他任何数据许可人基于侵犯您保护发布作品权力的索赔。
请仔细阅读Waymo数据共享条例, 在Waymo.com/open注册并同意数据共享条款后,向我们索取1TB全样Waymo数据。
免费下载一览众山小提供的原文资料:
微信公众号 后台留言
或电邮 Daizongliu@qq.com
1、WAYMO 全样本开源无人驾驶数据 (TFrecord 格式,共1T)
我们作为独立的专业志愿者团体,秉承专业理想与价值观,不依托任何机构,信守非盈利原则,帮助中国城市可持续发展。我们关注的领域包括但不限于:城市规划与发展战略、城市交通、公共交通与非机动化出行、活力街区、街道与城市设计、量化城市与大数据。至今我们已经拥有遍布全球近400名志愿者网络,并推送1800篇专业微文。作为微信公众号平台最大的线上专业志愿者团体,我们感谢您对我们的关注和支持,并欢迎加入我们!
微博:https://weibo.com/
2014-2019 ? 转载请注明:
转载自公众号“”