两项使用深度学习技术帮助机器查看和识别其位置和周围环境的技术可用于开发无人驾驶汽车和自动驾驶机器人，并可用于常规相机或智能手机。两个新开发的无人驾驶汽车系统可以识别用户在GPS无法正常工作的地方的位置和方向，并可以在常规摄像头或智能手机上实时识别道路场景的各个组成部分，执行与花费数十美元的传感器相同的工作成千上万磅。
剑桥大学的研究人员设计了独立但互补的系统，并且可以在网上免费获得演示。尽管系统目前无法控制无人驾驶汽车，但使机器“看到”并准确识别其所在位置和所看内容的能力是开发自动驾驶汽车和机器人技术的重要组成部分。
第一个名为SegNet的系统可以对以前从未见过的街道场景进行拍摄并将其分类，将物体实时分类为12种不同的类别，例如道路，路牌，行人，建筑物和骑自行车的人。它可以处理光线，阴影和夜间环境，目前可以正确标记90%以上的像素。先前使用昂贵的基于激光或雷达的传感器的系统无法在实时操作时达到这种精度水平。
用户可以访问SegNet网站并上传图像或搜索世界上任何城市或城镇，系统将标记道路场景的所有组成部分。该系统已在城市道路和高速公路上成功进行了测试。
对于当前正在开发的无人驾驶汽车，雷达和基础传感器价格昂贵-实际上，它们的成本通常高于汽车本身。与昂贵的传感器通过雷达和LIDAR(遥感技术)的混合来识别物体相反，SegNet通过实例学习–它是由一群勤奋的剑桥大学本科生“训练”的，他们手动标记了每个像素中的每个像素。 5000张图像，每张图像大约需要30分钟才能完成。标签制作完成后，研究人员花了两天时间对系统进行“培训”，然后才能付诸实践。
“它非常擅长识别图像中的事物，因为它经过大量实践，”工程学系博士学位学生Alex Kendall说。“但是，我们可以转动一百万个旋钮来对系统进行微调，以使其不断改善。”
SegNet主要在高速公路和城市环境中接受培训，因此尽管在初始测试中表现良好，但在农村，多雪或沙漠环境中仍然需要学习。
该系统尚不能用于控制汽车或卡车，但可以用作警告系统，类似于某些乘用车上当前可用的防撞技术。
“视觉是我们最有力的感觉，无人驾驶汽车也需要看到，”负责这项研究的罗伯托·西波拉(Roberto Cipolla)教授说。“但是教机器看远比听起来困难得多。”
小时候，我们通过示例学习识别物体–如果多次展示玩具车，我们将学会将特定的汽车和其他类似的汽车识别为同一类型的物体。但是，对于一台机器来说，这并不像将其展示为一辆汽车然后让它能够识别所有不同类型的汽车那样简单。如今，机器是在监督下学习的：有时通过数千个带有示例的示例来学习。
设计自动驾驶汽车必须回答三个关键技术问题：我在哪里，我周围是什么，下一步我要做什么。SegNet解决了第二个问题，而一个单独但互补的系统则通过使用图像来确定精确的位置和方向来回答第一个问题。
由Kendall和Cipolla设计的本地化系统在与SegNet类似的体系结构上运行，并且能够在繁忙的城市场景中对用户进行本地化并从单个彩色图像确定其方向。该系统比GPS精确得多，并且可以在没有GPS的地方(例如室内，隧道或城市中无法获得可靠GPS信号的地方)工作。
它已经在剑桥市中心的国王游行的一公里长范围内进行了测试，并且能够在几米和几度的范围内确定位置和方向，这比GPS准确得多–这是无人驾驶汽车的重要考虑因素。
定位系统使用场景的几何形状来了解其精确位置，并且能够确定，例如，它是在注视建筑物的东侧还是西侧，即使两侧看起来相同。
肯德尔说：“在过去的几年中，人工智能和机器人技术领域的工作真的开始了。” “但是对于我们团队来说，最酷的是我们已经开发出了利用深度学习来确定您所在的位置和周围环境的技术，这是这是第一次使用深度学习来完成。”
Cipolla说：“从短期来看，我们更有可能在家用机器人上看到这种系统，例如机器人吸尘器。” “驾驶员完全信任自动驾驶汽车需要时间，但是我们能够使这些技术越有效和准确，就越接近无人驾驶汽车和其他类型的自动驾驶机器人的广泛采用。”