我们已经发布了100辆强化学习车辆（RL） – 在高峰时段，他们在高速公路交通中受到控制，以使拥挤并减少每个人的燃油消耗。 我们的目标是解决“停止和放弃”的浪潮，这使沮丧的放缓和通常没有明确原因的种族导致拥挤和大量的能源浪费。为了训练控制单元遵守有效流，我们基于与RL因子相互作用的数据建立了快速模拟，并学会了最大化能源效率，同时保持生产率并在人类运营计划中安全地工作。

通常，少量控制的独立车辆（AV）足以提高路上所有驾驶员的交通流量和燃油效率。此外，训练有素的控制装置旨在以紫外线运行并依靠标准雷达传感器运行的大多数现代车辆。在上一篇论文中，我们在100辆汽车的经验中广泛探讨了RL部署单元的挑战。

矿物果酱的挑战

停止和移动的浪潮通过高速公路上的交通向后移动。

如果您要开车，那么您当然会面临停止和行动浪潮的挫败感，那么这是莫名其妙的放缓，从任何地方出现，然后突然死亡。这些波通常是由于我们在驾驶流量流中扩大行为时的行为波动而引起的。我们自然会根据面前的汽车调整速度。如果差距打开，我们将急于跟上。如果它们是刹车，那么我们放慢脚步。但是，由于我们的非抓反应时间，我们可能比前面的汽车要困难得多。我们身后的下一个驱动程序也这样做，这继续放大。随着时间的流逝，一个小钩子开始变成了一个完整的交通停车。这些波浪通过交通电流向后移动，这导致由于频繁加速而导致能源效率的显着降低，并由CO伴随₂ 排放和事故风险。

这不是孤立的现象！当交通密度超过关键阈值时，这些波浪在拥挤的道路上到处都是。我们如何解决这个问题？斜坡测量和可变速度限制等传统方法试图管理交通流量，但通常需要昂贵的基础设施和中央协调。最开发的方法是使用AV，可以在实际时间内动态调整驾驶行为。但是，两个人类驾驶员之间的AV纳入不够：它们还必须以更聪明的方式领导，这使每个人的交通变得更好，即RL来的地方。

交通流量的主要图。 道路上的汽车数量（密度）会影响向前移动的交通量（流动）。使用低强度，增加更多的汽车会增加流量，因为更多的车辆可以通过。但是，除了决定性的阈值外，汽车开始互相禁止，这导致拥挤，增加了更多汽车实际上是运动。

增强AV的学习

RL是一种强大的控制方法，工人学会通过与环境的互动来增加奖励信号。代理商通过经验和错误，从错误中学习并改善时间来收集经验。在我们的情况下，环境是一种混合的交通情况，AVS学习了驾驶策略，以平息停止和减少并减少自己和附近的车辆的燃油消耗的浪潮。

RL因素的训练需要快速模拟，并具有实际的交通动态，这可以重复停止高速公路。为了实现这一目标，我们利用了田纳西州纳什维尔附近24（I-24）高速公路收集的实验数据，并用它来构建模拟，其中车辆返回高速公路路径，创造了一个不稳定的流量，使AVS在其背后学习。

模拟重新启动了显示许多停止和移动性波的高速公路路径。

我们设计的是出版模式，确保它只能使用有关自己和前景中的汽车的基本传感器信息来工作。音符包括AV速度，开创性汽车的速度以及它们之间的空间间隙。查看这些输入，RL因子描述了立即加速或AV所需的速度。仅使用这些本地测量值的主要优点是，RL控制装置可以以分散的方式部署在大多数现代车辆上，而无需额外的基础架构。

奖励设计

最具挑战性的部分是在荣耀时设计一个奖励功能，与我们要实现的AVS的不同目标一致：

• 波浪同质性： 减少停止振荡。
• 能源效率： 所有车辆的油耗低，而不仅仅是AV。
• 安全： 确保以下合理的距离，避免突然制动。
• 驾驶舒适： 避免进取的加速和撤退。
• 对人类领导标准的承诺： 确保不会使周围驾驶员的“正常”驾驶行为不舒服。

在每个学期必须找到适当的交易，很难将这些目标平衡。例如，如果减少燃油消耗占主导地位，RL AVS将学习在高速公路中间停止，因为这种能量是完美的。为了防止这种情况，我们提供了最小动态和最大差距，以确保在提高燃油效率的同时，确保安全合理的行为。我们还惩罚了一个人在AV背后开车的车辆的燃油消耗，以抑制他们学习自私的行为，从而以牺牲周围的交通为代价，从而改善了节省能源的AV。通常，我们旨在在节能与合理和安全的驾驶行为之间取得平衡。

仿真结果

澄清最小动态和最大差距，AV可以通过该差距自由地软化流量。

AVS学到的典型行为是比人驾驶员保持较大的间隙，使他们能够更有效地吸收下一个，并可能突然放缓。在模拟中，这种方法在最拥挤的情况下，在所有道路使用者中最多可节省20％的燃料，而在道路上只有不到5％的AV。这些AV不应该是私人车辆！标准的消费汽车可以配备我们已经进行了广泛测试的智能调整功能（ACC）。

RL AV行为同质性。 红色：数据收集的人类路径。蓝色：家族中的连续AV，其中AV1最接近人类的道路。 AV之间通常有20至25辆人车。每个AV不会放慢速度或加速其最快的领导者，这会随着时间的流逝而降低波浪能力，从而降低了能源节省的能力。

100 AV现场测试：RL广泛传播

在体验周期间，我们在运营中心有100辆停放的汽车。

从有希望的模拟的结果来看，下一个自然步骤是弥合从模拟到高速公路的间隙。我们乘坐了训练有素的RL控制装置，并在几天的高峰时段的高峰时段将其张贴在I-24上的100辆车上。我们称之为Megavandertest的广泛范围是混合交通领域混合流量领域中最大的经历。

在将RL控制台部署在该领域之前，我们在模拟和检查设备上的健康方面进行了广泛的培训和评估。通常，迈向相关出版物的步骤：

• 基于数据的模拟操作培训： 我们使用来自I-24的高速公路交通数据来创建具有逼真的波动动态的训练环境，然后在各种新的交通情况下验证教练的性能和强度的有效性。
• 在设备上发布： 在检查机器人程序的有效性后，训练有素的控制台被加载在汽车上，并能够控制指定的汽车速度。我们通过控制船上的汽车来工作，该汽车充当低级安全控制单元。
• 标准控制框架： 测试期间的主要挑战之一不是要达到领先的汽车信息传感器。为了克服这一点，将RL控制台合并为金字塔系统，Megacontroller，该系统结合了速度方案指南，该指南解释了河口交通状况，并将RL控制台与最终决策者一起。
• 检查设备的健康： RL代理被设计为在大多数车辆都是由人类驱动的环境中工作的，该环境需要适应意外行为的强大政策。我们通过在仔细的人类监督下在道路上驾驶RL车辆，并根据评论进行控制。

检查后，将RL控制器部署在100辆汽车上，并在早晨的高峰时段开车在I-24上。实验周围的交通没有，确保驾驶员的行为没有偏见。数据是在实验期间从位于高速公路上的数十个上摄像机的实验中收集的，这导致通过计算机视觉管道提取了数百万个单个车辆轨道。与这些轨道相关的指标表明，从模拟的结果和先前较小的验证的扩散中预期，AVS周围燃油消耗的方向。例如，我们可以注意到，在我们的Avs之后的最接近的人似乎越平均消耗的燃料（使用口径功率模型计算出来）：

平均燃油消耗是近距离AV背后的距离的函数，该距离由流量中的RL控制。随着人类驾驶员在AV的高度，平均燃油消耗增加。

测量效果的另一种方法是测量速度和加速度的对比度：对比度越低，波越低，我们从现场测试数据中注意到的越高。通常，尽管获得大量相机数据的准确测量很复杂，但我们注意到趋势在我们受控汽车周围节省的15％至20％之间。

在实验的一天，来自高速公路上所有车辆的数据点以速度加速度绘制。在红线的左侧，该组表示拥挤，而右侧的组对应于自由流。我们注意到，当存在AV时，拥塞组较小，因为它是通过计算柔软的凸膜区域或通过安装星系核来测量的。

最终想法

现场操作测试是100辆汽车，而不是中央，没有AV之间的合作或明确的通信，反映了当前自我划定的传播，这使我们比最流畅，最有效的能源道路更具一步。但是，改进仍然存在巨大的潜力。通过更好地控制一个人的模型，模拟的扩展对于弥合现实的模拟差距非常重要。具有其他流量数据的AV，无论是通过高级传感器还是中央计划，都可以改善控制单元的性能。例如，尽管RL多机构有望改善合作控制策略，但它仍然是一个悬而未决的问题，即在5G上的AVS网络之间的坦率沟通能力如何可以提高稳定性和缓解停止和应用。在扭曲的情况下，我们的控制单元与现有的电压控制系统平稳整合，这使得该场广泛发布。在交通范围内配备智能控制的车辆数量越高，我们在道路上看到的波浪数量越大，这意味着所有人的污染和燃料较少！

---

许多贡献者使Megavandert发生！完整菜单可在“电路项目”页面上找到，以及有关该项目的更多详细信息。

阅读更多： [paper]