【汽车安全】采用基于位置的机器学习模型确保L5级自动驾驶汽车安全

专栏作者 2024-01-29

内容提要：在本文中，我们提出并讨论了基于位置的机器学习模型方法，以实现SAE 5级驾驶自动化的自动驾驶车辆的安全部署。我们讨论了与在不同地点运营的车队中部署同一组机器学习模型相比的优缺点。

摘要

确保自动驾驶汽车中机器学习（ML）模型的安全性是一项具有挑战性的任务。这是因为我们需要在复杂的运行设计域（ODD）下验证机器学习模型。特别是，L5自动驾驶汽车需要在任何ODD条件下运行，并确保道路使用者和乘客的安全。然而，在车队中部署通用的机器学习模型，可能会使安全保证过程变得复杂。即使发现ML模型由于仅在其中一个区域发生ODD情况而导致崩溃，我们仍然应该在所有区域的车队中更新它。如果我们能将其更新限制在特定区域内，我们就能降低安全保证的复杂性。在本文中，我们提出了一个适用于5级自动驾驶汽车的基于位置的机器学习模型来解决这个问题，并与在公司车队中部署相同的全局机器学习模型实例相比较，说明它们有何帮助。

1.简介

自动驾驶汽车是高度复杂的系统之一，依赖机器学习(ML)模型来执行感知和运动规划等任务。广泛使用的机器学习算法是深度神经网络。使用深度神经网络生成的一些机器学习模型是对象检测模型（用于分类和定位对象）、强化学习模型（用于预测基于当前状态的潜在下一个状态）和对抗性学习模型（用于分析其他机器学习模型的稳健性）。尽管目前最先进的自动驾驶汽车仍然依靠安全驾驶员或远程运行员来确保安全并防止事故发生，或者在有限的地理位置运行，但最终目标是达到SAE驾驶自动化的5级，车辆可以自主行驶到任何地方，并确保乘客和其他道路使用者（例如，其他车辆、行人）的安全，而无需人工反馈。

为5级自动驾驶车辆提供安全保障可能非常具有挑战性。这是因为我们需要为此类车辆考虑广泛的运行设计领域(ODD)。ODD包括环境条件（例如，下雪的天气）、道路使用者（例如，行人、骑自行车的人）和风景/道路基础设施（例如，人行道、道路标记、道路类型、交通标志）等因素。为了确保自动驾驶车辆的安全，它们应遵守安全标准：ISO 26262（ISO，2018）和ISO 21448（ISO/PAS，2020）。ISO 26262涉及功能安全(FuSa)，而ISO 21448涉及预期功能安全(SOTIF)。

我们在自动驾驶汽车中使用的ML模型也需要符合ISO 26262和ISO 21448标准。对于具有5级驾驶自动化的自动驾驶车辆，ISO 26262和ISO 21448要求充分证明车辆在所有ODD下具有可接受或合理的风险级别。如果我们假设5级自动驾驶汽车在美国不同地区运行，则意味着我们需要验证所有这些地区的ML模型的安全性。确保不同区域的安全需要所有区域的全面代表性数据集和相应的ODD要素。此外，我们必须对这些ML模型进行详细的误差分析，并了解ML模型的输出对传感器融合后自动车辆行为的影响。

部署后，如果我们发现自动驾驶汽车中使用的某个机器学习模型在某些ODD下导致碰撞，我们将需要更新机器学习模型或修改软件以确保降低风险。如果我们更新ML模型，那么在将更新的ML模型部署到自动驾驶车辆中之前，我们应该执行变更影响分析以符合ISO 26262和ISO 21448。此过程确保更新的ML模型不会损害自动驾驶汽车的FuSa或SOTIF。

这种分析需要确保机器学习模型和自动驾驶车辆在多个地点/区域的安全性，这种分析可能非常耗时。如果车队在有限的区域内运行，分析的复杂性可能会降低。然而，如果自动驾驶车队是异构的，即有不同的车辆类型使用不同的技术，那么安全分析可能会更具挑战性。这种复杂性可能会增加维护全局模型的难度。

当我们分析自动驾驶车辆中ML模型的安全性时，我们需要考虑数据的时间性质，即数据如何随时间变化、从每辆车收集的数据量和审查数据所需的时间，以及数据的共存性。没有驾驶自动化或部分驾驶自动化（SAE 3级或以下）的车辆。当在公司的车队中使用相同的全局模型的实例时，这些因素会进一步增加复杂性，因为数据会随着时间而变化，并且没有或部分驾驶自动化的车辆的驾驶行为可能会随着位置的不同而变化。

为了克服这些限制并降低复杂性，我们提出了用于自动驾驶汽车的基于位置的ML模型的想法。基于位置的机器学习模型将限制ODD，从而减少变更影响分析和安全评估所需的时间。通过使用基于位置的模型，可以对每个模型进行安全评估，从而批准每个区域的发布和认证。当仅在特定区域内发现问题时，每个区域的安全评估还可以帮助公司将车辆召回限制在该区域内。假设所有地区都有各自的基于位置的模型，请注意，使用基于位置的模型并不会使自动驾驶汽车归为SAE 4级。车辆仍将属于SAE 5级，因为它仍然可以在任何地方运行，而无需人工干预。

2.ISO标准和机器学习模型

自动驾驶车辆应符合两项ISO安全标准：ISO 26262（ISO，2018）和 ISO 21448（ISO/PAS，2020）。ISO 26262是汽车功能安全(FuSa)标准，ISO 21448是预期功能安全(SOTIF)标准。FuSa旨在将风险降低至可接受的水平，这种风险可能因车辆中的硬件和软件故障而发生。另一方面，SOTIF旨在将未知风险降低至合理水平，并找出要求中的差距。SOTIF的执行假设系统遵循其规定的要求。由于硬件和软件故障而违反要求的预期行为属于FuSa的范围。

对于ML模型，作为ISO 26262的一部分，我们需要确保部署ML模型的硬件和ML模型使用的软件不易出现故障。ISO 26262还要求安全分析师确保ML硬件、ML软件或ML模型的更改不会损害系统的功能安全。该标准还要求确保ML硬件、ML软件和ML模型的配置在更新后也兼容。

另一方面，ISO 21448要求分析ML模型，考虑ODD中可能出现的所有可能场景，在这些场景中，其预测可能会导致安全问题。这包括ML模型无法良好执行的ODD条件、ML模型的错误预测、ML模型由于所使用的数据、遵循的ML训练过程以及ML模型对其他ML模型的依赖关系（如果是）依靠他们的意见来做出决定。ISO 21448是与ISO 26262结合完成的。因此，机器学习模型的更新应通过考虑这两个标准的变更影响分析来完成。因此，要符合ISO 21448，更新后的ML模型需要对其预测、ODD条件及其对任何依赖的ML组件的影响进行详细分析。

请注意，给定的ODD可以有许多运行环境，并且在每个运行环境中，许多场景都是可能的。另请注意，ISO 21448中的场景被定义为情景、事件和动作的组合，具有一组定义的目标和值（包括车辆操纵）。根据ISO 21448，我们可以将每个场景定义为运行环境中可能发生的情况的时间序列。机器学习模型根据每种情况做出决策。例如，如果我们考虑来自摄像机的帧序列，则整个序列可以被认为是一个场景，每个帧可以被认为是一种情况。因此，机器学习模型的验证需要在场景级别进行，以便为ODD中可能的场景获得足够的置信度。因此，即使在有限的ODD内，分析ML模型的安全性也可能是一项耗时的任务。对于驾驶自动化级别为5级的自动驾驶车辆，需要能够在没有人类反馈的情况下行驶到任何地方，执行SOTIF分析以确保符合ISO 21448将需要分析大量场景以及相应的可能情况。另请注意，为了符合ISO 21448，我们还应该通过探索现实世界中的场景或使用概率建模和功能分解（ISO/PAS、 2020）。因此，在更新ML模型时执行变更影响分析可能需要大量工作。

3.变更影响分析

在本节中，我们将描述变更影响分析，以及在自动驾驶车辆中更新/修改ML模型时执行变更影响分析时应考虑的因素。

变更影响分析是识别系统变更（通常是软件变更）影响的过程。迄今为止，许多研究人员提出了各种机制来执行需求变更影响分析、UML模型、面向对象编程以及面向方面编程。例如，研究人员提出了一种基于程序切片的技术，用于执行面向方面编程的变更影响分析。这些变更影响分析方法的基本目标是确定添加到系统中的新变更是否会影响之前验证的功能。ISO 26262还要求在修改车辆中的组件或子系统时进行变更影响分析。虽然有一些现有的方法可以在汽车系统中进行变更影响分析，但他们都没有考虑过ML模型。

ML模型的变更影响分析需要确定更新的ML模型对自动驾驶车辆FuSa和SOTIF的影响。这意味着我们需要机制来识别更新的模型是否可能导致以前版本的ML模型不会导致的任何新类型的错误预测，以及更新的模型是否与ML软件和ML硬件兼容。为了更好地理解ML模型的变更影响分析，让我们考虑一个自动驾驶车辆中的错误路线检测系统的示例，如图1所示。如图所示，逆行检测系统是一个ML模型，它基于从交通标志识别系统和道路标记识别系统接收到的预测来分类车辆是否逆行，这两个系统是另一组ML模型。

图1：自动驾驶车错误路线检测系统的示例，该系统使用交通标志检测系统和道路标记检测系统做为输入

让我们假设为了检测新标志，更新并部署了交通标志识别系统的机器学习模型。在这种情况下，作为变更影响分析的一部分，我们应该确保该ML模型中的更新不仅能够识别新标志，而且对于之前检测到的其他标志也应该具有可接受的性能。我们还需要确保该模型的更新不会导致错误方式检测模型的任何错误预测，并且更新后的模型与其部署的硬件和软件兼容。我们需要执行这些步骤以确保添加更新的模型不会导致新的危害。如果更新的模型导致新的危害，我们应该确保它们具有合理且可接受的风险水平。从这些步骤中我们可以观察到，即使在有限的ODD中，ML模型的变更影响分析也可能是一个乏味且耗时的过程。

4.基于位置的模型

自动驾驶汽车可以在运行一小时内收集大量数据（TB级）。该数据还可以包含与导致崩溃序列的输入相关的信息。通常，对最近收集的数据（包括碰撞序列数据）进行分析，以提出减轻碰撞发生的解决方案。此类解决方案可以包括通过添加新数据来重新训练ML模型、使用汽车中的其他传感器模式来缓解问题以及修改算法（例如，传感器融合相关信息）。因此，更新ML模型通常可以减少崩溃或提高性能和效率。

每当更新ML模型时，如上一节所述，都应执行更改影响分析，以确保ML模型中的更改不会损害安全性。对于安全评估团队来说，为了认证自动驾驶汽车，他们需要足够的证据，可以证明更新的模型不会导致以前不存在的新的安全问题。如果我们假设车队在一个国家的多个地区运营，那么在所有车队部署相同的模型并同时更新所有车辆的模型之前，我们必须确保更新的模型不会导致所有地区都发生崩溃。如果汽车公司决定召回车辆或转向远程监控下的自动驾驶，车主将因在该服务期内没有车辆或车辆数量有限而遭受很大的不便，从而损害公司的声誉。为了减少执行变更影响分析的工作量以及发生事故时对特定区域的运行限制，我们建议使用基于位置的模型。

图2说明了使用基于位置的模型的方法以及它与使用跨多个区域的全局ML模型的方法的区别。在此图中，我们考虑了部署车队的三个区域。如前所述，全局ML模型方法（如图2a所示）在不同地区的不同车队中部署相同的模型。另一方面，基于位置的模型具有特定于区域的ML模型。如果其中一辆车从一个区域移动到另一个区域，则该车辆应使用新区域的模型替换之前使用的模型。这将需要一个组件来获取与该区域相关的模型（在图2a中表示为“模型获取器”）。

如图2所示，假设车队部署在三个地区，其中地区1在10月至4月期间有降雪，地区2没有降雪，而区域3仅在12月至2月期间有降雪。我们还假设由于ML模型的输出不正确，在3月份的区域1下雪期间观察到多起事故。在这种情况下，对于如图2b所示的全局ML模型部署，当我们重新训练然后部署更新的模型时，需要将其部署到所有三个区域的车队中。因此，我们需要确保更新的模型不会损害所有三个地区车队中任何车辆的安全。这将需要全面的变更影响分析、仿真、验证，并有足够的证据来证明新模型不会增加安全问题的数量。

另一方面，对于基于位置的模型部署，如果区域1中的区域模型1由于3月份的降雪而导致安全问题，则不需要更新其他区域模型，因为1）区域模型1是针对对应于区域1的ODD进行训练的，并且2）区域2和3不易受3月份降雪的影响。因此，区域2和3中的车队可以在不更新其ML模型的情况下继续运营。由于我们只更新与区域1相对应的ML模型，因此我们应该只考虑区域1的ODD来充分证明安全性。其他地区的车队无需等待更新后的模型，即可在不影响安全的情况下继续运营。这也有助于对碰撞进行区域分析，使分析师更容易对ML模型进行误差分析和消融研究。这也有助于我们更好地了解每个地区的数据是如何变化的，从而根据需要考虑在地方和全球层面进行修改。如果需要在全局模型级别上分析数据如何随时间变化，这可能是一项非常困难的任务，因为目前只有有限的自动化可用于分析此类变化。请注意，通过使用基于位置的模型部署，如果打算在所有地区发布，可以逐个地区进行（例如，更新后的模型可以最初在地区1发布，最后在3月份不可能下雪的地区2和3发布），从而使全球模型部署转换为基于位置的模式部署。

2.1.png

(a)全局ML模型部署与基于位置的ML模型部署

2.2.png

(b)更新对全局机器学习模型部署的影响

2.3.png

(c)更新对基于位置的ML模型部署的影响

图2：全局ML模型部署和基于位置的ML模型部署的图示，以及在这两种方法中更新有问题的ML模型的效果

初步分析：为了检查是否有可能存在特定于特定区域的条件，我们通过考虑从nuScenes数据集中随机挑选的50张图像和从Berkeley Deep Drive（BDD）数据集中挑选的50幅图像进行了初步分析。nuScenes数据集包含从新加坡和波士顿的前置摄像头和后置摄像头收集的图像，而BDD数据集包含从纽约、旧金山、伯克利和湾区的前置摄像头收集的图像。我们在100张图像上使用预训练模型，重点识别行人、卡车、汽车和交通灯。在nuScenes数据中，我们发现对于图3所示的图像，由于行人在有遮蔽的人行道上行走的能见度较低，因此未检测到行人。从BDD数据集中，我们没有找到任何与nuScenes数据集中发现的图像类似的带有遮蔽人行道的图像。这意味着在新加坡或波士顿发现了有遮蔽的人行道，但在收集BDD数据集的其他地点却没有发现。根据这一观察，我们可以推断可能存在特定于该区域的ODD条件。虽然我们分析的图像非常少，但我们相信，分析多个数据集并从中进行模型预测可能会发现一个数据集中可用，但其他数据集中不可用的ODD条件，从而表明基于位置的模型可能是有益的。如果我们更新Yolov4模型来检测遮蔽通道下的行人，我们应该重新分析Yolov4无法正确预测物体的条件。如果这样的更新模型用于自动驾驶车辆，我们需要证明更新模型是否会导致任何新的危害。如果更新模型的错误分析显示错误预测中的新模式，我们将需要针对ODD中可能发生的各种可能场景验证ML模型。

5.讨论

从初步分析中，我们可以观察到基于位置的模型可以帮助实现SAE 5级驾驶自动化。全局ML模型和基于位置的ML模型部署方法都有各自的优缺点，如表1所示。对于不同的ODD设置、异构车队、数据随时间的变化、考虑其他没有自动化和部分自动化的道路车辆的行为以及V2X通信，最好使用基于位置的ML模型，因为当对自动化车辆中的ML模型进行更新时，它可以减少分析的工作量和时间。它还将有助于执行彻底的错误分析，并获得足够的信心，证明自动驾驶车辆足够安全，可以通过认证。

悬而未决的问题和未来的方向：虽然基于位置的ML模型部署很有帮助，但我们还应该研究一些悬而未决的问题和方向。

1.随区域改变ML模型的机制：当使用基于位置的部署时，如果当前在一个区域运行的一辆车辆需要行驶到另一个区域，则车辆到达另一个区域后将需要更换其ML模型。但是，车辆何时应向其他地区申请该车型？如果在另一个地区的入口处没有远程下载模型的服务，该怎么办？我们需要技术和前瞻性调度策略，来确定何时需要用我们要进入的区域的模型替换前一个区域的模型，而不影响连续的驾驶流程。在从一个区域到另一个区域的过渡过程中，我们应该使用模型的组合，还是应该通过具有一些共同的边界空间而不是区域之间的严格分隔线来训练模型？我们应该进行调查以找到这些问题的答案。如果由于某些合规原因，该地区的当前车型不可用或无法编辑，我们还需要考虑确保车辆安全的方法。在这种情况下，我们需要决定是继续使用以前的模型，还是转向紧急全局安全模型，该模型通过选择较低速度的道路和区域来运行车辆。

2.确保跨区域机器学习模型与机器学习硬件和软件兼容的机制：当自动驾驶车辆进入新区域并下载该区域的机器学习模型使用时，更新后的机器学习模型应与机器学习硬件和软件兼容在车里。如果我们无法自动确保此功能，则自动驾驶车辆的安全性可能会受到影响。因此，应该考虑这个方向的研究工作。

3.位置的粒度：基于位置的模型的开放式问题之一是“对于基于位置的模型中的位置或区域，我们应该具有什么级别的粒度？”。我们是否应该将一个地点视为邮政编码内的一个地区、一个城市/城镇/村庄、一个县、一个州或一组州。我们相信，在大城市建立基于区域的模型，在小城市、城镇或村庄建立整个地方的模型将是一个很好的起点。然而，应该进行更多的研究和学习，以确定合适和有益的粒度水平。

3.1.png