内容提要：我们提出了一种新颖的方法来模拟场景中的触发条件和性能限制，以评估SOTIF。

摘要

高级别自动驾驶（HAD）车辆是在开放环境中运行的复杂系统。这些系统的复杂性，以及在感知和理解开放环境方面的局限性和不足，可能导致不安全和不确定的行为。HAD车辆的安全关键性质要求对限制、不足和触发条件进行建模，以论证安全行为。

ISO/PAS 21448等标准化活动提供了有关预期功能 (SOTIF) 安全性的指南，并重点关注性能限制和触发条件。尽管SOTIF提供了一个详尽的场景因素列表，可以作为识别和分析性能限制和触发条件的起点，但没有提供具体的方法来对这些因素进行建模。

我们提出了一种新颖的方法来模拟场景中的触发条件和性能限制，以评估SOTIF。在这方面我们利用贝叶斯网络（BN）。专家提供BN结构，并使用最大似然估计器学习条件置信表。我们在给定场景下提供性能限制图(PLM)和条件性能限制图(CPLM)。作为案例研究，我们使用真实世界数据在定义的场景中提供LIDAR的PLM和CPLM。

一.简介

高级别自动驾驶（HAD）车辆是在开放环境中运行的复杂系统。由于感知和理解运行环境的局限性和不足，其复杂性和开放环境性质可能会导致不安全和不确定的行为。对此类限制和不足进行建模，需要考虑影响HAD车辆性能的所有可能场景和因素。国际标准化组织（ISO）发布了公开可用的规范（PAS），ISO/PAS 21448道路车辆安全预期功能（SOTIF）。SOTIF指南的目标是确定可能导致潜在危害行为的性能限制和触发条件。具体来说，SOTIF应用于预期功能，其中适当的态势感知对于安全至关重要，并且态势感知源自复杂的传感器和处理算法。

评估感知系统（传感器及其处理算法）的局限性、能力或固有的不确定性，并不是一项简单的任务。感知系统不能根据一组基本的安全要求或关键绩效指标（KPI）来表征，因为此类系统的性能取决于许多影响因素。例如，基于激光雷达的感知系统的功能性能，可能取决于检测、反射、天气和道路状况的空间分布。

对感知系统的依赖性和影响因素进行建模，以评估性能限制以及相关的不确定性，对于SOTIF论证非常重要。此类模型可以为开发过程中系统的功能性能，提供有价值的见解。ISO/PAS 21448提供了场景因素方面的此类依赖性列表，但没有提供对这些场景因素进行建模的具体步骤。

一般而言，概率图模型(PGM)和贝叶斯网络(BN)在可靠性研究中迅速普及。BN是由节点和边组成的有向无环图(DAG)。每个节点都是一个随机变量（X₁, . . . ,X_n），它代表系统或其上下文的一个元素。边表示两个节点之间的有向关系，从父节点(pa)延伸到子节点(ch)。节点和边共同表示概率网络的结构（图1）。这些依赖性的强度由条件概率分布 Pr(ch | pa) 控制。从数学上讲，BN可以写成如下。

图1：归因于单元的网格地图和场景建模示例：LIDAR检测在视场周围的网格单元中离散化。HAD车辆的车顶安装了四个激光雷达进行检测。底部显示贝叶斯网络以及Pr（道路|天气）的条件置信表

BN在系统的不确定性建模和概率推理方面非常有效。它通过模型中的局部条件利用依赖关系进行不确定性分析，以对影响因素进行预测、分类和因果推断。

在本文中，我们针对给定场景中已知的触发条件和性能限制，使用BN制定了一个模型。人类专家提供SOTIF相关场景因素，并使用BN结构对它们之间的因果关系进行建模。我们对BN进行参数学习来量化模型中的依赖关系。为了解释SOTIF的性能限制和触发条件影响，进行了后验概率分析和因果推断。我们使用这些分析构建性能限制图（PLM）和条件性能限制图（CPLM）。因果推理确定对绩效影响最大的因素。PLM、CPLM和因果推理共同为SOTIF提供了宝贵的见解。这可以帮助分析师生成安全案例、识别性能限制、生成有针对性的测试、验证和确认活动以及影响因素，从而有助于定义细化措施。总而言之，我们提供以下贡献。

• 我们引入了一种对场景中已知的触发条件和性能限制进行建模的方法。

• 我们引入PLM 作为SOTIF指标的表示。

• 我们引入CPLM来量化触发条件和影响因素对SOTIF的影响。

• 我们在利用真实世界数据的同时实施该方法，并提供激光雷达案例研究的PLM和CPLM。

该文的结构如下：第二节介绍了拟议的方法。第三节简要介绍了用于数据采集的设置。第四节介绍了所提出的方法在激光雷达感知方面的应用。在第五节中，对实施结果进行了评估。第六节提供了对方法和结果稳健性的评估。第七节概述了现有技术。最后，在第八节中，我们讨论了结论和未来的工作。

二.提议的方法

我们引入了一种使用BN来识别、建模和量化性能限制以及场景中的触发条件的建模方法。专家提供BN的结构，而条件置信表(CBT)是从真实传感器数据中学习的。图2显示了我们在本文中采用的方法的流程图。下面是流程图（图2）中提出的步骤的详细说明。

图2：描述所提议方法流程的流程图。SOTIF相关场景因素和专家知识被编码到BN结构定义的场景模型中。相应地收集数据并执行参数的学习

A. SOTIF相关场景因素

建模相关SOTIF场景因素的第一步是识别给定场景中的性能限制和触发条件。SOTIF提供了一个以动态元素和以场景为中心的场景因素的非详尽列表。尽管此列表可以作为起点，但触发条件和性能限制的识别取决于许多其他方面，包括驾驶环境、相关感知系统和现有设置等。例如，考虑以下两个描述。

1)背景：高速公路，感知：基于雷达，研究行为：误报。

2)环境：城市，感知：基于激光雷达，研究行为：位置真实性。

两种描述都可能导致不同的场景因素。在前者中，人类专家可能对钢桥、锡罐和其他此类实例感兴趣，而在后者中，感兴趣的因素可能包括天气条件、废气和反射。该过程类似于ISO 26262中的危害识别和风险评估(HARA)，但没有明确考虑组件的故障行为。它评估HAD车辆功能的预期功能，特别是在态势感知对安全至关重要的情况下。我们利用ISO/PAS 21448中的场景因素以及专家意见、之前的数据和现有设置（数据采集和/或数据标签的限制）来对我们的方法中的场景进行建模（图2）。

SOTIF相关的不良行为（例如不需要时制动，反之亦然）可能源于FP和FN检测。由于我们更关注功能的感知层面，因此我们只考虑感知系统的FN和真阳性（TP）。然而，我们在本文中定义的总体方法是通用的，可以应用于所研究系统的完整功能链（感知、计划、决策和行动）。不期望行为的选择高度依赖于所研究的系统、场景模型和可以支持安全案例的度量。除了TP和FN之外，还可以对SOTIF相关的不良行为（例如FP、位置误差、轮廓匹配、分类以及回归质量）进行建模，以评估性能限制以及触发条件对功能性能的影响。作为示例，对于在城市驾驶的背景下分析基于激光雷达的感知系统的第二种情况，专家可以提供以下因素。

• 遮挡：在城市驾驶中，由于停放的汽车、树木可能会遮挡物体，因此发生遮挡的可能性相对较高。

• FN/FP率：城市驾驶环境下的总体FN/FP率。

•天气条件：不同的天气可能会影响LIDAR的性能。

•来自物体的反射：来自不同物体（总线窗口）的反射会影响FP速率。

•照明：较高的照明可能会增加物体的反射。

上述因素并非详尽无遗。根据专家意见和数据采集能力提供和细化场景因素。由此产生的因素可用于对因果关系进行建模。

B. 因果关系模型

对场景因素、触发条件和性能限制之间的定性和偶然关系进行建模，是该方法的重要组成部分。为此，我们利用BN结构。传统上，BN结构建模要么基于专家知识，要么基于数据学习（结构学习）。然而，在从数据进行结构学习时，候选图的数量随着数据中变量的数量呈指数增长。仅使用观测数据与模拟同一组条件独立性的其他图，来辨别真实图也具有挑战性。由于这些挑战，我们在这项工作中选择了前一种技术。

场景描述，包括SOTIF相关场景因素和相应的不良行为，构成BN结构的节点。作为推导结构的第一步，专家们在不良行为、场景触发条件和性能限制之间建立层次依赖关系，并提供建议，例如：命题p1：高遮挡可能导致更高的FN。然后，我们用表示依赖关系的弧和表示从这些命题派生的不良行为、触发条件和性能限制的节点构建BN，例如，命题p1被建模为显式节点（图3）。由此产生的BN结构断言，子节点由因果机制控制，该机制根据其父节点的值机制，概率地确定其值。此类模型的随机属性有助于对偶然不确定性进行建模。

图3：基于SOTIF相关场景因素和描述我们实施中使用的因果结构的专家知识的BN。交替选择假阴性和真阳性。提供颜色编码以支持后续的分析图

C.数据采集和预处理

我们的方法中获取和使用的数据集D由完全观察到的网络变量实例组成。

其中 ξ[.]代表数据实例，M代表D中的实例数量。

如果未标记不良行为，我们会计算每个数据实例的SOTIF相关不良行为。例如，数据实例可能不会用FN进行标记。然而，这是一个临时的数据处理步骤，可能需要，也可能不需要，具体取决于可用的数据集。

为了充分掌握SOTIF相关场景因素（BN中的条件依赖性）和HAD车辆周围性能限制的影响，我们在网格图中离散化了检测的空间分布（图1）。由于以下原因，在网格图中对触发条件和性能限制的空间分布进行建模很重要。

1）场景因素是空间分布的，例如在涉及浓雾的天气情况下，对于某些感知系统，距离HAD车辆较远的网格单元的FN率，将与较近的网格单元不同。

2) 车辆周围的安全关键性是可变的，因为距离HAD车辆越近的事件，通常被认为更关键。

因此，数据实例可以在HAD车辆周围进行空间关联，以将观察到的实例与其各自的空间检测点完全关联起来。通过这种方式，在HAD车辆周围创建网格图来表示SOTIF相关感知指标/属性（图1）。为了构建网格地图，选择坐标系（例如笛卡尔或极坐标）以及网格大小。然后，每个网格单元由一个单独的BN及其相应的CBT表示（图1）。在这项工作中，每个BN的结构保持不变。

假设基于检测的笛卡尔 (x, y) 或极 (r, θ) 坐标，将数据实例分布到N个网格单元（即N个BN）中。数据集（方程2）可以重写为

其中K是如下的集合。

这里k代表第k^th个网格单元和BN。

D.参数学习

一旦确定了BN结构（第二-B节）并获取了相应的数据（第二-C节），就可以学习CBT。我们通过利用最大似然估计器(MLE)来确定CBT，从而确定依赖性的强度。我们进行非参数学习，不假设先验概率。给定一个带有父项U的变量X，对于CBT的x^k∈V al(X)和u^k∈V al(U)的每个组合，我们都会有一个参数θ^k_x|u。这种情况的似然函数如下。

这里θ^k_x|u表示要学习的参数，k表示HAD车辆周围的第k^th个BN，m表示数据集中的第m^th个数据实例。将方程5中的似然函数最大化得到所学习的参数。

这里M^k[u, x]表示第k^th个BN的u和x的组合出现。方程6定义了MLE。

E. 细化

细化步骤的目的是改进BN（结构和CBT），以便可以生成详尽且完整的SOTIF模型。我们相信，这种混合方法（涉及专家，同时部分自动化该方法）可以提供最合适的结果。前面几节中解释的和图2中描述的每个步骤，都需要根据分析和获得的结果进行迭代细化。这包括添加/删除场景因素、重组BN结构或获取更多数据。

三．实验装置

实验装置由安装在汽车顶角的两个Hesai Pandar 64和两个Velodyne Ultra Puck VLP-32C LIDAR传感器组成（图1）。记录的数据由不同的标签组成，包括HAD车辆360°周围的边界框、姿态、可见性状态和车辆活动等。这些数据主要是在德国斯图加特附近地区的高速公路上收集的。该数据由大约两万个实例组成。训练并使用深度神经网络（DNN）作为处理算法。来自该领域的两位在基于激光雷达的感知系统方面具有丰富经验的专家，根据数据采集过程中的观察结果和基于激光雷达感知系统的经验，就激光雷达的不足、触发条件和局限性发表了意见。

四．执行

在本节中，我们将演示我们的方法在上一节讨论的LIDAR传感数据集上的应用。

A. SOTIF相关场景因素

专家们提供了可能影响LIDAR感知系统性能的不同因素（第二-A节）。根据专家输入、SOTIF场景因素和数据采集设置的可用性，我们将图3中所示的节点作为SOTIF相关场景因素。

截断或遮挡的对象可能仅产生稀疏点测量。遮挡和截断均表示对象的可见性状态，其定义类似于KITTI基准。天气条件可能会影响道路状况和光强度，进而影响道路上的反射。特别是大雨可能会导致道路洪水，从而降低检测中的TP。

我们使用FN和TP率来表示SOTIF度量，因为它们被认为是SOTIF分析的充分度量。

B. 因果关系模型

基于上一节的命题，开发了BN结构。上一节讨论的效果可以用以下简单的命题来编码。

a) 命题1：检测中的截断和遮挡可能会影响FN和TP。

b) 命题2：天气条件可能会影响道路状况和场景照明，进而影响TP/FN 率。

c）命题3：道路状况和场景照明会影响场景中的反射，进而影响TP/FN率。

得到的BN结构如图3所示。BN模型包含7个节点。一旦CBT建立，BN就可以用新信息进行更新。

C. 数据采集和预处理

我们在本文中使用的数据集提供了检测和相应的地面实况（单独的数据集）。为每个对象检测及其相应的地面实况标记一个边界框。除TP和FN外，所有相关节点（图3）均已标记。为了评估每个数据实例的TP和FN，我们使用均方误差(MSE)。

其中，n表示样本数量，Y_i 表示基本事实，Yˆ_i 表示检测。我们对单独的检测执行方程7，并使用x和y值在地面实况中找到相应的样本。所有那些从检测中返回来自真实值的数据实例都被认为是TP，而来自真实值的所有那些不从检测中返回相应值的数据点被认为是FN。|x|>140米和|y|>50米的数据实例不被视为激光雷达的定义最佳范围。

网格图中网格单元的分辨率是一个有趣的方面，因为它直接影响TP和FN速率。这种现象类似于作为BN节点的连续空间分布的离散化。由于粗化可能导致不太精确和准确，而细化可能导致精确和不太准确的CBT，因此需要经过深思熟虑的离散化。在这方面，可以执行静态和动态离散化。基于每个单元的数据可用性和BN结构的所有节点的完整表示（图3），在本文中，我们相应地使用x=20和y=10米。

D.参数学习

我们使用其相应的数据实例和方程6，对单个BN（表示网格单元）进行参数学习。在建立了BN结构并学习了分布参数（CBTs）之后，BN可以用作分析和估计的有效工具。由此产生的PLM和CPLM可以用作评估SOTIF、确定触发条件以及提供安全档案和验证目标的指标。

E.细化

我们在结果中提供了初步的细化步骤（第五节）。

五.结果

在本节中，我们将介绍通过应用我们的方法获得的结果。

A.性能限制图

与TP和FN相关的网格图如图4、5所示。PLM本质上表示特定节点的边缘化后验概率分布(Pr(ch))。TP的热图参考被反转，以针对不期望的概率保持相同的颜色。我们可以推断出以下结论。

图4：所描述场景中FN速率的性能限制图以及用于学习的可用数据。在HAD车辆附近可以观察到LIDAR的更好性能

图5：所描述场景中TP的性能限制图。在HAD车辆附近观察到LIDAR的性能更好

1) 我们观察到HAD车辆附近有更好的检测能力。

2) TP和FN率在X和Y轴上对称分布，HAD车辆前方和右侧的FN率稍高（TP率较低）。

通过使用PLM（图4、5），场景的不确定性可以用PLM来表示，它可以表示为对给定场景和所考虑的系统的预期功能安全性（SOTIF）的定量评估。

B.条件性能限制图

另一个有趣的分析结果以CPLM的形式出现，以场景的单个或多个节点为条件。这对应于给定其父(pa)节点(Pr(ch | pa))的子(ch) 节点的条件概率。(pa)可以单独或组合选择。根据 ISO/PAS 21448，可以将其视为触发条件如何影响性能。我们提供以遮挡为条件的FN CPLM（图 6,7）。显然，(遮挡=大部分被遮挡)的场景比(遮挡=完全可见的场景)，具有更高的FN概率。我们可以推断出以下结论。

图6：在所描述的场景中，以遮挡（完全可见）为条件的FN（是）的条件性能限制图（CPLM）。用于FN的CPLM描述了遮挡（完全可见）场景可能不会导致更高的FN速率

图7：在所描述的场景中，以遮挡（大部分遮挡）为条件的FN的条件性能限制图（CPLM）。用于FN的CPLM描述了用于遮挡（很大程度上被遮挡）场景的更高的FN速率

1) 根据数据，对于激光雷达来说，严重遮挡的场景比完全可见的场景具有更高的FN率。

2) 平均 Pr(F N|遮挡) 率在X和Y轴上对称分布，HAD车辆前方和右侧的FN率略高。

C. 因果推理

BN提供证据反向传播的能力，为执行因果推理提供了额外的优势。换句话说，随意推理估计父节点对子节点或结构中任何其他节点的强度(Pr(pa | ch or any))。例如，给定BN，请考虑以下查询。

a)查询：FN率产生的原因是什么？

可以通过将网格图中的FN设置为“是”来回答此查询。图8,9分别显示了Pr(Illumination= Day | F N = Y es)和Pr(Occlusion = largely occluded | F N = Y es)的因果推断。我们可以推断出以下结论。

图8：照明时FN的因果推断图（白天）。光照状态“白天”对检测有不同的影响

图9：FN在闭塞（大部分闭塞）时的因果推断图。大部分遮挡状态对远离HAD车辆的检测有相当大的影响

1) (遮挡=大部分遮挡)对FN的影响高于(照明=白天)。

这样的结果可以直接指示性能限制的相关触发条件，并且可以从SOTIF的角度为系统设计的明智改进提供前进的方向。例如，根据 CPLM（图7）和每个单元的FN率基准（给定恒定的严重性和可控性），我们可以推断大部分被遮挡的场景是SOTIF的风险因素。然而，定义基准超出了这项工作的范围。

D.细化

专家提出的一些细化步骤是：

• 截断节点需要更多数据才能建立或否定因果关系。

• 在周围网格单元具有相对较高值的区域中观察到突然的零值（图6）以进行遮挡（完全可见）。这些单元需要进一步的分析和数据实例才能获得可靠的结果。

细化步骤并不详尽，提供详尽的步骤列表超出了本工作的范围。

六．评估

我们使用测试数据集对学习到的PLM进行评估。我们基本上通过将测试数据集中的天气、遮挡、道路和反射状态设置为证据，来预测FN。然后将结果与使用方程7计算的FNs进行比较。表1显示了我们的评估结果。我们观察到，结果可以达到相当大的准确性。然而，与任何其他面向数据的实现一样，测量真正的底层参数分布（或CBT）是一项具有挑战性的任务。通常，如果BN在其结构中具有条件关系，例如X|Y，则BN的参数学习算法提取联合相对频数。由于真实的CBT是未知的，该方法使用数据集D对其进行近似。得到的CBT代表真实和未知CBT的特征。必须特别注意本质上对安全至关重要的任务。在下文中，我们讨论了贝叶斯网络的参数学习所基于的一些假设，这些假设可能会挑战结果的稳健性。

表1：新证据到达时FN率的评估。只有天气、遮挡、道路和反射节点被认为是证据节点。计算总体预测率而不是网格图

A. 开放环境的表示

在任何模型中采用的第一个也是最重要的假设是，它被认为是开放上下文的良好近似。在BN的具体情况下，结构表示因果模型，CBT表示相对发生，作为面向数据或专家引发的CBT的开放世界现象的近似值。可能发生的情况是，并非所有的影响因素都编码在BN结构中，并且数据不能代表现象的真实相对频数。不能很好地表示开放上下文的数据集，可能会导致PLM和CPLM容易出错。

B. 罕见事件问题

这涉及到众所周知的罕见事件发生频率问题及其表示。当节点的重要状态以较低的频率出现时，就会出现这个问题，例如照明：隧道光的出现频率预计低于白天。从SOTIF的角度来看，这些状态也可能是安全关键的。评估这种状态的鲁棒CPLM变得具有挑战性，并且受到扰动的影响。这种状态可以被人为地插入数据中，但由此产生的边缘化概率将不是真实世界的真实代表。

在这方面，在结果中明确建模的数据中的每个状态频率的相对表示，可能是一个有希望的方向。

C. 训练和测试数据

测试数据集可能与训练数据不合理分割。一般来说，测试数据集不应与训练数据集相关。然而，实际上使用了高度相关的数据集，因为数据记录在相同位置并且是连续记录的。这可能会导致PLM的准确性被高估。

D. 数据抽象和ODD分类法

每个场景都是基于某种抽象来定义的。这类似于BN中的数据离散化问题。不同的抽象可能会产生不同的地图，例如，照明节点的较低且更具体的抽象将是光强度的值，而不是诸如白天之类的状态，进一步较低的抽象可能是采用连续的光强度分布。这种分布可能导致不同的映射，因此对结果的稳健性提出了挑战。由于这些抽象可以由运行设计域（ODD）分类法管理，因此一个完善的ODD分类法可以用作分析数据抽象的基准。此外，动态离散化也可以用于这方面。

七．相关工作

近年来，人们对SOTIF和HAD车辆基于场景的安全性进行了广泛的研究。然而，据作者所知，现有方法缺乏对SOTIF相关情景因素的系统识别、建模、量化和分析。Berk等人将基于可靠性的安全自动驾驶环境感知验证形式化，并讨论相关挑战。这项工作的重点是感知失效率λper，并讨论了作为不确定性的假阴性（FN）和假阳性（FP）。该实现还提供了传感器感知可靠性的定性和半定量分析。Ali等人分析了由于协作网络物理系统（CPSs）的可变性而产生的危害。环境、基础设施、空间和时间的可变性，被认为是造成不确定性的因素。他们还开发了一个故障可追溯性图，以跟踪具有可变性的协作CPSs中的多个危害分析所考虑的故障。Edward Schwalb提供了一个概率框架（参考资料1，关注牛喀网，后台咨询下载），用于逐步界定与自动驾驶相关的剩余风险，并实现量化进展。该工作引入了自动驾驶者对迫在眉睫的危害进行持续监测，并选择了最大限度地延长这些危害物化时间（TTM）的行动。该方法还能够通过使用后验概率测量回归的改进，来实现SOTIF的连续扩展。最后，Kramer等人提供了自动驾驶功能安全评估的综合方法，涵盖了功能安全和SOTIF方面，包括危害场景的识别和量化。它们还提供了一种功能不足和因果链分析技术，来识别和建模SOTIF相关的危害。类似的方法也出现在另一篇文献中（参考资料2，关注牛喀网，后台咨询下载）。然而，这项工作为这个问题提供了一个更具理论性的观点。

八．结论和未来的工作

我们提出了一种在场景模型下开发性能限制图(PLM)和条件性能限制图(CPLM)的方法，以研究预期功能(SOTIF)的安全性。我们确定相关的触发条件，这些条件由专家提供并通过数据推理。该方法对贝叶斯网络（BN）的参数学习进行编码以供实施。

该方法特别论证了可控工作量下的SOTIF。其核心是，所提供的方法使分析师能够识别各种触发条件下的性能限制、其因果关系和限制，并以SOTIF下的各种关键现象为条件。这进一步帮助分析人员针对触发条件下已识别的性能限制制定缓解策略。为了论证该方法的充分性，在给定场景下研究了激光雷达的性能。使用BN结构对场景进行建模，并使用真实世界数据进行参数学习以引出条件置信表（CBT）。

我们还评估了学习的BN的准确性，以展示预测能力。在训练数据上预测FN率时，我们达到了大约75%。然后，我们讨论了安全方法的鲁棒性问题，特别是当数据用于参数学习时。

未来，我们打算探索如何解决和减轻BN的稳健性问题。我们特别打算提供专注于CBT和概率的不确定性度量和置信区间的方法。此外，我们还打算对异构感知系统的组合CPLM进行建模，以便识别和分析常见的触发条件。该实现还可以扩展到测试具有不同控制算法的相同传感器的感知系统。

详询“牛小喀”微信：NewCarRen

作者：牛喀网专栏作者
牛喀网文章，未经授权不得转载！