内容提要：在本文中，我们回顾并整理了实用的机器学习安全技术，这些技术可以补充自动驾驶汽车中基于机器学习的软件的工程安全性。我们还讨论自动驾驶汽车中机器学习组件的安全限制和用户体验。

摘要

自动驾驶汽车依靠机器学习来解决感知和运动规划方面的挑战性任务。然而，汽车软件安全标准尚未完全发展到能够解决机器学习安全的挑战，例如可解释性、验证和性能限制。在本文中，我们回顾并整理了实用的机器学习安全技术，这些技术可以补充自动驾驶汽车中基于机器学习的软件的工程安全性。我们的组织将安全策略映射到最先进的机器学习技术，以增强机器学习算法的可靠性和安全性。我们还讨论自动驾驶汽车中机器学习组件的安全限制和用户体验。

1.简介

机器学习(ML)的进步是过去十年最大的创新之一。如今，ML模型广泛应用于自动驾驶汽车、医疗诊断和机器人等不同工业领域，以执行语音识别、目标检测等各种任务和运动规划。在不同的机器学习模型中，深度神经网络（DNN）因其在高维数据中强大的表示学习而闻名并被广泛使用。例如，在自动驾驶领域，各种DNN目标检测和图像分割算法已被用作感知单元来处理相机（例如PilotNet、Fast RCNN）和激光雷达（例如，VoxelNet）数据。

安全关键系统的开发依赖于严格的安全方法、设计和分析，以防止发生失效时发生危害。在汽车领域，ISO 26262和ISO/PAS 21448是用于解决电气和电子部件安全的两个主要安全标准。这些标准规定了系统、硬件和软件开发的方法。特别是对于软件开发，该流程可确保跨需求、架构和单元设计、代码和验证的可追溯性。对于高度复杂的自主软件，需要对自主软件进行迭代危害分析和风险评估，以正式表示运行设计域。

另一方面，机器学习模型具有许多固有的安全缺陷，包括训练集的准确性和开放世界限制下运行域的鲁棒性。例如，机器学习模型很容易受到域转移、数据损坏和自然扰动的影响。此外，DNN中的预测概率分数并不能真实地表示模型不确定性。此外，从安全角度来看，事实证明，DNN很容易受到对抗性攻击，这些攻击会对输入样本造成微小的扰动（人眼无法区分），但可以欺骗DNN。由于缺乏DNN的验证技术，ML模型的验证通常依赖于不同大型测试集的简单精度测量来覆盖目标运行设计域。虽然这是衡量算法成功与否的重要指标，但它绝对不足以衡量安全关键型应用程序中的性能，因为现实世界的示例可能与测试集不同。

随着机器学习模型将越来越多地用于安全关键系统，我们需要调查这些模型在现有工程安全标准中暴露的差距。机器学习安全领域已经讨论了这些差距的几个例子，包括代码的可解释性和可追溯性、形式验证和设计规范。

在本文中，我们回顾了机器学习安全算法技术的挑战和机遇，以补充自动驾驶汽车现有的软件安全标准。第2节简要回顾了两个主要的汽车行业安全标准，并确定了它们与机器学习算法的五个基本差距。第3节通过调查 1）错误检测器和 2）模型鲁棒性的机器学习研究来描述实用的算法安全技术。我们简要介绍了我们自己针对安全关键应用程序的三种实现。第4部分讨论了开放的挑战、未来工作的方向，并对本文进行了总结。

2.背景

工业安全广义上是指对行业内所有运行和事件的管理，以通过最大限度地减少危害、风险和事故来保护员工和用户。鉴于电气和电子(E/E)组件正确运行的重要性，IEC 61508是针对电气和电子安全相关系统制定的基本功能安全标准，具有两个基本原则：(a)安全生命周期：基于最佳实践的工程过程，以发现和消除设计错误，(b)失效分析：一种考虑系统失效安全影响的概率方法。IEC 61508有多个针对不同行业的衍生版本。例如，为了实现汽车行业的安全，工程师需要遵循ISO 26262标准，将E/E故障导致的安全风险降至可接受的水平。

在本节中，我们将简要回顾两个主要的汽车安全标准，然后列出满足安全要求的基本ML限制的组织列表。我们注意到，这两个汽车标准都要求对危害和风险进行细致的分析，然后进行详细的开发过程，重点关注系统需求、文档化的体系结构和设计、结构良好的代码，以及单元、集成和系统级测试的详细验证策略。

ISO 26262标准

ISO 26262或汽车E/E功能安全标准将车辆安全定义为不存在因E/E组件故障而导致的不合理风险。它需要进行危害分析和风险评估(HARA)来确定车辆级别的危害。潜在的危害和风险引导安全工程师实现安全目标，然后使用这些目标来创建功能安全要求。这些安全要求随后指导系统开发过程，然后系统开发过程被分解为硬件和软件开发过程。图1概述了该标准。本文的重点是ISO 26262的第6部分，它定义了软件开发过程的V模型。

图1：软件(SW)安全流程的ISO 26262-6（绿色）和ISO/PAS 21448（蓝色）中的V模型之间的比较

图1中V模型的目标是确保软件架构设计充分满足软件安全要求，并通过软件验证测试充分测试软件安全要求。同样，软件架构设计得到验证，软件集成测试证明架构实体之间的交互（包括静态和动态方面）得到测试。在V模型的最低层，单元设计指定每个单元的设计细节（在软件架构设计期间确定），例如输入、输出错误处理、单元的行为，以便可以对其进行编码。最后，单元测试确保单元经过测试，以满足其要求和设计方面，并满足单元的足够的结构覆盖。

ISO 26262还确定了故障检测和避免的方法，以将风险降至可接受的水平。但是，当应用于自动驾驶时，ISO 26262有一些局限性。它无法解释由于组件无法理解环境而发生的故障（例如由于性能限制或鲁棒性问题）或可预见的系统误用。

ISO/PAS 21448标准

ISO/PAS 21448或SOTIF（预期功能安全）标准描述了由设计规范、开发以及验证和确认阶段组成的迭代开发过程。SOTIF标准认识到软件（包括ML组件）的性能限制，并期望属于未知不安全（例如，超出训练分布的样本）和已知不安全（例如，超出运行设计域的样本）情况的场景/输入应减少到残余误差风险可以接受的程度。

SOTIF流程通过SOTIF特定的HARA和安全概念增强了ISO 26262。危害分析包括识别由于性能功能不足、态势感知不足、合理可预见的误用或人机界面的缺陷而导致的危害。相比之下，ISO 26262的危害和风险分析仅限于E/E失效造成的危害。如果SOTIF分析结果高于可接受的风险，则进行功能修改以降低SOTIF风险。然后制定验证和确认策略来证明残余风险低于可接受的水平。

机器学习组件的安全差距

近年来，人们越来越关注识别机器学习模型的安全局限性。例如，研究人员讨论了机器学习模型的安全性定义，并将其与工业中四种主要的工程安全策略（1）本质安全设计、（2）安全储备、（3）安全失效和（4）程序保障进行了比较。在对汽车软件安全方法的回顾中，研究人员提出了关于ML模型安全性的ISO-26262第6部分方法的分析。他们对软件安全方法在机器学习算法（作为软件单元设计）上的适用性进行的评估表明，大约40%的软件安全方法不适用于ML模型。

机器学习模型的安全性和鲁棒性问题也引起了机器学习科学家的兴趣，他们提出了五个具体的研究问题，这些问题可能导致现实世界人工智能系统出现意外和不安全的行为。他们关注并描述人工智能的安全问题，以定义和评估目标函数。此外，还有研究人员介绍了人工智能技术安全的三个领域，即规范（设计和紧急情况）、鲁棒性（用于错误预防和恢复）和保证（用于监控和执行）。

我们用汽车软件安全标准的术语对这些开放挑战进行分类，并简要回顾代表性研究（参见表1第一行）以缩小这些安全差距。

•设计规范。记录和审查软件规范是功能安全的关键步骤，然而，ML模型的设计规范通常是不够的，因为模型会学习数据中的模式来区分或生成新的不可预见输入的分布。因此，机器学习算法通过训练数据（和正则化约束）而不是使用正式规范来学习目标类别。缺乏可指定性可能会导致“设计者目标”与“模型实际学到的内容”之间的不匹配，从而可能导致系统出现意想不到的功能。这种数据驱动的变量优化来训练机器学习模型，使得定义和提出特定的安全约束变得不可能。为此，研究人员调查了DNN的形式规范的前景，为DNN属性的形式化和推理奠定了初步基础。管理这个设计规范问题的另一种实用方法是将机器学习组件分解为较小的算法（具有较小的任务），以在层次结构中工作。与此相关，研究人员提出了VerifAI工具包，用于基于人工智能的系统的形式化设计和分析。

•实施透明度 ISO 26262要求从需求到设计的可追溯性。然而，在高维数据上训练的高级机器学习模型并不透明。模型中的大量变量使得它们难以理解，或者被称为设计审查和检查的黑盒。为了实现可追溯性，人们对DNN的可解释性方法进行了大量研究，以提供模型预测和DNN中间特征层的实例解释。在自动驾驶汽车应用中，使用VisualBackProp技术表明，经过训练来控制方向盘的DNN算法实际上可以学习车道、道路边缘和停放车辆的模式来执行目标任务。然而，授予可追溯性的可解释性方法的完整性尚未得到证实，在实践中，可解释性技术主要被设计者用来改进网络结构和训练过程，而不是支持安全评估。

•测试和验证 单元测试需要对工作产品进行重要验证，以满足ISO 26262标准。例如，软件安全编码指南强制要求不存在死代码或无法访问的代码。根据安全完整性级别，需要完整的声明、分支覆盖或修改的条件和决策覆盖来确认单元测试的充分性。对于DNN，由于数据的高维性，正式验证其正确性具有挑战性（可证明NP困难）。因此，实现仅限于运行设计域的完整验证和测试是很困难的。因此，研究人员提出了新技术，如搜索未知知识和预测器-验证器训练。神经网络中的神经元覆盖和模糊测试等其他技术涵盖了这些方面。请注意，低维传感器数据的浅层和线性模型的形式验证不存在DNN验证的挑战。

•性能和鲁棒性 SOTIF标准将ML模型视为黑匣子，并建议使用方法来提高模型性能和鲁棒性。然而，提高模型性能和鲁棒性本身就是一项非常具有挑战性的任务。在学习问题中，通常训练模型会在训练集上以错误率结束（由于误报和误报预测）。经验误差是学习器函数对其目标分布的预测误差率。泛化误差是指模型在训练集和测试集上的经验误差之间的差距。除此之外，运行错误是指模型在开放世界部署中的错误率，可能高于测试集错误率。域泛化是指模型学习开放世界任务的可泛化数据表示的能力。我们将在第3节中回顾更多细节和机器学习技术，以提高模型的鲁棒性。

•运行时监控功能 SOTIF和ISO 26262标准建议将运行时监控功能作为软件错误检测解决方案。经典软件中的监控功能基于规则集来检测瞬时硬件错误、软件崩溃和退出运行设计域等情况。然而，设计监控功能来预测机器学习失效（例如，误报和漏报错误）本质上是不同的。ML模型生成输入实例的预测概率，但研究表明预测概率并不能保证失效预测。事实上，在分布转移和对抗性攻击的情况下，DNN和许多其他ML模型可能会以高置信度生成不正确的输出。我们将在第3节中回顾ML模型错误检测技术的更多细节。

3.机器学习安全技术

我们引入了机器学习安全算法技术，以维持机器学习算法的可靠性，从而在开放世界任务中安全执行。我们在本节中回顾的技术旨在补充软件安全中的经典工程策略。我们还将机器学习安全技术与适当的工程安全策略联系起来（见表1），以帮助机器学习科学家和安全工程师在自动驾驶汽车安全的新主题中找到共同点。我们遵循Varshney的四种实现机器学习安全的策略，将AI安全技术与工程策略进行映射。

考虑到确保人工智能不同安全方面的研究债务（参见第2节），我们相信我们还远未达到:

(1)本质安全的人工智能。

因此，我们专注于以下两种安全策略的实用机器学习解决方案：

•(2)安全故障是指在发生失效时使车辆在道路上保持安全状态的策略。该策略可以通过使用监控功能和降级计划（例如通知驾驶员控制车辆）来减轻故障时的危害。我们建议使用运行时错误检测技术来检测道路上车辆的机器学习算法的错误输出（例如错误分类和错误检测）。

•(3)机器学习背景下的安全裕度被描述为模型在训练集上的性能与开放世界中的运行性能之间的差异。我们建议使用模型鲁棒性技术来提高弹性，从而提高机器学习组件的安全裕度。

我们还将在稍后讨论未来工作时简要回顾。

（4）程序保障对于自动驾驶车辆的非专家最终用户（即驾驶员和乘客）的重要性。为了区分安全和防护问题，我们将故意利用系统漏洞的外部因素（例如，对抗性攻击中的样本操纵视为防护问题，而不是安全问题）。

监控功能

我们的第一个实用的机器学习安全解决方案利用一系列机器学习错误分类错误检测技术来实现安全故障行为。例如，当传感器等硬件中的瞬时错误影响巡航控制等软件的功能时，错误检测单元（监控功能）可以检测错误并通过适当的警告来降低系统性能并允许驾驶员接管。同样，可以为机器学习组件设计各种运行时监控功能和错误检测器，以预测模型失效并触发适当的警告。下面我们介绍机器学习的三种错误检测器，并回顾它们的关系和局限性。请注意，尽管以下三组错误检测器重叠，但我们根据目标错误类型将检测器分开。

不确定性估计

概率学习器的不确定性是维持系统故障安全的重要因素。即使是经过良好训练和校准的预测器，对噪声、损坏和扰动具有鲁棒性，也可以从不确定性估计中受益，以在运行时检测域移位和分布外样本。量化不确定性可以通过预测的模型置信度（认知不确定性或模型不确定性）和未知样本的不确定性（任意不确定性或数据不确定性）来解释模型不知道的内容。

关于不确定性方法对于安全关键应用的重要性，研究人员提出测量ML模型中的不确定性并在决策流程中向下传播，作为自主系统安全的关键。然而，量化DNN中的预测不确定性是一项具有挑战性的任务。通常，DNN分类模型生成的标准化预测分数往往过于自信，而回归DNN模型不会在其输出中给出不确定性表示。DNN领域的研究提出了深度集成和蒙特卡罗丢弃（MC丢弃）等解决方案来估计预测不确定性。不确定性估计方法已经针对各种模型错误类型进行了测试，包括对抗性攻击检测。

尽管不确定性估计方法为DNN失效预测提供了潜在的有效解决方案，但在实践中，它们会带来巨大的计算成本和延迟，这对于运行时失效预测来说并不理想。例如，为了设计PilotNet算法的错误检测器，研究人员提出了MC丢弃不确定性估计的实现，需要128次随机前向传递来估计模型的不确定性。因此，在资源有限的设置中以及出于计算简单性等原因，研究人员致力于替代错误检测解决方案，我们将在接下来的两小节中对此进行回顾。

分布内错误检测器

由于表示学习较弱，经常会发生域内样本的错误分类。近年来，先进的神经网络、正则化技术和大型训练数据集显著提高了DNN表示学习，从而提高了模型性能和鲁棒性。然而，仍然需要运行时预测错误检测器来在模型失效的情况下保持系统的安全性。选择性分类（也称为带有拒绝选项的分类）是一种谨慎地为高置信度样本提供预测并在有疑问时放弃的技术。这种置信预测方法可以显著提高模型性能，但会牺牲测试覆盖率。研究人员提出了一种简单而有效的DNN选择性分类实现。他们引入了拒绝函数，保证基于DNN softmax输出控制真实风险。他们后来推出了SelectiveNet，这是一个三头网络，用于在正常域上联合训练分类和拒绝函数。沿着类似的思路研究人员将温度缩放作为一种后处理校准技术，用于调整由于过度拟合而偏离的模型概率估计。在自动驾驶汽车的应用中，研究人员在网络中添加并训练了一个失效头，以便学习预测模型失效的发生。

在我们最近的论文中，我们提出了一种用于自动驾驶汽车应用中回归模型的误差检测器。我们提出了一种新的设计，它训练学生模型（失效预测器）来预测教师模型（主模型）在运行时的错误。图2显示了学生模型如何学习教师模型在验证集上的预测损失，以预测其在测试集上的失效。我们还使用主模型的显著图来训练学生模型，以提高失效预测性能。我们根据预测误差和该系统获得的驾驶安全性来评估我们的失效预测模型。

图2：基于ConvNet回归模型显著图的模型失效预测。我们训练了一个学生模型作为PilotNet模型运行时失效预测器的监控功能

分布外错误检测器

分布外(OOD)样本或异常值是指超出正态训练分布的输入。OOD错误是指OOD样本的ML模型错误分类错误。自动驾驶车辆中的OOD样本示例包括独特、不寻常或未知的路标、路标或稀有物体或场景，这些物体或场景要么未包含在训练集中，要么模型在训练期间无法学习（例如，由于类别不平衡）训练过程。OOD错误是ReLU系列激活函数的一个固有问题，当输入远离训练分布时，它们会产生任意高置信度。然而，已经提出了各种称为OOD检测器、新颖性检测器和异常值检测器的技术来检测OOD样本。OOD检测器技术的示例包括修改网络架构以学习预测置信度、采用遗漏分类器集合以及自监督表示学习异常值检测方法。另一方面，OOD检测中一种快速且低成本的方法是使用类概率作为OOD检测的度量。在这方面，已经提出了新技术来校准DNN决策边界，以实现稳健的OOD检测。

在我们最近的工作中，我们通过将拒绝选项嵌入和训练到任何DNN判别模型中，以最小的架构变化，提出了一种快速且内存高效的OOD错误检测技术。如图3所示，我们的基本思想是利用DNN的高级特征学习能力，在一个网络中联合学习可泛化的异常值特征以及用于正常分类的分布内特征。图3显示了我们如何使用监督（使用带标记的分布内训练集）和自监督（使用免费的未标记OOD自然样本）训练两个步骤在神经网络的最后一层中训练附加拒绝函数。我们的评估结果表明，所提出的OOD特征自监督学习可以很好地泛化以拒绝其他未见过的分布。

图3：基于预测置信度的分布外样本检测。我们提出了一种分布外样本检测器来训练拒绝类，以在自我监督的步骤中学习异常值特征

算法鲁棒性

机器学习安全的第二个实用解决方案利用鲁棒性技术来提高自动驾驶汽车中机器学习模型的安全裕度。机器学习研究中的鲁棒性技术提高了算法对未见过的样本、自然损坏和扰动、对抗性示例和域转移的弹性。机器学习文献提出了多种技术，例如数据集增强、噪声注入和多任务学习，以规范DNN来学习可概括的特征。其他技术，包括迁移学习，已证明可以通过将通用表示从预训练模型迁移到新领域来提高模型的鲁棒性。此外，有研究人员探索使用未标记的自由数据来规范模型训练，以提高其鲁棒性。接下来，我们将回顾用于开放世界任务的两种主要的安全相关类型的机器学习鲁棒性技术。我们还将在讨论部分简要回顾对抗性示例的鲁棒性和检测技术。

域偏移的鲁棒性

域偏移也称为分布偏移和数据集偏移，描述了输入数据分布与训练集相比的变化。与测试集性能相比，分布偏移通过打破训练和测试数据之间的假设来降低运行性能。在这方面，域泛化是开放世界应用（例如自动驾驶汽车）机器学习算法的一个重要方面，这些应用的数据是从不受控制和快速变化的环境中捕获的。域泛化可以通过许多不同的方式来实现。一种方法是对抗性域适应，它利用从目标域捕获的大量未标记数据。研究人员实施了基于学习的方法来合成新训练样本的前景对象和背景上下文。多任务学习是另一种通过同时学习两个（或更多）任务来提高模型鲁棒性的技术。研究人员提出了一种姿势感知多任务车辆重新识别技术，以克服对象的视点依赖性。他们创建并使用大规模高度随机的合成数据集，并自动注释车辆属性进行训练。还有研究人员采用了不同的方法。建议使用模型集合来捕捉和学习不同的姿势以及物体的视角，以提高整体鲁棒性。此外，为了提高物体检测模型对遮挡和变形的鲁棒性，研究人员使用对抗性网络来生成困难的正面示例。

在最近的一项工作中，我们提出了一种新技术，用于提高无人机（UAV）域转移的模型鲁棒性。我们将对象检测问题视为具有多个细粒度域的跨域对象检测问题。然后，我们训练我们的对象检测模型，以提取目标域的许多不同“非理想”变化（例如天气条件、相机角度、光照条件）所共享的不变特征。为此，我们以模块化方式在输入和干扰预测分支（每个非理想条件一个）上添加一个干扰解缠结特征变换块，并在对抗性设置中联合训练最终网络。与普通基线相比，我们在Faster-RCNN主干网络上的实现在提高模型对天气、高度和无人机图像视图变化的鲁棒性方面表现出优异的结果。

对损坏和扰动的鲁棒性

自然数据扰动和损坏通常存在于开放世界环境中。对DNN对损坏和扰动的鲁棒性进行基准测试表明，机器学习模型对简单扰动表现出意外的预测错误。要实现模型对自然损坏（例如，由于图像数据中的相机镜头、雪、雨、雾）和扰动（例如，传感器瞬态误差、传感器上的电磁干扰）的鲁棒性，需要提高模型在干净数据集之上的鲁棒性的技术。以前，经典的数据增强用于获得对旋转和缩放等简单图像变化的鲁棒性。其他技术，例如使用自适应算法来选择增强变换和随机补丁擦除也被证明对于鲁棒性和表示学习都有效。最近，风格迁移等高级增强功能已被证明可以提高模型对纹理偏差的鲁棒性。另一项研究提出了更大的网络，通过多尺度和冗余特征学习来提高DNN的鲁棒性。

另一方面，对抗性扰动是攻击者故意制造的小但最坏情况的扰动，因此受扰动的样本会导致模型以高置信度对样本进行错误分类。我们区分自然扰动引起的安全危害和对抗性扰动引起的安全危害，因为后者故意利用系统漏洞造成伤害。在关于未来工作的讨论中简要提到了与对抗性扰动相关的安全问题。

表1：用于提高ML算法安全性的实用机器学习技术表。左列介绍工程安全策略，右列映射机器学习技术，每行包含三篇代表性研究论文

4.结论和未来工作

在这项工作中，我们对机器学习算法中存在基本局限性的经典软件安全方法进行了回顾和分类。这项工作的出发点是利用工程安全策略和最先进的机器学习技术来增强自主系统中机器学习组件的可靠性和安全性。在这方面，维护自动驾驶汽车的安全需要跨多个领域的多学科努力，包括人机交互、机器学习、软件工程、硬件工程。我们简要回顾并讨论了ML注入系统的安全性和保障性的其他方面，这些方面可能会从学术研究中受益。

对抗性攻击的安全风险：

一个对抗性的例子是一个干净的图像（被对手）微妙地扰动，并有轻微的扭曲，因此它在视觉上看起来与原始的干净图像相同，但被机器学习模型错误分类。尽管对抗性攻击很流行，但它主要不被认为是安全问题，而是安全限制。对抗性攻击的两种主要防御方法是检测和鲁棒性。例如，研究人员提出了一种用于检测对抗性示例的MC丢弃不确定性估计技术。此外，为了提高模型的鲁棒性和对抗对手扰动的弹性，有研究人员提出了一种基于模型蒸馏的有效防御。尽管如此，考虑到攻击者总是通过设计更强的攻击来破坏机器学习组件的安全性来对当前的防御技术做出反应，因此对抗性示例的问题仍然是一个尚未解决的问题。

机器学习安全的程序保障：

除了系统的功能安全之外，程序保障还可以帮助操作员和产品最终用户（例如自动驾驶汽车的驾驶员）避免由于缺乏说明和无意识而无意误用系统。用户体验（UX）设计和算法透明度是提高自动驾驶汽车运行安全性的两种方法。在这种情况下，最终用户可以从可解释的用户体验设计中受益，该设计提供了有关模型推理和预测不确定性的有用且易于理解的信息。例如，用户体验设计可以利用模型不确定性的实时可视化进行车辆检测和路径规划，以帮助提高驾驶员对道路上车辆安全的理解。

在未来的工作中，我们计划审查最近的自动驾驶汽车应用程序保障设计和研究。包括校准用户对人类人工智能系统信任度的关键技术和因素。

详询“牛小喀”微信：NewCarRen

详询“牛小喀”微信：NewCarRen

作者：牛喀网专栏作者
牛喀网文章，未经授权不得转载！