导语：自动驾驶汽车是一个复杂的机器人系统，如何对自动驾驶安全性能进行科学、合理、有效的评价，是相关行业共同面临的重要挑战。本文系统梳理了世界车辆法规协调论坛（WP.29）自动驾驶验证方法非正式工作组提出的自动驾驶汽车安全评估与测试方法，分析了多支柱评估测试方法的内容、适应场景，总结了综合应用多支柱测评方法需要关注的事项，希望能为我国开展自动驾驶汽车安全认证管理工作提供启示借鉴。
一、多支柱法概述
验证自动驾驶系统（以下简称“ADS”）安全性是一项高度复杂的任务，仅靠一种验证方法不能全面有效地完成，要采用多支柱方法进行验证。该方法由场景和五种验证方法（支柱）组成，多支柱法的构成及其关系如图1所示。
图1：ADS系统多支柱法测试关系图
场景是给定车辆行程中可能发生的真实驾驶情况的描述，是用于系统验证ADS安全性的多支柱方法的重要基础。仿真测试使用不同类型的模拟工具链来评估ADS在各种虚拟场景中是否符合安全要求，包括在现实世界中极难测试的场景。仿真测试需要考虑其可信度。场地测试使用具有各种场景元素的封闭式测试场对ADS的能力和功能进行测试。道路测试用以测试和评估ADS在真实交通条件下的驾驶能力。
审查验证时，制造商需要向安全管理部门证明其ADS的各项能力，证明方式包括相关文件、仿真测试、场地测试以及道路测试的过程和结果。审查验证可以确认企业是否已将与ADS相关的危险和风险进行识别，是否有健全的流程、机制、策略（即安全管理系统）以确保ADS在整个车辆生命周期内满足相关安全要求，以及是否实施了稳健和确保一致性的安全方法，包括将设计安全理念贯穿于产品研发使用全过程。审查验证还将评估不同支柱之间的互补性，以及场景总体覆盖水平。
监测报告致力于解决ADS投放市场后的实际使用安全问题。该方法依靠收集行车相关数据来评估ADS在道路上运行时是否还能继续保持其安全性。监测报告还可以为开发新的场景和在现有场景基础上的衍生场景提供数据资源，也能够帮助整个自动驾驶行业从重大ADS事故或事件中学习提升。
二、仿真测试
仿真测试的灵活性使其成为车辆设计过程中的标准测试方法，随着仿真测试技术的发展，该方法逐渐成为ADS验证过程的重要部分。对于ADS，不可能在真实世界中测试车辆在所有可能情况下的行为，也不可能测试ADS驾驶逻辑的任何后续变化。因此，仿真测试将成为验证自动化系统处理各种可能场景能力不可或缺的工具。此外，出于对测试过程安全问题的担忧，仿真测试有助于取代部分场地测试和道路测试。因此，建议使用仿真测试来测试ADS在危险场景下的性能，原因是这些危险场景很难在场地或公共道路上重现。
根据自动驾驶整体验证策略，以及仿真测试工具链和模型准确性程度，仿真测试可以实现以下ADS验证目标：（1）定性给出整个系统的置信度水平；（2）定量给出整个系统的部分安全特性置信度水平；（3）定性或定量给出特定子系统或组件性能的置信度水平；（4）发现可以在场地或道路测试的挑战性场景。
仿真测试方法的局限性在于其固有的保真度不足。模型是现实的代表。开展ADS安全性验证时，需要评估模型的保真度，故仿真测试及其使用模型的验证对于测试结果的质量和可靠性至关重要。
为了提升仿真测试的可信度，建议在对相同场景进行测试时，将仿真测试与真实道路测试结果进行比较。这是评估所使用仿真测试工具链准确性的有效方法。与场地测试相比，仿真测试的场景数量很大，因此可选取具有足够代表性的相关场景子集开展比较验证，据此可以通过合理的推断，实现对其他场景测试时的可信度评估。
短期内，仿真测试宜使用ADS制造商开发和维护的工具链进行。仿真工具链的设计取决于制造商实施的验证和确认策略，因此目前提出工具链标准化等要求的必要性不是很大，但ADS制造商应对仿真工具链的使用作出解释和记录，并在认证过程中评估其适用性，只有这样才能确保仿真测试中，厂家提供的文件和数据是“正当”可用的。此外，相关模型和仿真过程应该足够可信，以便评估人员做出合理的决定。值得注意的是，由于仿真测试工具链及相应的确认标准缺失，很难在不同的仿真测试环境中复现同一仿真测试过程及其结果。
在开展ADS安全测试时，特别需要注意仿真测试和其他测试方式之间的交互。仿真测试与其他支柱方法之间具有很强的关联性，特别集中在以下方面：（1）鉴于ADS数量众多而又多样的配置、预期用途和使用限制等特性，仿真测试是对物理测试的重要补充。仿真测试的一大优势是以较高的性价比，通过多场景、穷尽参数域内参数值等方法评估ADS的性能表现。通过对物理测试中有限的参数进行泛化，可以得到涵盖更多实际测试场景实例的可验证数据，应用这些泛化数据开展仿真测试，是对上述物理测试的有效补充。应用上述参数泛化办法，可以开展更高覆盖度的危险场景测试，进而为车辆实际通行上述危险场景时的预期功能提供仿真证据支持。仿真测试降低了其他测试方式的负担，是对其他测试方式的有益补充，进而增强了整个多支柱测试评价的进程。仿真测试还可以有效识别和覆盖边缘场景，以及其他低概率场景。（2）仿真测试是开发通用场景的有效方法。（3）仿真测试可以测试ADS临界性能，清晰定义碰撞避免和碰撞减缓边界。通过随机化和场景重组的方法，仿真测试可以让研发或评估人员更好地“挑战”ADS性能，增强在低概率事件下其性能的置信度水平。（4）在开展审查验证时，仿真测试是一种关键手段。在车辆研发、验证和确认阶段开展仿真测试的结果，是支持审查验证的的最有价值的证据。制造商应当提供能够说明仿真测试实施过程，以及对仿真测试工具链进行确认的证据和文件。（5）物理测试结果可以增强仿真测试及其模型精度。（6）针对监测报告阶段发现的值得关注的问题，仿真测试可以发挥重要作用。根据真实事件，仿真测试可以快速灵活开展分析，协助企业理解和验证ADS相关行为，并理解事件发生的渊源，识别未经测试的场景和相应参数，识别事件的规模和程度，也可以评估ADS系统优化后的效果。这些信息可整合融入场景，通过共享等进一步为整个行业发展作出贡献。
三、场地测试
场地测试通过在封闭场地设置真实障碍物或替代障碍物来评估ADS的安全要求符合性。场地测试用真实车辆在真实环境下的测试来评估ADS子系统或整体系统的性能，测试中的外部条件和输入可实时控制和测量。
场地测试适宜在标称场景和危险场景下测试ADS的性能，可用来评测场景中与人机交互和安全回撤相关的车辆性能。场地测试所需投入的资源不菲，但与道路测试相比，场地测试能够有效、可控、安全地开展低概率事件或危险场景测试，根据同一场景在场地测试和仿真测试中的不同结果，可以对仿真测试进行验证。
四、道路测试
开展道路测试时，应当关注以下几点：（1）设置测试内容时，应当更加关注ADS系统在真实道路交通环境中的表现，如平稳驾驶、应对拥堵、与其他交通参与者交互、保持交通流平滑、文明礼让驾驶等；（2）应当考虑评估ADS系统在运行设计域边界的安全性能，如验证预设的天气情况、道路环境情况等接管条件，与此同时，可验证人机交互的内容；（3）考虑评估场地测试和仿真测试难以捕获的情况，如由于光线、雨雾等导致的感知受限情况。
道路测试中若发现违法违规等情况，应该进一步收集道路测试、仿真测试、场地测试中的相关数据作进一步深入分析。根据同一场景在道路测试和场地测试、仿真测试中的不同结果，可以进一步针对仿真测试、场地测试环境开展优化。道路测试也可进一步支持开发仿真测试、道路测试新场景，特别是协助发现、识别更多能够挑战ADS的边缘场景和预期外的风险场景。道路测试获取的信息也可增强ADS设计能力、危害和风险分析能力。
五、审查验证
审查验证方法是与自动驾驶汽车ADS功能的研发和测试密切相关的，见图2。审查验证的目的主要有：（1）确认企业具有汽车全生命周期的功能安全与运行安全研发、管理流程；（2）确认车辆是按照安全设计方法进行设计的，并且在投入市场前开展了足够的验证。
图2：带有ADS功能的汽车开发与验证流程
企业需要说明以下事项：（1）在汽车的研发、生产、投入使用、回收等全生命周期，均具有确保安全的稳健安全管理流程，包括车辆在投入使用时的安全监测，以及出现异常情况时的紧急应对；（2）与系统相关的危害和风险已被识别，并且实施了安全设计理念用于减缓上述风险；（3）上述安全设计理念、风险评估方法均已进行了足够的验证，确保车辆不会对整个交通系统造成合理可预见的风险。
根据企业提供的车辆安全相关证据及相应的确认试验结果，认证机构可以针对企业安全管理流程、风险评估、安全设计、验证确认等环节进行审查验证，确保上述环节可以保障车辆的功能和运行安全。与有限数量的物理仿真测试相比，上述方法更能稳健地说明ADS系统的安全性。
六、监测报告
监测与报告方法进一步收集车辆在投放使用过程中的有关数据和证据，用以说明ADS系统在实际使用中仍然能够确保安全。监测报告方法的主要目的有：（1）通过实际道路运行情况，进一步证明审查验证阶段的安全评估结果；（2）发现更多有价值的场景，补充测评场景库；（3）分享事件、事故相关信息，促进ADS系统行业发展，以及相关技术规范和管理制度的进一步规范完善。
监测报告可与企业安全设计、安全确认等共同形成ADS系统安全管理的闭环，也有利于进一步完善安全要求和验证手段。值得注意的是，车辆运行在线数据数量庞大，通过运行数据生成场景库的工具还不完善，确定事件责任方还较难，以上均是开展监测报告工作需要面临的挑战。另外，收集数据的可靠性验证也值得关注，收集、报告数据的内容、方法和流程也需要标准化，针对实时数据发现的问题，应该建立迅速的响应机制。
七、总结
多支柱法致力于通过灵活而又技术中立的方法来测评ADS系统的安全性，进而促进行业的发展。其主要目的是根据ADS系统的安全要求，评估其能否成功应对实际通行时面临的各类风险问题，特别是评估涉及系统与交通参与者、环境交互、人机交互、系统失效等相关场景中的安全性能。单一的测评方法均无法实现上述安全评测目的，且上述任何一种测评方法在模拟环境的真实性、控制环境变量、可扩展性等层面均存在固有的优势和劣势。从这个角度来看，需要根据具体的安全测评要求来选取合适的测评方法。概括而言，审查验证法通过系统的风险分析，可以全面评估ADS系统安全性能；需要变更测试参数，或面临大量测试任务以满足场景覆盖度要求、利用事前记录的传感器数据评测感知质量时，仿真测试具有较大优势；当通过离散的参数即可测评系统安全性能，或测评对高保真度需求较高时，如人机交互、安全撤回、关键交通场景等，就需要开展场地测试；当通过仿真或场地测试无法精确代表相关场景时，如与其他交通参与者的交互等，则需要开展道路测试；监测和报告方法充分利用了大量不同的真实驾驶和交通环境中交互产生的数据，是确认ADS系统安全性能最有效的方法。因此，综合应用多支柱法，发挥各自的优势，弥补各自不足，并尽可能避免重复和冗余测试，则可以达到高效、全面和协同的目的。
（文 /公安部道路交通安全研究中心 周文辉）
版权声明
1、凡本网注明“来源：(非中国道路交通安全网/中国道路交通安全协会)”的作品（含图片），如需授权转载应在授权范围内使用，并注明来源。
2、部分内容转自其他媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其他问题需要同本网联系的，请在30日内联系我们。电话：010-67152935