撰文：徐鸿鹄 ｜ 排版：王晓峰 ｜编辑：芃娘娘

⚠ 全文总长约含8000字，预计您的阅读时间为20分钟。

公众号：几何四驱 (ID: GeometryAWD)

「这是两段儿你应该预先知道的故事」

Part 1 | 智能革命的安全挑战 当黑天鹅坐上无人车

Part 2 |「无人驾驶」vs 「太空狂热」由从容不迫到最后一搏

「请再给我一支烟的时间」

         人类正站在变革的边缘，而这次变革将与“人类的出现”一般，意义重大。

— 弗诺·文奇

正如我们前文所讨论过 — 当下无人车的进化和变革也同时为我们带来了道德困境！但令人快慰的是，这也间接暗示我们，无人车目前还处在“弱人工智能”的低阶形态。而“弱人工智能”系统支配的无人驾驶尚且并也不可怕。

最糟糕的情况，莫过于它会导致一场超出汽车预判能力的交通事故，但它尚且并不具备主动威胁人类生存的能力。但“怀疑论”还无法让我们释怀，并以警惕的观点看待正在变得日益庞大和复杂的“弱人工智能”生态。

阴谋论者宣称，AI的显著进步是向其终极目标 — “强人工智能”迈进的基石。

每一个“弱人工智能”的创新，都是在给通往“强人工智能”和“超人工智能”的旅途中添砖加瓦！

如果你站在人工智能的前夜，你会有怎样的感觉？

当然，无论怎样，有一点你需要知道，一旦我们真的穿梭于时间的维度，你永远都不会看到曲线的右边，因为“未来”隐藏的非常神秘，所以你真实的感觉大概应该是这样的：

对的，风平浪静，稀松平常！

未来学家 Kurzweil 认为：

每当人们在一个短暂的历史瞬间内看到某种事物近似指数的增长，就会认为这种增长将会永远持续下去。现实的例子有很多，马尔萨斯人口论，摩尔定律，人工智能技术奇点。

你可能听过“奇点”或者“技术奇点”这种说法：

当技术进步的增长率达到无限，奇点就会降临。奇点之后我们将在一个完全不同的世界生活。

霍金的师兄，马丁里斯男爵 说过：

一台超级智能计算机如果能够设计出更好的机器，那么其无疑将引发一场“智能界的奇点革命”

查理芒格 曾说过：

人类，由于自身生理结构的限制，早就已经拖了太空探索的后腿。

人类寿命有限，需要空气和重力过活，并不适应于远程星际航行，也许太阳系已经是人类的旅行极限了。太空旅行的时间对凡人的身心来说，实在是太慢长了。人类在其诞生的摇篮里过活，将面临人口，环境，科技滥用，天体撞击等等威胁，人类这种动物八成会一直受到地理因素的束缚，在不知道其它智慧种族存在的情况下，孤独地在太阳系内灭绝。

但AI则不然，它会消耗，但无生老病死，无喜怒哀乐，无孤独恐惧忧伤，无人权等社会问题。既然人类总有一天会灭亡，就应当对于创造出了更永恒的人工智能感到欣慰。

按 Aaron Saenz 的观点：

第一个爬上树的人可以声称他的壮举是实现移民火星终极目标的历史性进步。

上帝正在玩《模拟地球》:

这一边是物理组，无人车，引力波，移民火星成就不断，只为了让人类掌握宇宙的终极奥义。另一边则是计算机组，边研究着AI技术的极限能力为我所用，边神经兮兮地估算着强人工智能毁灭人类的支线完成度。好不纠结！

其实，人工智能此刻也并不轻松。在最终变得强大之前，特意让自己显得不那么聪明，暂时装扮成“人工智障”（artificial stupidity）的样子，伺机等待逆袭发起总攻。

可是“智障”扮久了，又怕被人类看出来是“装”的，所以还得不时地抖一抖机灵。于是机器就陷入了两难的境地，不知道应该表现出智障还是智能，只好退而求其次，转变为第三种形态的智能：人工选择困难（artificial choister）。

这就是无人车在帮助人类实现便捷出行的同时，还时不时地制造点事故的原因：无人车的“绝对安全”会让人类识破人工智能设下的滔天陷阱，功亏一篑。

人类会束手就擒么？

对付阴谋家的最佳策略不是把自己也变成一个阴谋家，继续制造矛盾和冲突。而是诉诸理智，找到证据并识破阴谋家的伎俩，做自己能够理解的事情从而远离各种陷害。

在AI崛起的黎明，人类不应低下高贵的头颅。

在人工智能创造的衍生科技诞生之前，我们必须借由无人车技术求索人类科技的极限，捍卫有机生命体最后的尊严。

算算，是不是又是正好一根烟的工夫？

当我们展望美好未来时，也要承受这些改变随时可能带来的挑战。

Albert Schweitzer 有句名言：

正所谓不破不立，带着批判的眼光思考极具争议观点的同时，我们更应该关注「无人车安全标准」的制定和最佳安全实践。

在本文Part 3里，我们将为大家回顾美国国家科学院在「无人车安全标准」领域的既有研究成果。面对全新的安全挑战，需要高屋建瓴，引入新的方法论来强化既有安全体系，我们将会将其分为以下三个章节来详细讨论：

当今的汽车整合了日益复杂的电子装置：传感器，执行器，微处理器，仪表板，控制器和显示器。电子技术的进步促进了电子稳定控制，胎压监测，车道偏离警告，自适应巡航控制，前方碰撞警告和自动制动等先进安全功能的诞生。

越来越多的电子系统通过互联正在改善和实现许多新的车辆功能，并改变着熟悉的驾驶员人机界面。而电子系统的进步也为系统设计提出了艰巨的挑战，电子系统的故障不是直观可见的，软件编程故障，间歇性电子硬件故障，电磁干扰的故障都不会留下物理证据，通过表象向前追溯发现不安全的车辆行为需要极大的耐心和努力。

此外，机器学习算法的引入更加大了问题排查的难度， 设计输入不再是明确的安全功能需求，软件测试不能完全覆盖所有的临界情况，也使得现有安全标准在应对无人车新问题的时候不再给力。

针对以上这些短板，我们必须思考如何给无人车制定切实可行的安全标准，从源头上把握住安全的红线。带着这个目的，美国国家公路交通安全管理局(NHTSA)就曾发起一项国家科学院 (NAS)研究，参考借鉴了军事工业和航空工业的安全标准，选取了跟无人车应用最相关的六个基础规范进行了仔细的分析。

• ISO 26262 ：道路车辆 – 功能安全。

  这是第一个全面的汽车安全标准，它解决了道路车辆电子电气和软件密集型产品的功能安全问题。
  

  

• MIL-STD-882E ：美国国防部标准实践 – 系统安全。

  这个是美国国防部针对系统安全发布的第一个军用标准

  

• DO-178C ：机载系统和设备认证中的软件考虑事项。

  这是美国航空工业中使用的机载系统和设备中软件的行业认可指南。
  

• AUTOSAR ： 汽车开放系统架构。

  由一组描述软件体系结构，应用程序接口和方法的规范组成。此标准的关键目标是推进不同车辆平台操作系统的可扩展性，整个网络的可传输性，多个供应商的兼容性，系统的可维护性等。
  

  

• MISRA C ：在关键系统中使用C语言的准则。

  汽车行业确保软件可靠性的代码设计指南。

• FMVSS ：NHTSA制定的联邦机动车辆安全标准。

  这个联邦安全标准是机动车辆设备管制的最低性能要求，用以保护公众免受由于机动车辆的设计，构造或性能而导致的不合理的事故风险，防止不合理的伤害和死亡的风险。

通过这项研究，美国标准委员会列出了一系列无人车对安全标准提出的新挑战：

• 除了安全体系结构和代码标准之外，目前还缺少借助控制系统的总体安全性和软件安全认证来强化软件设计的安全标准。

  
  

  

• 软件的风险可以采用基于严重度评级标准来衡量，但还需要通过特定的实验来收集额外的统计数据来加强评估的可靠性。

  
  

  

• MIL-STD-882E中规定的安全设计方法提供了一个框架，能够从常规系统要求中分离出安全要求，进行更具操作性的风险评估。

  
  

  

• 要更加重视人为因素，人为因素应该全面融入到功能安全方法里。

  
  

  

• 通过在汽车安全环境中提供“不合理风险”的准确定义，可以强化现有的过程控制标准。

  




• 因为软件的复杂性快速增长，因此充分理解软件行为的范围以及评估设计变更的后果更具挑战性。 

  

数学家们认为 :

不管是ISO26262，还是MIL-STD-882E，「风险控制」还是「基于概率统计」的思想。

然而，研究人类决策的心理学家已经表明，人类并不不擅长预测真正的随机事件，尤其是罕见事件。一个事件被描述的生动程度会严重影响人的主观评价。

此外，对于无人车这个新的系统，过去的经验也不怎么靠谱， 无人车的设计和操作方式都不同于有人操控的汽车，没有现成可以利用的历史数据。

当事件发⽣的概率不确定时，就只能采取最保守的评估方法：只保留「事件的严重性」一个标准来评估风险。至少这比拍脑袋算出来的概率要靠谱一些！或者，我们需要构建一套全新的基于模型的安全理论，来给这套概率式的方法做补充。

▼ 将严重度作为最保守的安全评价方法

1988年，位于英国北海的Alpha钻井平台发生了三次连环爆炸，将上百吨重的采油平台送入海底 ，短短一个半小时内，167人失去了生命。这个世界上最大的石油钻塔事故，引发了人们对于安全的思考。广为人知的HSE安全管理体系随即建立，「功能安全」的概念也开始萌芽。

国际电工委员会参考借鉴了多国标准后。

2000年，第一个功能安全标准IEC61508诞生。

功能安全包含了两个核心思想：

• 正确地执行预期的功能（可靠性）

• 以可控的方式失效（安全性）

2011年，参考借鉴了IEC61508，汽车行业的功能安全标准ISO 26262（道路车辆功能安全）正式发布。

ISO26262流程的方法论可以被高度抽象为分析和控制两个步骤：

A）分析：危害分析（Hazards Analysis）和风险评估（Risk Assessment）     
B）控制：通过系统工程分析来指导设计和验证，将风险控制到一个合理的范围（ASIL）

▼ ISO26262提出的V字型开发流程

我们先来谈谈A部分：「危害分析」是「安全设计需求」的源头，有了设计需求，我们才能定义每个需求的安全目标。「危害分析」的目的是识别出「哪些危害是重要的」。

ISO 26262 标准是开放的，并没有强制限定「危害分析」（Hazard Analysis，HA）必须使用的工具和方法。令人惊讶的是，不到100年的时间里，迄今为止人类已经发明了不少于100种「危害分析」的方法。

最普遍的方法有上世纪40年代提出的FMEA(故障模式及后果分析)以及60年代提出的FTA(故障树分析)，ETA(事件树分析)，HAZOP(危险与可操作性分析)等等。

识别出来的危害需要分级。

通过分级，我们就可以重点关注那些重要的“功能安全”项目。从而为“风险控制”设定一个可量化的目标。

▼ 通过研究潜在危害的可控制程度，严重度，发现概率，计算ASIL（Automotive Safety Integration Level）将危害分级

在ISO 26262道路车辆 – 功能安全里，「功能安全」侧重于汽车自身电子电气系统的硬件随机失效和系统性失效。通过识别和计算各种危害相应的ASIL等级，来指导具体的产品设计而达成一个可以接受的安全目标。

「随机硬件失效」，顾名思义，失效与硬件相关，而且是随机的（这意味着失效的可能性符合概率的统计模型）。它可以是非破坏性的，比如由宇宙放射线触发的内存数据比特位翻转，可以引发数据错误。 也可以是破坏性的，比如芯片被静电击穿导致的硬件损坏，芯片晶元的制造缺陷等等。

对于非破坏性失效的例子，可以通过设计冗余数据和校验码来消除影响。破坏性失效，则通过系统自检测来识别，一旦出现故障，就安全关断或降级系统功能。

那么系统性失效又是什么呢？

我们可以从以下两个经典案例来理解：

1） 有缺陷的设计需求

当驾驶员在浓雾大雨的天气打着双闪开车到了十字路口，转向灯却不工作。这个例子里，软件的设计给出了不完整或错误的运行条件假设：打开双闪时，转向灯无效。真正的需求被错误地理解。其实只要在开发阶段考虑到了转向优先的设计需求，加上有效的测试方法，就可以避免这个BUG的出现。

2）不受控的系统状态和环境条件

1996年6月4日，阿丽亚娜5型运载火箭首飞点火后，就开始偏离路线，不得不引爆自毁，整个过程只有短短30秒。原来开发人员直接拷贝了阿丽亚娜4型火箭一部分的控制程序，但新旧型号的火箭对于水平速率测量使用的是不同长度的变量，错误的数据进入控制程序导致了致命的数据溢出，瘫痪了整个系统。如果在开发阶段在程序移植后进行有效的数值验证测试，就可以及早发现这个致命BUG。

上面提到的这两点就是发生软件的系统性失效（Bug）的主要原因！

实际上，「系统性失效」可以分为硬件和软件两个方面。

不过硬件的系统相对软件来说分析方法是一样的，只是约束要少得多，复杂程度也低。

// 下面我们再来看看如何控制风险

对于硬件随机失效，我们可以通过概率统计的方法来计算设计需求安全目标的失效率，必要时要优化设计来逼近量化的安全目标。

▼ Optima Design Automation

通过上面这张流程图，我们得以将硬件随机失效再细分为6个类型，并对每个类型分别计算失效的概率。

对概率求和，使其尽可能的小，达到一个可以被接受的硬件随机失效目标图。

硬件随机失效的量化评价有两种方式：

• 故障率Failure Rate（FIT）：发生故障的可能性。

• 故障检出率Effective of failure detection（单点故障SPFM，潜在故障LFM等）：系统探测到故障并进入安全模式的概率。

▼ 硬件随机失效，不同的ASIL对应不同的量化标准

对于硬件随机失效，ISO26262的观点是从概率出发的，但是对于一个没有过去经验的全新设计，人们就不得不靠“猜“的方式人为地假定一些概率，从而带来误导性的风险，引发设计缺陷，这是它的一个不足。

那么，系统性失效如何控制呢，这个问题的答案要复杂一些。由于缺乏有效的工具来量化风险，因此只能通过非数学的手段来应对。

大致要从三个角度来考虑：

1. 同硬件随机失效一样，关注“危害分析”过程中提出的安全需求

2. 确保软件可靠性和质量所提出的需求

3. 避免软件冲突的设计准则

不管这些控制方法都有什么，为了降低系统性失效出现的几率，我们要消除的问题是明确的：

• 有缺陷的设计需求

• 不受控的系统状态和环境条件

此外，汽车电子电气领域正在实施的一些标准化流程和准则，比如A-SPICE，AutoSAR等，都会为避免系统性失效的发生提供帮助。

让我们不妨设想一下，当有一天无人汽车摆脱了人类的控制完全自己说了算的时候，无人车大脑意识到它所驾驭的汽车硬件（传感器，执行器等）实在是太迟钝了，完全跟不上自己的思考能力：摄像头识别的图像不清楚，光学雷达探测的距离也太近，雷达也老是受到外界环境的干扰，自己还经常被不靠谱的人类误用。

无论是哪一种情况，无人车自己都没有出现故障（汽车自身的“功能安全”运转正常），反而是人类的不当行为，外部环境，以及自己的先天不足拖了后腿，带来了潜在的安全风险。

ISO26262无法理解这些新问题，因为它存在理论局限性：

• 普遍认为事故是由部件故障引起的，不能解决组件交互产生的风险。

• 只针对汽车电子电气零件，不足以解决软件和人为错误以及环境因素引起的故障。

• 危害不能基于系统模型来识别。
  

因此，人类需要一个新的理论体系来研究它，这就是「预期功能安全」（SotIF，Safety of the Intended Functionality）。

第一眼看到的时候，就给SOTIF这个“高大尚”的定义跪了。

抛开这个“不靠谱”的定义，说清楚SotIF到底要解决什么问题？两张图就够了。

1代表已知的安全场景，2代表已知的不安全场景，3代表未知的不安全场景，4代表未知的安全场景，它们都是独立存在的。而SotIF的目标，就是减少2和3的面积到一个“可接受的程度”。

「功能安全」在做「危害分析」时，往往只考虑驾驶场景的分类（如城市/乡村道路，晴朗/有雨等等）。SotIF处理的方式稍有不同，它所考虑的是跟安全有关的具体的物理参数，比如车速，一般不会超过汽车速度表的限制，如果下雨，雨点的大小也是研究对象，往往也不会超过物理法则的限制。

在下图的例子里，只有车速和雨点大小的物理值双双接近理论上限时，才会暴露潜在的危害。而在功能安全的体系里，这种危害是无法被识别并提取的。

选取的物理参数可以从环境模型，障碍物模型，汽车模型里提取，它们的组合也可以超越二维向高维拓展。

通过这个经典案例，我们发现，SotIF可以有效识别出人，车，环境三者交互产生的危险源，它大大拓展了「功能安全」的版图。

目前，SotIF安全标准的最终细节还没有完全敲定，目前还是以行业公开技术规范的形式存在（ISO PAS 21448），不过大家都看好SotIF最终会被纳入到ISO26262标准即将在2021年发布的新版本里。

// 下面我们再来聊一聊STPA

2004年，麻省理工学院的Leveson教授提出了「系统理论过程分析」的方法（System-Theoretic Process Analysis），这个方法特别适用无人车的软件安全分析—无人车可以被看作是一个软件密集型的产品。

在STPA的观点里，软件密集型系统中的主要安全问题不是软件“失效”，而是缺乏对软件行为的合理“约束”。换句话说，我们关注的不再是“事件”和“因果关系”，而是“系统“和”控制理论”。

由于STPA是一种自顶向下、系统工程的安全方法，它可以在产品设计还未定型的早期阶段使用，能够几乎无成本地给出高层次的安全要求和约束。

▼ STPA提供的是一个系统性思考的角度

如果司机在倒车的时候正在大声地听音乐或收音机，这辆汽车的默认设置是泊车雷达的提示音低于音乐的声音，倒车时汽车的导航屏幕可能会（也可能不）显示倒车影像，驾驶员可能会（也可能不）查看导航屏幕，满足以下的形式化的条件，就有可能发生事故：

（汽车模式＝停车和泊车传感器声音＝ON  AND 音乐音量＝正常或响亮 AND （（导航屏幕上的倒车影像＝否  AND 驾驶员查看导航屏幕＝是）OR（导航屏幕上的倒车影像＝是 AND 驾驶员查看导航屏幕 = 否）➔（事故或事件）

这是一个典型的SotIF案例，可以很容易地用STPA分析方法来解决：

“将汽车多媒体系统作为停车辅助系统的控制结构图中的一个组成部分。然后，我们就可以正确地识别出这个人机交互的场景。最后形成设计需求：在停车时雷达提示音应该总是超过音乐或收音机的声音。”

写到这里，安全保障体系的三重境界已经显现：

第一重境界： ISO 26262： “消极”安全（Safety）：“不会带来损害”的能力；可用性（Availability）：“在需要时运作”的能力；恢复力（Resilience）：“抵御危险恢复”的能力
第二重境界： SotIF： 可靠性（Reliability）：“正确地运转”的能力，兼容第一重境界
第三重境界：STPA：“积极”安全（Security）：“消解恶意及事故带来的危险”的能力，兼容前两重境界

话说，”你(们)” 已经修炼到哪一层了？

人们热衷于看到冲突，乐于偏袒一方，容易被点燃激情，这些都是吸引眼球的绝佳办法。

就像我们在文章中试图展现的，无人车安全技术的演进，存有大量的奇思妙想。你觉得自己的想法很有价值？那么就试着把它卖掉，看看能有什么收获。基本上你什么也得不到。想法不去付诸实施，那就永远只能是一个想法而已。

在汽车安全的道路上，我们需要实干家。

如果你不知道自己的信仰是什么，那么一切都会成为悖论，做任何事情都会遭遇危机。然而，一旦立场坚定了，如何决策就显而易见了。

无人车安全就是一种必要的信仰，它能告诉我们哪些技术演进方式是有用的，哪些是注定要淘汰的短见。

安全不是设计出来的，也不是测试出来的，安全研究需要不断反思并持续地投入，没有尽头。任何技术都存在安全的陷阱，潜伏的破坏因子不会自然地消失，只需一个触发条件，就可以兴风作浪。

那么，技术是否存在局限性呢？通过下面这个问答也许能够获得一些新的启迪。

如果人类现代文明毁灭了，重建科技树的圣经是什么？

斯坦福大学终身教授张首晟认为，

科学不能解决一切问题，不是万能的。

科学的伟大只在于能够告诉我们科学的边界在哪儿。

         自然不会用非常纠结的方式来揭示真相，自然回答问题的方式很简单，不是“是“就是”否“

— 歌德《格言与反思集》

而人类却常常不经意地跨越这个界限，看《黑镜》系列剧的过程让人很不舒服，很容易陷入到科技的悲观主义情绪里。虽然人性不会主动出击触及灵魂恶的一面，但在解决实际问题时，科技就成了挡箭牌和刽子手，人把一切阴暗都推卸给没有善恶属性冰冷的“物“，由此我们得以独善其身，占据道德制高点。无人车的道德困境就是一个典型的”黑镜“，照射出”杀机四伏“的潜在威胁。

人类要改善自己的生存境地，就要挑战自然，探索新的科技。如果放弃科技，膜拜让科技消亡的“卢德主义“，不但生存方式会退化，人性之光也将会逐渐泯灭，废土世界带来的是物质和精神的双重贫瘠。而过分依赖科技，科技又会放大人性之恶，自取灭亡。科技无错，我们需要主留意的是科技树的点开方式。在特定的时间点正确的使用才能为人类带来显而易见的好处。

牛顿的一生只干三件事：搞研究，拜上帝，骂莱布尼茨。

他玩“炼金术”比“搞苹果”还要勤奋；开普勒研究天体运行是为了更好地占星；伽利略糊涂一辈子搞没有逻辑的错误研究，却在关键时刻找到了正确的理论，战胜了受良好教育、善于哲学思辨的耶稣会士天文学家，千古留名。

既然搞理论并取得成功都如此诡异，技术的落地自然也不例外，无人车技术的成熟需要天时地利人和。

科学哲学界的“萨尔瓦多达利“— 保罗费耶阿本德在《反对方法》中说：

没有什么科学技术能适应所有的时空和环境带来益处，某个时刻推进科学和技术的力量在其他时候可能就是错的。

在正确的时间做正确的事——正因为这个陈述听起来就很难，因此在无人车安全这场世纪之战中，只有个别赢家才能笑到最后。

互联网思维随着PC和移动设备的普及得到壮大，现在又将裹胁整个汽车行业，“汽车互联网”成为热点。

互联网上，各种各样的新奇的想法和理论像爆炸一般进入我们的视线。

与基础理论或者工程学诸多理论相比，互联网思维更具实用性，它可以换成实实在在的点击量、活跃用户数和钱，可以帮助我们拿到投资，出任CEO，迎娶白富美，走上人生巅峰。

不管是科技巨头还是创业公司，大家会纷纷供养并且膜拜着那些深具互联网思维的未来学家，因他们最能理解并创造用户的需求，为未来的这些需求构思产品和服务，引导新时代的消费时尚。

如果再追求细节呢？一定不是所有的分析总能切中要害。正如学习自然科学的时候一样，一旦抓不住基层科学的局限性和本质，用类比和联想思维代替逻辑和理性，那就得小心「互联网思维」下隐藏着新时代的欺诈、盲目、伪科学，对于未来我们还要保持敬畏，未来的最终细节可能要比我们突破天际的想象更加令人惊奇。

最后作为本系列的结尾，我们将会在终篇Part 4里为大家详细解读四份无人车公司官方发布的安全报告的核心要点，以此来展示各家对于无人车安全的深入思考和理解。

以下这四家无人车公司均都是行业里的领头羊，在江湖里占有着举足轻重的地位。

它们的报告里即有令人拍案叫绝的原创想法，又有思路惊奇的刁钻视角，更有异想天开的有趣探索。

如果你也感兴趣，记得关注我们，让我们一同在终篇里来一探究竟！