【2021世界互联网大会】约瑟夫·希发基思：自动驾驶为何难以实现

9月26日至28日，世界互联网大会在浙江乌镇举行。本届峰会的主题是“迈向数字文明新时代——携手构建网络空间命运共同体”。本次会议共设置20场分论坛，围绕全球网络前沿技术发展新趋势、网络空间治理新态势展开探讨。以下是2007年图灵奖得主、法国工程院院士和欧洲科学院院士、美国人文和科学院院士约瑟夫·希发基思（Joseph Sifakis）的演讲实录，供参考。

演讲实录：

在此次的演讲中，我将会阐述制造自动驾驶汽车，尤其是值得信赖的自主系统如此困难的原因。在我看来，自主系统对实现工业物联网愿景而言至关重要，因为市场需求，自主系统应运而生，它让现有系统变得更为自动化，人工操作正逐步被自主系统取代，并且，自主系统与游戏机器人或智能个人助理大不相同，自主系统很关键，它们可以动态地匹配不断变化的可能产生相互冲突的目标。他们需要应对复杂的不确定性，还有无法预测的网络物理环境，最终，它们将与人类和谐相处并协调合作，这也就是我们所说的“共生”自治。

如今，为了实现自主系统的愿景，我们需要从单一任务单一目标、单一域系统转变到反应式或主动式智能系统，这些系统很复杂，并继成了诸如自动驾驶系统、智能汽车、智能工厂等许多协同任务。众所周知，自动驾驶汽车是个非常热门的话题，尽管大型科技公司积极参与，并投入巨资，但关于自动驾驶汽车“即将实现”的预测，却是错误的。

近来，埃隆·马斯克也承认，要想让全自动无人驾驶技术全面落地并得以应用，就必须攻克实现世界的人工智能技术，我们也正从过渡乐观期过渡到了分歧期，但是因为我们的过度乐观导致了错误认知。这也反映了我们对自主问题的本质和潜在的技术难题，了解不足的现状这也是我们接下来要讨论的问题。

如今，现有的两种不同技术方法，都无法应对自主问题的挑战，一种是采用传统的关键系统工程，我们已经将这锥方法应用到飞行控制器生产系统之中，但这种方法却并不适用于自动驾驶汽车，而大型科技公司则采用了另一种方法，即端到端的人工智能解决方案，但这些人工智能解决方案同样不能提供所需的强有力的可信度保证。

如今，大家都在探讨人工智能的不可解释性，我认为，如果我们能成功构建自主系统，自主交通系统将会极大地缩小机器和人类智慧之间的差距。我想说的是，这目前实现起来还有些困难，未来我们会需要新的科学和工程基础来实现这个愿景。现在请看这里，这是我今天演讲的大纲，我将会阐述制造自动驾驶汽车如此困难的原因，在本次演讲结束时，我会探讨可信度的问题。

让我阐述一下自主和自主代理的区别，自主代理是一个主动的系统，与新环境不断进行交互。大家看这辆汽车，车内有内部环境和外部环境，传感器感应信息系统发出指令，执行器在此环境中执行指令，这个图片中集成了三个模块，态势感知模块，用来感知周遭环境中发生的事情，并在态势感知和知识管理的基础上进行决策。那它是如何工作的呢？收集所使用的感官信息传达给诸如神经网络的系统，用于感知目的和分析器框架。在此分析的基础上，建立一个汽车环境的模型，这是一个语义模型供决策模块使用，这个模块有两个功能，一是目标管理，你可以预测到诸如避免污染的短期目标并进行处理，从而让汽车在正确路径上长距离行驶。

例如你想开车从北京出发去上海，当然，一旦你根据语义模型选择了目标，就会生成计划，然后按月生成计划，这是一个相当复杂的过程。我们不知道如何解决这个问题，今天我将就这个问题进行探讨。还有一个功能，对未来的自主代理和知识管理很重要，为什么呢？因为有了知识，AI才能有更高的能力去理解你可能永远遇不到的情况或定义新目标，但这在今天并不实用。

当然我们知道人工智能非常重要，但这也导致了一些有关系统可信度的问题，现在为了更好地解释自动化和自主之间的区别，我想到了汽车工程师协会提出的自动驾驶等级表。我们可以看到这个从L0开始的等级表，L0代表的就是非自动驾驶，L5代表的就是全自动驾驶，前三个等级是自动化的级别，虽然拥有自动化的驾驶功能，但责任主体依然是驾驶员，L3级及以上等级的自动驾驶系统可能会由驾驶者进行监督，我们把这叫做监督条件下的自动驾驶。还有“地理围栏”自动驾驶，即在受控的环境下进行自动驾驶，还有L5级全自动驾驶。

这里我想强调，这个等级表造成了很多误解和错误认知，因为它表明了从自动化数据系统过渡到自动驾驶系统是可以渐进的，但你只是从自动化到自动驾驶，仅仅是等级的提升。我刚才说过，L2和L3等级之间的差距还很大。同时，L3级自动驾驶也带来了很多技术问题，结果证明这是一个非常危险的想法，因为我们不知道如何解决人机交互的问题，这不仅仅是常见的经典人机交互问题，这是一个把人的责任转移到机器上的问题。反之也是这样，我们不知道如何解决这个问题。

最后，L4和L5级之间也存在巨大差异，L4级代表的是地理围栏自动驾驶，我相信很快我们就会实现L4级的自动驾驶，我知道欧洲有一个很有趣的卡车列队在高速公路上行驶实验，这也说明至少在短期内实现L5级自动驾驶依旧无望。我的意思是要经过很多很多年才能实现L5级自动驾驶，前提是我们可以的话。

现在，我们来讨论一下自主系统的问题，正如我所说，现在有两种途径，一种方法是采用经典的关键系统工程，在这里我展示的这些方法是定义好的方法，换言之，他们都是根据标准制定的。在这里，你可以看到这个应用于系统的V模型和关键系统开发，从需求出发有建筑模块、编码模块，然后向上还有一些方法这些方法的一个共同特点就是，它们都是以模型为基础的工程师用模型来解释他们的选择额，基于这些模型他们可以证明提供交通自主系统的决定性证据。例如民用飞机，每小时飞行故障率是十万亿分之一。此前已经说过，这种基于模型的范式被自动驾驶交通自主系统的复杂性打败了，总体而言这也解释了行业采用端到端机器学习技术的原因。当然这也是有问题的，其并不允许任何具有决定意义的安全保证，这是标准所要求的。

所以如今的情况是，仅就我们自己而言拥有构建自动化系统的的专业知识并值得信赖，但这只是复杂度很低的系统，因此只能是组件。我们拥有大型技术公司开发的端到端的解决方案，我听说有一个自动驾驶平台内置了巨大的神经网络，而且已经训练了很长时间并积累了海量数据。在这里它会接收帧并产生转向指令并中断加速信号，现在有一些可用的商业解决方案，但这些方案并未用于自动驾驶汽车，其原因是为了确保安全性能和可信度。

我认为将来我们应该开始构建混合架构，充分从每种方法中汲取精华之处，所以我认为对这种混合架构系统的某些组件，我们必须使用机器学习技术，必须使用神经网络，但至于诸如决策等其他方面，我们可以使用基于模型的技术来解决力的问题。如何以最佳的方式组合这些方法，这是一个开放性问题。另一个非常开放的问题是怎么验证自动驾驶汽车是足够安全的？大家也许都看到过这种信息，我们甚至模拟了100亿英里的自动驾驶里程，我们的自动驾驶系统是足够安全的，这些论点是基于一些统计而形成的。

而现在的情况是，例如你想知道哪个国家每英里事故率，可以通过数据获悉，例如这些来自美国的数据，我们对每个国家都进行了研究，基于统计学角度，你可以预估可以行驶的里程，如果你行驶了2.91亿英里，没有发生伤亡，那你系统的置信度就可以达到95%，要想置信度达到99.99%，你可能需要达到这个数字。问题是，这些争论是否是关于技术的，我想并不是，因为模拟时你无法解释模拟英里跟“真实英里”之间的关系，这是个很重要的技术问题。因为可能你让你的自动驾驶汽车，在理想高速路条件下行驶数百年都不会发生事故，但问题是模拟到底涵盖了多少种情况，有很多种不同的情况。

例如，不同类型的道路、不同的交通状况、不同的天气状况。对此，我们需要进行技术论证，这也是如今所缺失的。现在拿软件测试做类比，对于软件有覆盖率的概念，软件测试覆盖率指的是已运行软件所占的百分比，这是一个客观的标准，而这个标准就是你的系统有多少经过了验证。

如今，我们对自动驾驶汽车没有这样的标准。另外，对于软件，我们还应用了功能测试技术。对此，我们将此案例应用于自动驾驶系统，我们应用场景并检测极端情况和高风险情况，但我们应该了解存在多少种高风险情况，我们需要了解这些高风险，我们需要的不仅仅是环境，当然，从统计学角度来看，它们不能提供关于故障和各种风险因素的裁决和诊断。例如，为什么会存在这样的风险？因为道路构造、拥堵程度、天气还是违反交通规则。

现在我们来总结一下。

首先我想强调一些众所周知的事情，那就是神经网络机器学习技术也可能被愚弄，有很多很多的案例印证了这一点。最近，我们看到特斯拉的自动驾驶，把月亮误认为是黄灯，我想解释一下为什么这从来不会发生在人类身上，我们应该在人机比较中明白其中缘由，人类的理解结合了从传感器级别到语义级别自下而上的推理，因为在我们的脑海里，有这个世界的语义模型啊，然后从语义模型到感知，进行自上而下的推理。例如，你把一张被雪覆盖的红绿灯的照片给一个人看，如果他知道红绿灯，并且见过雪他可以推断，这是一个被雪覆盖的红绿灯。但对机器来说你得训练它在各种情境和各种不同天气条件下识别红绿灯。

当然，对人类而言，他知道这是个基于常识的意外。如果你展示这种父亲带着孩子的照片，不用解释哪个是父亲哪个是孩子，人类有这种把两种具象知识类型的和象征知识结合起来理解世界的能力。这也是如今所缺失的，我们需要这样的系统。这个系统是自学系统，可以构建基于环境的渐进式语义模型。对此，机器学习是远远不够的，你需要结合推理技术，而这是一个难题。现在，以更技术性的事实作为结论，我认为构建可信的自主系统，可信赖的自动驾驶系统不仅仅关乎智能，这也涉及到一些我们不知道如何解决的，非常重要的系统工程问题。

当然，我们应采取混合设计的方法，但问题是怎么把基于模型和基于数据的技术结合起来，使用形式化方法的验证也无法实现全球系统验证。我们需要非常棒的模拟器和测试技术，还有一些针对此类系统的测试理论，任何技术方面合理的安全评估，都应该基于模型，所以应该依靠在系统模型上定义的标准。

作为最后的结论，我想说的是自动化系统和自主系统之间存在很大的差距。因此，从其他系统过渡到自动驾驶系统的过程不可能是渐进的，尽管如此，我们还是有一些自动化系统即将过渡到L4级自动驾驶系统。我想，如果这些系统涉及到了可预测的环境，当然L5级自动驾驶也将会实现，但我还不知道什么时候会实现，如果可以实现的话，则需要花费大量时间才能实现这一愿景，对此，我们需要新的科学成果，也需要新的工程技术。

非常感谢大家的聆听，谢谢！