百年后超级智能将“毁灭人类”——辛顿、马库斯预测人工智能未来

“两年后，深度学习依然在碰壁。”

“人工智能会产生致命的自主武器，它们将非常可怕，而且真的会自主运行。”

“降低人工智能带来的灭绝风险应该是全球的优先事项。”

人工智能究竟是无谓的炒作还是真正的人类危机？

两年后人工智能“依然如此”

“深度学习”是人工智能领最火的词儿。热度之下，难免存在着炒作。

“在无数的意见中，有一个声音脱颖而出，成为理性和公正的倡导者：加里·马库斯。” ——坎迪丝·克拉克

“Amongst the myriad of opinions, one voice stands out as a rational and impartial advocate: Gary Marcus.” —Candice Clark

在人工智能科技趋势愈演愈热的情形下，美国知名AI学者加里·马库斯（Gary Marcus）刚为大家的热情泼了一盆冷水。本周，加里·马库斯发文表示：“两年后，深度学习仍然面临同样的根本挑战。”

两年前，他发表了一篇引起很大轰动的文章《深度学习正在碰壁：人工智能要取得真正的进步需要什么？》。

在当时，这篇文章引起了轩然大波。在社交媒体上，有些人只是读了标题，有数百人人认可文章内容，但也有数千人为此感到厌恶。事实证明，这篇文章在一定程度上经受起了时间的考验。

加里·马库斯关于该文章中对通用智能的发展障碍以及规模扩展（scaling）策略不够的推断，他认为在当时成立，在两年后也并未发生根本改变：

• 在 2016 年Hinton预测深度学习将取代放射科医生。Marcus写道“快进到 2022 年，没有一个放射科医生被替换”。——这个预判依然正确。

• “至少目前来说，人类和机器是优势互补的。”——依然正确。

• “很少有领域比人工智能更充满炒作和虚张声势。它几十年来一直在流行，总是承诺登月，只是偶尔兑现。“——依然正确。

• 2020 年 11 月，Hinton在《麻省理工科技评论》（MIT Technology Review）上表示“深度学习将无所不能。“我对此深表怀疑。” ——到目前为止，我的怀疑立场仍然正确，可以说持续存在。

• “我们离真正理解人类语言的机器还有很长的路要走”——仍然如此，尽管有些人认为存在一些肤浅的理解。

• “我们远不及机器人罗西（Rosey）的日常智能，罗西是一个科幻小说中的管家，不仅能理解各种各样的人类请求，还能实时安全地采取行动。”——依然正确。

• “埃隆·马斯克最近表示，他希望制造的新型人形机器人 Optimus 有一天会比汽车行业规模更大”，我对此表示怀疑。——虽然还处于早期阶段，但可以肯定的是，家用人形机器人在短期内不会成为任何人的大生意。

• “谷歌对语言的最新贡献是一个Lamda系统，它是如此的轻浮，以至于它自己的一位作者最近承认它很容易产生废话”——仍然如此。

• “随着时间的推移，我们将看到，如果我们要获得值得信赖的人工智能，深度学习只是我们需要构建的一小部分。”——猜想仍然存在，但请注意，正如我所敦促的，像 RAG 这样的技术导入了符号技术。我们距离值得信赖的人工智能还很远。

• “深度学习本质上是一种识别模式的技术，当我们需要的只是粗略的结果、风险较低且可以选择完美的结果时，深度学习处于最佳状态。”—— 仍然如此。

• “当前的深度学习系统经常会犯愚蠢的错误。”——仍然如此。

• “另一个团队曾短暂考虑将 GPT-3 转变为自杀咨询的自动聊天机器人，但发现该系统很容易出现有问题的交流”——仍然是一个问题，特别是对于可能没有精心构建防护措施的开源机器人。

• “GPT-3 容易产生有毒语言，并传播错误信息。”—— 仍然正确，并且取得了一些进展。(越狱很容易引发有毒语言，但在日常使用中则较少；即使没有越狱，错误信息仍然很常见。）

• “OpenAI 为解决这些问题所做的新努力仍然是捏造权威的废话。”—— 仍然是事实。

• 2020 年，Jared Kaplan和他在OpenAI的合作者提出语言神经网络模型存在一套“规模法则”（Scaling Laws）；他们发现，输入神经网络的数据越多，这些网络的性能就越好，这意味着，如果我们收集更多数据并在越来越大的范围内应用深度学习，我们就能做得越来越好。” —— 不可否认，规模化（scaling）确实有所帮助，但并没有解决我上面指出的任何问题。

• “规模化争论存在严重漏洞。首先，已经扩大规模的措施并没有抓住我们迫切需要改进的东西：真正的理解……通过扩大规模的方式，Kaplan和他的 OpenAI 同事研究的关于预测句子中的单词的措施，并不等于真正的人工智能所需要的那种深度理解。”——仍然是正确的，并且逐渐得到普遍认可。

• “Scaling laws不仅仅是观察结果，可能不会永远有效，就像摩尔定律一样，计算机芯片生产的趋势持续了几十年，但可以说在十年前就开始放缓。”——这仍然是事实，而且最近被萨姆·奥尔特曼（Sam Altman）公开承认，他指出，在我们到达那里之前，我们不会真正知道 GPT-5 能做什么。

• OpenAI魅力十足的首席执行官萨姆·奥尔特曼写了一篇洋洋得意的博客文章 ，大肆宣扬“摩尔定律适用于一切”，声称我们距离“能够思考的计算机”、“阅读法律文件”和（呼应IBM Watson）“给予医疗建议”只有几年时间。也许是，但也许并不是。”——悬而未决/仍然正确。两年后，我们对此还没有任何可靠的参照。

• “如果Scaling不能让我们实现安全的自动驾驶，那么数百亿美元的扩展投资可能会付诸东流。”——悬而未决/仍然正确。结果显示超过100B，仍然没有商业化，测试仍然有限，多家公司因此失败或衰落。

• “神经符号（Neurosymbolic）可能是一个有前途的替代方案。”——悬而未决/仍然正确，DeepMind在今年初就一篇关于神经符号系统 AlphaGeometry 的精彩自然论文。

文章表明：规模化可能无法解决上述问题。—— 悬而未决/仍然正确。比尔·盖茨、杰米斯·哈萨比斯、杨立昆和萨姆·奥尔特曼等人都认识到，平稳期（plateau）可能即将到来。哈萨比斯（Hassabis）上个月的发言呼应了加里·马库斯2022 年文章的中心思想：

加里·马库斯表示，这并不意味着我们最终不会有某种形式的新创新，或者说 AGI 是不可能的。但我们需要范式转变，而且越来越多的人认为LLM本身并不是AGI的答案——这正是我所议论的。

“总的来说，我想说这篇文章在金钱上是正确的。两年后，除了更新示例和稍软化标题之外，我不会做太多改变，为了澄清某些方向的进步并不意味着所有方向的进步。”他表示，自己绝对会提出同样的担忧。

加里·马库斯仍然觉得，人工智能领域主要在追逐通往月球的梯子。 最后，加里·马库斯引用两年前文章中仍然正确的最后一段，作为结尾：
“面对伦理学和计算方面的所有挑战，以及语言学、心理学、人类学和神经科学等领域所需的知识，而不仅仅是数学和计算机科学，需要一个委员会去培育出人工智能。我们永远不应该忘记，人脑可能是已知宇宙中最复杂的系统。如果我们要建立大致相同的东西，开放的合作将是关键。”

百年后超级智能将“毁灭人类”

加里·马库斯在文中频频提到的Hinton，即杰弗里·辛顿（Geoffrey Hinton）教授，人称“人工智能教父”“神经网络之父”。他给牛津大学做了一个公开演讲，从哲学角度对AI的未来走向，提出了严肃而重要的思考。他声称百年后人工智能将产生巨变，比人类更聪明，从而对人类产生威胁。

在演讲中，他重点阐释了有关人工智能的7个主要观点：

1. 在AI方面，生物方法显然占了优势，战胜了逻辑方法

Hinton在演讲中表示：“2012年，我的两位学生Ilya Sutskever（后来成了OpenAI首席科学家）和Alex Krizhevsky，在我一点帮助下，展示了可以通过反向传播方式制作一个非常好的神经网络，在有一百万张训练图片时，可以识别一千种不同类型的对象。这个神经网络在ImageNet竞赛中获胜，神经网络只有16%的错误率，而最好的传统计算机视觉系统错误率则超过了25%。”

2. 大型神经网络可以无师自通地学会语言

符号学派认为他们在语言处理方面应该很出色，然而，大型神经网络仅仅通过学习大量的文本，就能无师自通掌握了语言的语法和语义。Hinton说，乔姆斯基（Noam Chomsky）曾说语言是天赋而非习得的，这很荒谬，他曾经做出了惊人的贡献，但他的时代已经过去了。

3. 大模型完全有理解力

关于人是怎么理解事物的，有两种理论。符号方法理论认为，一个词的意义在于它与其他词的关系；心理学方法理论认为，一个词的意义是一大堆特征组成的。
大模型很好结合了以上两种理论：它学习每个词的特征，并学习词的特征如何相互作用。在推理时，大模型分析文本，列出文本中每个词的特征，通过注意力算法计算所有特征之间的交互，从而预测下一个词的特征。
“在大模型中，数百万个特征以及特征之间数十亿次的交互，就是理解。”Hinton对此坚定不移。他表示，只不过是一种人类以前从没见过的巨大的模型，它如此巨大，大到能够包容人类拥有的所有知识。

4. 大模型是人类认识自己的最好方法

大模型是了解人类如何理解语言的最佳模型，大脑就是在给单词分配特征，并让特征交互。神经网络模型就是为了模拟人类理解而设计的一个模型。大模型正如大脑那样工作，正如大脑那样理解。

5. 大模型的幻觉不是问题，人也会胡说

Hinton表示，心理学家从来不说大模型有幻觉，因为心理学家知道人类也经常编造东西，任何研究过记忆的人都知道，对人类而言，真实记忆与虚假记忆之间并没有明确的界限。

6. 超级智能不需要太久就会出现

“我一直以为我们离超级智能还有很长很长的路要走，我过去常告诉人们可能需要50到100年，甚至可能是30到100年，我们现在不需要担心它。”Hinton坦言，“但是，由于我在之前两年所从事的工作，我突然开始相信我们现在拥有的数字模型已经非常接近于大脑的水平，并且将变得比大脑更好。”

为什么GPT-4比人类知识更丰富？它不是由一个模型实现的，而是由不同硬件上运行的大量相同模型的副本实现的，一千个副本都去互联网上查看不同的内容并学习东西，然后，通过平均梯度或平均权重，每个代理都掌握了其他代理学到的东西，这种沟通比人类要强太多了。GPT-4的权重只有人类大脑权重的2%左右，但却拥有比人类多上千倍的知识。

数字计算的缺点是需要大量能量，但我们可以通过进化硬件，使大模型的能量消耗降低。
Hinton认为：“很明显，在未来的20年内，有50%的概率，数字计算会比我们更聪明，很可能在未来的一百年内，它会比我们聪明得多。”“很少有例子表明更聪明的事物被不太聪明的事物所控制。”

7. 超级智能有若干种方法将我们消灭

工业革命来临，体力劳动的工作岗位消失了。现在在智力领域，有些工作也将会消失，取而代之的是比我们聪明得多的东西。

Hinton认为，人工智能会产生致命的自主武器，它们将非常可怕，而且真的会自主运行。他说，“人工智能有若干种方式将我们消灭”，“任何打算关闭它们的人都会被超级智能说服。”

人工智能会保持善良吗？Hinton表示：“有些人认为我们可以使人工智能变得善良，但如果它们相互竞争，我认为它们会开始像黑猩猩一样行事。我不确定你能否让它们保持善良，如果它们变得非常聪明并且有了自我保护的意识，它们可能会认为自己比我们更重要。”

道德与安全是AI的长期议题

道德和安全议题始终伴随着新技术的发展，尤其在人工智能领域。

本周，一份由美国国务院委托撰写发布的报告显示，在最坏的情况下，人工智能可能会对“人类物种造成灭绝级别的威胁”。报告称，美国政府必须“迅速而果断”地采取行动，避免人工智能带来的重大国家安全风险。

• 最先进的AI系统可能被用作武器，造成潜在的、不可逆转的破坏。报告指出，人工智能（AI）和通用人工智能（AGI）的崛起，可能在某种程度上破坏全球安全，“让人联想到核武器的引入”，在AI方面存在着“军备竞赛”、冲突和“与大规模杀伤性武器相当的致命事故”的风险。
• AI实验室的安全性也存在隐患。实验室没有足够的控制措施，来防止通用人工智能系统“失去控制”，其后果可能对全球安全造成“潜在的毁灭性后果”。

2023年初，杰弗里·辛顿宣布从谷歌离职，并对AI带来的风险发出警告。他坦言，对毕生所研究的东西感到后悔了，并安慰自己“我不研究别人也会研究”。辛顿曾表示，人工智能在未来30年内导致人类灭绝的可能性为10%。2023年6月，辛顿和其他数十位人工智能行业领袖、学者和其他人签署了一份声明，也表示“降低人工智能带来的灭绝风险应该是全球的优先事项”。

尽管在人工智能领域投入了巨额资产，但全球各大企业也开始越来越担心这项技术蕴含的危险。2023年在耶鲁大学CEO峰会上接受调查的CEO中，42%的人表示，人工智能有可能在5到10年后摧毁人类。

也有乐观的学者表明，人工智能失控不可怕，人工智能投入战争或可减少人类士兵的牺牲，可怕的是人工智能受制于怀揣不同目的的人。

但不可否认的是，道德和安全将是人工智能发展下全球持续讨论的议题。‍