划重点
曾经担任谷歌CEO长达10年之久的Eric Schmidt前几天去斯坦福大学受邀计算机学院的会议,他的演讲全程各种放飞自我,中途语重心长的告诉台下学生,这场会议是保密的,自己说的那些话千万不要外传。
然而,主办方对Eric Schmidt说,这场会议有摄像头正在全程直播……他的表情就凝固了。虽然斯坦福大学后来把视频从YouTube撤了下去,但已经有很多人都做了存档,Github上也有全文备份:transcripts /Stanford_ECON295⧸CS323_I_2024_I_The_Age_of_AI,_Eric_Schmidt.txt
下面是重点内容:
-
现在的谷歌为什么在AI领域输得一塌糊涂?因为谷歌觉得让员工尽早回家和平衡工作比赢得竞争更加重要。如果你的员工每个星期只来公司上一天班,你怎么可能比得过OpenAI或是Anthropic?
-
看看马斯克,看看台积电,这些公司之所以成功,就是因为能够卷员工,你必须要把员工逼得够紧才能获胜,台积电会让物理学博士第一年下工厂干活,你们能想象美国的博士生去流水线吗?
-
自己犯过很多错误,比如曾经觉得英伟达的CUDA是很蠢的编程语言,但现在CUDA是英伟达最牛逼的护城河,所有的大模型都要在CUDA上运行,而只有英伟达的GPU支持CUDA,这是其他芯片撼动不了的组合。
-
还有微软跟OpenAI合作时自己也觉得难以置信,微软怎么能把最重要的AI业务外包给那种小公司啊,结果再次看走了眼,再瞧瞧苹果在AI上的温吞,大公司真的都官僚化了,奋斗逼都在创业。
-
TikTok给美国人上了一课,在座各位年轻人以后如果创业,能偷音乐什么的就赶紧去做——似乎是在黑TikTok早期纵容盗版BMG——如果你做成了,就有钱雇佣最顶级的律师帮你擦屁股,如果你没做成,那就没人会起诉你。
-
OpenAI的星际之门在宣传时说需要1000亿美金,实际上可能3000亿都打不住,能源缺口太大了,给白宫提过建议,美国以后要么跟加拿大打好关系,水电资源丰富,劳动力便宜,而且够近,要么去和阿拉伯国家套近乎,让他们来做主权投资。
-
欧洲已经没戏了,布鲁塞尔(欧盟总部所在地)一直都在摧毁科技创新的机会,可能法国还有点希望,德国不行,其他欧洲国家就更不用提了,印度是美国盟友里最重要的摇摆州,以及美国已经失去了中国。
-
开源很好,谷歌历史上的大部分基础设施也都受益于开源,但是说实话,AI行业的成本太高了,开源负担不起,自己投资的法国大模型Mistral将会转为闭源路线了,不是所有公司都愿意且有能力像Meta一样当冤大头。
-
AI会让富者愈富、穷人恒穷,国家也是,这是一场强国之间的游戏,没有技术资源的国家需要拿到加入强国供应链的门票,否则也将错过盛宴。
-
AI芯片属于高端制造业,产值很高,但不太可能拉动就业,你们可能没几个人去过芯片制造厂,里面全是机械化生产,不需要人,人又笨又脏,所以不要指望制造业复兴,苹果把MacBook的产线迁回德州不是因为德州工资低,因为根本不用再大规模雇人了。
-
历史上,电力在引入工厂之后并不比蒸汽机创造了更多的生产力,是过了大概30年左右,分布式电源改造了车间布局,推动组装系统的出现,再才开始了生产力的飞跃。现在的AI和当初的电力一样,有价值,但还需要组织创新,才能真正拿到巨大的回报,目前大家都还只是在摘取「低垂的果实」
访谈明细
今天的嘉宾其实无需过多介绍。我记得大约25年前第一次见到Eric,那时他作为Novell的首席执行官来访斯坦福商学院。从那时起,他做了很多事情,他在Google(大概是从2001年开始)和Schmidt Futures(从2017年开始)做了很多事情,还有很多其他的事情你们可以查询了解。但他只能待到下午5点15分,所以我想我们直接进入问题环节。我知道你们也有一些问题。我这里有一些我写下的问题,但我们在楼上刚刚谈论的内容更有趣。所以我想从那开始,Eric,如果你不介意的话。
AI 的未来发展
主持人:那就是,你预见AI在短期内,我认为你定义的是未来一两年,会有怎样的发展?
Eric:事情变化得如此之快,我感觉我每六个月都需要做一次新的演讲,讲述即将发生的事情。
主持人:在座的有没有人,一群计算机科学家在这里,有没有人可以解释一下什么是百万token的上下文窗口,为其他同学解释一下?
学生:在这里。基本上,它允许你用百万个token或者百万个词进行提示。所以你可以提出一个上百万词的问题。我了解到,这是当前通识教育关注的一个重要方向。
Eric:不,他们的目标是10个一百万。
学生:对,一千万?没错。
Eric:接着,Anthropic现在是20万,他们的目标是100万,以此类推。你可以设想OpenAI也有类似的目标。
主持人:谁能给出AI智能体的技术定义?
Jared:AI智能体基本上是执行某种活动的实体。这可能涉及在网上,代表你处理一些事情,可能是许多不同的事项,类似这些。所以,一个智能体就是执行某种任务的实体。另一个定义是,它是一个大语言模型,具有状态和记忆功能。
主持人:再来一次,计算机科学家,你们中有谁能解释什么是"将文本转化为行动"?
学生:就是把文本转变成行动。而不是把文本转化成更多的文本。
Eric:另一个定义是,将语言转化为Python代码。这是我一直不想看到的编程语言。然而,目前所有的AI工作都是在使用Python进行的。有一种新的语言叫Mojo,刚刚出现,看起来他们终于解决了AI编程的问题。但我们还要看,这是否能在Python的主导地位下生存下来。
技术和市场的动态
主持人:再来一个技术问题。为什么NVIDIA的价值和地位如此之高,而其他公司却在挣扎呢?
Eric:我认为,这主要是因为,大量的代码需要在CUDA优化下运行,而这是只有NVIDIA的GPU才支持的,所以,其他公司可以制造他们想要的任何东西,但是如果他们没有10年的软件开发经验,就不可能有机器学习优化。我个人喜欢把CUDA想象成GPU的C语言,对吗?这就是我喜欢的看法。它成立于2008年。我一直觉得它是一种糟糕的编程语言,然而,它却成为了市场主导。还有一点值得注意。有一套开源库,它们针对CUDA进行了高度优化,而对其他平台的优化却很少。每个构建所有这些堆栈的人——这在任何讨论中都被完全忽视了。这在技术上被称为VLLM以及其他一大堆类似的库。它们都是专门为CUDA而优化的,对于竞争对手来说,很难复制这个。
主持人:那么,这些观点对我们来说有何影响或意义呢?
Eric:在接下来的一年里,我们将看到非常大的上下文窗口、智能体和"文本转行动"等新技术的兴起,当它们能够大规模应用时将对世界产生的影响将超出我们目前的理解范围。这种影响将远超过社交媒体所带来的影响,我个人是这样认为的。以下是我的原因。在一个上下文窗口中,你基本上可以将其作为短期记忆。我对上下文窗口能达到如此之长感到惊讶。这主要由于它的计算和处理难度很高。短期记忆的有趣之处在于,当你输入信息,比如你问一个问题,"读了20本书,你输入这些书的文本作为查询,然后你说,'告诉我它们说了什么。'"它会忘记中间的部分,这与人类大脑的工作方式相似。对吗?这就是我们现在的状况。
主持人:关于智能体呢?
Eric:关于智能体,现在有人正在开发基于大语言模型的智能体,他们的做法是阅读一些像化学一样的学科,发现其内在原理,然后进行测试。然后他们将这些知识融入到他们的理解中。这是非常强大的。我提到的第三个要点是"文本转行动"。那么,我来举个例子,政府正在尝试禁止TikTok,我们拭目以待看结果如何。如果TikTok被禁,我建议你们每个人都这样做,告诉你的大语言模型,接下去的操作。复制一份TikTok。获取所有用户信息。获取所有音乐资源。加入我的个性化设置。在接下来的30秒内编制这个程序。然后发布出去。如果一小时内它没有迅速传播开来,那就沿着同样的思路尝试另一种方式。这就是命令。一步接一步,就这样。明白了吗?你知道这有多强大吗?如果你能从任意自然语言转换为任意数字命令,这在这个情况下就相当于Python,试想一下,如果地球上的每个人都有属于自己的程序员,他们会真正按照你的要求去做事,而不是像我手下的那些程序员那样并不总是按照我说的去做。明白了吗?在场的程序员都明白我在说什么。所以,想象一下,有一位既不自大,又会真正按照你的要求去做事的程序员,你甚至不需要付他一大笔工资。而且这样的程序无穷无尽。
主持人:这一切都将在未来一两年内实现?
Eric:马上就要到来。这三件事,我深信只有结合这三件事,下一波浪潮才会到来。那么,你问的是接下来会发生什么。我的观点每六个月会有所改变,这就像一个周期性的摆动。比如说,现在,那些前沿模型(只有三个,我待会会详细介绍)与其他所有人之间的差距,我感觉正在变大。六个月前,我坚信这个差距正在缩小。于是我在一些小公司投入了大量的资金。但现在,我对此已不再那么确定了。我现在正在和大公司们交谈,他们告诉我他们需要投入100亿、200亿、500亿甚至1000亿。比如说,Stargate的投入就达到了1000亿,对吧?这确实非常困难。
AI的投资与国家安全
Eric:Sam Altman是我的密友。他认为这可能需要投入高达3000亿,甚至更多。我向他指出,我已经计算出了这需要的能源量。然后,在完全公开的精神下,我上周五去了白宫,告诉他们我们需要与加拿大建立最紧密的关系。因为加拿大有非常好的人,参与了人工智能的发明,还有大量的水力发电资源。因为我们国家没有足够的能源来完成这件事。另一个选择就是让阿拉伯人来资助。我个人非常喜欢阿拉伯人。我在那里待过很久,对吧?但他们不会遵守我们的国家安全规则,而加拿大和美国是共同遵守安全规则的三方联盟(或三国集团)的一部分。因此,对于这些价值3000亿美元的数据中心来说,电力开始变得稀缺。顺便说一下,如果你沿着这个逻辑走下去,我为什么要讨论CUDA和NVIDIA呢?如果有3000亿美元都要流向NVIDIA,你应该知道在股市里应该怎么做。这不是股票推荐,我并不是许可证发放者。(观众笑)部分原因是,我们需要更多的芯片,但英特尔正在从美国政府和AMD那里得到大笔资金,他们正准备在韩国建造半导体工厂。
主持人:有谁的计算设备里有英特尔的电脑或者芯片呢,请举手。
Eric:看来,垄断不再是什么大问题了。
主持人:这正是我想说的。
Eric:他们曾经垄断过。
主持人:没错。
Eric:而现在Nvidia有垄断。
主持人:那些对进入的障碍呢?例如CUDA,还有其他的,就像我前几天和Percy Lanny聊天时提到的。他根据训练模型所能获得的设备,会在TPUs和NVIDIA芯片之间做选择。
Eric:那是因为他别无选择。如果我有无限的资金,我会今天选择NVIDIA的B200架构,因为它运行更快。我并不在这里提倡什么,我只是想说有竞争是好事。我和AMD的Lisa Su有过长时间的交谈。他们正在开发一种能将你描述的这种CUDA架构转换为他们自己的架构,即RockM。目前它还不能完全运行,他们正在努力改进。
谷歌、OpenAI与企业文化
主持人:你在谷歌工作了很长时间,他们是Transformer架构的发明者。
Eric:是彼得,都是彼得的错。
主持人:那里有像彼得和杰夫·迪恩这样的出色人才。但现在,他们似乎已经失去了对OpenAI的主动权。我看到的最新排行榜上,Anthropic's Claude是榜首。我问过Sundar这方面的问题,他并没有给我一个明确的答案。或许你能给出一个更明确或更客观的解释。
Eric:我现在已经不再是谷歌的员工了。确实如此。我要坦白的说,谷歌认为工作与生活的平衡,早点下班、以及在家工作比赢得比赛更重要。(笑)创业公司之所以能够成功,是因为员工拼命工作。很抱歉如此直言不讳,但事实是,如果你们离开大学去创办公司,你不会允许员工在家办公,而且每周只来公司一天,如果想要与其他创业公司竞争的话。
主持人:Google创业初期,Microsoft就是这样。
Eric:对的。
主持人:但现在似乎——
Eric:在我们这个行业里有很多公司,以真正创造性的方式赢得市场并在某一领域取得主导地位,但却未能完成下一次转型。这种现象很常见,并且有很多文献记录。我认为,创始人是特殊的,他们需要掌控一切,与他们共事可能会很艰难,他们会给员工施加很大的压力。我们可能并不喜欢马斯克的个人行为,但你看看他是如何推动员工的。我曾和他共进晚餐,当时他在蒙大拿州,而那天晚上10点他要飞往另一个地方,凌晨12点与http://X.AI开会。对吧?你想想看吧。
主持人:我曾去过台湾,有着完全不同的文化,他们(台积电)让我印象深刻的一点是,他们有一条规定:这些刚入职的优秀物理学博士需要在地下一层的工厂工作。你能想象让美国的物理博士去做那样的事吗?几乎不可能。他们的工作态度和我们有所不同。
Eric:而问题在于,我之所以对工作要求这么严格,是因为这些系统具有网络效应,时间是非常关键的。在大部分业务中,时间其实不那么重要。你有充足的时间。可口可乐和百事可乐会一直存在,他们之间的竞争也会持续,这一切都在慢慢发展。我和电信公司打交道时,一般的电信交易要花费18个月才能完成。实际上,没有任何事情需要花费18个月去完成。要迅速行动。
主持人:我们现在处于最大的发展期,最大的进步期。这也需要一些疯狂的想法。比如当微软与OpenAI达成交易时,我认为那是我所听过的最愚蠢的想法。将AI的主导地位让渡给OpenAI,包括Sam和他的团队,这简直太疯狂了。在微软或其他任何地方,都没有人会这么做。然而现在,他们正在朝着成为最有价值的公司的目标前进。他们和苹果公司的竞争激烈。苹果公司并没有一个好的AI解决方案,而微软看起来已经成功了。
实际上,让我再强调一下最后一点,因为我觉得在第一节课中我没有谈到关于使用大语言模型的事情,这在这门课的作业中是可以接受的,但必须充分披露。所以,当你使用它们,如果你在完成每周作业或期末项目时使用了它们,就像你向你友好的叔叔或同学寻求建议一样,你也应该这样做,或者如果你有笔记需要包含在内。
所以我想谈一谈关于 AI,特别是 GPT,这对商业及其影响意味着什么。但在我们讨论这个之前,我想看看你们是否有任何问题想要跟进,特别是关于 Eric 提到的内容,我会尽量表达他的想法,我们可以讨论一下这些话题,然后再继续。好的,你请说。
学生1:
我想问的一个问题是关于监管的。如果目标是保持领先地位,如何创造正确的激励机制,使每个人,无论是盟友还是非盟友,都有动力去遵守?
Erik: 你是指在竞争中的公司之间吗?是公司还是国家?
学生1: 是国家,比如美国和欧盟。这是否不会成为那些选择遵循法规的国家或公司发展的阻碍?
Erik:
这是非常棘手的问题。Barry J. Nalebuff 写了一本叫做《合作竞争》的书,其中讨论了这些问题。确实有些情况下,监管可以帮助公司和整个行业生存下来。所以监管并不一定会减缓进展。标准就是一个很好的例子,明确标准反而能帮助竞争。
我和许多公司的高级管理人员进行过交谈,他们确实希望在某些领域有一些共同的标准,有时候在一些危险领域还存在“竞相降低标准”的现象。谷歌的团队曾表示,他们没有更快推进的另一个原因是,他们担心大语言模型可能会被滥用或存在危险,但他们在某种程度上感到被迫加快步伐。
我还与另一家大公司的员工谈过,他们说,“我们本来并不打算发布这个功能,但现在竞争对手都在做,所以我们不得不也发布。”这也是为什么在某些情况下,可能会有协调监管的兴趣,但显然,更常见的情况是,监管被用来阻碍竞争。例如,很多人认为,一些大公司反对开源和推动更广泛的开源的部分原因,就是他们想要放慢竞争对手的步伐。所以,这两种情况都存在。
学生2:
好的。我想跟进一下刚才的讨论:我们还应该学编程吗?我们还需要学习英语吗?这些技能还会有用吗?
Erik:
Eric 的回答是肯定的,比如受过大学教育的高技能工作或任务仍然是安全的,但其他的,比如停车管理等,可能就不能保证了。这种情况可能有一些主观因素影响。
这个话题很有趣,或许我们可以在接下来的几分钟内再讨论更多。但确实值得思考的是,AI 系统到底是在替代人类的工作,还是在补充人类的工作。在编程领域,目前看起来,AI 似乎对最顶尖的程序员并没有太大的帮助,反而对中等水平的程序员非常有帮助。但如果你对编程一无所知,它同样也帮不上什么忙。所以这有点像一个倒 U 型。
可以理解这种情况,因为如果你连AI生成的代码都无法理解,那这些代码往往会有问题,或者并不完全正确。如果你不能理解代码的运行逻辑,那么你也无法有效地使用它。另一方面,对于顶尖的程序员来说,生成的代码仍不够优秀,所以才会出现这种倒 U 型曲线。但这也就意味着,如果你完全不懂代码,你仍然需要一些基础知识,才能让AI的帮助变得有用。我认为这也适用于当前的很多应用,你需要有一些基本的理解,才能最大程度地利用它。
我觉得这也是一个值得探讨的问题:这种情况是否会一直存在。在上一节课中,我简要介绍了从 0 级到 5 级的自动驾驶汽车。这其实也是我们可以讨论的一个话题,我在试图梳理,如果把这种模式应用到经济中的所有任务上,那它们会经历多少级别的变化?
就自动驾驶汽车而言,我们目前还没有真正达到第5级,虽然我不知道你们当中有多少人坐过 Waymo 的自动驾驶汽车。这款车的表现相当好,但我和 Sebastian Thrun 一起乘坐时,他说目前的运营成本非常高。可能每辆车的运营成本会亏损 50 到 100 美元。他并不确定具体的数额。因为他已经不在那儿了,虽然他是项目的创始人,但现在不再参与。运营成本太高,使得这款车并不实用。或许随着时间的推移,激光雷达的成本会降低,使得运营成本会降低。
我们有很多 2 级、3 级甚至 4 级的自动驾驶汽车,这些车辆还需要人类的参与。其他很多任务也是如此,比如编程,我刚才已经提到过了。
另一方面,关于国际象棋,在前一张幻灯片中我提到了一种有时被称为“高级国际象棋”或“自由式国际象棋”的概念。加里·卡斯帕罗夫在 1997 年输给深蓝之后,他发起了一系列比赛,让人类和机器可以合作。在相当长的一段时间里,比如在我 2012 年或 2013 年做TED演讲时,当时的情况是,人类与机器合作可以击败深蓝或任何国际象棋计算机。因此,当时最强的国际象棋选手是这些人机组合。
但现在情况已经不同了。像 AlphaZero 这样的程序,即使有人的参与,对他们来说毫无益处。反而可能对棋局造成干扰。所以,它经历了从机器什么都做不了,到人机合作,再到完全自主的阶段,我不太确定,大概用了 20 年的时间吧。
如果有人想做研究项目,或者你们现在有想法的话,可以探讨一下,哪些经济任务会处于那个中间地带。因为那个中间地带对我们人类来说是一个不错的区域,机器可以帮助我们,但人类在创造价值方面依然不可或缺。在这个区域里,可以提高生产力、创造更多财富和提高绩效,同时也更有可能实现共享繁荣。因为劳动力的分布性使得其更广泛,而技术和资本正如 Eric 刚才提到的,可能会高度集中。
你对此有什么看法吗?
学生3: 我想问一个相关的问题。Eric 还提到我们在芯片制造方面有一个10年的计划。
Erik: 是的,我对此感到惊讶。
学生3:
是的,我觉得有趣的是,作为一名劳动经济学家,文献和新闻中对此有一个积极的信号,如果我们正在将所有的芯片制造都转移到美国国内,那么这可能会带来蓝领工作的复兴吗?我想知道你对智能机器人模型或人类劳力有什么看法。 Erik:
嗯,我认为这不会有太大的影响。你们当中有多少人参观过芯片工厂?有人去过吗?有几个人去过。工厂里有多少工人在工作? 学生4:
是台积电吗?是纽约大学的人去的,所以我不确定。
Erik:
好吧,答案是零。他们不让人们进去的原因是我们人类太笨拙、太不卫生,所以全部都是机器人操作。所有设备都在密封环境中运行。因此,确实有人需要运送物资等工作。如果机器人倒了或者出现了问题,他们得穿上像太空服一样的防护服进去调整,然后再出来,希望没有弄坏什么。所以,基本上是全自动化作业。
对,我认为这需要一些更复杂的劳动力,但我不认为这会有太大的蓝领工人复兴。实际上,苹果之所以将 MacBook 的生产线转移到德克萨斯,不是因为德克萨斯的劳动力便宜,而是因为他们实际上不再需要太多劳动力。所以这个过程很像做体力劳动。因此,美国制造业虽然在产出方面增长明显,但在就业方面却并未有多大增长。
学生5:
你认为 AI 智能体或文本转行动模型在明年会出现转折点吗?
Erik:
哦,当然。不,不是。Eric说的这些,我也听说过类似的东西。他很好地总结了这三大趋势。我之前已经分别听说过这些趋势,但他能够将它们整合起来确实不错。
今天早些时候,我和吴恩达谈过,他一直在强调,特别是预计在 2024 年将会迎来智能体的大潮,吴恩达老师描述得很好,就像你们都知道的,如果你让一个大语言模型写一篇文章,它会一个字一个字地生成,从头到尾一次性完成,效果还不错。但想象一下,如果你写文章时不能使用退格键,也不能先做大纲,只能直接写完。现在的 AI 智能体会说,好的,首先我们需要制定一个大纲。这是写文章的第一步。接着,填充每一段内容,再回头检查文章的流畅性。然后,再看看语气是否合适,这是否符合目标读者的水平。通过这样反复迭代,你可以写出更好的文章或完成其他任务。这是一场真正的革命,通过这种方式,你可以把很多事情做得更好。
还有关于上下文窗口的事情,也非常重要。所以我引用一些我认识的聪明人的话,Eric Horvitz,我上周在 GSB 的一个讨论小组上与他同台,有些人可能在场。他提出了一个很好的分类法。人们在问他关于微调的问题,我记得是 Susan 问的。他说,其实有三种方法可以让模型更加个性化。第一种是微调,也就是进一步训练模型。第二种是使用更大、更强的上下文窗口。第三种是使用 RAG(检索增强生成)或类似的技术,它能够访问外部数据。
但现在这些上下文窗口似乎效果非常好。我想,正如 Eric 所说,我们本以为这很难。也许 Peter 可以解释一下。但不管怎样,现在我们能构建更大的上下文窗口了,现在,你可以输入一整本书或一整套书籍。你可以输入各种各样的信息。这能给你提供所有的上下文环境。所以这是相当革命性的。这为我们带来了许多之前没有的能力,包括让信息实时性更强,就像 Eric 提到的那样。
Erik:
这是一个很好的问题。我的意思是,虽然确实有更多的资本投入,但这也引发了一些问题和评论。为什么所有这些资本都投向 AI,而不是其他地方呢? 我认为,你知道,如果你观察历史的发展轨迹,有时看起来很平滑,但如果仔细观察,就会发现很多跳跃式的发展。有一些重大的发明和小的创新。
Andrew Karpathy 曾表示,他曾研究物理学,要在物理学上取得重大进展,成为顶尖的物理学家,你必须非常聪明,学习很多东西。也许如果足够幸运,你可以做出一些微小的贡献,有些人确实做到了。但他表示,现在在人工智能和机器学习领域,我们似乎正处于一个有大量“低垂果实”的时代,已经有了一些重大的突破。相比于像摘树上所有果实那样耗尽资源,现状更像是组合数学。
在讨论第二次机器时代时,人们提到了"积木"这个概念。当你把两块积木或两块乐高积木组合在一起时,你可以创造出越来越多的新东西。现在我们似乎正处于这样一个充满机会的时代,人们也开始意识到这一点。一个发现往往会带来另一个发现,进而产生新的机会。由于这个原因,越来越多的投资和人力被吸引进来。
在经济学中,有时候更多的资源投入会导致边际收益递减,比如在农业或采矿业中。然而在别的地方,资源的投入则可能带来增长的回报。更多工程师来到硅谷,会让现有的工程师变得更加有价值,而不是更不值钱。我们似乎正处在一个这样的时代。额外的投资和培训资金也使这些技术变得越来越强大。我不确定这种情况会持续多久,但现在看来,有一些技术已经走进了这个极其丰饶的时期,并且带来了积极的反馈和支持。
我们似乎正处于这样的时代。因此,现阶段进入这个领域并接受培训的人,往往能够在相对较短的时间内做出相当重大的贡献。我鼓励你们所有人,我认为你们现在正在走在正确的道路上。
学生7:
并不是每个人都有机会参与到关于 AI 的讨论和辩论中来。因此,我想了解你对非技术背景利益相关者 AI 素养的看法,不论他们是需要做出一定见解判断的政策制定者,还是普通大众,比如使用科技产品的用户。你觉得在解释技术基础和讨论那些看起来很抽象但不一定马上看出答案的影响时,应该怎么平衡呢?
Erik:
这是个难题。我必须说,最近在国会和其他地方的人们对这个话题的关注度有了显著提高。过去他们对此并不感兴趣,现在每个人都在试图更好地理解它。我认为有很多领域人们可以做出贡献。他们可以在技术层面上做出贡献,但如果让我选择,我认为当前更大的瓶颈在于商业和经济层面。即便你在技术上做出了重大贡献,要将这些转化为能够影响政策的结果,还有一段距离。
因此,如果你对政治学感兴趣,或者是一个政治家,理解民主、错误信息、权力集中等方面的影响,这些问题目前都还没有得到很好的理解。我不认为计算机科学家一定是理解这些问题的最佳人选,但要了解足够的技术基础,明确技术可能实现的方面,接下来需要思考这些动态,就像亨利·基辛格与埃里克·施密特在书中所做的那样。
如果你是经济学者,需要去思考劳动力市场、集中度、不平等、就业、生产力以及驱动生产力的各种影响。这些都是当前非常值得深入探讨的课题。你可以去研究很多不同的领域,在那里你可以充分理解这项技术可能的能力,然后进一步思考其可能产生的影响。我认为这就是我们可以获得最大收益的地方。
让我给你举一个更具体的例子,这是我上周原本打算谈及的一个话题。电力也是一种通用技术。通用技术有一个特点,它们本身就是一种重要的创新,但通用技术真正的力量之一,正如我所说的 GPT,是它们提供了互补性,它们能够激发出互补的创新。比如,电力带来了灯泡、计算机和电动机,而电动机又推动了压缩机、冰箱和空调的发明。你可以从这一项创新中引发一系列连锁的创新。而大部分的价值来自这些补充性的创新。
人们常常没有意识到的是,一些最重要的互补创新其实是组织创新和人力资本的互补。以电力为例,当电力首次引入工厂时,密歇根大学的教授 Paul Davis 在斯坦福研究了这些工厂的变化,令人惊讶的是,工厂电气化后,他们的生产力并没有比之前由蒸汽机驱动的工厂有显著提高。他觉得这很奇怪,因为电力看起来像是非常重要的技术。这只是一种风潮吗?
显然并不是。使用电力之前的工厂是由蒸汽机驱动的。他们通常会在工厂中心位置放置一个大蒸汽机,然后通过曲轴和皮带驱动所有设备,并尽可能地让设备靠近蒸汽机,因为如果曲轴过长,可能会因为扭力而断裂。当他们引入电力时,他发现在一个又一个的工厂里,他们会拆除蒸汽机,然后找到最大的电动机,放在蒸汽机原来的位置,然后启动它。但这并没有真正改变整体的生产效率。很明显这并不是一个巨大的改进。
于是他们开始在新的地点从零开始建设全新的工厂。那些新工厂长得怎么样?跟旧的工厂一模一样。他们会采用同样的模型,一些工程师会画出蓝图,在应该放蒸汽机的地方打上一个大大的 X,说:"不,不,这里应该放一个电动机," 然后他们就开始建设全新的工厂。然而,这并没有带来显著的生产率提高。
大约 30 年后,我们才看到一种根本不同的工厂模式。这种工厂没有中央电源,也就是说,没有在中间放一架大型电动机,而是采用分散式电力供应,因为电机,如你们所了解的,可以做得很大,也可以做得中等,也可以做得非常非常小,你可以用各种方式将它们连接起来。于是,他们开始让每一件设备都有自己独立的电机,而不是依赖一个大电动机。他们把它称为单元驱动,而不是组驱动。
我在哈佛商学院的贝克图书馆读过 1914 年的一些书,当时关于单元驱动和组驱动的讨论非常激烈。当他们开始使用单元驱动时,他们就建立了一系列新的工厂。工厂通常只有一层,设备的排列不再基于动力需求,而是基于其他因素如物料的流动,于是流水线系统开始形成。这带来了生产力的大幅度提升。比如生产力提高一倍,有时甚至三倍。
所以,教训不是说电力是一种短暂的风潮,或者是失败的、被过度炒作的。电力是一种非常有价值的基础技术。但只有在他们进行了流程创新和组织创新,重新思考生产方式后,才真正实现了巨大的回报。
这样的故事很多。我只讲了一个。我们时间有限,我还可以告诉你其他的例子。但在我一些书和文章中,如果你看看蒸汽机和其他技术,会发现类似的代际滞后期,经过几代人的努力,人们在数十年后才意识到这项技术可以让你做的事情完全不同于你过去常做的事情。我认为 AI 在某些方面也有点类似,将会出现很多的组织创新,会有新的商业模式以及我们之前从未想到过的经济组织方式。目前,人们大多是在进行技术改进。我可以列举一系列与技术互补的技能变革。
虽然我不知道所有的变革是什么,需要创造性地去思考这些问题,但这就是当前的差距所在。以早期的电脑为例,组织资本和人力资本的投资实际上比硬件和软件高出 10 倍,如果你看看硬件和软件的投资规模。这是一个非常大的问题。
话虽如此,我愿意稍微调整一下我的看法,因为像 ChatGPT 和其他一些工具,它们被迅速地采用,并且在短时间内改变了很多事情,部分原因是你不需要像过去那样深入学习 Python。你只需要用自然语言就能完成很多事情,通过将这些工具应用到现有的组织中,可以获得很大的价值。因此,某些方面的变化确实发生得更快了。在你可能读到的一些论文中,我们看到生产率在短时间内提高了15%、20%、甚至30%。但我怀疑,一旦我们找到这些互补的创新,生产率的提升会更大。
这就是我对你问题的长篇回复。这不仅仅是技术技能的问题,还包括重新思考所有其他相关问题的方式。因此,对于那些在商学院或经济学领域的人来说,有很多机会可以重新思考你们的领域,因为你们现在手中有了强大的技术。
学生8: 你似乎比 Eric 对转型速度更为谨慎,我理解的对吗?
Erik:
嗯,我会在两件事情之间做区分。我会听取他和其他人对技术的观点。我们将从其他几位专家那里听到他们的看法,有些人像他一样乐观,甚至对技术更乐观。当然,也有一些人对此并不那么乐观。但仅有技术是不足以创造生产力的,你可能拥有一项极其出色的技术,但由于种种原因,A,可能是因为人们找不出有效的使用方式。另一种可能是受到了监管的限制。
我有一些计算机科学的同事,他们开发了更适合读取医学图像的放射科系统。但因为文化原因,它们没有被采用,人们不愿接受它们。还有安全方面的考虑。
当我分析哪些任务 AI 可以提供最大帮助,以及哪些职业受影响最大时,我惊讶地发现飞行员的排名竟然靠前。但我认为很多人并不会愿意乘坐无人驾驶的飞机,他们更喜欢有人类飞行员在飞机上。因此,有许多不同的因素可能会显著减缓这个过程,我认为这是我们需要意识到的。如果我们能解决这些瓶颈问题,可能对生产力的帮助会超过单纯改进技术。
学生9:
Eric 对大学和数据中心的观点很有意思。这引发了一个更宏大的问题......
Erik: 我本来想问他,为什么不直接捐钱?
学生9: 这就像是在探讨大学在生态系统中应扮演什么角色?显然,这里有更大的背景,我确信所有的计算机科学教授都意识到了这一点。
Erik: 我来回答这个吧,我认为如果有更多的资金支持会更好。联邦政府有一个叫“国家AI资源”的项目,虽然它提供了一些帮助,但资金规模只有几百万美元,顶多几千万美元,而不是几十亿美元,更别说是几千亿美元了。尽管 Eric 在课前告诉我,他们正在推动一个可能更大的项目。他正在推动一个更大的项目。我不确定这能否成功。这个项目是为了训练这些非常大的模型。
我曾与杰夫·辛顿进行过一次非常有趣的对话。大家都知道,杰夫·辛顿是深度学习的教父之一。我问他在工作中,他认为哪种硬件最有用。他坐在他的笔记本电脑旁边,轻轻地拍了拍他的 MacBook。这让我想到,大学或许在另一类研究中有竞争优势,这类研究不是训练价值数十亿的模型,而是创新新的算法,比如那些可能超越 Transformer 的算法,还有很多其他方式可以让人们做出贡献。所以或许这里存在劳动分工。我完全支持并赞成我的同事申请更多的 GPU 预算。但学术界的贡献未必总是在这里。有些贡献来自于新的想法、不同的视角和新的方法。这可能是我们的优势所在。
我上周与 Sendhil Mullainathan 一起吃晚餐。他刚从芝加哥搬到了麻省理工学院。他是一名研究员。我们在谈论大学的相对优势是什么。他认为,其中之一就是耐心。在大学里,有些人专注于非常长期的项目,像是有人在研究核聚变。研究核聚变的人已经工作了很长时间,不是因为他们会在今年或十年后从建造核聚变电站中赚到很多钱,甚至也许二十年后都不会。我不知道核聚变需要多长时间。但这是一件他们愿意长期投入的事情,即使时间线更长。对公司来说,承受这样长时间线的项目要困难得多。因此,大学在这方面或许有一定的相对优势或者说分工。
学生10:
我是凯文。我对 AI 的涌现能力感到好奇。好的。Eric 似乎更倾向于讨论架构差异和设计更好的模型,而不是上次课我们讨论的规模定律。我想知道你怎么看......
Erik: 嗯,他提到了全部三个。你们还记得规模定律吗?它有三个部分。我记得我提到了 Dario 和他的团队的规模定律,要有更多的算力,更多的数据,以及算法的改进,例如增加参数。所有这三个部分......我认为我听到 Eric 说所有这三个部分都很重要。但是不要忽视最后一个部分,新的架构,所有这三个部分,我认为,都很重要。
学生10: 我们离拥有通用人工智能类型的系统,像这些脱离实际曲线的模型,有多近呢?这个问题可以吗?
Erik: Eric 并不认为我们离拥有通用人工智能类型的系统很近,虽然我不认为这是一个明确的定义。实际上,这也是我本来想问他的问题之一,但时间不够了。如果能听他详细描述一下就好了。
但当我与他交谈时,发现这个概念并不是那么明确的。在某种程度上,通用人工智能已经出现了。Peter Norvig 写了一篇名为《AGI 已经出现》的文章。我不知道这篇文章是否在阅读材料里。如果没有,我会把它加入。这是一篇与 Blaise Agüera y Arcas 合作的有趣的小文章。许多二十年前人们认为通用人工智能应该具备的能力,现在的大语言模型已经实现了。虽然可能没有做得那么完美,但它确实在以一种更通用的方式解决问题。另一方面,显然目前有很多事情它们做得不如人类。
令人意外的是,物理任务是人类目前具备比较优势的领域。你们可能知道 Moravec 的悖论,Hans Moravec 指出,通常三岁或四岁的孩子能做的事情,比如扣纽扣或上楼梯,对机器来说却很难。然而,很多博士都觉得困难的事情,比如解决凸优化问题,机器却往往能做得很好。所以,这并不是一个非黑即白的情况......人类觉得简单的事情电脑却觉得困难,反过来,电脑觉得简单的事情,人类却可能觉得困难。这两者并不是在一个相同的尺度上。
本文由 mdnice 多平台发布