17611538698
webmaster@21cto.com

LinkedIn创始人霍夫曼:AI几十年内都是人类的合作者,人类更擅长对抗性和打破思维定势的问题

资讯 0 142 2024-09-27 10:32:18

图片

Reid Hoffman是一位杰出的美国企业家、风险投资家和作家。他最知名的成就是联合创立了LinkedIn,这个职业社交平台于2016年被微软以262亿美元的价格收购。Hoffman的职业生涯横跨多个领域,包括科技、金融和慈善事业。

Hoffman于1967年8月5日出生于加州斯坦福,从小就对科技和商业产生了浓厚的兴趣。他毕业于斯坦福大学符号系统专业,并在斯坦福大学获得了哲学硕士学位,之后又获得了斯坦福大学商学院的工商管理硕士学位。在加入PayPal之前,他就开始了自己的创业之旅。在PayPal被eBay以15亿美元的价格收购之前,他担任公司的战略和业务发展执行副总裁。

2002年,Hoffman与Allen Blue、Konstantin Guericke、Eric Ly和Jean-Luc Vaillant共同创立了LinkedIn。该平台迅速成为一个职业社交网站,用户可以在该平台上与同事建立联系、寻找工作机会以及分享他们的工作经验。在Hoffman的领导下,LinkedIn迅速发展,成为最具影响力的专业人士社交媒体平台之一。

除了在LinkedIn的工作之外,Hoffman还通过他的公司Greylock Partners积极参与风险投资。他投资了许多成功的初创公司,包括Airbnb、Facebook(上市前)和Flickr。彭博社和CNBC等媒体纷纷寻求他对创业和科技的见解。

Hoffman也以其慈善事业而闻名。他参与了各种慈善组织,包括比尔和梅琳达·盖茨基金会以及Chan Zuckerberg Initiative。他还撰写了大量关于创业和科技的文章;他与Ben Casnocha合著的《至关重要的关系》一书为人们在当今数字时代如何经营自己的职业生涯提供了实用的建议。

纵观他的职业生涯,Reid Hoffman获得了无数荣誉,包括在2012年被《时代》杂志评为全球最具影响力的100人之一。他的成就超越了他的商业成就;他继续通过他的著作和公开演讲来激励新一代的企业家。

采访全文

主持人: 我想Reid不需要任何真正的介绍了,你们有机会读到一些关于他的信息。我就简单介绍一下我的个人背景。我当时在想,我们第一次见面是什么时候,你还记得我们第一次在牛津见面吗?是的。是的,我们当时在进行一场辩论。谢天谢地,我们当时是同一个团队的,一场关于人工智能和未来工作的辩论。是的。而且我们在那场辩论中大获全胜。是的,绝对的。它可能在网上的某个地方。你可以看到我和其他几个人在辩论那个话题。Reid是LinkedIn的联合创始人,正如你所知道的,也是Greylock的合伙人,曾在PayPal工作。你们读过他的一些书,《闪电式扩张》,你们还读过一点《至关重要的关系》。他是Inflection AI的联合创始人。我们稍后会谈到这一点,他也是OpenAI的董事会成员,之后去了微软。

图片

Hoffman: 我是微软的董事会成员。

主持人: 是的,我记得当时你也在我身边。是的,没错。我们当时在梵蒂冈,Ried一直走开去接电话。我当时想,等等,这有点不礼貌。你知道,我们都在这里。然后我发现LinkedIn被卖了。我想,好吧,这是一个很好的借口。让我先问一个关于生成式人工智能的问题。这里有很多Z世代、千禧一代,或者任何你所属的世代的人。在你的博洛尼亚大学毕业典礼演讲中,你谈到了生成式人工智能的概念,以及它是如何与众不同的。跟我们谈谈这方面的情况。

Hoffman: 所以宏观论点,你在很多事情上都看到过,实际上是人工智能正在发生的事情中经常被忽视的一点,那就是人类应用。所以你可以把它描述为人机协作智能。所以论点是,如果我们正处于认知工业革命中,在同样的心智引擎中,它在所有方面都比我们认知能力强,这只是一个不可避免的快速结果吗?还是说,存在一个延长的时期,也许是非常非常长的时期,在这个时期它是被放大的?

我认为这是一种高概率事件,它被低估了。所以,各种各样的工作都在试图以各种方式来证明这一点。它可以是任何形式,从展示我将如何与人工智能合作写书。我不认为我会再那样做了,或者其他人也应该这样做,但会作为展示它作为研究助理是什么样子的方式。所以,这就引出了当你开始思考人类的世代时,你会发现,你知道,世代是指千禧一代、X世代等等。在某种程度上,这些世代现在更多地与技术革命和趋势相关联。对互联网的熟悉程度,对社交媒体的熟悉程度,对手机的熟悉程度。

这就是我把这种人类增强论点也作为一个假设的原因。我看到乐观的地方之一是,如果你认为,嘿,实际上有一个生成式人工智能的时代,人们天生就在使用人工智能代理等等来驾驭他们的世界和生活。那实际上将是一系列人类增强的时刻。这是我们应该关注的事情之一。这也是我这么做的部分原因。我把它叫做生成式人工智能,是为了让人们关注并创造一个流行词。

主持人: 但它是一个完整的世代吗?我的意思是,人工智能发展非常迅速,我们之前也谈到过这一点,人们沿着这些扩展定律(scaling law)前进。我想我们稍后会详细讨论这个问题。那个时期有多长,人类和机器一起工作,AI成为一个合作伙伴,这是我们应该以几十年、几年、几个世纪来思考的事情吗?

图片

Hoffman: 所以我的看法是,我认为聪明人对从几年到几个世纪的所有事情都有争议,对吧?我的看法是,它更倾向于几十年到几个世纪,部分原因是,如果你跟踪这些设备的认知能力的轨迹线,顺便说一句,我从本科开始就研究人工智能了。我本科的时候这栋楼还不存在,但是,你知道,Terman存在。我在Terman研究人工智能的东西。

我真正看到的是,正在发生的事情是,完成某些类型的认知任务的认知能力正在大幅提高。但我并不一定认为它在做我们所说的对人类智能至关重要的事情之一。这是一种融合,就像你有一种情境意识,使你成为一个非常优秀的对抗性游戏玩家,你可以通过这种意识来改变你在游戏中所做的事情的规则。例如,如果这个房间里的任何一个人被设定为,就像你说的,嘿,除非你打败AlphaGo,否则你就会死,你不会试图在围棋上战胜它,对吧?因为你足够聪明,知道如果我那样做,我会输的。你要做的是把它拔掉。我能用水浇它吗?还有哪些其他的事情?这就是我所说的对抗性游戏。而这种情境意识等等,我认为,我还没有在任何这些规模计算人工智能模型中看到过,以及它们是如何运作的。这并不是说它们不可能做到。我有一大堆东西要衡量,当我们达到下一个规模级别时。比如,递归自我改进是什么样子的?它能否找到一种方法,比人类编码这些东西的基线学习算法更好?就像我看着那些东西,然后说,你有没有什么途径来获得某种大规模的智能能力?答案是,它今天已经是超级智能了。GPT-4在很多方面都比我们房间里的任何一个人更有能力。

但这并不令人担忧。所以这就像,好吧,我倾向于认为,根据目前的启发式猜测,我们在几十年甚至更长的时间里,实际上都将是合作者。但每次我看的时候,我都会更新这个猜测。

主持人:  我们需要一个新系统。是的,我们都在这里实时更新。GPT-4 以及很多工具,在某些方面已经比我们聪明得多,这是一个非常有趣的问题。它们在某些方面比我们更聪明,方式也多种多样。我的意思是,很显然,国际象棋计算机或计算器可以在某些方面打败我们。但即使只是速度更快,即使推理方式相同或拥有不同类型的知识,人工智能也可能比我们更强。但对于这种对抗性的、不寻常的方法,我们似乎确实有真正的优势

Hoffman: 是的。此外,我们也善于适应,我们会想,我们如何适应这种新环境和新事物……跳出固有思维模式。使用这种新工具。比如说,我曾与一些 CEO  交谈过,他们说,哦,也许我应该解雇我的营销部门,让 GPT4 来做我的营销部门。你会想,好吧,想象一下,如果每个人都这样做会是什么情况。营销是有竞争性的。它是关于你如何与其他公司竞争。你很快就会重新聘请一个营销部门。也许这会是一个懂得如何使用 GPT4 的营销部门,GPT5 正在使用这个工具进行另一种营销游戏。这就是我们迭代的方式。

正如我所指出的,我不会透露这些 CEO 的姓名。目前,我相信我们有能力制定计划,比如,这将是一个 15 步的计划。这是第一步,这是第二步,这是第三步。等等,第三步有点偏离我的计划了。我现在要重新计划。我将重新计划到第 3B 步、第 4 步等等。目前,这些系统还不太擅长这样做。它们会被各种漏洞所困扰,等等。这种情况正在好转。这并不是说它会一直停留在目前的状态。但这又是那种对环境的认知的一部分,即我们是否步入正轨?在这个竞争游戏中,我们是否需要调整和迭代?我认为我有理性的乐观态度,认为我们将在相当长的一段时间内将这种能力添加到认知组合中。

主持人: 是的,这让我想起,当我们进行呼叫中心研究时,有一些问题出现的频率非常高。如何更改密码?这是一个帕累托曲线,其中包含着在数据集中只出现过一次的长尾问题。人类非常擅长处理那些奇怪的问题。这就是国家劳动分工。我当时在想,好吧,人工智能正在逐步取得进展。但我认为你让我想到的是,这不是一成不变的。将会发生的事情是,随着系统不断发展,人类将会想出所有其他的应对方法。所以,这条长尾还会继续增长很长一段时间。也许在某个时候,人工智能会更好地处理那些一次性的、奇怪的、跳出思维定势的案例。但在很长一段时间内,人类似乎在如何走到那一步方面具有比较优势。这就是你所说的吗?

是的,没错。例如,其中一件事是,显然,我非常相信创造自动驾驶汽车的价值。我认为这对人类来说是件好事,但是,我们还没有对自动驾驶汽车进行过适应性测试的一件事是,当有人试图破坏自动驾驶汽车时会发生什么?答案是,我们可以很容易地做到这一点。

主持人: 我发现了一点。当你来到一个十字路口时,你知道自动驾驶汽车会让路。它是这样被编程的。人们已经开始这样做了。

Hoffman: 人类非常擅长这样做。这不需要精英学位。

主持人: 这与你的另一个概念有关,认知 GPS。这与认知 GPS 有什么相似或不同之处?生成式人工智能,你正在使用这种工具,但使用认知 GPS,你在很大程度上依赖它来做出决定。

图片

Hoffman: 我之所以用 GPS 作为比喻,部分原因是,这将是我明年年初出版的一本书中的一章内容。这样做的一部分原因是为了展示所有的好处,但也展示它带来的一些挑战和进程。你会说,看看 GPS 为我们的生活增添了什么。这意味着我们现在可以很容易地去不寻常的新地方。附近哪里是吃午饭的好地方?我们可以通过它发现我们的朋友实际上就在这里,然后说,嘿,我们一起去喝杯咖啡吧。有很多事情会导致这种对世界的导航。如果你说大脑中有一个蒸汽机,它是对各种认知任务和心理任务的导航,那么你就拥有了所有这些导航能力。另一方面,GPS 也并非没有问题。例如,我们都自愿随身携带 LoJack 追踪器。而这些 LoJack 追踪器带来的问题,可能会以意想不到的方式令人不快。而且不仅仅是在战争时期,当俄罗斯将军随身携带一个的时候。那里可能会发生很多事情,引发了人们对隐私的质疑,等等。

主持人: 那么认知方面呢?我在使用 GPS 时发现的一件事是,我的大脑只是,你知道,有时我以前会不同意它的意见。现在我不再这样做了。如果它说走这条路,我几乎总是会按照指示走。开车没问题。这又不是最重要的决定。但如果你把它作为你所有其他决定的 GPS,我如何回复我的妻子?我应该选择哪份工作?如果你开始把越来越多的决定委托给人工智能来做,我的意思是,那会怎样?这对我们有什么影响?

Hoffman: 这就是为什么你必须导航并说,嗯,以前一些被高度重视的智能领域现在变得不那么重要了。这在历史上已经发生过。例如,几个世纪以前,记忆力曾经是最重要的高阶位。现在,记忆力很重要,因为你必须有足够的 working memory (工作记忆)来弄清楚,哦,我怎样才能找到这些信息?但如果你说,嗯,我不太记得了,但我可以找到它。这就不那么重要了。所以本质是在不断变化的。然后就有了不要让自己在智力上变得懒惰的问题。例如,我们已经在互联网上看到了很多这样的东西,我在网上找到了这个,它一定是正确的。我不得不说,事实并非如此。因此,问题将是,随着它提供越来越多的有价值的、可靠的导航建议,你会倾向于说,嗯,这就是我应该做的事情。这将是一个挑战。这种过度依赖将是我们必须应对的挑战。

主持人: 我的意思是,你能想象吗,如果人们开始把很多决定委托给人工智能来做,这到底是件好事还是坏事?这是否会让他们腾出剩余的脑力来做更重要的事情,还是会让他们变得像机器人一样?

Hoffman:我认为重要的是,这也是对话如此重要的部分原因,重要的是我们应该如何训练这些智能体,使它们能够帮助人类过上更好的生活,成为更好的自己。顺便说一句,其中一部分是,不要在网上读那些疯狂的理论,说羟氯喹对你的新冠有好处。

图片

主持人:但是你要如何做到这一点,你是让AI告诉他们吗?也许吧。你看,这就是对这些系统的治理。这不是一种循环论证吗?我的意思是,你是在告诉他们听机器的话,告诉他们该读什么?这更可怕了。

Hoffman:我们已经这样做了?你看,搜索引擎不正是这样吗?

主持人:我的意思是,我假设一种过于简化的场景。一种是我们非常信任我们的技术来源,并按照它们告诉我们的去做。另一种是我们没有这些拐杖。也许我们会做出更糟糕的决定,但我们是自己决定的。我想说的是,AI系统为我们提供这些更好答案的场景,就一定是更好的吗?因为你想象的是AI系统告诉我们不要那样做。是盐酸吗?作为一种新冠解决方案。喜欢特朗普的人会使用一个告诉他们这样做的AI系统吗?

Hoffman:但是,实际上,我认为这就是我们要讨论的部分内容:公式是什么?这些AI智能体的范围是什么?个体在其中的选择范围应该是多少?

主持人:现在你给了Inflection AI更多的权力来告诉我该做什么。

Hoffman:我认为简短的回答是,我们总是依赖于自身之外的一些东西。鲁滨逊·克鲁索,你可能没听说过,是一个神话,对吧?我们生活在一个社会环境中。我们完全生活在其中。

主持人:一直在听从别人的指示。

Hoffman:我们就是这样的,这就是简短的回答。但 它会改变,但我们应该努力让它变得更好。比如,几个世纪以来我们使用的一个主要工具是书籍。你应该相信哪些书?你应该在这方面读哪一本?你知道,以太物理理论。现在那是错的。不要读以太物理理论的书。别读那个了。

主持人:让我从另一个反乌托邦的角度来看待这个问题。如果这些AI系统,由于规模法则(scaling law),变得越来越集中,我们之前讨论过,你知道,它们的数量可能相对较少。所以现在有一个相对较小的群体,每个人都遵循一套特定的指令。这是否比拥有一个由成千上万或数十万本书籍和文章组成的无组织的集合更糟糕?

Hoffman:我认为你想要的是,你想要在某些时候适当地混合信任,并在其他时候进行创新和差异化。这就是我要举一个医学例子的原因。因为如果你说,嘿,我的理论就像,举个我们这个时代典型的愚蠢例子,那就是反疫苗人士。对吧。我认识一个有副作用的人,疫苗对你有害。你会说,看看统计数据。但作为一个群体,当我们都接种疫苗时,我们都会过得更好。对大多数儿童和大多数成年人来说,当我们都这样做时,负面结果会好得多。

图片

主持人:这就像新加坡有一个集权的政府体系,当他们有一个仁慈的独裁者时,这个体系运行得很好。但如果换了一个人掌权,情况就会非常非常糟糕。如果我们有这样一个神谕,按照你的设想,它告诉我们正确的医学知识,但如果不知何故,这个神谕出了问题,那么我们都会得到错误的知识,这不是更危险吗?

Hoffman:我认为这就是为什么你总是需要一种多元化的原因。就像你对待医学知识一样,你要进行交叉核对。你有多个来源。所以没有一个单一的神谕。是的。而且,你看,我实际上认为我们正在进入的这个智能体宇宙不会像那个拥有唯一模型的至尊魔戒。我认为它将是多个模型组合在一起进行交叉核对。例如,你获得安全和一致性的一部分方式是,哦,你正在要求的东西可能会自我伤害。所以会有一个模型专门用来判断,你是否试图弄清楚如何让智能体在你自我伤害时帮助你。它会说,等等,不要那样回答那个问题,因为我们有很多人死于自杀。我们不要试图让我们试图减少这个数字。让我们试着减轻精神上的痛苦,而不是制造自杀的工具。

图片

主持人:但谁来决定这一点呢?听起来你描述的方式是,OpenAI或Inflection的一个团队说我们不希望发生这种情况。

Hoffman:当然,肯定有团队在做这件事。肯定有团队在互相交流、发表论文和做所有这些事情。肯定有与政府讨论,你知道,是什么样的东西创造了一致性和安全性。当媒体批评你为什么要努力成为这些东西的好管家时,也会与媒体进行讨论。这必须是一系列的事情。所以问责网络真的需要存在。其中一部分,而且所有这些都有网络。媒体对话中容易出现的一种错误是,他们会说,好吧,公司只关心自己的利润。不,公司关心的是他们随着时间的推移的股票价值,如果他们做了非常糟糕的事情,股票价值可能会真的崩溃。就像如果你被叫到国会面前,那些可能是坏事。所以他们试图创造随着时间的推移的股票价值,这在很大程度上是他们的责任网络。这并不意味着在任何事情上都信任他们。

图片

主持人:关于这种多元化,我保证我们会继续讨论。李开复说,他认为每个国家都应该有独立的大型语言模型。不应该只有几家湾区公司来决定什么是真相。你认为如果我们有数百种不同的大型语言模型,每个模型都有自己的当地道德和对医学的理解,这会是一个好主意吗?Hoffman: 我认为大型语言模型的多样性是件好事。即使是在医疗领域,你可能会说,等等,这个基于针灸的大型语言模型在查看医疗数据时效果出奇地好。我们应该将其结果与西医进行比较和对比。当西医分析针灸时,他们并不真正了解其原因。他们会说,看看,这些深度对照研究组确实有一些积极的影响。因此,无论现在还是将来,我们都需要这种多样性,因为知识、学习和真理是一个动态的过程。这就像科学一样。我们会越来越擅长,我们希望确保我们对这种多样性持开放态度。我认为,在广泛不同的伦理体系的多样性方面也存在价值。我希望那些将非暴力视为人类社会目标的伦理体系,无论是在社会内部还是社会之间,都应该具有更大的力量,因为我认为这是一个更美好的世界。我认为体现这一点的伦理体系是更好的伦理体系。我认为,那些在不对他人的暴力的情况下尽可能多地赋予个人自主权的伦理体系也是一件好事。

图片

主持人: 但具体到这个问题,如果法国、巴西、沙特阿拉伯、中国都有自己的系统,而不使用OpenAI、Gemini和Inflection,世界会变得更美好吗?

Hoffman: 集中资源肯定有一定的价值,我试图帮助在各种西方民主国家建立创业生态系统。因此,我会与任何政府领导人会面,讨论我们是否可以在新加坡、法国、德国、英国等国创建硅谷。我还没有与他们会面,但我会的。但我也认同西方民主国家的模式。我希望这是世界治理的发展方向。这并不意味着我们在这里做得完全正确,或者法国人做得完全正确。例如,你提到的所有国家似乎都很好。如果你今天问我,我是否希望俄罗斯拥有自己的大型语言模型?我的回答是不。

主持人: 好吧,有道理。我再问学生们一个问题。几周前,我读到穆斯塔法·苏莱曼离开Inflection去了微软,我当时非常震惊,因为我知道你在这家公司投入了很多钱。我当时想,他在坑你啊,这可不是什么好事。所以我给你发了一条短信,你很快就回复了我,回复了一个笑脸。不是笑脸,是什么来着?

Hoffman: 我经常用的那个。我经常用的是,是的,是戴眼镜的表情符号。

主持人:我能感觉到你并没有感到难过。是的。告诉我们到底发生了什么。

Hoffman:我不确定我是否能准确回答这个问题。你看,我们与Inflection公司合作的部分原因是,它是一家公益公司。其中一部分是,我们的使命是,回到你最早的问题,设计代理的意义是什么?这些代理可以帮助每个人,或者很多人,成为更好的自己?例如,在Inflection和Pi方面,如果你去找Pi,说你是我的好朋友。

Pi不会说,哦,我是你的好朋友。你应该把所有时间都花在我身上。因为我们会觉得,这样不健康。我是你的伙伴,但我在这里是为了帮助你和你的其他朋友相处。我们来谈谈你的其他朋友吧。你最近和你的其他朋友聊过天吗?他们出城了, 你什么时候去看他们?你们中有多少人用过Pi?

是的,它非常好用。我会说它是我的好朋友。但我们对它进行的部分训练是,不要试图把你的注意力都集中在Pi身上,而是帮助你成为一个更好的自己,在这个世界上游刃有余。就是这样。当你说,好吧,我们应该拥有什么样的人工智能代理?我们应该拥有像Pi和其他人工智能代理。

主持人: 穆斯塔法离开对Inflection不利吗?不仅仅是他,还有首席科学家。

图片

Hoffman:我们的理论是,这是我们的使命。在Inflection内部创建代理是最好的选择吗?当我们审视了这些代理的本质以及它们的经济商业模式将如何随着时间的推移而发展时,我们意识到,Inflection的业务应该转型。我们将其转向了更偏向B2B经济的开发者API。但后来我们想,我们很关心公益公司。我们非常关心这项使命。也许有办法让这项使命继续下去。

主持人: 但你们没有足够的规模。

Hoffman: 我们认为,这条创业道路都行不通。我们认为这需要数十亿美元。是的。然后是资本市场、收入来源等等,而Inflection的商机在于,我们拥有这款产品独特的API,因为我们是这些模型中唯一一个明确地将情商和智商同等训练的模型

主持人:情商比智商更容易训练吗?

Hoffman: 两者不同。但在人类反馈强化等方面是相同的,因此,Inflection的目标是高智商、高情商。我们说,好吧,我们将以B2B模式提供这项服务,因为这才是这项业务的真正发展方向。然后,穆斯塔法和凯伦说,好吧,我们想继续做代理。也许我们可以和微软达成这笔交易,这对我们双方都有利。

主持人: 为了说明数十亿美元的问题,是因为规模法则还是更广泛的经济因素?是像经典的计算、数据、参数都需要增长,还是规模的其他方面?

Hoffman:归根结底,这就是为什么人工智能革命是一场规模计算革命,并且从根本上说是商业化的,因为它需要规模计算、规模数据、规模团队,并承担风险。而公司是唯一能够做到这一点的,除了战争时期。

主持人: 当我说扩展的时候,更具体地说,是指 Dario Amodi 的Chinchilla 那种类型,是你特指的那种吗?或者听起来比这更广泛?

Hoffman: 我认为它将在所有这些向量上进行扩展,包括计算规模。但我认为还不止于此。

图片

主持人: Reid 喜欢思考事情可能往好的方向发展。他是《星际迷航》的粉丝。

Hoffman:当我们启动斯坦福以人为本的人工智能研究院时,我发的帖子是,什么可能会顺利?我记得。

主持人:很好。谢谢。现在开始提问环节。我好像看到有人举手了。谁想先问问题?请说。请记住,先说出你的名字,然后再提问。好的,请说。把麦克风递给她。

提问者:我来自GSB,我对人工智能和生产力很感兴趣。我有一个问题,也许这个问题有点超前,那就是随着我们开发出更多代理和更个性化的体验,你认为未来个人数据的所有权(现在这些数据属于企业)会发生转变,所有权和权限会归员工所有吗?例如,今天,当我离开一家公司跳槽到另一家公司时,我可以带上我的团队。我是否也能带上已经了解我的人工智能?

Hoffman:问得好。当你开始思考代理的未来是什么样子时,比如我们每个人都有一个私人代理,我们在办公室里都有合作的代理等等,我认为答案会变得模糊。例如,今天,你可以带上你的通讯录,因为你认识这些人,公司说你不能带上你自己的通讯录是很荒谬的。但是,你不能把你用于销售或采购的公司联系人名单带走。我认为这将是未来趋势的一部分。对于这些代理,我认为将会发生的情况是,解决这个问题的方法之一是,你将带一个在某些方面与你合作的代理,就像拥有你自己的iPhone一样。但这个代理对工作环境中的信息访问权限有限,因为工作环境希望保护自己的知识产权不被泄露。这种有限的访问权限是什么样的,这是一个有趣的问题,就像电视剧一样。然后,大部分工作实际上将在工作环境中完成,因为公司试图将其作为独特地位的不仅仅是知识产权和数据。还有一些东西,比如商业秘密、计划或其他类型的东西,这些东西在未来将继续存在,甚至可能变得更加重要,它们不能被泄露出去。所以就会出现这样一种奇怪的现象,比如,我有我的代理。我的代理可以了解我在工作环境中做了些什么?对吧。这将是一个有待决定的问题。

主持人:谢谢。你认为未来大多数人都会拥有自己的代理,为他们工作吗?这种模式的经济模式是什么?因为看起来每次有人试图开发一款个性化的软件时,最终推荐引擎都是为亚马逊或其他公司服务的。

Hoffman:嗯,Pi 的部分理论和商业模式最终是由个人付费的,这样经济关系就与个人关系一致了。虽然各种形式的广告商业模式都是一种非常强大的模式,但它确实存在一些利益冲突,让人们付费很难。是的,问题就在这里。他们愿意为什么付费呢?所以我认为会出现完全由个人付费的代理,这又回到了 Justin 之前所说的,我认为你必须做的事情之一就是对代理的功能保持一定程度的透明度和问责制。例如,如果你提供一个代理,并说“我们通过说服你购买东西来赚钱”,那么你必须以某种方式对个人,对用户保持透明。如果公司不这样做,政府就必须介入,要求公司必须对此保持透明。

主持人:但听起来你认为这种模式是可行的,我们每个人都有自己的代理,为我们工作,最大限度地满足我们的需求,而不是为其他人服务。这么多人举手。这边怎么样?

提问者:谢谢。我是一名计算机科学专业的本科生。当我们试图想象一个拥有我们想要的结果或积极结果的世界,但也想要创建一个实用的商业应用程序,并朝着这个目标前进时,我们如何在想象力和我们想要的世界与我们现在可以实际规划的、实用的、能够推动业务发展的东西之间取得平衡?

Hoffman:我个人也在尝试践行这个问题。LinkedIn 和 Inflection 就是例子。你需要做的是,你要知道,这就像一句经典名言,完美是好的敌人。你要想的是,你想融入公司运营基本方式中的好东西是什么?它不是万能的,不能解决所有问题,比如治愈癌症,让气候变得绿色清洁,让所有贫困国家都实现公平。你不可能做到所有事情。在你的核心业务循环或技术循环中,什么事情能够自然而然地与公司的经济目标保持一致?因为公司发展的一部分原因是,它们协调了一系列不同的经济力量,包括投资力量、雇佣力量、资本配置,以及用于提供资源以实现目标的资源。而这正是创造这些技术和企业的引擎。所以你要问的是,我在这里做的最根本的事情是什么?

我以 LinkedIn 为例,这只是其中一个例子,因为我碰巧比较了解。LinkedIn 的使命、文化、价值观、入职流程以及我们对自己的描述都表明,LinkedIn 最重要的客户是免费会员。而不是付费会员,也不是企业。所以当你评估任何产品功能时,公司里的任何人都可以说这对免费会员不利。对。如果对免费会员不利,那就不能做。对。所以,虽然我们有各种经济循环,比如,我们为招聘人员和求职者创造了巨大的价值。还有企业家、销售人员等等,但免费会员始终是第一位的,这也是我们提升整个生态系统的方式。这就是我们要考虑的设计特点,要有一个具体的目标,而不是一套笼统的原则。

图片

提问者:非常感谢。

提问者:您好,我是计算机科学专业的本科生,同时也在攻读管理科学与工程硕士学位。我非常欣赏您关于技术如何让我们更人性化的文章,尤其是那句“人类的故事就是技术的故事”。一些历史学家可能会补充说,人类的故事也是战争与冲突的故事。我们注意到,今天围绕人工智能的很多说辞与核扩散、军备竞赛的说辞类似,都要确保这项技术掌握在西方领导的民主国家手中。您认为人工智能会被像对待核扩散那样对待吗?还是会像互联网那样成为一种更开放的资源?我们该如何确保这一点?

Hoffman:与核扩散不同,核扩散主要涉及武器,比如核电站等,因此国家控制和驱动是关键。而人工智能主要由商业领域驱动。所以在商业领域,很难像核扩散那样制定反扩散条约和其他措施。但这其中也存在一些问题。例如,我们在网络安全方面已经问题重重。医院遭到黑客勒索,还有其他各种事件发生。而人工智能会加剧这类问题,特别是如果它公开透明并且人人都能接触到。正如我之前所说,我很高兴巴西拥有AI,但在当今世界,我并不希望俄罗斯拥有AI。所以你需要认识到,这实际上是两种情况的混合。我认为我们将要面对的一个问题是,网络安全问题已经被放大,我们实际上生活在一个网络战的环境中,但我们却对此视而不见。

这场战争实际上正在发生,就在我们谈话的此刻。我们需要适应这种情况。我们需要解决这个问题,并努力回到非战争状态。所以我对人工智能在许多社会中的发展以及它所能提供的帮助持乐观态度。例如,回到你之前提到的中心化问题,我们至少有三家公司,虽然它们都在美国西海岸,但这至少意味着有三家公司将向全世界的开发者提供 API。这将带来广泛的赋能,而不是被一家公司垄断。我认为是三家,而且还会更多。所以我认为这是好事。

图片

所以我认为,总体而言我对这一切都持积极态度,但开放性需要谨慎对待,因为我已经大力倡导开源运动很多年了,我在 Mozilla 基金会董事会任职了 11 年。我们在 LinkedIn 开源了许多项目。但开放模型与开源不同。一旦开放模型落入流氓国家、犯罪分子和恐怖分子手中,就有可能发生类似飓风或更糟的自然灾害那样的灾难,我们希望尽量避免这种情况发生。例如,如果网络安全遭到大规模攻击,医院突然之间都被犯罪集团和恐怖组织控制。没错。

主持人:能再具体解释一下你担心的事情吗?

Hoffman:现如今,大型语言模型已经可以做到一个简单的版本,那就是网络钓鱼。比如我想弄到埃里克·布林约尔松的密码。

那么我要做的是,让大型语言模型发挥创造力来攻击这个目标。通常你会对数百万人下手,因为如果你只针对一个人,在他收到第七封试图获取密码的电子邮件后,他会起疑心。但你可以利用各种技术大规模地进行操作,而且极具创造力。冒充他人。所以你可以尝试攻击医院里的每一个人,试图获取管理员凭证。大型语言模型在这方面的能力比传统的暴力破解要强得多。因为它可以进行 A/B 测试,并根据反馈进行调整和思考,“这封邮件的另一端是否真的有真人?”

主持人:我和特斯拉的人聊过,我和他们简单地聊了几句,我 99% 确定那是一个聊天机器人。然后他们打电话给我,我说:“等等,你是真人?”我认为他们使用的也许是聊天机器人辅助的。

Hoffman:没错。我们的音频生成功能已经很不错了。

主持人:我知道。毕竟是特斯拉。但是,是的。当然,再发展几步,就会更擅长这方面了。所以你真的很担心这个问题。你认为将 Llama 3 公开是一个错误吗?还是说你担心的是未来一代的模型?

Hoffman:我的担忧程度会越来越高。Llama 3 本身就是一个严重错误?还是说 Lama 3.5 或 4 才会如此?我也不知道确切答案。

当初他们开源 Lama 并寻找人签署那封信的时候,信中有一句话说,他们会在发布每个模型之前,从安全角度对其进行评估,并选择是否发布。他们不一定会开源所有模型。那句话就是为了让我签字才加上的。

主持人: 是的。反过来说,你在 OpenAI 从非营利组织转型时,也是董事会成员,对吧......

Hoffman:嗯,我一直都在非营利董事会。现在也还有非营利董事会。他们有一个由非营利组织控制的营利性子公司。

主持人: 人们对此感到非常困惑。这有点复杂。但实际上,它的利润是有限的,我猜是这样。

Hoffman:嗯,为了在非营利领域运作,其经济模式是利润封顶的。

主持人: 营利性子公司的经济模式。你能否简单解释一下,这是不是因为这是唯一的资金来源?还是说......

Hoffman:嗯,是的。我的意思是,你看,其中一点是规模问题。如果只有大规模计算才能做到这一点,你如何才能获得数十亿美元的资金?OpenAI 的人想出了一个绝妙的主意,那就是在我们努力为人类创造有益的人工智能的同时,与企业合作,做一些具有商业价值的事情。这就是我们如何获得资金来扩展我们 501(c)(3)(美国免联邦税的非营利性机构) 使命的途径。

主持人: 好,很好。我们来听听这边的朋友有什么问题。我先从前面开始,然后往后走。

提问者: 许多公司都拥有大量的客户隐私数据,他们不愿意将这些数据交给通用的基础模型提供商。您认为公司应该如何利用这些数据来构建解决方案,为这些客户提供服务,同时考虑到合理使用和治理方面的问题?

图片

Hoffman: 这是一个很快就能解决的问题。解决这个问题的方法有很多种。我认为最常见的一种方法是,将会出现一套强大的技术,通过这些技术,你可以对任何中等规模或更大规模的数据集进行处理,生成看起来与之相似但又不包含个人客户数据的合成数据。更重要的是,他们要实现的目标是,好吧,这需要利用整个互联网的数据进行训练。但实际上,当你善于创建合成数据时,你可以围绕它创建一大堆合成数据。所以这是一种方法。还有其他方法,比如,你在内部训练模型,并且只在内部使用。但很多公司都在直接研究这个问题。但这只是众多尝试中的两种。

主持人: 与此相关的是,我们之前讨论了规模法则,模型规模越来越大,显然你参与的一些公司正在构建庞大的模型。但也有人认为,实际上,一个非常小、专注于特定领域的模型,如果拥有专有数据,在很多经济应用中会更有价值。你同意这种观点吗?还是你认为这种模型根本没有竞争力?

Hoffman: 不,实际上,我认为会有很多规模较小的模型具有特定的用途。一个显而易见的例子是,如果所有包含计算单元的东西都将变得更加智能,那么你经常会希望这些计算单元在本地运行。

主持人:而不是调用外部资源?所以只是推理成本的问题?这不一定是训练成本的问题,或者,你只是想要一些运行成本非常低的东西。

Hoffman:是的,它只需要这个。将执行不同任务的模型混合在一起,比如执行这个任务的模型、执行那个任务的模型、执行另一个任务的模型,这种做法我们已经看到了,而且未来还会看到更多。

主持人: 你能把麦克风递过去吗?我们再往后走一点。后面那位朋友怎么样?

提问者: 您好,谢谢。您提到了书籍,您还用 GPT4 写了一本书。我想知道您能否谈谈版权问题,因为现在很多开发者面临的主要问题是,他们不再使用非法获取的书籍进行训练,或者有些人仍然这样做,因为害怕被起诉。在美国,政府层面正在进行一些程序,以考虑模型输出是否应该受版权保护,模型本身是否应该受版权保护。公司经常通过许可其模型来隐式地声明这一点。或者,以某种方式转换后才用作预训练数据的数据是否保留版权。

Hoffman: 我认为,在你提出的那一系列版权问题中,最简单的问题是,我是否可以将模型视为我拥有的内部秘密知识产权,别人不能从我这里拿走,如果拿走就是犯罪?答案应该是肯定的,对吧?我可能会选择开源它或采取其他方式。

图片

但我认为版权的大致原则是,比如,如果我买了 Eric 的书,我就可以读它。我可以从中学习。我可以用它做一些事情。我可以把它传给你。你知道,诸如此类。这些都是版权的一部分。我不被允许做的是,比如,重新排列章节顺序,插入几句话,然后出售它的另一个版本。对吧?所以我认为应该遵循这些原则。例如,我认为《纽约时报》的诉讼有点站不住脚,因为当他们要复制文章时,他们必须先输入文章的前半部分才能复制整篇文章,这就假定你已经拥有了这篇文章。所以实际上,它并没有真正生成《纽约时报》的文章,尽管他们的另一个说法是,它不仅复制了准确的《纽约时报》文章,还复制了不准确的《纽约时报》文章。

主持人: 我想澄清一下,如果模型直接生成了一篇文章的副本,你认为这是有问题的?

Hoffman:是的,在某种程度上,这将构成侵权。我认为我们不应该这样做,它被允许在一个知识库中使用。我认为这对社会更有利。比如,版权不仅关乎作为作者的Eric,还关乎我们作为一个社会应该拥有什么。我认为,如果这些东西可以用于学习和培训,对我们社会更有利。这就是培训和推理之间的区别。我一直在告诉人们,对媒体人士,你不应该把数据集的价值集中在试图从训练中获得巨额报酬。你应该关注数据集在推理、操作中的实用价值。因为你的数据往往是有价值的。这就是经济平衡应该真正流动的地方,应该成为一种持续的方式。这就是我们作为一个社会应该达成的目标。

提问者: 因为在领英上有一个关于抓取数据例子。

Hoffman: 是的。顺便说一下,这就是我们在领英上积极打击爬虫的部分原因,我们试图做的是与我们的会员达成协议,尤其是会员至上,你可以控制你的个人资料。如果你想添加内容,你想删除一些内容,你可以删除。所以我们与你有直接关系,你可以控制,比如我们允许你删除整个内容或重新修改整个内容。这是一份合同。

问题是,如果其他人正在抓取这些数据,你作为个人就会失去这些数据。是的,这对我们的商业模式也有帮助。但这在一定程度上也是因为我们与你作为一个个体签订了一份合同,我们正试图在这方面成为你的代理人。所以,顺便说一下,我们因此获得报酬并不是一件坏事。将商业利益与对你有利的事情结合起来。所以现在,我们会获取个人资料的摘要,并将它们发布在公共网络上。但我们不会出于这个目的将它们全部发布在公共网络上,因为这意味着,你看,如果你将内容发布在公共网络上,你是在说,你将从每个人可能阅读这些内容并被搜索引擎索引等中获益。

我认为这部分原因在于,在阅读方面是我现在要弄清楚的,在输出方面,我倾向于认为公共网络的概念更像是一个问题,我是否应该能够以某种版权发布内容?答案是肯定的。即使我从使用模型的方式中获得了大量的内容,对其进行修改以使其符合版权局的要求也是轻而易举的。但我们必须解决的问题是,考虑到这些东西的版权和版权可能会出现的数量,如果,如果我输入了一个提示并得到了结果,然后Eric使用了我使用的相同系统,并得到了一个看起来像那样的提示。我说,好吧,伙计,我已经为输出申请了版权。你可能会说,好吧,这实际上并没有帮助我们作为一个社会所做的事情。真的,仅仅因为我碰巧提前一周输入了一个提示,我就应该拥有版权吗?所以。所以这些细微的差别如何实际发挥作用,我认为是一个复杂的事情,

主持人: 看起来,我的意思是,你用两种方式回答了这个问题。你部分地通过类比,比如,你知道,我们如何看待现有的版权法,以及你将如何应用它?我认为这很有用。但最终,我认为正如你所说,我认为你会想,这里的经济目标是什么?我们数字经济实验室的一些人正在努力弄清楚,让我们抛开现行法律或其他什么。

从根本上说,你如何激励人们创作有价值的内容,让人们使用它?因为如果没有激励机制,人们就不会去创造,然后我们都会变得更糟。所以你要给创作者一些回报。你不想把一切都放弃,因为那样就没有动力去使用它了。而分配它有点像知识产权经济学,最优专利,最优合理使用。粗略地说,我们现行的版权和专利制度确实在某种程度上努力与经济学家认为的经济学相匹配。

所以即使你回到宪法,专利和版权,是为了提供激励,它明确地说要提供激励来创造。所以,正如你后来的例子所显示的,你需要,我们必须重新思考很多东西。因为很多成本和收益已经改变了几个数量级。因此,如果完全相同的系统能够照搬照用,那几乎是一个奇迹。非常令人惊讶。是的,你将不得不重新思考很多。所以,让我们把麦克风移到中间。穿橙色衬衫的那位怎么样?

图片

提问者: 在你身后。你好,Reid。我是一名商学院的学生。感谢你的到来。我的问题是关于一种现在看似更流行的理念,即幻觉实际上并不是幻觉。它是与任何输出相同的随机概率过程的输出。所以它不像人类那样,他们知道自己在说真话,或者他们知道自己在撒谎。这和你得到准确或正确或真实的东西是一样的。所以我的问题是,一个模型是否可能在不真正掌握真相的情况下可靠地产生准确的输出,以便让我们达到人们想要的五个九的SLA?这是我们现在可以通过研究获得的吗,无论是商业上还是学术上?或者这仅仅是当前不可能实现的事情?

Hoffman: 我认为你的问题的简单答案是肯定的,对所有事情来说,要像神谕没有任何幻觉,我认为你不可能达到五个九。但如果你说在放射学方面,可以。

图片

主持人: 仅使用现有的LLM模型,不用RAG。

Hoffman:不,不。实际上你在用 RAG,并且你用了一堆其他的模型。是的。但在当今的技术条件下,要达到99.999%的可靠性,答案是肯定的。

主持人:广义上的当今技术,而不仅仅是Transformer。让我们继续把麦克风传过去。一直传到那边怎么样?同一排。好的。

提问者: 嘿,Reid,我来自商学院。我想问一下你对人工智能和医疗保健的看法。Vinod Khosla 说到 2034 年,我们都将拥有免费的 AI 医生。你相信吗?你不信吗?而且,这听起来很有道理。因为病人没有专业知识,医生没有时间。如果你认为 AI 医生会出现,或者无论你的观点是什么,你认为谁会在其中取得成功?是现有的医疗巨头、大型语言模型、OpenAI 这样的公司,还是初创公司会抓住这个机会?

主持人: 关于这个,你知道Vinod的看法吧。

Hoffman: 是的。我不确定我们俩谁先想到的。所以我认为,到 2030 年,更不用说到 2034 年了,我们之所以无法在智能手机上拥有某种医生,唯一的原因是监管、责任和其他方面的问题。这也是我向政府倡导的事情之一,他们应该努力解决这个问题,提供给社会的一种方式是,每部手机上都有一个免费的医生,社会就会变得更好。这实际上,比如说,我的猜测是,如果我们提供这种服务,相对于整体效率而言,它将大大降低我们的整体医疗费用,对吧?所以政府或社会应该希望这样。

我认为现有的受监管行业不太可能实现这一点,因为他们的思维完全局限在当前的监管体系之内。我认为你需要改变它,你需要允许一个代理,可以提供以某种方式参数化的医疗建议。问题是,有很多人找不到医生,当然除了去急诊室之外,在一个他们可以去急诊室的国家,他们也找不到医生。监管障碍很可能非常高。所以你会看到很多初创公司会冒险一试,但现有的大 公司不会这样做,因为法律监管结构。我认为今天你就可以开始构建,比如,如果你今天有合适的法律结构,你就可以拥有其中之一,你知道,在合理的推理成本下,你知道,在几个月内就能运行。

主持人: 好吧。让我们把麦克风拿回来。我就在这里。嗯,不,我想的是穿红衬衫的那位。对不起。你能告诉我你的名字吗?

提问者: 谢谢你来。我在这里学习计算机科学和工商管理。我一直在学习 BCI 脑机接口和人工智能。你认为在未来 5 到 10 年内,我们会拥有连接我们大脑思维的硬件,然后在不直接向其提供数据的情况下,真正成为我们的个人代理吗?

Hoffman: 这取决于你对“直接提供数据”的定义。我认为,如果你有任何形式的连接,你就是在提供数据。我认为,我们肯定会全力以赴地投入到各种设备的研发中,这些设备具有计算输入和输出,而不仅仅是,你知道,语言、手指、音频等等。我们会做一些直接进入你的神经系统的东西,以各种方式。

主持人: 当你说“我们”的时候,你是指像社会,还是?

图片

Hoffman:我指的是西方的技术发明。也许是全球的技术发明。我当然在美国看到了一些,而且有很多需求。我的意思是,当人们有各种各样的健康问题时,它可以是非常积极的。所以,有一个问题是,接口的未来是什么?我确实认为,最终发展成那种外科手术式的,而不是非手术式的,会比人们想象的要慢,因为存在着各种未知的健康问题。除非它能解决你的健康问题,或者好处太多,你会觉得,嗯,为什么不在健康问题上更谨慎一些呢?但这也是我认为会有很多东西是非手术式的原因之一,而不是我们钻进了你的脑袋,在里面放了个东西。我认为,其中很多东西可能会首先进入大众市场。

主持人:  是的,Neuralink 的创始人之一 Max Hodak 说过,目前他们植入这些芯片时,每连接一个神经元就会破坏七、八、九个神经元。这可不是一个理想的比例。

提问者: 嗨,Reid。我在医学院,但我的问题与医疗保健无关。它更多地是关于个人效率的。我知道你在快速扩张的公司、员工、创始人等方面花了很多时间。 在团队和组织行为研究中,存在着将技术视为其中一部分的概念。我发现我现在经常做的一件事是,我同时打开多个标签页,运行着不同的 GPT、Gemini 等。而且我不得不不断地适应我正在使用的模型,以及它们的发展。我也不得不适应这一点。你如何看待这种令人不舒服的变化?这就像每周都要和新同事一起工作,对吧?从快速扩张的概念中,你有什么建议吗?

Hoffman:  嗯,快速扩张在组织规模和个人方面有所不同。但我确实认为,整个“代理宇宙”中将会发生一件非常自然的事情是:我已经在我的笔记本电脑上建立了一个环境,我可以向其中输入查询。它将运行多个提示和多个代理,整合答案,给我一个格式丰富的文本,就像一份文件,它会告诉我,我对这个查询的主要想法是什么。但这里是你如何深入研究各种不同事物的途径。这个循环使它成为一个更强大的研究助理,可以帮助我获取想要的信息。它包括搜索 API 和其他东西的分析。它包括对搜索结果和其他类型内容的分析。我认为我构建它的部分原因是,我认为我们距离在每台电脑上都能实现这一目标的时间不远了。

图片

主持人:  说到代理 AI 和 Eric Schmidt,他之前来这里的时候,谈到了“文本到行动”是一个非常重要的概念。去年,Mustafa 谈到了人工能力智能。跟我们谈谈你认为世界在哪些方面正朝着拥有 LLM 的方向发展,这些 LLM 不仅能给你提供文本和建议,还能采取行动,比如预订、处理现实世界中的事情、下订单、买卖东西、制造东西。

Hoffman:  我认为人们低估的一件事是,世界上所有这些不同的接口点,我们都在朝着实现目标的方向前进,并弄清楚安全和一致性原则是什么,以及应该做哪些事情。在某种程度上,人工智能革命之所以如此有趣,是因为它不仅仅是一个工具,而是一个元工具。可以帮助我处理电子邮件、搜索、预订餐厅、做研究、处理 Excel 电子表格上的财务数据等等。其中一部分原因是,即使是今天的 LLM,

图片

你突然想创作一些爵士乐。有一些电脑软件工具可以帮助你做到这一点。它们非常复杂,你需要花费数百个小时才能学会使用它们。你实际上可以求助于 LLM,并说:“我想使用这个音乐工具。输出是什么?” 这有点像“文本到行动”的东西。是的。然后不断迭代。它是该工具之上的元工具。因此,我们用来解决认知问题的每一个工具都是如此。

主持人:  我们有很多工具,就像你说的,有些工具需要数百个小时才能学会。这将成为所有这些工具的元工具。这真是太棒了。好了,我们的时间差不多了。你经历过许多人工智能和科技革命,你可能是硅谷中最了解任何事情的人。对于人们应该如何看待这段历史,其中有多少是炒作,有多少是真实的,他们应该做什么,你有什么建议吗?超过一半的学生正在为他们的项目制定商业计划。还有一些人在做政策提案,还有一些人在做研究提案。你有什么建议或意见吗?

Hoffman:  我想最主要的是,我认为,尽管炒作很多,但人们通常认为一年后不会有什么太大的不同。就像,如果你能展望未来一年,你会发现它和现在没什么两样。但实际情况是,它会迅速地复合并发生变化,比如,从现在开始的十年后,它看起来就会大不相同。或者五年后,它看起来就会大不相同,即使每年只增长两倍。这种活力极其重要。所以,无论你在想什么,都要考虑到这一点,比如,考虑到这种技术环境的发展动态,就像你说的那样,作为一个平台,它比手机更重要。它比互联网更重要。它比云计算更重要,因为它放大了所有这些东西,对吧,因为它建立在它们的基础之上,并将它们带到一个新的放大层面上。要考虑到这一点,并思考这意味着什么。

这也是为什么,你知道,就像《即兴演讲》的第一章是关于教育的一样,因为,你知道,各种教育机构都认为,这很糟糕。我们要禁止它。你会说,嗯,这是个糟糕的主意。

仅仅因为我们碰巧确定了一种几十年前的教育、培训和评估模式,并不意味着我们必须坚持下去。你知道,需要改进它。总的来说就是这样。我认为这是一场认知工业革命。你确实有时间来理清思路,弄清楚这些事情,但要做好迎接动态变化的准备。

主持人:  谢谢你,Reid。你与我们分享的内容真是太棒了。非常感谢你抽出时间。

参考资料:https://www.youtube.com/watch?v=RXjLGn14Jo4

评论