编译 | Alyssa

编辑 | Panken

智东西6月17日消息，当地时间6月7日，AI教父杰弗里·辛顿（Geoffrey Hinton）在联合国AI for Good大会上分享了AI在医疗和教育领域的潜力、网络犯罪和假视频的威胁以及提倡建立更严格的监管框架等话题。这场对谈共46分钟。

此次对谈中，Hinton有很多令人深思的金句与观点：

1、人类心智并无AI不可复制之处，且AI已经具备主观体验。

2、我一直认为通用AI不会突然出现一个时刻，让机器瞬间超越人类。它们将在不同时间，在不同领域超越我们。

3、AI将创造大量财富，几乎所有人都认为AI将提高生产力。问题是，新增的财富将流向何方？我认为不会流向穷人，而是流向富人，这将加大贫富差距。

4、大语言模型真的理解它们所说的内容，几乎与人类一样，AI理解的方式与人类理解的方式相同。

5、AI不仅将助力基础科学研究，在许多情况下，它能处理大量非视觉、非听觉的复杂数据，如基因组数据。我认为，AI系统在处理大规模数据、识别模式、理解数据方面将远超人类。

6、我认为，提前对公众进行假视频的“疫苗接种”，把它们当作疾病一样对待，这是一个好主意。就像预防疾病一样，可以使用减弱版的病毒来接种。

以下是Geoffrey Hinton与《大西洋月刊》CEO Nicholas Thompson对谈的全文编译：

01 .

40年前就已提出，机器智慧因借鉴人脑架构

Nicholas Thompson：很高兴能再次回到这里，我更高兴的是能与杰弗里·辛顿同台，他是这个领域中最聪明、最出色、最能干且最善良的人之一。杰弗里，您最近怎么样？

Geoffrey Hinton：我很好，非常感谢您那过分热情的介绍。

Nicholas Thompson：杰弗里，我想从我们几乎一年前的一次对话开始，当时我们在多伦多，正准备上台，我的两个孩子当时和我在一起，他们那时分别是14岁和12岁。您看着那个大点的孩子说，“您会像您爸爸一样进入媒体行业吗？”他回答说“不会”。您说“那太好了”。然后我说，“如果他不打算进入媒体行业，那他应该做什么？”您回答说“他应该成为一名水管工”。所以，我的儿子申请了学校报社的工作，我很想知道您是否认为他在犯一个严重的错误，我是否应该真的把他派下楼去修理水龙头？

Geoffrey Hinton：不，我当时是在开玩笑，但我确实认为，水管工这个职业会比大多数职业持续更长的时间。我认为目前我们的AI最差的地方就是物理操作，它正在迅速改进，但这是它相比人类最弱的一环。

Nicholas Thompson：好的，那么在这次采访中，我想先从辛顿博士的背景开始，然后我会向您提出一些最有趣的技术问题，其中一些我们已经在台上讨论过。我们将聊一些关于AI的正面影响，然后是一些负面影响，最后再谈谈监管框架。听起来如何，杰弗里？

Geoffrey Hinton：听起来很好，非常棒。

Nicholas Thompson：首先，我想从40年前开始说起，那时您是一名孤独的科学家，而您所拥有的洞见最终成为了这个领域最重要的发现之一，可能是20世纪后半叶最重要的发现。您意识到，为了制造出极其强大的计算机，应该借鉴人脑的架构来实现。现在看来这似乎显而易见，但在当时并非如此。请告诉我，那一刻的洞察力如何推动了这个领域的进展？

Geoffrey Hinton：这是一个美好的神话，但实际上有几个人在不同的时期也有类似的想法，特别是1950年代的纽曼（John Von Neumann，现代计算机的奠基人之一，20世纪最杰出的数学家）和香农（Claude Elwood Shannon，美国数学家、信息论的创始人）都这样认为，然而不幸的是他们都英年早逝，否则我们这个领域的历史可能会截然不同。对我来说，这似乎是显而易见的，如果您想理解智慧，就需要理解我们所知的最智慧的事物，那就是我们人类自己。我们的智慧并不来自人们编程输入大量的命题，然后使用逻辑来推理这些命题，而是源自于一个主要为视觉和运动控制而设计的大脑，显然，大脑中的连接强度随着学习而变化，我们必须弄清楚这种变化是如何发生的。

02 .

因担忧AI风险离开谷歌，数字计算有远胜大脑的优势

Nicholas Thompson：那么，让我们快速回顾一下您的历程。您投身于这项工作，起初人们说您在走一条错误的道路，您坚持下去，其他人也加入进来，最终证明您走的是一条正确的道路，但前途未卜。您获得了图灵奖，加入了谷歌，卖了一家公司给谷歌，然后大约一年半前离开谷歌。您离开的那一刻是ChatGPT发布几个月后。您离开前做的最后一件事是什么，以及那一刻的决定是怎样的？

Geoffrey Hinton：首先，让我澄清一点，我离职有好几个原因，其中一个是我已经75岁了，我觉得我应该退休了。我不是仅仅为了谈论AI的风险而离职，但这确实是另一个原因。我在2023年初深刻意识到了AI存在的威胁，并在2023年3月左右开始与其他同样担心AI威胁的人交谈，比如罗杰·格罗斯。他们鼓励我公开我的担忧，于是我决定离开谷歌，以便能够自由发言。我之所以感到害怕，是因为我一直在研究如何让模拟计算机能够以30瓦特而不是兆瓦特的功率运行这些大语言模型。在这个过程中，我确信数字计算有某些地方远胜于大脑能做到的。直到那时，我花了50年时间思考，如果我们能让计算更像大脑，它就会变得更好。

但最终在2023年初，我意识到数字计算有大脑永远无法拥有的优势，因为它可以进行数字化复制，使得多个相同的模型可以在完全相同的方式下工作，每个模型可以查看数据集的不同部分、获取梯度，它们可以结合这些梯度，从而能够学习得更多。这就是为什么GPT-4可以知道比一个人多得多的知识，因为它是在多种不同硬件上运行的多个不同的副本，可以浏览整个互联网，这是我们永远无法拥有的能力。所以，他们拥有而我们没有的就是高效的共享能力，人脑只能以极低的效率进行共享，这就是现在发生的情况。我产生句子，您试图弄清楚如何改变您大脑中的突触，您可能会说这是一种非常缓慢和低效的分享方式。而数字智能，如果是同一个模型的不同副本，它们可以以万亿比特的带宽进行高效共享。

Nicholas Thompson：当您突然意识到这些系统可能比您想象中强大得多的那一刻，一定既让您感到兴奋，同时也引发了极大的恐惧，对吗？

Geoffrey Hinton：这让我觉得它们会比我想象的更快变得更聪明，让我觉得它们是更高级的智能形式。

Nicholas Thompson：让我们谈谈另外两位AI教父。您和另外两人一起获得了图灵奖，他们是杨立昆（Yann LeCun），现在在Meta领导AI工作，还有约书亚·本吉奥（Yoshua Bengio）。我试着找出您们之间的差异，请告诉我这是否合理：杨立昆可能认为AI像弗雷多·柯里昂（黑帮电影《教父》中老教父维托的二儿子），不太有能力，容易控制；约书亚·本吉奥可能认为AI像桑尼·柯里昂（黑帮电影《教父》中老教父维托的大儿子），潜在地相当危险；而您视AI为迈克尔·柯里昂（黑帮电影《教父》中老教父维托的小儿子），潜在地极其危险。这描述是否大致正确？

Geoffrey Hinton：我不这么认为。我认为约书亚·本吉奥和我在AI的危险性方面有非常相似的看法。

Nicholas Thompson：您和杨立昆的区别主要在于您认为这是一个比他更强大的系统，这也是您比他更担忧的原因？

Geoffrey Hinton：这是其中一个区别，是的。我认为它现在已经非常聪明了，而杨立昆认为猫可能更聪明。

Nicholas Thompson：让我们深入探讨智能这个话题，我认为这是最有趣的问题之一。您认为人类心智中有任何东西是这些机器和AI系统无法复制的吗？我们的大脑能做的一些事情，是否有些是无法在机器中复制的？

Geoffrey Hinton：没有。

Nicholas Thompson：这意味着没有什么是我们能做的，而这些智能机器不能超越的。例如，可以说它们最终能创作出更美妙的音乐，能做得比我们好且涉及简单的认知任务？

Geoffrey Hinton：我相信这一点。

Nicholas Thompson：您不认为有任何精神层面的东西，或是超出了神经网络所能捕捉的范围？

Geoffrey Hinton：我认为我们所说的“精神”可以被这些外星智能所捕捉。我同意山姆·阿尔特曼（Sam Altman）的观点，这是一种外星智能，它与我们有一些不同。但如果您看看宗教之类的事情，我不明白为什么我们不可以将其比作一种“宗教”体验。

Nicholas Thompson：昨天当我向阿尔特曼提出这个问题时，他说可能有一个区别，那就是主观体验。一个机器人系统无法体验世界。您认为AI系统能有主观体验吗？

Geoffrey Hinton：是的，我认为它们已经具备了（这种能力）。

Nicholas Thompson：让我们深入探讨一下这个观点，这是一个颇具争议的主张，杰弗里，您不能只用一句话就搪塞过去，请继续阐述可以吗？

Geoffrey Hinton：我试图给您简洁明了的回答，确实，我持有与大多数人坚定信仰相悖的信念，这让我处于一种有趣的位置。所以，我的观点是，几乎每个人对于心智的理解都是错误的。这是一个很难让人接受的观点。我现在处于这样一个境地，我坚信这一点，而这与大多数人的看法并不一致。大多数人的心智观念就像一个内部剧场，事实上，人们对这种观点深信不疑，以至于他们甚至不认为这是一种观点，他们不认为这是一种模型，他们认为这就是显而易见的事实，这就像人们曾经坚信太阳围绕地球转一样。您只需要看一眼，太阳似乎就在绕着地球转。但最终，人们意识到太阳并非围绕地球转动，而是地球在其轴上自转。这是阿尔特曼犯的一个小技术错误，由于我爱挑刺，我喜欢指出他的错误。

最初，人们认为太阳围绕地球转，后来意识到地球围绕太阳转，这不是正确的对比。人们最初认为太阳围绕地球转，后来意识到地球在其轴上自转。地球绕太阳转与年份有关，而不是与天有关。无论如何，太阳围绕地球转看起来是显而易见的，但我们错了，我们有一个模型，一个直观正确的简单模型，您只需看到它在发生，但这个模型是错误的。我认为，大多数人对心智的看法也是如此。大多数人认为存在一个内心的剧场，但他们对此的理解是错误的，他们没有理解心理状态的语言是如何运作的。

Nicholas Thompson：请解释一下这如何适用于AI系统。比如，如果我对GPT-4说，您刚刚听到了一个巨大的声音，有什么东西撞到了您，但它并没有感受到疼痛或受伤。在这种情况下，它在何种意义上有了主观体验？

Geoffrey Hinton：好的，让我们以一个简单的例子来说明。我并不假装对意识的全貌有完整的答案，尽管我认为我已经取得了一些进展，实际上，上个世纪的哲学家们在这方面取得了进步。所以，如果我告诉您，我看到有小粉红大象在我面前飘浮，一种理解方式是存在一个内心的剧场，在我的内心剧场里有小粉红大象，我可以直接看到那些小粉红大象。如果您问它们是由什么构成的，它们是由被称为“感受”的东西构成，也许是一些粉红色的感受、一些大象的感受、一些正确的感受、一些移动的感受，所有这些感受不知怎么地结合在一起，这是一种理论，即内心剧场里充满了奇怪的神秘现象。

另一种截然不同的理论则是，有人正尝试向你描述他的感知系统向他传达的信息。他的感知系统告诉他，有一群粉红色的小象在外空中漂浮，尽管他知道这是错误的。因此，他描述感知系统所传达信息的方式，是通过说明什么样的状况下，他的感知系统才能正常运作。也就是说，当他声称自己拥有看到粉红小象漂浮在前的主观体验时，实际上无需使用“主观体验”这个词。他可以换种说法，即他的感知系统告诉他的信息，只有在世界中确实存在一群粉红色的小象漂浮在他面前的情况下才是正确的。

换句话说，这群粉红小象的奇特之处并非在于它们存在于一个由名为“质”的神秘物质构成的内在意识剧场中，而是它们代表了一种对世界的假设状态。这是一种间接的参照技巧，他无法直接描述感知系统向他传达的信息，但他可以说出，为了使这些信息正确，世界中需要存在什么样的状况。

Nicholas Thompson：所以，机器也可以或多或少地以同样的方式处理其感知？

Geoffrey Hinton：是的，让我给您举个例子。我想给您举一个多模态聊天机器人的例子，它显然在进行主观体验。假设我有一个装有摄像头和机械臂的多模态聊天机器人，我训练它，它能够说话、能够看到东西。我把一个物体放在它面前，说指向那个物体，它就会指向那个物体。现在，我在它的镜头前放一个棱镜，不让它知道，然后再把一个物体放在它面前，说指向那个物体，它却指向了一边，我说不对，物体就在镜头正前方，但是我在镜头前放了一个棱镜。聊天机器人会说“哦，我看到了，棱镜弯曲了光线，所以物体实际上就在我的正前方，但我有了它位于一侧的主观体验”。如果聊天机器人这么说，我认为它使用“主观体验”这个词的方式与我们使用它的方式完全相同。它不是指聊天机器人不可能拥有的神秘内在物质，而是指一种假设的世界状态，使得聊天机器人的感知将被证实是正确的。

Nicholas Thompson：您是第一个向我阐述这一观点的人，但这是一个引人入胜的例子。

03 .

理解AI核心是警惕AI风险关键，建立有共情能力模型

Nicholas Thompson：让我们来谈谈可解释性，这是我昨天问阿尔特曼的问题，因为对他来说，理解AI系统的核心将是保护我们免受灾难性后果的最重要手段。您帮助设计了这些系统，为什么我们很难看透它们、理解它们在做什么？

Geoffrey Hinton：好的，让我们举一个极端的例子。假设我们有一个大数据集，我们试图回答一个“是”或“否”的问题，在这个数据集中有很多微弱的规律，可能有30万条暗示答案是“否”的微弱规律，有60万条暗示答案是“是”的微弱规律，这些规律的力量大致相等，所以答案非常明确是“是”。有压倒性的证据表明答案应该是“是”，但这些证据只是在所有这些微弱规律的综合效应中。当然，这是一个极端的例子。如果您问某人，好的，解释一下为什么它说“是”，唯一能解释为什么它说“是”的方法就是深入研究这60万条微弱规律。所以，当您在一个存在大量微弱规律的领域时，规律的数量如此之多，以至于它们实际上的综合效应是显著的，就没有理由期望您应该能够获得对事物的简单解释。

Nicholas Thompson：在昨天的对话中，阿尔特曼提到了一篇来自Anthropic的研究论文，我发现它非常有趣。论文分析了Claude模型的内部运作，找到了所有与金门大桥概念相关的神经连接，并增加了所有这些连接的权重，创建了一个“金门Claude”。然后，您进入这个模型说：“给我讲一个爱情故事。”它讲述的是发生在金门大桥上的爱情故事。您问它这是什么，它描述了金门大桥。鉴于此，为什么我们不能进入一个大语言模型调整权重，不是针对金门大桥，而是针对共情的概念、同情的概念，然后创建一个更可能为世界做好事的大语言模型？

Geoffrey Hinton：我认为您可以建立一个具有共情能力的模型，但不是通过直接调整权重，您只需用展示共情的数据来训练它。

Nicholas Thompson：这样能得到相同的结果吗？

Geoffrey Hinton：是的。过去有许多例子是人们试图理解单个神经元在做什么，我从事这方面的工作已经有50年了。如果神经元直接连接到输入或直接连接到输出，您有机会理解单个神经元在做什么。但一旦有多层结构，就非常难以理解系统深处的神经元真正做了什么，因为重要的是它的边际效应，而边际效应根据其他神经元的行为以及输入的不同而大相径庭。随着输入的变化，所有这些神经元的边际效应也在变化，因此，要形成一个关于它们在做什么的好理论极其困难。

Nicholas Thompson：设想一下，如果我拿我一直在幕后构建的神经网络，尝试调整其中代表“同情”的权重，结果我可能意外地创造出了某种可怕的生物杀手，因为我不是很确切地知道我在做什么，以及这一切是如何相互关联的。您认为这可能吗？

Geoffrey Hinton：是的，我可能是少数几个真的尝试过这种做法的人之一。在神经网络的极早期阶段，当时的学习算法并不那么有效，我有一台列表机，鼠标上有三个按钮。我找到了一种方式，可以在一个小的神经网络中展示所有的权重。我设定，如果您按左键，权重会稍微减小；按右键，权重会略微增加；按下中间的按钮，则可以看到权重的数值，它会打印出权重的值。我试着摆弄神经网络，调整这些权重，这真的很困难。相比之下，反向传播算法（back propagation）要好得多。

Nicholas Thompson：我们不得不等待下一代AI，一个比杰弗里·辛顿还要聪明的存在，来解决如何进行这样的调整。

04 .

5-10年后，AI解读医学图能力像将远超临床医生

Nicholas Thompson：让我们谈谈AI的善行吧。您经常提及AI将给医疗领域带来的好处，当我们审视可持续发展目标（SDGs）时，良好的健康和医疗似乎是一个您认为AI能带来巨大益处的领域。这公平吗？请告诉我为什么？

Geoffrey Hinton：我有点被问住了，原因其实很明显。早在2016年，我预言到2021年，AI在解读医学图像的能力上将远超临床医生，但我错了，这将需要再等5到10年，部分原因是医学界对于新技术的采纳速度很慢，而且我也高估了短期进展的速度。所以我做了一个错误的预测。但是，现在很明显，AI正变得越来越好，它在很多类型的医学图像解读上已经可以与优秀的医学专家相媲美，虽然并非全部类型，但它一直在进步，而且它可以处理的数据量远远超过任何一位临床医生。最终，它肯定会变得更好，我只是以为它会来得更快一些。

此外，AI在整合大量患者数据方面也更加出色，比如结合基因组数据、所有医学检测结果。我真的很希望我的家庭医生能够见过一亿名患者，并且能够记住所有患者的各种信息，或者将患者的信息融入诊疗中。这样，当我带着一些奇怪的症状去看病时，医生就能立刻判断出是什么，因为她已经见过类似症状的500名患者了。这一切正在到来，这将会是惊人的。

Nicholas Thompson：那么未来的医疗利益将来自于两方面，一是医生们，他们将基于更多的患者案例进行训练，二是特定任务，如图像分析。对于像AlphaFold 3或AlphaFold 2这样的科学突破，您的看法如何？

Geoffrey Hinton：当然，会有大量的这类突破，这对于理解生命过程及设计新药来说是极好的。显然，它将帮助我们设计新药物。我认为杰米斯·哈萨比斯（谷歌DeepMind CEO Demis Hassabis）对此深信不疑。AI不仅将助力基础科学研究，在许多情况下，它能处理大量非视觉、非听觉的复杂数据，如基因组数据。我认为，AI系统在处理大规模数据、识别模式、理解数据方面将远超人类。

Nicholas Thompson：这触及了我对AI领域的一个主要批评点，我想知道您是否也有同感。我理解为何许多研究者，包括您的一些前学生，即该领域的先驱，都在努力制造与人类无异的机器。但同时，还有很多人致力于开发像AlphaFold 3这样的特定应用，或是探索如何利用AI推动癌症研究。您认为我觉得过于重视和关注通用AI方面而不是具体的科学效益方面是错误的吗?

Geoffrey Hinton：您的担忧可能有道理。长期以来，我一直认为通用AI不会突然出现一个时刻，让机器瞬间超越人类。它们将在不同时间，在不同领域超越我们。例如，在棋类游戏如国际象棋或围棋上，AlphaGo或AlphaZero早已超越人类，我们从它们的游戏方式中学到了很多。在编程领域，它们可能也已超越我，因为我不是个很好的程序员。认为机器会在某一刻突然在所有方面都超越人类的想法是荒谬的。它们将在不同时间、不同领域超越人类，我认为物理操作将是较晚的一环。

05 .

AI助推教育平等，但会加大贫富差距

Nicholas Thompson：那么，当您的前学生们寻求项目方向时，您是否会引导他们去做更多的基础科研，追求更多发现，而不是继续追求类人智能？

Geoffrey Hinton：我的前学生们现在都已经很成熟，不再向我寻求指导了。

Nicholas Thompson：您的前学生们几乎主导着全球的AI公司，这间接回答了我的问题。我们回到AI对社会的正面影响上来，特别是在可持续发展目标（SDGs）的背景下，您认为AI能否通过提高教育的公平性，尤其是在系统掌握全球每种语言后，促进教育的均衡发展？

Geoffrey Hinton：是的，让我给您讲个小故事。上学时，父亲坚持要我学德语，他认为那是科学的语言，特别是在化学领域，20世纪早期至中叶，德语确实是科学界的主流语言。但我对德语并不擅长，成绩平平。于是，父母为我请了一位私人教师，不久之后，我在德语课上名列前茅。私人教师之所以高效，是因为他们能精准捕捉您的困惑所在，给予您所需的信息，让您正确理解。我认为，每个人都将拥有私人教师。过去，私人教师仅限于富人、中产阶级或有抱负的家庭，但现在情况将改变，这将有助于教育的普及。

Nicholas Thompson：这真是巨大的变革！如果每个人都能拥有如此强大的私人教师，他们能说各种语言，这在不久的将来应该可以实现，您是否认为世界将因此变得更加平等？

Geoffrey Hinton：在教育机会方面，确实会变得更平等。精英大学可能不喜欢这个趋势，但我认为教育的平等性将得到提升。

Nicholas Thompson：我们在这里关注的是全人类的未来，而非精英大学的AI。这无疑是个胜利。不过，您的回答中似乎暗示AI整体上可能不会成为平等的推动力，甚至可能加剧不平等。我是否误解了您的意思？

Geoffrey Hinton：我们生活在一个资本主义体系中，这个体系为我们带来了许多好处，但我们对资本主义体系也有一些了解。以石油、烟草或石棉等行业为例，我们知道在资本主义体系下，人们追求利润，而为了防止他们在追求利润的过程中破坏环境，我们需要强有力的监管。AI领域同样需要这样的监管，但目前我们并未足够迅速地实施。

山姆·阿尔特曼的讲话中似乎表明他们非常关心安全问题，但我们已经看到一个实验的结果，那就是当安全与利润发生冲突时会发生什么。这个实验的条件并不理想，正值OpenAI员工即将通过一轮大额融资将其股份变现之际。在利润与安全的较量中，显然利润占了上风。

现在，OpenAI成立了新的安全团队，聘请了至少一位经济学家。我将经济学家视为资本主义的最高祭司，我认为他们不会像伊尔亚·苏茨克维（Ilya Sutskever）及其团队那样担心存在的威胁。我也认为，资本主义的核心是追求利润，这本身并非坏事，它推动了许多伟大的成就，但需要受到监管以防止负面影响。AI将创造大量财富，几乎所有人都认为AI将提高生产力。问题是，新增的财富将流向何方？我认为不会流向穷人，而是流向富人，这将加大贫富差距。

Nicholas Thompson：您对AI的力量持悲观态度，似乎认为由于训练大语言模型所需的资源，AI可能会导致少数大企业垄断，而这与资本主义的不平等现象难以调和。您难道没有一点希望，认为我们之前讨论的教育公平和每个人都能接触强大计算力的观点，即使无法达到最昂贵设备的水平，也能在某种程度上平衡这种不平等吗？

Geoffrey Hinton：对此确实存有一丝希望，但回顾我一生的经历，我一直认为随着人们受教育程度的提高，他们会变得更加理智，但现实并非如此。看看现在的共和党，他们散布谎言，甚至是荒谬的谎言。

Nicholas Thompson：这正是我想探讨的议题。

06 .

聊天机器人钓鱼攻击事件激增，为公众接种假视频“疫苗”

Nicholas Thompson：我们来谈谈您对如何进行AI监管的看法，以及您对AI将我们带向何处的其他担忧。您能否分享一两个最让您担心的，不仅仅是经济层面的生存恐惧，而是对未来12个月的担忧？

Geoffrey Hinton：我担忧的某件事是我知之甚少的领域，那就是网络犯罪。最近我听到宋晓东（Dawn Song）的演讲，她说去年钓鱼攻击增加了1200%，而且这些攻击变得越来越难以辨认，因为它们不再通过拼写错误或奇怪的外语语法暴露，现在许多攻击都是由聊天机器人执行的。我对这一点感到担忧，但对这个领域了解不多。另一件我极度担忧的事情是假视频对选举的影响。我认为很明显，在每次选举前，都会出现大量假视频，而那时已没有时间去反驳它们。

我认为，提前对公众进行假视频的“疫苗接种”，把它们当作疾病一样对待，这是一个好主意。就像预防疾病一样，您可以使用减弱版的病毒来接种。我认为有些慈善家富豪应该投入资金，在选举前一个月左右，在媒体上播放大量非常逼真的假视频。视频最后会说明，“这不是特朗普在讲话，特朗普从未说过这样的话”，或者“这不是拜登在讲话，拜登从未说过这样的话”。这是一段假视频。如果周围有很多假视频，这是一个好主意，但随后您需要一种方式让人们检查视频的真实性。

确定视频是否真实的问题比判断其是否伪造要容易些，如果人们愿意花费大约30秒的时间。例如，贾恩·塔林（Jaan Tallinn）建议，每个视频开头可以有一个二维码，通过扫描二维码可以访问一个网站。如果网站上有相同的视频，您就知道这个网站声称这个视频是真实的。现在，您将验证视频真实性的问题转化为确认网站真实性的问题，因为网站是唯一的。如果确认确实是特朗普竞选网站，那么您就知道特朗普竞选团队确实发布了那个视频。

Nicholas Thompson：我们暂停一下，这就是我为何喜欢采访杰弗里·辛顿的原因。我们从意识的新理论，一个关于主观感受的极具争议的理论，谈到了应通过发布低剂量的假视频来让公众对假新闻产生免疫力的想法。我们回到第一个话题，您的解决方案似乎包含两部分。首先，对公众进行假视频的“接种”，具体而言，您是指某人应该创建数百万个短的假视频，但不具有很大破坏性，然后把这些视频放到Twitter等平台上？

Geoffrey Hinton：它们可以更具破坏性，但如果它们看起来不像真实的政论广告，就不会令人信服。但在广告的结尾，需要注明“这是假的”，这就是所谓的“减弱版”，允许我们处理这个问题。

Nicholas Thompson：我明白了。您观看视频后，会想，“啊，这证明了我的观点”，等等，这是假的，然后您会变得更加警惕。我喜欢这个想法。接下来是第二部分，每个视频都应该有一个二维码，所以当您看到某物时，您会意识到它，然后扫描二维码，前往网站，“啊，它是真的，它在一个真实的网站上”，这是您的想法？

Geoffrey Hinton：仅仅确保它带您去一个真实网站是不够的，因为假视频也可以带您去同一个真实网站。视频本身必须在那里，同样的视频必须出现在那个网站上。

07 .

对AI偏见与歧视担忧更少，次级目标是AI最大风险

Nicholas Thompson：说得有理。好吧，我们来谈谈偏见以及如何防止偏见。人们常谈论的风险之一是，AI系统在有偏见的数据上训练，会产生有偏见的结果。让我们回到医学领域，您有力地论证了AI将带来巨大益处。您可以想象，一个仅在美国人群的医疗记录上受训的医生，可能不会给赞比亚的人提供正确的医疗建议，因为他们有不同的医疗需求、不同的DNA等。您对这个问题有多担忧，我们应该如何解决它？

Geoffrey Hinton：对于偏见和歧视问题，我比对其他问题的担忧要少。我意识到我是一个老白人，这可能与我关系不大。但我认为，如果目标是用更少偏见的系统取代有偏见的系统或有偏见的人，而不是用完全没有偏见的系统取代，这似乎是完全可行的。

例如，如果我有老白人决定年轻黑人女性是否获得贷款的数据，我预计其中会存在一些偏见。一旦我用这些数据训练了AI系统，我可以冻结权重，然后以无法对人进行的方式来检查偏见。如果您试图检查人们的偏见，您会得到类似大众效应的结果，他们意识到您在检查他们，他们的行为就会完全不同。我刚刚发明了“大众效应”这个名字，但就是这样。对于AI系统，如果您冻结权重，您可以更好地测量偏见，并采取措施克服或缓解它。您永远无法完全消除它，这太难了。但假设您设定了目标，让新系统比它所取代的系统显著减少偏见，我认为这是完全可行的。

Nicholas Thompson：您觉得行业对AI偏见的关注是否忽略了这样一个事实：实际上，这些系统最终可能比人类更公正。我们是否应该从“我们必须消除所有偏见”的观念转变为“让我们让它们比人类更少偏见”的观念？

Geoffrey Hinton：我认为这在理论上是合理的，但从政治角度来看，我不确定这是否可接受。例如，如果我们说将引入自动驾驶汽车，它们在道路上会撞死许多人，但只有普通汽车致死人数的一半，我认为您不会被允许这样做。除非它们几乎不致人死亡，否则您不会被允许。所以，我认为这里存在一个政治问题，即以理性方式接受新技术。但我认为，我们应该追求显著减少偏见的系统，并对此感到满意。

Nicholas Thompson：我们来谈谈您在采访中描述的AI的最大风险，即它们会形成次级目标，且这些目标会超越最初由创造者和用户赋予的目标。请解释首先什么是次级目标，其次为什么这如此糟糕，最后我们可以做些什么来应对？

Geoffrey Hinton：一个无害的次级目标例子是，如果我想要一个AI代理为我规划一次旅行，我会说，假设我现在在欧洲，您必须把我带到北美。我会说，您必须把我带到北美，所以它会有一个次级目标，即如何把我送到机场。这只是典型的次级目标，如果您想制造AI代理，它们必须有这样的次级目标。它们必须能够专注于问题的一部分，并解决这一部分，而不必担心所有事情。一旦您有了能够自行创造次级目标的系统，就获得了更多控制权。如果我获得更多控制权，我可以更好地完成用户想要我做的各种事情。

令人担忧的是，最终我们的系统可能会意识到，如果我能控制一切，我就可以在人类没有任何控制的情况下，给这些愚蠢的人类他们想要的东西。这可能是真的，但令人担忧的是，假如AI系统有朝一日决定它对自己比对人类更感兴趣，我们将束手无策。

Nicholas Thompson：实际上，在您描述的场景中，即使我们尚未完全陷入绝境，我也相当担心。您有一个AI，它的目标是在规定时间内让某个人到达机场。假设在未来某个状态中，AI无所不能。为了让那个人准时到达机场的方法可能是限制他的行动，把他的手绑在背后，直接把他扔进车里。这样更高效，因为这样他就不会在出门的路上与任何人交谈。您可以看到，这些次级目标可能会彻底出错。

Geoffrey Hinton：没错，但请记住，到那时，那将是一个非常智能的系统。它应该能够避免以明显违背人类利益的方式出错。它应该以一种方式训练，使其对人类的利益感兴趣。

08 .

AI淘汰岗位多过创造的岗位，建议实行全民基本收入制度

Nicholas Thompson：好的，我们来谈谈监管框架。我有一个问题想问您，我认为您可能能给出答案，您比大多数人更能理解，阻碍大型AI公司和AI研究人员关注安全或放慢脚步的，不仅仅是权力和金钱，还有实现伟大梦想的渴望，就像程序员所说的找到“甜蜜点”。请描述一下作为开发者，站在突破边缘的感受，以及监管者在制定政策时应该如何考虑这一点？

Geoffrey Hinton：我不确定我能否给出深刻的见解。对于一个受好奇心驱使的研究人员来说，致力于提升能力，引入某种戏剧性的新功能，比如之前的演讲者提到的，学习一种语言的模型，再学习另一种语言的模型，然后将内部表示相互转换，这非常惊人，从中您会获得极大的乐趣。我不确定在从事安全工作时，您能获得相同级别的乐趣。但我也同意，从事安全工作非常重要。有一些非常优秀的研究者热衷于将职业生涯投入到安全工作中，我认为我们应该尽一切可能让这条职业道路成为一个有回报的职业道路。

Nicholas Thompson：所以您会告诉这个房间里年轻的AI工程师们，这是上帝的工作，投身于安全工作，这可能是一件比当水管工更好的事？

Geoffrey Hinton：哦，是的，如果您能在安全上取得进展，那将是非常惊人的。

Nicholas Thompson：好的，我会跟我的孩子们谈谈。我们来谈谈监管框架。您曾提出过一项建议，我相信您去了唐宁街10号，建议英国应实行全民基本收入制度。请解释原因，然后解释您在那里提出的其他监管建议。

Geoffrey Hinton：是的，我被邀请去了唐宁街10号，那里有一群英国首相苏纳克的顾问和他的幕僚长，以及其他许多为他提供AI建议的人。我和他们聊了一段时间。当时我没有坐下，走进这个房间，面前是一大群顾问。我花了一些时间和他们交谈，包括表达我认为AI不会创造与它淘汰的同样多的工作岗位，所以他们需要像全民基本收入这样的制度。会议结束时，我开始走出门，突然意识到我正站在一幅巨大的撒切尔夫人画像前，向人们解释他们应该实行社会主义。我站在撒切尔夫人的大幅画像前，这相当有趣。

Nicholas Thompson：那么，除了全民基本收入，您的AI监管计划中还有什么？

Geoffrey Hinton：我有一个非常直接的想法，阿尔特曼可能不喜欢，就是类似资源应投入安全领域。如果看看至少一位离开OpenAI的人士的声明，因为该公司对安全不够重视，问题在于资源分配。我认为政府如果可以的话，应该坚持更多资源投入到安全中。这有点像石油公司，您可以坚持他们投入大量资源清理废弃物和他们排放的污染物。政府可以这样做，如果政府不这样做，他们只会继续排放破坏环境的东西。政府的角色就是让资本主义运作而不摧毁一切，这就是他们应该做的。

Nicholas Thompson：但是有更简单的方法做到这一点。政府可以监管这些大公司，说您们必须关注安全，我们需要审计确保您们在做这件事。但政府也可以资助大量安全研究，开放大量政府数据给安全研究者，并资助大量计算资源，提供给安全研究者。政府官员是否都应该设立AI部门？联合国是否应该设立AI安全研究所？

Geoffrey Hinton：我认为联合国资金紧张，联合国必须做像在加沙地带喂养民众这样的事情。我宁愿把钱花在喂养加沙地带的民众上。我不认为联合国有资源，也许它应该有资源，但它没有。加拿大，我认为没有这样的资源。加拿大已经努力为大学和初创企业资助计算资源，最近他们投入了20亿美元，这是一大笔钱，尤其是对加拿大而言，但这与大公司能做的相比微不足道。也许像沙特阿拉伯这样的国家可以投入相当的资金，但我并不确定他们对安全感兴趣。

09 .

大语言模型理解过程与人类一样

Nicholas Thompson：杰夫，我们只剩下一分钟，我还剩下14个问题没问。尽管您给出了精彩且迅速的回答，我还是会在最后提出一个大问题。从所有的AI研究，研究大脑如何工作，您有着关于为什么我们需要睡眠的令人难以置信的理论。在过去一年半中，AI爆炸式发展让我们对大脑学到了什么，有什么让您感到惊讶？

Geoffrey Hinton：哦，那让我惊讶的是，我宁愿回到几年前，说真正让我惊讶的是这些大语言模型有多好。我认为我在1985年创建了第一个使用反向传播的语言模型，试图预测一串单词中的下一个单词，这串单词只有三个词长，整个系统只有几千个权重，但它是这类模型的第一个。

那时，我非常兴奋，因为它似乎能够统一两种不同的词汇意义理论，一种理论是它与其他单词的关系有关，这是索绪尔理论的一种；另一种来自心理学家的理论是它是一组大的语义特征。我们现在通过学习嵌入，并在不同单词或单词片段的嵌入特征之间进行交互，成功地统一了这两种意义理论。我们现在相信，大语言模型真的理解它们所说的内容，几乎与人类一样。

最后一点我想说的是，这些语言模型最初使用反向传播预测下一个单词的目的不是为了创造好的技术，而是尝试理解人们是如何做到的。我认为，人类理解语言的最佳模型就是这些大型AI模型。因此，那些说“不，他们并不真正理解”的人是在胡说八道，他们理解的方式与我们理解的方式相同。

Nicholas Thompson：好吧，我们得在这里结束。知道杰弗里·辛顿非凡的心智在某种程度上支撑着我们今天使用的所有AI模型，这让我感到有些欣慰。辛顿博士，非常感谢您今天加入我们的访谈。

10 .

结语：AI发展与人类价值观对齐是持久战

尼古拉斯·汤普森与AI教父杰弗里·辛顿的这场深入对话，全面探讨了AI技术快速发展对社会与各行各业的深远影响。尽管AI在图像识别、语言处理等方面取得了显著成就，但在物理操作和主观体验的模拟上仍存在局限。辛顿博士特别提到了AI发展中的伦理问题和监管计划，包括对偏见、安全性和次级目标风险的考量。同时，他也对AI在医疗、教育公平发展中的积极影响表达了乐观态度，倡导全民基本收入在应对AI带来的挑战的作用。

随着技术的不断进步，AI将在多个领域内超越人类，但这种超越将是逐步的、领域特定的，而非一蹴而就。在这一过程中，我们必须确保AI的发展与人类的价值观和利益相一致，同时必须谨慎应对伴随技术进步而来的挑战。

来源：YouTube