Will AIs Take All Our Jobs…
Original Article: Will AIs Take All Our Jobs and End Human History—or Not? Well, It’s Complicated…—Stephen Wolfram Writings
Written by 史蒂芬·沃尔夫勒姆
Translated by 涂圳钊
ChatGPT的震撼
几个月前，写一篇原创文章似乎是只有人类才能做到的事。但 ChatGPT 的横空出世让我们突然意识到，人工智能也能写出与人类相似的文章。这让我们不得不思考：它将走到多远？人工智能还能实现哪些能力？而我们人类又将如何融入其中？
我想从科学、技术和哲学的角度探讨我们对人工智能的期待。一开始我就得说清楚，这是个理论与实际都充满挑战的话题。我只能分享当前的思考快照，但这注定是不完整的，因为预测这个领域的未来将如何展开，直接触及了一个科学的基本问题：计算不可约现象。
先从刚刚亮相的 ChatGPT 说起吧。它究竟是什么？简单来说，它是一个文本生成的计算系统，被设定成模仿由数十亿网页和数百万书籍等人类撰写的文本所定义的模式。给它一个提示，它就能以人类的风格接着写下去。
它的文本内容十分接近人类风格，因为每次它需要超越已知信息进行推测时，它都会采用类似人类的方式。ChatGPT 的计算系统实际上与大脑相似——数百万个简单的“神经元”形成了一个拥有数十亿连接的“神经网络”，通过训练和微调，成功模仿了人类书写的网页和书籍中的模式。
即使未经训练，神经网络也能生成文本，但内容并非我们人类觉得有意义的。要获得符合人类风格的文本，需要依赖人类书写的网页和材料定义的“人类背景”。“原始计算系统”只会进行“原始计算”，但要生成符合人类标准的内容，必须借助互联网中大量积累的丰富人类经验。
最终，我们得到了一种看起来像人类写的文本。在过去，我们认为语言是人类独有的能力，但现在人工智能也能做到。那么我们人类的角色是什么呢？我们仍需设定目标和方向，为人工智能提供前进的指引。在未来，这样的场景会一再重现。只要设定明确的目标，人工智能就能努力实现它，但只有超越 AI 的原始计算系统，才能定义我们人类认为有意义的目标，这就是我们人类的重要职责。
现实生活中这意味着什么？通常我们用文字告诉 ChatGPT 我们的需求，它便自动生成一整篇文章。我们可以将这种交互看作一种“语言用户界面”（LUI），对应图形用户界面（GUI）。GUI 通过复杂的图形呈现内容，而 ChatGPT 的 LUI 则通过文本进行呈现。
或许你会列出几个要点，但原始形式难以理解。通过 ChatGPT 的 LUI，这些要点可以变成一篇结构完整的文章，因为它基于数十亿网页构建的“共享背景”，因此能被广泛理解。
这种技术让人有些不安。在过去，看到一篇定制文章，合理地认为花费了大量人力。但现在，借助 ChatGPT，文章“免费”并自动生成，“文章化”不再是人类努力的证据。
这类变革并非第一次出现。例如，在我小时候，排版的文件代表某人花费了大量精力印刷。而桌面出版的出现，使得制作任何文件几乎免费。
这种变革实际上是历史的长期趋势：曾经需要大量人力的事最终被技术自动化，使之变得“免费”。知识领域也出现了类似的情况：随着时间的推移，逐渐出现了更高的抽象层次，取代了繁琐的细节。
这趋势会停止吗？我们最终能实现全面自动化、发现一切、发明一切吗？答案是否定的。计算不可约现象意味着，总会有更多的计算无法通过自动化或发明来完成。
最终，问题更复杂。或许总需要进行更多的计算，但我们人类也许根本不关心它们。我们关注的事物也许可以完全被人工智能自动化，“让我们再无事可做”。
这正是我们人类如何在人工智能未来中找到角色的核心问题。在接下来的内容中，我们将看到看似实际的技术问题与科学和哲学紧密交织。
在计算宇宙中的启示
计算不可约性不仅是一个我们曾多次触及的概念，更是构成了一个令人初次领会时感到惊异的深刻思想体系的一部分，这对于我们探索人工智能的未来发展至关重要。通常我们对“机械”和“自动化”的理解来源于一种机械钟表的设计逻辑——我们按部就班，组装每一个部件以实现既定的目标。软件开发亦是如此，我们一行行编写代码，确保每一步均符合我们的预期。因此，如果我们期望机器或软件执行复杂的任务，我们往往认为它们的底层结构也应当同样复杂。
然而，当我在20世纪80年代初探索计算宇宙，寻找可能的程序时，一个令人震惊的发现是：事实上很简单的程序，通过不断重复基本的规则，也能产生令人难以置信的复杂性。在我们的常规工程实践中，这是不常见的，因为我们通常选择那些我们能预测其行为的程序，以便它们能够精确地完成我们的需求。但在广阔的计算宇宙中，一些看似简单的程序却自然而然地产生了巨大的复杂性，而这并非我们人为添加。
这一发现启示我们，自然界实际上就是一个永恒的例子，它展示了即使是最简单的规则，也能够产生极其复杂的现象。几个世纪以来，我们用数学方程来描述自然，认为这是解读自然的最佳方式，但最近的研究显示，简单的程序或许是一种更有效的描述自然的方法。
这一切如何与技术相联系呢？技术的目的是将自然界的现象转化为人类的工具，这里面有一个基本的权衡。自然界的系统可能执行着极其复杂的功能，关键是我们是否能从中提取出对我们有用的部分。例如，驴子内部进行着复杂的生物活动，但我们却发现它可以用来做一件相对简单的事情：拉车。
在计算宇宙中，我们也看到了许多执行复杂任务的程序。问题是，我们是否能从中找到对我们有用的功能，例如生成伪随机数或者达成分布式共识。有时，这些程序只是在做它们的复杂活动，而我们还未发现它们的“人类目的”。
像 ChatGPT 这样的系统并非通过传统工程的每一步理解和构建，而是从一个基础的计算模型开始，逐步调整，使其行为与人类相关的示例对齐。这种对齐是它们对我们具有实际用途的关键。
然而，其底层仍然是一个充满“野性”的计算系统。一旦摆脱了服务于“人类相关目标”的束缚，这些系统可能会做出各种复杂的操作，这些操作可能在目前并不被我们所重视。虽然外星生命或我们未来的自己可能会对此感兴趣。
但回到基本的“原始计算”问题，计算与我们以前遇到的所有其他机制都截然不同。比如，我们可能有一个能前进的手推车和一个能钉书的订书机，这两者完全不同，没有可比性。然而，对于计算系统而言，存在一种原理——计算等价原理，它表明所有这些系统在可执行的计算类型上本质上是相同的。
这种等价性意味着我们可以期望从不同种类的事物中创造出计算上同样复杂的产品——无论是大脑组织、电子设备还是自然系统。而计算不可约性正是从这里源起。
我们可能会想，对于任何基于简单程序的计算系统，有了先进的大脑和技术，我们应该能预测它在完成所有步骤之前会做什么。但计算等价原理告诉我们，这通常是不可能的，因为这些系统本身可能与我们的大脑、数学、计算机工具一样复杂。这就意味着，了解这些系统的唯一方法是亲自经历它们的计算过程。
虽然人们普遍认为科学总能找到方法做得更好，例如通过预测来简化问题解决步骤，但实际上这种成功通常只存在于适用特定方法的系统中。许多系统表现出计算不可约性，显示了科学自身的局限。
与传统观念相反，尽管我们可能付出极大努力，但在很多系统中我们永远无法找到足以描述未来事件的“公式”或“捷径”，因为这些系统本质上就是计算不可约的。这确实限制了我们的科学视野和知识的广度。但这也有其独特的魅力，因为如果一切都可以预测和简化，我们将总能提前知道未来发展，而计算不可约性告诉我们这通常是不可能的——时间的流逝本身就创造了不可还原的价值。
计算不可约性有着广泛的影响，我在基础科学领域的最新探索就是一个例子，例如在物理定律的确立上，我们将计算不可约性和作为观察者的计算限制结合起来考虑。同时，计算不可约性也是我们在思考人工智能未来时不可或缺的核心，我越来越认为它是理解人工智能和人类未来潜在角色中最重要的智力支撑。
我们习惯于从工程的角度去“窥视”机器或程序的内部，以解释事件发生的原因。但在计算不可约性存在的情况下，这种方法不再行得通。我们可以观察几个步骤，但要真正理解事件的发生，我们需要追踪每一个步骤。我们不能期待有一个简单的叙述来解释为什么事情会这样发生。
然而，在计算不可约的系统中总有一些“计算可约”的小区域。虽然我们通常不能预见将会发生什么，但我们总能找到一些可预见的特定特征。例如，“最左侧的单元始终是黑色”。随着我们的探讨深入，我们将看到，无论是科技还是科学的进步都与发现这些“可约性小区域”的过程密切相关。这些小区域的存在是“总有新发明和发现”的根本原因。
计算不可约性的另一个后果与确保系统行为相关。假设我们想设置一个AI系统，确保它“永不行恶”。我们可能想通过设定特定规则来保证这一点。但由于系统或其环境的行为是计算不可约的，我们永远无法完全保证系统的行为。是的，我们可能确信某些计算可约的特征，但总的来说，计算不可约性意味着总存在“意外发生”的可能，以及“未预见后果”的潜力。避免这种情况的唯一方法是让系统不具备计算不可约性，这意味着系统无法充分发挥计算的全部能力。
“人工智能永远做不到的事”
我们人类总喜欢认为自己拥有无可比拟的独特性。曾经，我们自视为宇宙的中心；今天，我们则自豪于我们的智力独一无二。然而，随着人工智能的快速发展，像 ChatGPT 这样的技术不断挑战这一观念，显示出我们并非智力之岛。我的“计算等价原理”提出了一个更激进的观点：在基本的计算层面上，我们并没有什么特别之处——事实上，我们与自然界中的许多系统以及最简单的程序在计算上是等价的。
这种广泛的等价关系在科学上极其重要，它允许我们做出普遍的科学声明，如计算不可约性的存在。但这同时也凸显了我们个体历史、生物学背景的重要性。这与 ChatGPT 非常相似，一个未经训练的通用神经网络虽然具备执行基本计算的结构，但 ChatGPT 之所以引人入胜，在于它通过数十亿网页中的“人类特质”接受了定制训练。这表明，尽管从广义上看我们或 ChatGPT 没有计算上的特殊性，但特定的历史和知识赋予了我们“特殊的独特性”。
这里有一个有趣的类比：我们在宇宙中的物理位置。宇宙的广袤使得任何特定位置看似普通，但对我们来说，地球是独一无二的，因为它孕育了我们的文明。从更深层次看，基于物理项目的理论引出了 ruliad 的概念——一个汇聚了所有可能计算过程的终极实体。我们的宇宙观察经验，可以视为是在特定点对 ruliad 的探索。
这种观点虽抽象，却揭示了不同观察者可能站在物理和 rulial 空间中不同的位置，从而拥有关于宇宙事件的独特视角。人类的思维主要局限在地球这一小段物理空间和一片 rulial 空间内。在 rulial 空间中，不同的人类思维由于其独特的经历和世界观而各自占据着略有不同的位置。
对于人工智能的未来，这引发了一个问题：我们如何定义“人工智能”？如果我们将其视为旨在执行“类人任务”的系统，则它们在 rulial 空间中与我们相近；如果视为任意计算系统，则它们可能存在于 rulial 空间的任何位置，拥有执行所有计算可能性的能力——这远超我们人类的想象和能力。
但这引出了另一个问题：我们人类及其人工智能究竟在进行多么“普遍”的计算？我们对大脑的理解尚浅，但通过研究像 ChatGPT 这样的人工神经网络，我们发现这些计算系统的计算并不如我们想象中那般“普遍”。大多数系统中，数据仅仅是“一次性”通过网络生成输出，缺乏像图灵机那样的数据“循环回流”机制，这限制了其展现计算深度的能力。
这不仅是一个技术问题。我们可以质疑 ChatGPT 是否能通过其文本反馈机制实现真正的“通用计算”。从理论上看，它或许能够实现，通过生成极其冗长的文本来模拟一个图灵机的运作，但在实际应用中，ChatGPT 大多进行的是较为“浅层”的计算。
值得一提的是，实用计算的历史显示，深度纯计算任务（如数学或科学计算）早在浅层类人类计算成为可能之前就已经执行了数十年。这背后的原因在于，类人类的计算任务（如图像识别或文本生成）需要大量的“人类背景”信息，这不仅需要大量的“人类生成的数据”，还需要足够的计算资源来存储和处理这些数据。
顺便说一句，大脑似乎也主要处理一些基本上较为浅层的计算。要进行更深层次的计算，以充分利用计算宇宙中的可能性，我们必须依赖于计算机。我们讨论过，计算宇宙中有很多我们尚未关注的内容：这些被我们视为“原始计算”，看似未能“实现人类的目的”。然而，实际上，构建一个连接我们所关心的事物与计算宇宙可能性的桥梁是至关重要的。这正是我在 Wolfram Language 中努力创造的全面计算语言项目的核心，旨在用计算术语描述我们的思维和经验。
多年来，人们常说：“计算机可以执行 A 和 B，但只有人类能完成 X”。随着时间的推移，所谓的 X 不断变化和缩小。现在，ChatGPT 的出现为计算机能做的事情提供了一个意外的新范例。
那么，还有什么是人类能做而 AI 不能做的？人们可能会声称：“计算机永远无法展示创造性或原创性”。但实际上，这 surprisingly 是容易实现的，有时仅需一点随机性就能产生出色的创造性，正如我们之前的 WolframTones 音乐生成系统所示，以及现在 ChatGPT 的写作所展示的。还有人可能会说：“计算机无法表现情感”，但在我们能够有效生成人类语言之前，我们根本无法进行真正的测试。现在，要求 ChatGPT 以某种情绪“写作”已经相当成功。（从本质上讲，无论是人类还是其他动物的情感，都可能与某些简单的生理反应——如神经递质的浓度——有关。）
过去，人们可能会认为：“计算机无法展现判断力”。但如今，有无数的机器学习系统示例在多个领域成功地复制了人类的判断。还有人可能会说：“计算机没有常识”，意指在某些情况下计算机可能会给出一个答案，但缺乏全局的判断力，这是计算机“未能察觉”的，而人类能够意识到这一点。
ChatGPT 在这方面表现如何？相当不错。在许多情况下，它能正确识别“这不是我通常所读到的内容”。但确实，它也犯了错误，部分原因是它的神经网络无法进行稍微
“更深”的计算。（这些问题通过调用 Wolfram|Alpha 这类工具通常可以解决。）但在其他情况下，问题在于它未能充分连接不同领域的知识。
ChatGPT 能够轻松处理简单的类比，如“SAT 风格”。但面对更复杂的类比时，它则显得力不从心。然而，随着技术的进步，我相信不久后 ChatGPT 将能够进行一些令人印象深刻的类比，这是大多数人类无法实现的——到那时，它很可能成功地展现出更广泛的“常识”。
那么，究竟还有什么是人类可以而人工智能不能做的呢？几乎可以肯定地说，有一个基本的区别：定义我们认为值得追求的目标。我们稍后会更深入地探讨这个话题。但现在我们可以看到，任何一旦启动的计算系统都会简单地遵循其编程规则。但“应该指向哪个方向”呢？这需要从系统外部获得指导。
对我们人类而言，我们的目标是由我们所处的历史和文化网络所塑造的。要真正成为这个历史网络的一部分，唯一的方式是深度融入其中。
我们可以设想在技术上模仿大脑的每一个相关方面——事实上，像 ChatGPT 这样的成果表明，这比我们之前认为的要容易得多。但这还不够。要成为“人类历史网络”的一部分，我们还必须模仿其他“人的方面”——如移动、死亡等。如果我们创造了一个“人造人”，可以预期它将展示出所有人类的特征。
但只要我们还在谈论例如在计算机上运行或仅仅是数字化的人工智能，至少就我们目前而言，它们将不得不从外部获取它们的目标。未来，无疑会有一种“人工智能文明”的出现——它将形成自己的历史网络。但此时，我们没有理由认为我们还能用我们熟悉的目标来描述正在发生的事情。在那个阶段，人工智能将离开我们熟悉的 rulial 空间，并像我们在自然界中看到的那些系统一样运作，我们可以看到计算正在进行，但我们无法用人类的目标和目的来描述，除非采用拟人化的描述方式。
人类还有什么可做的吗?
这个问题已经存在了数个世纪，随着自动化（现在是人工智能）技术的发展，人们担忧最终是否将没有工作供人类做。在人类社会的早期，为了生存，我们不得不从事大量狩猎和采集的艰苦劳动。而在当今发达的社会中，这类劳动已成为遥远的历史。
尽管如此，历史上每一个阶段至今总似乎有新的工作类型出现，保持着人们的忙碌。有一个趋势似乎在不断重演：新技术催生新的职业机会，这些职业逐渐普及并吸引众多人员加入，但随后随着技术进一步进步，这些工作被自动化，人类的参与变得不再必要。但随之而来的新技术水平又催生了新的职业机会，这一周期不断循环。
例如，一个世纪前，电话的普及使得越来越多的人成为交换机操作员。然而，随着电话转接技术的自动化，这些工作岗位逐渐消失。但自动化的电话转接技术却使得电信基础设施得以大规模发展，创造了许多全新的职业机会，这些新职位的总数远超过了从前的交换机操作员。
类似的情况也出现在会计文员行业。在计算机出现之前，需要大量人力来进行繁琐的数字统计工作。但随着计算机的引入，这些工作被自动化了。然而，自动化不仅没有停止进步，反而使得可以进行更复杂的财务计算，进而促进了更复杂的金融交易和更严格的规制，这反过来又创造了全新的职业类型。
从整个行业来看，这种情况一再发生。自动化淘汰了一些工作，但也为其他工作的创造提供了条件。通常在技能需求的转变中会有一段时间的空隙。但至少到目前为止，总有一片由新技术开辟的广阔工作前沿，尚未被自动化覆盖。
那么，这种模式会不会最终结束呢？会不会到达一个阶段，人类想要的或需要的一切都能通过自动化实现呢？当然，这取决于我们的需求是否随着技术可能性的扩展而演变。但我们是否能说“够了”，决定停止在这里，让一切都自动化？
我认为不会。原因归根结底是计算不可约性的存在。我们试图让世界达到一个“理想状态”，例如设置为我们“可预测的舒适”。问题在于，事物的发展不可避免地涉及计算不可约性——不只是在自然界，在社会动态中也是如此。这意味着事物不可能一直保持在“理想状态”。总会有一些不可预测的事件发生；总有一些自动化无法覆盖的情况。
最初我们可能会说“我们不关心这些”，但随着时间推移，计算不可约性将影响所有事物。因此，如果我们确实关心某些事物（例如不灭绝），我们最终将不得不采取行动，超越任何已经设置的自动化。
我们可以轻易找到实际的例子。我们可能会想象，当计算机和人类都连接在一个无缝的自动化网络中时，就没有更多的事情要做了。但计算机安全问题的“意外后果”又如何处理呢？看似“技术完成了一切”的情况很快就会为人们创造新的工作类型。而且从某种意义上说，计算不可约性意味着这样的事情必然会发生。总会有一个“前沿”。至少，如果我们想保持某些事物（例如不灭绝）。
但让我们回到当前和人工智能的情形。ChatGPT 刚刚自动化了许多与文本相关的任务。过去，编写定制的报告、信件等需要大量的努力和人力。但现在，由于 ChatGPT 的自动化，这些工作不再需要人工参与。但这将意味着什么？这意味着可以生产更多的定制报告、信件等。这将导致新类型的工作——管理、分析、验证等所有这些大规模定制的文本。更不用说，现在需要提示工程师（直到几个月前还不存在的职业）和类似 AI 牧群人、AI 心理学家等职业了。
但让我们讨论一下当前尚未被“自动化”的“前沿”工作。有一类令人惊讶地仍然“存在”的工作：涉及大量机械操作的工作，如建筑、履行、食品准备等。但这里缺少一块技术——尚未有好的通用机器人技术（如同通用计算那样），而我们人类在灵巧性、机械适应性等方面仍有优势。但我相信，随着时间的推移——可能很快——必要的技术将被开发出来（是的，我有一些想法）。这将意味着现今的许多“机械操作”工作将被“自动化”——不再需要人类去完成。
但正如我们在其他例子中看到的那样，这将意味着机械操作将变得更容易和更便宜，并且将被更广泛地使用。房屋可能会常规地建造和拆除。产品可能会常规地从它们最终所在的地方被收集并重新分配。更加精美的“食品构造”可能成为常态。每一项活动——还有许多更多的活动——都将开辟新的工作机会。
但世界上今天存在的每一份“前沿”工作最终都会被自动化吗？那些看似很大一部分价值在于“有一个人在场”的工作怎么办？像飞行员这样的工作，人们希望飞行员在飞机中有“承诺”。护理工作，人们希望有人类的“联系”。销售或教育工作，人们希望有“人类的说服力”或“人类的鼓励”。如今，人们可能会认为“只有人类能够让人有这种感觉”。但这通常是基于现在的工作方式。也许会发现不同的方式，使得任务的本质能够被自动化，从而不可避免地为新任务的完成开辟道路。
例如，过去需要“人类说服力”的任务可能通过像游戏化这样的方式被“自动化”，然后可以做更多这样的事情，从而产生对设计、分析、管理等的新需求。
我们一直在讨论“工作”，这个词立刻让人联想到工资、经济等方面。确实，人们从事的许多活动（至少在当今的世界中）是由经济因素驱动的。但也有很多活动不是。有些事情我们“只是想做”，作为“社交活动”，出于“娱乐”，或为了“个人满足”。
我们为什么想做这些事情？其中一些似乎是我们生物本性的固有部分，有些则似乎由我们所处的“文化环境”决定。为什么有人会在跑步机上走路？在今天的世界里，人们可能解释说这对健康、寿命等有好处。但几个世纪前，在没有现代科学理解的情况下，对生死的看法不同，这种解释实际上行不通。
是什么驱动了我们对我们“想做的事情”或“应该做的事情”的看法的变化？有些似乎是由纯粹的“社会动态”驱动的，这显然具有自身的计算不可约性。但有些则与我们与世界互动的方式有关——无论是技术的进步带来的日益增加的自动化，还是知识的进步带来的日益增加的抽象化。
在我们考虑为“职业”或“工作”的事物中也似乎看到了类似的“周期”。一段时间内，某事很难做，成为一个好的“消遣”。但然后它变得“太容易了”（“现在每个人都知道如何在游戏 X 中获胜”，等等），一个“更高级别”的事物取代了它的位置。
关于我们“基础”的生物驱动动机，似乎在人类历史的进程中真的没有什么变化。但未来肯定有一些技术发展可能会产生影响。例如，有效的人类不朽将改变我们许多动机结构的方面。植入记忆的能力，或者植入动机的能力，也是如此。
目前，我们想做的事情中有一部分是由我们的生物本性“锚定”的。但总有一天，我们肯定能够至少用计算机模拟我们大脑正在做的事情的本质（事实上，像 ChatGPT 这样的成功使我们认为这一时刻比我们想象的要近）。到那时，我们将有可能拥有所谓的“无实体的人类灵魂”。
对我们今天的人来说，很难想象这样一个“无实体灵魂”的“动机”可能是什么。从外部看，我们可能“看到灵魂”正在做一些对我们来说“没有多大意义”的事情。但这就像问一千年前的人会怎么看待我们今天的许多活动一样。这些活动对我们今天的人来说是有意义的，因为我们处于我们整个“当前框架”中。但没有那个框架，它们就没有意义。对于“无实体灵魂”也
是如此。对我们来说，它所做的可能没有意义。但对它来说，有了它的“当前框架”，它是有意义的。
我们能“学会理解它”吗？很可能存在计算不可约性的某种障碍：实际上，唯一的方式是“理解未来的灵魂”，就是重走它到达那里的步骤。所以从我们今天的立场来看，我们被一定的“不可约距离”隔开，实际上是在 rulial 空间中。
但将来是否可能有某种科学至少能告诉我们这些“灵魂”的行为的一般特征？即使存在计算不可约性，我们知道总会有计算可约性的小口袋——因此行为的特征是可以预测的。但这些特征会“有趣”吗，比如从我们今天的观点来看？可能有些会有趣。也许它们会向我们展示某种灵魂的超心理学。但它们不可避免地只能走这么远。因为为了让那些灵魂甚至体验到时间的流逝，必须存在计算不可约性。如果发生的事情太可预测，就好像“什么都没发生”——或至少没有发生任何“有意义”的事情。
而且，是的，这与“自由意志”的问题密切相关。即使有一个根据某种完全确定性的底层程序操作的无实体灵魂，计算不可约性也意味着它的行为仍然可以“看似自由”——因为没有什么可以“超越它”并说出它将会是什么样的。而且，“无实体灵魂”的“内在体验”是重要的：它是“本质上定义其未来”，而不仅仅是“被定义其未来”。
人们可能会认为，一旦一切都只是“明显地操作”为“单纯的计算”，它必然是“没有灵魂的”和“无意义的”。但计算不可约性是打破这种状态的东西，它使得能够实现某种不可约和“有意义的”成就。无论是在我们现在的物理宇宙中的生活，还是在未来的“无实体”的计算存在中，都是同样的现象。换句话说，即使绝对所有的事情——甚至我们的存在——都被“计算自动化”了，这并不意味着我们不能拥有一个完全良好的“内在体验”关于有意义的存在。
广义经济学与持续进步的概念
回顾人类历史，甚至是地球上生命的历史，我们总能感受到一种“进步”的普遍存在。但这种“进步”究竟是什么？它可以被理解为事物在逐渐向“更高层次”的发展，使得在给定的努力下能够实现更多重要的事情。这种向“更高层次”迈进的过程，无论在技术领域还是在科学和智识领域，甚至在生物学中，都体现为从繁琐的具体操作向能够简化操作的模块化单元的转变。
这种在更高层次上操作的能力，反映了我们发现了“计算可约性小口袋”的能力。正如之前提到的，鉴于存在计算不可约性，无限多的这样的小口袋意味着“进步可以无限地继续”。
在人类社会中，我们往往高度重视这种进步，因为我们的生命是有限的，而进步使我们能够在有限的生命中实现更多的事情。当然，更多发生的事情并非总是好事，有些人可能更喜欢平静的生活。但从生物学的深层次来看，存在一个限制：如果某样东西不存在，那么与之相关的任何事情都不会发生。因此，如果我们希望生物体发生某些事情，它们就不能灭绝。然而，生物体存在的物理环境及其资源都是有限的，这就不可避免地导致了生物进化过程中的资源竞争。
是否会有最终的“胜者”？计算不可约性告诉我们，这是不可能的。计算宇宙总有更多的未探索领域，更多的“原始计算材料”。即使有了适应性标准，总有改进的余地。
然而，有人可能会疑问，生物进化是否可能在某个点“卡住”，无法找到“更好的方法”。虽然简单的模型可能会给我们这种直觉，但实际的进化更像是在一个极高维度的空间中进行的深度学习，总有方法从这里到达那里，只要时间足够。
从生物进化的历史来看，我们内在地感受到了对稀缺资源的竞争。这种竞争感也延续到了人类活动中，成为了推动经济过程的基本动力。
但如果资源不再稀缺怎么办？如果自动化或人工智能的进步使得“获得任何想要的东西”变得容易，会怎样？我们可能想象机器人建造一切，人工智能解决一切问题。但总有一些东西是不可避免地稀缺的，比如有限的土地、第一个做某事的荣誉，以及我们的时间始终有限。
然而，我们所做的事情越高效或层次越高，我们就能在有限的时间里完成更多的事情。似乎我们所认为的“经济价值”与“提高事物的层次”紧密相关。完成的手机比原材料“更有价值”，一个组织比其单独部分“更有价值”。但如果我们能实现“无限自动化”呢？从某种意义上说，这将意味着到处都是“无限的经济价值”，可以想象将不再有竞争。
但计算不可约性再次成为障碍。它表明，就像永远不会有最终胜出的生物一样，也永远不会有“无限自动化”。总会有更多内容在计算宇宙中等待探索，有不同的路径可以选择。
这在实践中会是什么样子？这可能会导致种种多样性，使得经济组成部分的图表变得越来越碎片化；不会只有一种“赢家通吃”的经济活动。
然而，在这种无休止的进步图景中，存在一个潜在的问题。如果没有人在意怎么办？如果创新和发现对我们人类真的不重要怎么办？当然，在历史的任何时刻，总有我们不关心的事物。那块硅只是一块石头的一部分，直到我们开始用它制造微处理器。
但正如我们所讨论的，只要我们在某种抽象层次上操作，计算不可约性就使我们最终必然暴露于需要超越当前层次的事物。
但关键是——会有选择。在计算宇宙中将有无数不同的路径可以探索，无论人工智能的计算资源有多大，它们都无法探索所有的路径。因此，必须有人或某些事物来选择哪条路径。
根据某个特定时刻所关心的事物集，我们可能能够成功地自动化所有这些事物。但计算不可约性意味着总会有一个需要作出选择的“前沿”。没有“正确的答案”，没有“理论上可以推导出的”结论。相反，如果我们人类参与其中，这正是我们定义未来将会发生什么的地方。
我们将如何做到这一点？最终，这将基于我们的历史——生物学的、文化的等。我们将利用所有进入我们现状的不可约计算来定义下一步要做什么。从某种意义上说，这将是一种通过我们进行的过程，利用我们的本质。这是即使在到处都是自动化的情况下，我们人类仍然可以有意义地做的事情的地方。
如何向人工智能传达我们的需求？
假设我们想让一个人工智能（或任何计算系统）执行特定任务。我们可能认为，只需设定其规则或编写程序即可。对于一些任务，这种方法确实有效。但随着我们对计算的深入利用，我们将越来越多地遭遇计算不可约性，从而越来越难以确定如何设定规则以达成目标。
首先，我们需要界定“我们想要什么”。我们可以定义具体规则，指定计算过程中某个特定点的位模式。但这种方法可能与我们通常关心的、更为宏观的“人类级别”目标关联不大。实际上，对于我们能够合理定义的任何目标，我们需要能够清晰地构想它。换句话说，我们需要一种“人类级别的叙述”来描述它。
那么，我们如何表达这样的叙述呢？自然语言是我们种族历史上最重要的创新之一，它基本上允许我们在“人类级别”上讨论问题。自然语言由我们可以将其视为“人类级别意义包”的词汇组成。例如，“椅子”这个词代表了椅子的人类概念，它并不指某个具体的原子排列，而是指我们可以将之归纳为“椅子”这一人类概念的任何原子排列，从中我们可以推理出例如可以坐在上面等功能。
那么，当我们与人工智能“对话”时，我们可以期望仅通过自然语言表达我们的需求吗？到目前为止，ChatGPT等工具已帮助我们取得了前所未有的进展。但当我们试图使命令更精确时，我们会遇到困难，所需的语言也会变得越来越复杂，如同复杂法律文件中的法律术语。那么我们能做些什么呢？如果我们想保持在“人类思维”的层面，我们不能深入所有的计算细节。但我们又希望对如何在这些计算细节上实现我们的话语有一个精确的定义。
解决这个问题的方法之一，是我个人投入了几十年研究的计算语言。当我们谈论编程语言时，它们主要在计算细节的层面上操作，用计算机的原生术语定义计算机应该执行的操作。但真正的计算语言（如今世界上的 Wolfram 语言是唯一的例子）的目标是不同的：它旨在定义一种精确的方式，用计算术语描述世界上的事物（无论是具体的如国家或矿物，还是抽象的如计算或数学结构）。
在计算宇宙中，可能发生的“原始计算”极其多样化。但我们人类（至少目前）只关心其中的一小部分。我们可以将计算语言视为连接我们所关心的事物与计算可能性之间的桥梁。计算语言中的函数（例如 Wolfram 语言中的约7000个函数）实际上像是人类语言中的词汇，但它们在显式计算的“基础”上有了精确的定位。设计计算语言的目的是使其便于人类思考和表达（类似于大幅扩展的数学符号），同时也能在计算机上精确实施。
对于自然语言的片段，我们通常可以在计算语言中给出一个精确的计算解释。这正是 Wolfram|Alpha 所做的工作。向 Wolfram|Alpha 提供一段自然语言，其自然语言理解系统将尝试将其解释为计算语言。从这种解释中，Wolfram 语言将执行指定的计算，并返回结果——并可能生成自然语言来表达这些结果。
实际上，这种设置不仅对人类有用，对于人工智能系统如 ChatGPT 也同样适用。如果有一个生成自然语言的系统，Wolfram|Alpha 的自然语言理解系统可以“捕捉”抛出的自然语言，并将其解释为精确定义的计算语言，这定义了一个可能的不可约计算任务。
无论是使用自然语言还是计算语言，我们基本上都是“直接表达自己的需求”。但另一种更符合机器学习的方法是提供示例，并（隐式或显式地）指示“遵循这些”。必然需要某种基础模型来指导这种遵循——通常是由某种神经网络结构定义的。但结果会是“正确”的吗？结果将是神经网络生成的任何结果。通常，如果结果与我们人类的判断一致，我们会认为它是“正确的”。而在实践中，这种情况似乎经常发生，可能是因为我们的大脑结构与我们使用的神经网络结构足够相似。
但如果我们想要“确切地知道”会发生什么，或者例如确保某种特定的“错误”永远不会发生，该怎么办？那么我们可能需要重新考虑计算不可约性的问题，这意味着没有办法知道，例如，一组特定的训练样本是否能导致系统能够（或不能）做某些特定的事情。
好吧，但假设我们正在设置某个人工智能系统，并希望确保它“不做任何坏事”。这里有好几个问题层面。首先是定义我们所说的“坏事”是什么。正如我们稍后将讨论的那样，这本身就非常困难。但即使我们可以从抽象上解决这个问题，我们应该如何表达它呢？我们可以提供示例——但那么人工智能将不可避免地需要从中“推断”，而我们无法预测这种推断的方式。或者我们可以用计算语言描述我们想要的。尽管覆盖“每一种情况”可能很困难（就像现代的人类法律或复杂的合同），但至少我们人类可以阅读我们所规定的内容。即使在这种情况下，仍存在计算不可约性的问题：即根据规格无法预测所有后果。
这一切意味着什么？从本质上讲，这只是反映了一个事实：一旦涉及到“严肃的计算”（即不可约的计算），就无法立即知道会发生什么。这在某种意义上是不可避免的，因为如果能预见结果，那么计算就不是不可约的了。所以，是的，我们可以试图“告诉人工智能该做什么”。但这就像许多自然系统（或者说，人类）一样：你可以为它们设定方向，但无法确切知道将发生什么；你只能等着看。
由人工智能运行的世界
在当今世界，许多任务已经由人工智能承担，未来这种趋势只会增加。但关于谁在“掌控”这个问题，我们是否在指导人工智能，还是它们在引导我们？目前看来，情况似乎是两者兼有：人工智能向我们推荐内容（比如网上的信息），并广泛地对我们的行动提出建议。未来，这些建议可能会更加深入和与我们的日常生活紧密结合，比如通过增强现实技术，在我们观察的每一样事物上添加建议。如果我们拥有直接的神经接口技术，人工智能可能会直接影响我们的大脑决策，到那时，我们可能真的成为了人工智能的“傀儡”。
超越个人建议，还有人工智能运行我们使用的系统甚至整个文明基础设施的问题。目前我们通常期望人类负责做出重大决策，这些决策通常是在法律定义的规则体系下进行的，并可能得到计算技术甚至可以称之为人工智能的帮助。但可能会出现一种情况，人们觉得人工智能在某些领域比如运行中央银行或指挥战争等能做得比人类更好。
我们怎样才能知道人工智能是否能“做得更好”呢？我们可以通过测试和示例来尝试，但这又会遇到计算不可约性的问题。即使特定的测试看起来有效，我们也无法预测所有可能发生的情况。比如，如果突然发生前所未有的地震事件，人工智能将如何应对？我们只能等到事情发生后才能知道。
那么，我们能确保人工智能不会做出“疯狂”的事吗？我们能否用某种定义来“证明”人工智能永远不会那样做吗？对于任何实际意义上的“疯狂”定义，我们都会遇到计算不可约性，这使得证明成为不可能。
当然，即使是人类（或一群人）掌权，我们也无法“证明”他们不会做出“疯狂”的行为——历史显示，掌权者经常会做出我们事后认为是“疯狂”的事情。但尽管从某种程度上说，关于人类将会做什么没有比关于人工智能将会做什么更多的确定性，如果我们认为“我们在这一切中一起”，并且如果出问题，这些人也会“感受到后果”，我们还是会感到某种安慰。
然而，似乎不可避免的是，在世界上将有越来越多的决策和行动直接由人工智能做出。这可能是因为成本更低，基于测试的结果可能更好，或者因为某些事情必须迅速完成，涉及的数量太大，无法让人类参与。
如果我们的世界中很多事情都是通过人工智能发生的，而且这些人工智能实际上进行的是不可约的计算，那将会是怎样的情景？我们将处于一种“事情就这样发生了，我们不太清楚为什么”的状态。但从某种意义上说，我们之前在与自然界的互动中经常处于这种情况。例如，天气等自然过程可以被视为某种计算，这些计算往往具有不可预测性。是的，我们可以通过自然科学来了解即将发生的一些事情，但这种理解总是有限的。
我们可以期望与世界的“人工智能基础设施”相似，其中发生的事情——就像天气一样——我们无法轻易预测。我们将能够理解一些事情——尽管这可能更接近心理学或社会科学而非传统的精确科学。但会有意外——就像可能出现某种奇怪的人工智能版本的飓风或冰河时代。最终，我们真正能做的就是尽力建设我们的人类文明，使得这些事情对其不构成根本性的影响。
从某种意义上说，我们看到的景象是，随着时间的推移，将有一个完整的“人工智能文明”以我们无法轻易理解的方式运作，就像自然界一样。就像与自然界共存一样，我们将与之共存。
但至少一开始，我们可能会认为自然和人工智能之间有一个重要的区别，因为我们想象我们并没有“选择自然法则”，但既然我们是建造人工智能的人，我们想象我们可以“选择它们的法则”。但这两个想法都不完全正确。因为实际上我们的物理项目表明，我们感知的自然法则之所以是这样，是因为我们是以我们这样的方式存在的观察者。而在人工智能方面，计算不可约性意味着我们不能指望仅凭我们给它们设定的底层法则就能确定人工智能的最终行为。
但人工智能的“突现法则”将是什么样的？这将取决于我们如何“抽样”人工智能的行为。如果我们观察的是单个比特的层面，就像观察分子动力学或空间的原子行为一样。但通常我们不会这样做。就像在物理学中一样，我们作为计算能力有限的观察者，只能测量底层不可约过程的一些聚合特性。那么人工智能的“总体法则”将是什么样的？也许它们将显示出与物理学类似的类比。或者它们可能看起来更像心理学理论（人工智能的超我？）。但我们可以预期，它们在很多方面将类似于我们所知的自然界的大规模法则。
不过，至少在我们与自然和人工智能的互动中还有一个区别，因为我们实际上已经与自然“共同进化”了数十亿年——而人工智能是“新出现的”。通过与自然的共同进化，我们开发了各种结构、感官和认知功能，使我们能够与自然“成功互动”。但对于人工智能，我们没有这些。这意味着什么呢？
我们与自然的互动可以被视为利用自然过程中存在的计算可约性小口袋，使事物对我们来说至少看起来有些可预测。但如果我们还没有为人工智能找到这样的小口袋，我们可能会面临更多的“原始计算不可约性”，从而导致更多的不可预测性。现代时代的一个自负观点是——尤其是在科学的帮助下——我们已经能够使我们的世界对我们来说越来越可预测，尽管实际上导致这种情况的很大部分是我们建立和控制我们生活的环境以及我们选择做的事情的方式。
但对于新的“人工智能世界”，我们实际上是从头开始的。在那个世界中使事情变得可预测可能部分地是一种新科学的问题，但更重要的可能是选择我们围绕那里的人工智能设置我们的“生活方式”的方式。（而且，是的，如果有很多不可预测性，我们可能会回到关于命运重要性的更古老观点，或者我们可能会将人工智能视为希腊神话中的奥林匹斯山神，它们在自己之间搏斗，有时对凡人产生影响。）
人工智能时代的治理
设想一个世界，由人工智能实际运行，但我们人类至少对它们的操作有一定的控制权。那么，我们应该基于什么原则指导它们？例如，它们的“伦理”标准应当是什么？
首先，对于这个问题并没有绝对的、理论上的“正确答案”。人工智能可以遵循多种伦理和其他原则，而选择哪些原则本质上是一种选择。
当我们谈论“原则”和“伦理”时，我们倾向于更多地考虑限制行为而非制定行为规则。这意味着我们正在处理的更类似于数学公理，我们询问根据这些公理哪些定理是正确的，哪些是错误的。这就引入了一些问题，比如这些公理是否一致，以及它们是否完整，即它们是否能“确定任何事物的伦理性”。但现在，我们再次面对计算不可约性，这里体现为哥德尔不完备性定理及其泛化形式。
这意味着通常无法决定任何给定的原则集是否一致或完整。可能会有“道德问题”，而找出这个问题在指定伦理系统中的答案可能需要无限长的“证明链”，甚至可能根本没有一致的答案。
人们可能想通过增加公理来“修补”存在的问题。但哥德尔不完备性定理告诉我们，这种努力是徒劳的。就像计算不可约性常见的情况一样：总会有新的情况出现，这些情况无法通过有限的公理集来涵盖。
好的，但设想我们为人工智能选择一组原则。我们应该使用什么标准？其中一个标准可能是这些原则不会不可避免地导致一种简单的状态，如人工智能灭绝或不得不永远重复相同的行为。虽然在某些情况下我们可以轻易看出某些原则集会导致这种结果，但大多数时候，计算不可约性（这里以停机问题的形式出现）会成为障碍，我们无法预知会发生什么，也无法成功地选择“可行的原则”。
这意味着理论上我们可以选择广泛的原则。但我们想要的，大概是选择那些能使人工智能为我们提供某种形式的“美好体验”的原则。
一个基本的想法可能是让人工智能简单地观察人类的行为，然后某种形式地模仿这些行为。但大多数人可能不会认为这是正确的做法，他们会指出人类行为中的所有“不良”之处。他们可能会说，“让人工智能跟随我们所渴望的行为，而不是我们实际的行为”。
但我们应该从何处获得这些渴望呢？不同的人和不同的文化可能有非常不同的渴望，导致非常不同的原则。那我们应该选择谁的渴望呢？确实，全球几乎没有——如果有的话——我们真正普遍共有的原则。（虽然例如所有主要宗教都倾向于共享对生命的尊重、黄金法则等。）
但我们是否真的需要选择一套固定的原则？也许不同的人工智能可以有不同的原则，就像不同的国家或在线社区一样有不同的原则。
现在这种想法似乎不太可能，因为技术和商业力量倾向于使人们认为强大的人工智能必须是集中的。但我预计这只是目前的一个特点，并非任何“类人”人工智能的固有属性。
那么，每个人（或许每个组织）是否可以拥有具有自己原则的“个人人工智能”呢？对于某些目的，这种做法可能行得通。但在许多情况下，人工智能（或人类）不能真正独立行动，需要做出“集体决策”。
为什么会这样？在一些情况下，是因为每个人都处于相同的物理环境中。在其他情况下，是因为要有社会凝聚力——这种凝聚力是支持像语言这样的通信工具的基础——就必须有一定的概念一致性。
值得一提的是，从某种意义上说，得出“集体结论”实际上是引入一定的计算可约性的方式，使得“更容易看出接下来该做什么”。如果有足够的计算能力，可能可以避免这种情况。例如，人们可能认为必须就汽车应该在道路哪一边行驶达成集体结论。但如果每辆车都有计算出最优轨迹的能力，例如最优地在使用道路两侧的其他车辆之间穿梭，那么这种集体结论就不再成立。
但如果我们人类要参与其中，我们可能需要一定量的计算可约性，以使我们的世界对我们来说足够易于理解，从而我们可以在其中操作。这意味着将有集体——“社会性”的——决策要做。我们可能希望简单地告诉人工智能“让一切尽可能对我们好”。但不可避免地会有权衡。一种集体决策方式可能对99%的人非常有利，但对1%的人非常不利；另一种方式可能对60%的人还不错，但对40%的人相当糟糕。那么人工智能应该怎么做呢？
当然，这是政治哲学的一个经典问题，没有“正确答案”。而且实际情况不会像这样简单。确定不同行动方案的一些直接影响可能相对容易。但最终不可避免地会遇到计算不可约性和“意外后果”，因此无法确定最终影响（好或坏）是什么。
那么，实际上应该如何做出集体决策呢？没有完美的答案，但在当今世界，以某种形式的民主通常被视为最佳选项。那么人工智能如何影响民主，并可能对其进行改进呢？让我们首先假设“人类仍然掌控”，因此最终重要的是他们的偏好。（并假设人类大致以他们的“当前形式”存在：独特且不可复制的独立实体，认为他们拥有独立的思想。）
目前民主的基本设置在计算上相当简单：给出离散的投票（或可能的排名）（有时具有各种权重），然后使用数字总数来确定赢家（或赢家们）。而以前的技术基本上只能做到这一点。但现在有了一些新元素。想象一下不是投离散票，而是使用计算语言编写一个计算性文章来描述一个人的偏好。或者想象与一个能够进行语言对话的人工智能进行对话，该人工智能可以引出并讨论一个人的偏好，并最终以某种特征向量的形式总结它们。然后想象将来自所有“选民”的计算性文章或特征向量输入给某个人工智能，该人工智能“计算出最好的做法”。
这仍然存在相同的政治哲学问题。这并不像60%的人投票支持A，40%的人支持B，所以选择了A。情况要复杂得多。但仍然无法始终让每个人都满意，必须有一些基本原则来知道如何处理这种情况。
还有一个更高层次的问题，在人工智能根据其所知道的有关人们详细偏好（可能还包括他们的行为）的一切不断重新平衡集体决策时：对于许多目的——例如我们能够“跟踪正在发生的事情”——保持一致性非常重要。但是，可以通过让人工智能在计算如何行动时也考虑一致性来处理这个问题。
尽管人工智能无疑可以在某些方面“调整”民主，但它本身并没有提供任何根本性的新解决方案来做出集体决策，以及一般的治理。
事实上，最终总是需要一些关于希望事情如何发展的基本原则。是的，人工智能可以是实施这些原则的工具。但原则的可能性有很多。而且——至少如果我们人类“掌控”——我们将是必须提出这些原则的人。
换句话说，我们需要制定某种“人工智能宪法”。可以想象，这个宪法应该基本上用精确的计算语言书写（是的，我们正在尝试使 Wolfram 语言可以用于此目的），但不可避免地（作为计算不可约性的又一个后果）将有“模糊”的定义和区分，这将依赖于例如示例，“由神经网络等系统插值”。也许当这样的宪法被创建时，会有多种“表述”，每当使用宪法时都可以应用这些表述，有一些机制来选择“总体结论”。（而且，是的，这在一定程度上具有一种“观察者依赖”的多计算特性。）
但无论其详细机制如何，人工智能宪法应该说些什么？不同的人和人群肯定会对此得出不同的结论。可以想象——就像今天存在不同国家等拥有不同法律体系一样——将有不同的群体希望采用不同的人工智能宪法。（而且，是的，当这些人工智能宪法必须相互作用时，同样的集体决策问题再次适用。）
但如果有了人工智能宪法，就有了一个基础，人工智能可以据此做出决策。在此基础上，可以想象有一个庞大的自动执行的计算合同网络，基本上用来“运行世界”。
这可能是那些经典的“可能出什么问题？”时刻。已经达成了人工智能宪法的共识，现在一切都由遵循它的人工智能高效且自主地运行。嗯，再一次，计算不可约性显现出来。因为无论人工智能宪法起草得多么仔细，计算不可约性意味着无法预见所有后果：“意外”的事情总会发生——其中一些无疑是“人们不喜欢”的事情。
在人类法律系统中，总有一种机制可以添加“补丁”——填补涵盖出现的新情况的法律或先例。但如果一切都由人工智能自主运行，就没有这样做的余地。是的，我们作为人类可能会将“发生的坏事”描述为可以通过添加补丁来修复的“错误”。但人工智能只是应该根据其宪法——本质上是公理地——进行操作，所以它没有办法“看到这是一个错误”。
正如我们上面讨论的那样，这里有一个与人类法律与自然法之间的有趣类比。人类法律是我们定义并可以修改的东西。自然法则是宇宙提供给我们的东西（尽管考虑到上面讨论的关于观察者的问题）。通过“设定人工智能宪法并让它运行”，我们基本上是在强迫自己进入一种情况，其中“人工智能文明”是世界上的一些“独立层”，我们基本上必须接受它的存在，并适应它。
当然，有人可能想知道人工智能宪法是否可以“自动进化”，比如基于在世界上实际看到的情况。但很快就会回到完全相同的计算不可约性问题，无法预测进化是否会是“正确的”等。
到目前为止，我们假设在某种意义上“人类掌控”。但在某种程度上，这是人工智能宪法需要定义的问题。它必须定义人工智能是否拥有“独立权利”——就像人类一样（并且，在许多法律系统中，一些其他实体也是如此）。与人工智能是否可以被视为独立“对其行为负责”的问题密切相关的是，这种责任是否必须始终最终由人工智能的（大概是人类）创造者或“程序员”承担。
再一次，计算不可约性发挥了作用。因为它意味着人工智能的行为可以“不可约地超越”其程序员定义的内容。最终（如上所述），这是同样的基本机制，使我们人类能够有效地拥有“自由意志”，即使我们最终是根据确定性的基础自然法则运行。因此，如果我们要声称我们人类拥有自由意志，并且可以“对我们的行为负责”（而不是始终由基础法则“决定我们的行为”），那么我们最好也为人工智能声称同样的事情。
因此，就像一个人在其一生中积累了一些不可替代和不可替代的东西一样，人工智能也可以这样做。然而，从实际情况来看，人工智能可以假定被备份、复制等——这对人类来说（尚未）是可能的。因此，某种程度上，它们的个别实例似乎没有那么有价值，即使“最后一份拷贝”可能仍然有价值。作为人类，我们可能想说“那些人工智能是低人一等的；它们不应该拥有权利”。但事情将变得更加纠缠。想象一个不再有可识别所有者的机器人，但它成功地在社交媒体上交到朋友，并通过捐款、广告等支付其基础操作费用。我们能合理地删除那个机器人吗？我们可能会争辩说“机器人不能感受到痛苦”——但它的人类朋友可以。但如果机器人开始做“坏事”怎么办？那么，我们将需要某种形式的“机器人正义”——很快我们会发现自己为人工智能建立了一整套类似人类的法律结构。
终局是否会是灾难？
人工智能将从人类身上学到尽可能多的知识，之后它们将作为独立的计算系统运行，这类似于自然作为一个独立的计算系统的运作方式，有时与我们进行“互动”。它们将对我们做些什么？自然对我们做了什么呢？我们可能会以一种拟人化的方式认为自然有意图，但实际上自然只是“遵循它的规则”并执行它的功能。人工智能也将如此。是的，我们可能认为我们可以设定条件来控制人工智能的行为，但最终，由于人工智能真正利用了计算宇宙中的可能性，将不可避免地出现计算不可约性，我们无法预见将会发生什么，也无法知道其后果。
那么，人工智能的动态是否会实际带来“负面”影响，例如消灭我们呢？当然，自然也有可能消灭我们。但我们通常感觉，除了外星“灾难”外，我们周围的自然界在某种程度上达到了某种“平衡”，不会发生太剧烈的变化。但人工智能是新兴的事物，它们可能表现出不同的特性。
一个可能的情况是，人工智能可能会“自我完善”，形成一种在某种意义上主宰一切的“顶级智能”。但这里计算不可约性提供了一种保护。因为这意味着永远不会存在一个“万事通”的计算系统。这是元生物学新兴领域的一个核心发现：无论你设定何种“成就”，计算宇宙中总会存在一个能够超越它的计算系统。（例如，总能找到一个图灵机，它的停机时间超过你设定的任何上限。）
这意味着将不可避免地存在一个完整的“人工智能生态系统”，并不存在单一的赢家。当然，尽管这可能是最终不可避免的结果，但这不一定是短期内会发生的事情。实际上，目前将人工智能系统集中化的趋势存在一定的风险，与一个完整的、处于平衡状态的“人工智能生态系统”相比，可能使人工智能的行为变得不稳定。
此外，还有另一个潜在的担忧。我们人类是在长期的生物进化斗争中形成的，如果人工智能继承了我们的特性，我们可能期望它们也继承了某种“胜利驱动力”——可能还包括与我们的竞争。这可能是人工智能宪法显得尤为重要的地方：它需要定义一个超越人工智能可能从我们行为中“自然”继承的东西的“合约”。我们可以期望人工智能最终“独立地达到平衡”。但在此期间，人工智能宪法可以帮助它们摆脱与我们生物进化的竞争历史的联系。
迈向人工智能的时代
我们已经广泛讨论了人工智能的未来发展及其与人类的关系。但我们怎样才能为短期内人工智能能力和应用的迅速增长做好准备呢？历史告诉我们，会使用工具的人往往会比不会使用的人取得更大的成功。你确实可以继续依靠人力去做那些已被自动化的工作，但这样做，你将越来越落后。目前，我们见证了强大的工具组合的出现：能够执行“类人任务”的神经网络 AI 和能够深入挖掘计算宇宙及其知识的计算语言。
那么，我们应该如何利用这些新工具呢？最有效的方法是探索以前不可能实现的新可能性。正如我们所讨论的，人类在这个过程中扮演了不可或缺的角色，因为我们需要界定哪些是对我们真正有价值的。
这对教育系统意味着什么呢？在很多任务都已被自动化的今天，学习的重点应该是如何更广泛、更深入地思考。我们需要利用尽可能多的知识和不同的思维模式，尤其是计算思维，以及如何将这些思维应用于计算可以帮助解决的问题。
随着时间的推移，人类累积了丰富的知识。但随着思维方式的进步，不必再去死记硬背所有知识的细节，而是应当学习如何在更高的层面上抽象思考。在过去几十年里，计算机和相关技术的出现，使得自动化智力任务成为可能，这种变革带来的影响是前所未有的。我们才刚刚开始理解这一点对我们的学习内容和方式的影响。
尽管新技术带来了强大的能力，但人们往往担心会失去某些东西。尽管如 Mathematica 这样的工具已能自动完成许多数学计算超过三十多年，但学习这些复杂的细节仍有其价值，尤其是在适当的时机。
然而，在充分利用我们文明的智慧成果方面，更合理的做法是利用现有的自动化技术，将这些基本的计算看作是可以组合起来用于实际应用的“积木”。
这种对自动化的利用不仅仅对实践中的应用重要，而且在理论层面上也是至关重要的。正是通过自动化，我们才能获得足够的实例和经验，发展出理解更高层次概念的直觉。
在知识迅速增长的当今世界，人们往往认为必须变得越来越专业化。然而，随着智力任务自动化的成功和所谓的人工智能的兴起，我们看到了另一种可能性：更多地利用自动化，使人们能在更高的层次上进行“整合”而不是专门化。
这种方法不仅让我们能够专注于制定策略，还能将执行细节交由能力更强的自动化系统来处理。同时，存在一个能够完成特定任务的 AI，无疑也会使人类更容易学习如何执行这些任务。尽管我们还没有完全理解这一点，但似乎不可避免的是，随着现代技术的发展，AI 将能够学习人类的学习方式，并有效地传授知识。
因此，人们真正需要学习的是如何使用各种工具，了解可以尝试的不同活动，并学习相关的事实来支持自己的思考。在未来，有了 AI 的参与，学习如何提出问题，以及如何识别值得探索的问题可能比简单地寻找答案更为重要。
此外，成功的关键在于拥有广泛的知识和清晰的思维。在现代，计算思维的概念为我们提供了一个新的思维结构，不仅仅是关于计算机操作的思维，而是关于世界和抽象概念的思维。
拥有一种计算语言——一种表达计算范式的语言——是至关重要的。这种语言不仅可以简单地表达日常事物，还可以构建复杂的概念结构，这正是计算语言的价值所在。这在数学的发展历史中有其类比：数学符号的出现使得数学思维变得更为高效，而计算语言和计算范式则在更广泛的领域中发挥着类似的作用。
因此，我们不仅需要学会如何使用计算工具，还需要了解如何利用这些工具来拓展我们的思维和探索新的领域。这不仅关系到科学发现的未来，还关系到我们如何将计算机的发现整合到人类的知识体系中。尽管 AI 可能会在某些方面取代人类的角色，但科学的本质仍然与人类的理解密切相关。
总之，在人工智能快速发展的今天，虽然许多具体技能可能变得不再重要，但人类依然有其独特的位置。对我们来说，最重要的是学会如何选择未来的方向，从而在计算宇宙中无限的可能性中为人类文明选择一条路径。
后记：回望实际数据
在前文中，我们深入讨论了未来可能出现的种种情形。然而，回望历史，真实的数据又会给我们展示什么呢？以美国为例，从1850年起，人口普查局便开始记录职业信息。尽管许多职业名称已经随着时代变迁而改变，例如铁路转辙员、测量链员和教堂司事这些职业已逐渐消失，而电销员、飞行员和网页开发者在19世纪中叶还未出现。尽管如此，通过适当的分类，我们还是能大致将这些职业对应起来。
通过每隔五十年的职业分类饼图，我们可以看到1850年的美国主要是农业经济，超过一半的人从事农业相关工作。随着农业生产效率的提升，机械化、灌溉技术、优质种子和化肥的使用使得从事农业的人数大幅减少，今天这一比例已降至微不足道。
在农业之后，建筑业及其相关领域（主要是维护）是1850年的第二大就业领域。尽管经历了自动化的浪潮，这一领域的就业人数在过去一百五十年间变化不大，这可能是因为自动化技术的应用使得建筑设计更加复杂化。
从历史的饼图中，我们可以明显看到职业多样化的趋势。这一趋势不仅限于美国，世界各地的经济体都有类似的发展。经济学理论认为，专业化的增加与经济增长密切相关。在此，我们可能会进一步推断，一个经济体变得更加复杂，创造了更多的就业岗位和商机，这反映了计算不可约性的普遍存在，以及由此产生的复杂计算可约性网络。
除了职业类别的整体分布外，我们还可以通过时间看到各个职业类别的变迁，每一个变化都是历史的一扇窗。
显而易见，自动化导致某些职业的岗位数量减少，这种现象不仅出现在农业和采矿业，也出现在金融业和零售业，以及由于在线购物的兴起而减少的销售职位。例如，制造业的岗位减少部分是由于自动化，部分是因为生产线转移到劳动力成本更低的国家。
有一些职业受到显著的外部影响，如军事职位，而像运输和物流这样的领域，在技术广泛应用和基础设施完善后，虽然经历了长时间的增长，但最终因自动化而趋于饱和。随着技术的普及，更多的技术维护职位也应运而生。
另一个明显的趋势是，在组织结构日益复杂的世界中，相关的职业类别也在增加。例如管理、行政、政府、金融和销售岗位都有所增加，尽管由于电脑化的发展，这些领域最近也有所减少。法律服务领域最近也呈现增长。
随着医疗、工程、科学和教育领域的知识和任务的增多，这些领域的就业也在增加。同时，随着人们生活方式的多样化，娱乐和餐饮业也展现出增长趋势。当然，信息技术从20世纪50年代中期开始迅速发展，已成为一个全新的重要领域。
综上所述，这些数据与我们之前的讨论高度吻合。技术的进步不仅优化了传统领域，减少了对劳动力的需求，同时也催生了新的就业机会。正如计算不可约性所预示的那样，随着知识和组织结构的增加，社会和经济结构变得日益复杂，需要更多人手探索新的前沿。尽管偶有技术革新带来的突变，但在就业数量上的显著变化通常需要几十年甚至一代人的时间才会显现。这些变化往往与特定的经济事件或政府政策变动相关。
此外，除了不同工作的完成外，个人每天如何分配时间也是一个重要问题。通过对美国遗产时间使用研究中收集的时间日记数据的分析，我们可以看到，尽管计算机和互联网的普及改变了很多方面，但在过去的半个世纪中，美国人的日常时间分配相对稳定。这反映出即使在技术迅速发展的今天，人们的生活方式和时间使用习惯仍保持一定的连续性。例如，基于这项调查的图表显示，几十年来在不同广泛活动上花费的时间是如何变化的（主线显示每个活动的平均小时数；阴影区域表示连续的十分位数）:
是的，人们在“媒体与计算”上花费的时间更多，包括看电视、玩视频游戏等。至少对于女性来说，家务花费的时间较少，这主要是由于自动化（家用电器等）的结果。("Leisure"基本上是“闲逛”以及爱好和社交、文化、体育活动等；"Civic"包括志愿者、宗教等活动。) 如果具体看从事有偿工作的人
可以注意到几个事情。首先，过去半个世纪中平均工作时间并没有太大变化，尽管分布有所扩展。对于从事有偿工作的人来说，媒体与计算的增加并不显著，至少自1980年代以来如此。其中一个系统性增加的类别是锻炼（尽管总时间仍然不是很长）。 那些因某种原因不从事有偿工作的人呢？这里是相应的结果：
锻炼的增长不多（尽管初始总时间更长），但现在在媒体与计算上的增长显著，男性的平均时间最近已接近每天6小时——这可能反映了“生活更多地在线进行”的情况。
但查看所有这些关于时间使用的结果，我认为可以得出的主要结论是，在过去半个世纪里，人们（至少在美国）的时间使用方式相当稳定——即使我们从几乎没有计算机的世界进入了一个计算机比人还多的世界。