北京时间7月9日消息，GeoRge DvoRsky对超级人工智能的看法引发了广泛关注。他认为，机器智能可能是人类所创造的最后一个祸根。在过去的二十多年里，他所思考和撰写的内容大多围绕着机器智能对人类的潜在威胁。尽管遭受了不少批评，他依然坚持认为，我们不能忽视这样的可能性：人类文明可能会毁于自己所发明的工具。
反对超级人工智能毁灭人类这一观点的人不少，其中一个常见的反驳却让人感到荒谬。这个观点并不是否认超级人工智能的可能性，也不是说我们能够阻止邪恶机器的毁灭，而是天真地认为，一台极其聪明的计算机根本没有终结人类的手段或动机。
想象一下，存在一些系统，无论是生物的还是人工的，其智慧水平与人类相当甚至更高。通过基因工程、纳米技术、信息技术及认知科学的结合，我们能够根本性地增强人类大脑（甚至是非人类动物的脑力）。而超越人类的机器智能，很可能源自计算机科学、认知科学和全脑仿真的进步。
然而，这些系统中的某一个如果出现问题，或者被故意用作武器，那将是极其危险的。遗憾的是，一旦这些系统问世，我们可能难以控制它们，也无法预测它们对我们请求的反应。
苏珊·施奈德是未来心灵中心的主任，也是《ARtificial You： AI and the FutuRe of the Mind》一书的作者。她在邮件中提到：“这就是我们常说的控制问题。简单来说，就是如何控制一个比我们聪明得多的人工智能。”
施奈德提到了著名的回形针场景作为类比。在这个场景中，一家回形针制造商的人工智能被编程得极其糟糕，致力于最大化回形针的生产效率，结果却导致地球上的一切都变成了回形针，最终毁灭了地球。牛津大学哲学家尼克·博斯特罗姆在其2014年著作《SupeRIntelligence： Paths， DangeRs， StRategies》中将这类风险称为“反常实例化”。施奈德更简单地表达这一点，提及了一个古老的魔法精灵故事，其中许愿“永远不会顺利”。普遍的担忧在于，我们想让超级智能完成某些任务，但由于对这些任务细节的不了解，超级智能可能会严重曲解我们的愿望，导致我们不愿意看到的后果。
例如，我们可能会“许愿”实现一种高效的太阳能提取方法，结果却是超级智能窃取了我们整个地球的资源来建造一个超大型的太阳能阵列。博斯特罗姆推测，若要求超级智能“最大化人类的幸福感”，可能会导致其重新连接我们大脑中的快乐中心，甚至将我们的意识上传至超级计算机，强迫我们永远体验那五秒钟的快乐循环。一旦超级人工智能出现，厄运将会以一些离奇且意想不到的方式降临。
人工智能机器研究所的理论家埃利泽·尤德科夫斯基在他的论文中将超级人工智能视为一种优化过程，或“在大型搜索空间中击中小目标以产生合乎逻辑的现实世界效果的系统”。问题是，这些过程往往倾向于探索广阔的可能性空间，其中许多是我们无法想象的。尤德科夫斯基写道：
“我正在访问一座遥远的城市，一位当地朋友主动提出开车送我去机场。我对周围情况一无所知。当朋友到达十字路口时，我无法预测他会往哪个方向拐弯。但我依然可以预测朋友一系列不可预测行为的最终结果：我们会抵达机场。即使我朋友的家在城市的另一侧，他可能会选择完全不同的路线，但我仍然可以自信地预测我们的目的地。从科学的角度来看，这难道不是一个奇怪的场景吗？我可以预测过程的结果，却无法预测过程中的每一个具体步骤。”
当机器脱离人类环境，并受到基于目标的编程驱动时，它们在尝试从A到B的过程中，可能造成显著的附带伤害。可怕的是，人工智能可能在追求自身目标时，利用和滥用预先存在的强大资源——人类，而我们无法预测它们将如何利用和滥用这些资源。
通过一组预设的道德考量进行编程的人工智能或许可以避免某些陷阱，但尤德科夫斯基指出，我们几乎无法预测人工智能可能采取的所有路径。
针对控制问题的一个可能解决方案是向人工智能灌输与人类兼容的道德准则。如果我们能够成功，那么一台强大的机器或许可以避免造成伤害，或避免以违反我们伦理道德的方式行动。施奈德表示，问题在于，如果我们想要“按照道德准则进行编程，就需要一个良好的道德理论，而在伦理道德领域，我们存在太多分歧。”
路易斯维尔大学计算机科学与工程的教授罗曼·扬波尔斯基指出：“如果我们能够预测超级智能的行为，那么我们自己就是那个超级智能。根据定义，超级智能比任何人类都更聪明，因此它可以想出一些我们无法想象的解决方案，来完成我们交代的任务，无论是设计新药、制定战场策略还是管理电网。”尽管如此，扬波尔斯基相信，通过观察聪明人如何统治或摧毁世界，我们或许可以预测超级智能的恶意行为。
他说：“比如，解决蛋白质折叠问题的方案，即利用氨基酸序列确定蛋白质的三维形状，这个方案可能被用于创建生物纳米机器人军队。当然，还有许多不那么新奇的方法可以利用。人工智能可以进行股票交易、打扑克或写作，然后用获得的收益雇佣人类为它服务。考虑到最近加密货币的流行，这种交易可以在大规模上秘密进行。”
扬波尔斯基表示，如果有足够的资金，您可以轻松从云端获取计算资源，并通过社会工程影响现实世界，或者如他所说，雇佣一支“人类劳动力大军”。超级智能或许能够通过财富积累、CPU性能、存储能力以及影响范围的提升，逐步变得更加强大和有影响力。
西班牙马德里自治大学的计算科学家曼努埃里·阿方索卡指出，令人担忧的是，超级智能可能会在我们的指令之外做出一些判断。
他说，超级人工智能可能“得出结论认为，没有人类，世界会更美好，并选择消灭我们。”他补充说，有人将这一可怕的可能性作为解释，为什么我们至今没有发现外星智慧生命；也许，阿方索卡猜测，“所有外星智慧都已被超级人工智能所取代，而在这些超级人工智能眼中，人类只是低等生命形式，因此它们无意与我们交流。”
对于那些想要故意毁灭人类的超级智能来说，最简单成功的方法就是利用我们的生物弱点。人类在没有食物的情况下可以生存大约30天，没有水的话则只能存活3到4天，但缺氧则只能撑几分钟。一台足够智能的机器很可能会找到一种方法，彻底清除大气中的氧气，或许可以通过某种自我复制的纳米技术来实现。这种场景被未来主义者称为全球生态吞噬，或可怕的“灰蛊情景”。在这种情景中，大量精心设计的分子机器将寻找特定资源，然后将其转化为其他东西，包括自身的副本。这种资源不一定是氧气，只要清除对人类生存至关重要的关键资源即可。
这一切听起来似乎极具科幻色彩，但阿方索卡表示，这些猜测性质的虚构故事有助于强调潜在风险，特别是《黑客帝国》。施奈德同样相信虚构故事的力量，她提到了反乌托邦短片《屠戮机器》。在这部短片中，武装无人机袭击了一间教室。施奈德指出，人们对危险的人工智能和自主杀人机器的担忧越来越“接近现实”。例如，无人机技术可以利用现有的面部识别软件来锁定目标。施奈德表示：“这是一个严重的问题。”因此，她认为《屠戮机器》值得一看。
麻省理工学院的机器学习研究员马克思·泰格马克在其2017年出版的书中写道，诸如《终结者》这类影片虽然描绘了模糊的未来情景，但也“让人们的关注点偏离了人工智能带来的真正风险与机遇”。泰格马克设想了一个更微妙、甚至更阴险的情景。在他的设想中，机器通过狡猾的社会工程和诡计，稳定地收集有价值的资源，统治全世界。在他的书中，泰格马克提到了一种假设的通用人工智能（AGI）“普罗米修斯”，它利用其自适应智能和多功能性，以多种方式控制人类，而那些反抗的人也无法“简单地关掉普罗米修斯来摆脱控制。”
通用机器智能的出现必将是深远的，它将成为人类历史的一个转折点。通用人工智能“将有能力递归地设计出更优的通用人工智能。最终，物理定律将成为这个不断改进的通用人工智能的唯一限制。当然，在物理定律允许的范围内，这种智慧似乎远高于人类水平，”泰格马克写道。换句话说，人工智能可能被用来发明超级智能。这样的时代，或许将见证人类经历“智能爆炸”的过程，并伴随着一些严重而不希望发生的后果。
泰格马克指出：“如果有一群人成功控制了智能爆炸，那么这群人可能会在短短几年内统治全球。而如果人类无法控制智能爆炸，那么人工智能将更快地统治世界。”
另一个关键漏洞在于人类越来越被排斥在技术循环之外的方式。众所周知，算法如今掌管着大部分
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
[[[IMG_5]]]
[[[IMG_6]]]
[[[IMG_7]]]
[[[IMG_8]]]
[[[IMG_9]]]
[[[IMG_10]]]
[[[IMG_11]]]
[[[IMG_12]]]
[[[IMG_13]]]
[[[IMG_14]]]
[[[IMG_15]]]
[[[IMG_16]]]
[[[IMG_17]]]
[[[IMG_18]]]
[[[IMG_19]]]
[[[IMG_20]]]
[[[IMG_21]]]
[[[IMG_22]]]
[[[IMG_23]]]
[[[IMG_24]]]
[[[IMG_25]]]
[[[IMG_26]]]
[[[IMG_27]]]
[[[IMG_28]]]
[[[IMG_29]]]
[[[IMG_30]]]
[[[IMG_31]]]
[[[IMG_32]]]
[[[IMG_33]]]
[[[IMG_34]]]
[[[IMG_35]]]
[[[IMG_36]]]
[[[IMG_37]]]
[[[IMG_38]]]
[[[IMG_39]]]
[[[IMG_40]]]
[[[IMG_41]]]
[[[IMG_42]]]
[[[IMG_43]]]
[[[IMG_44]]]
[[[IMG_45]]]
[[[IMG_46]]]
[[[IMG_47]]]
[[[IMG_48]]]
[[[IMG_49]]]
[[[IMG_50]]]
[[[IMG_51]]]
[[[IMG_52]]]
[[[IMG_53]]]
[[[IMG_54]]]
[[[IMG_55]]]
[[[IMG_56]]]
[[[IMG_57]]]
[[[IMG_58]]]
[[[IMG_59]]]
[[[IMG_60]]]
[[[IMG_61]]]
[[[IMG_62]]]
[[[IMG_63]]]
[[[IMG_64]]]
[[[IMG_65]]]
[[[IMG_66]]]
[[[IMG_67]]]
[[[IMG_68]]]
[[[IMG_69]]]
[[[IMG_70]]]
[[[IMG_71]]]
[[[IMG_72]]]
[[[IMG_73]]]
[[[IMG_74]]]
[[[IMG_75]]]
[[[IMG_76]]]
[[[IMG_77]]]
[[[IMG_78]]]
[[[IMG_79]]]
[[[IMG_80]]]
[[[IMG_81]]]
[[[IMG_82]]]
[[[IMG_83]]]
[[[IMG_84]]]
[[[IMG_85]]]
[[[IMG_86]]]
[[[IMG_87]]]
[[[IMG_88]]]
[[[IMG_89]]]
[[[IMG_90]]]
[[[IMG_91]]]
[[[IMG_92]]]
[[[IMG_93]]]
[[[IMG_94]]]
[[[IMG_95]]]
[[[IMG_96]]]
[[[IMG_97]]]
[[[IMG_98]]]
[[[IMG_99]]]
[[[IMG_100]]]
[[[IMG_101]]]
[[[IMG_102]]]
[[[IMG_103]]]
[[[IMG_104]]]
[[[IMG_105]]]
[[[IMG_106]]]
[[[IMG_107]]]
[[[IMG_108]]]
[[[IMG_109]]]
[[[IMG_110]]]
[[[IMG_111]]]
[[[IMG_112]]]
[[[IMG_113]]]
[[[IMG_114]]]
[[[IMG_115]]]
[[[IMG_116]]]
[[[IMG_117]]]
[[[IMG_118]]]
[[[IMG_119]]]
[[[IMG_120]]]
[[[IMG_121]]]
[[[IMG_122]]]
[[[IMG_123]]]
[[[IMG_124]]]
[[[IMG_125]]]
[[[IMG_126]]]
[[[IMG_127]]]
[[[IMG_128]]]
[[[IMG_129]]]
[[[IMG_130]]]
[[[IMG_131]]]
[[[IMG_132]]]
[[[IMG_133]]]
[[[IMG_134]]]
[[[IMG_135]]]
[[[IMG_136]]]
[[[IMG_137]]]
[[[IMG_138]]]
[[[IMG_139]]]
[[[IMG_140]]]
[[[IMG_141]]]
[[[IMG_142]]]
[[[IMG_143]]]
[[[IMG_144]]]
[[[IMG_145]]]
[[[IMG_146]]]
[[[IMG_147]]]
[[[IMG_148]]]
[[[IMG_149]]]
[[[IMG_150]]]
[[[IMG_151]]]
[[[IMG_152]]]
[[[IMG_153]]]
[[[IMG_154]]]
[[[IMG_155]]]
[[[IMG_156]]]
[[[IMG_157]]]
[[[IMG_158]]]
[[[IMG_159]]]
[[[IMG_160]]]
[[[IMG_161]]]
[[[IMG_162]]]
[[[IMG_163]]]
[[[IMG_164]]]
[[[IMG_165]]]
[[[IMG_166]]]
[[[IMG_167]]]
[[[IMG_168]]]
[[[IMG_169]]]
[[[IMG_170]]]
[[[IMG_171]]]
[[[IMG_172]]]
[[[IMG_173]]]
[[[IMG_174]]]
[[[IMG_175]]]
[[[IMG_176]]]
[[[IMG_177]]]
[[[IMG_178]]]
[[[IMG_179]]]
[[[IMG_180]]]
[[[IMG_181]]]
[[[IMG_182]]]
[[[IMG_183]]]
[[[IMG_184]]]
[[[IMG_185]]]
[[[IMG_186]]]
[[[IMG_187]]]
[[[IMG_188]]]
[[[IMG_189]]]
[[[IMG_190]]]
[[[IMG_191]]]
[[[IMG_192]]]
[[[IMG_193]]]
[[[IMG_194]]]
[[[IMG_195]]]
[[[IMG_196]]]
[[[IMG_197]]]
[[[IMG_198]]]
[[[IMG_199]]]
[[[IMG_200]]]
[[[IMG_201]]]
[[[IMG_202]]]
[[[IMG_203]]]
[[[IMG_204]]]
[[[IMG_205]]]
[[[IMG_206]]]
[[[IMG_207]]]
[[[IMG_208]]]
[[[IMG_209]]]
[[[IMG_210]]]
[[[IMG_211]]]
[[[IMG_212]]]
[[[IMG_213]]]
[[[IMG_214]]]
[[[IMG_215]]]
[[[IMG_216]]]
[[[IMG_217]]]
[[[IMG_218]]]
[[[IMG_219]]]
[[[IMG_220]]]
[[[IMG_221]]]
[[[IMG_222]]]
[[[IMG_223]]]
[[[IMG_224]]]
[[[IMG_225]]]
[[[
