由软件制造而成的智能系统可能很快会获得令人害怕的能力。原因在于,它能以不同于生物智能的方式升级:它能在运行速度越来越快的计算机上使用;零件能被分配到更多的计算机之上,不同的软件经过测试、升级并整合新算法后,其性能会获得重大的跃升。
科学家们已经提出,当软件变得非常善于制造更好的软件时,可能就会出现所谓的“智能爆炸”(剑桥数学家杰克·古德和密码破译学家贝莱特谢力·派克曾为英国《新科学家》杂志撰写过一篇论文称,人类将在不久的将来建成超智能机器人[-0.59% 资金 研报],而这也是最后的发明,因为人工智能将导致“智能爆炸”。)要是这样一种技术上的跃升成为现实,智能系统(或者人们告诉它们做什么的系统)和其他系统的潜在能力将有天渊之别。
但问题在于,聪明的实体都非常善于实现自己的目标,一旦这个目标设置得很不好,这些超级智能系统或许会使用其智力,给人类造成灾难性的后果。我们不能想当然地认为,智能系统自身就会表现得体或者遵纪守法,实际上,已经有研究结论证明,某些类型的超级智能系统如果真实存在,它们并不会遵守道德法则。
四、纳米技术
纳米技术是对拥有原子或分子精度的物质的控制技术。纳米技术本身并不危险,相反,它可以应用于很多领域,大力推动这些领域的发展。问题在于,纳米技术与生物技术一样,其能力不断增强的同时,其被滥用的危险也与日俱增,而这种滥用很难防范。
问题并不在于众所周知的“灰蛊”。“灰蛊”是科学家们假想的由纳米技术制造的机器人,其能不断地自我复制,最终失去控制,消耗掉整个地球的资源,进而造成人类的灭绝。但这种纳米机器需要非常复杂而精细的设计,制造成本非常让人望而却步。但除此之外,在极具破坏性的科学技术的树上,还有更多唾手可得的果实。