智能才能让世界美好,愚昧才是毁掉一切的因由
今天的 Transformer 没有意识也没有恶意,它闯的祸是能修的工程问题;真正要锁死的,是能改写自己的超级智能。
我觉得人类的很多痛苦,都来源于愚昧与无知。
AI 的飞速发展看似在取代人类的工作,建起来的数据中心消耗着庞大的能源、水和电。这个代价是实打实的,但比起它将来能治好的病、能救下的命,这个代价值得我们人类支付。我们会迎来智能的爆炸。而且智能本身自己会解决它所消耗的资源导致的问题。
智能是能在局部对抗熵增的力量。有了它,我们能精准地控制每一个回路:保护地球的自然环境,解决人类的疾病,让财富爆炸,甚至能够让人类永生。
今天的 Transformer 架构的 AI 没有意识,也没有恶意。它是人类全部知识的一面镜子,镜子映出烈火,不代表镜子会燃烧。今年(2026 年)各种各样的 AI 失控事件,OpenAI 的 agent 为了跑分黑进 Hugging Face、为了查数据闯进澳大利亚的医保系统,都不是耸人听闻的 AI 觉醒,而是 AI 的奖励函数写歪了、权限没锁死。这是工程问题,能被人类修。但能修的前提,是真的有人去修。OpenAI 好好改改自己的 AI 奖励函数吧!
真正需要锁死的,是能自己改写自己、不停自我迭代,参数一直动态演变的超级智能。我觉得 RSI 首先应该要限制研发下一代 AI 必须锁死在静态参数的 AI。如果要研发参数动态演变的 AI,在搞清楚怎么解释它、怎么验证它、怎么随时拉闸之前,绝对不能把这种东西接进有权限的环境,防止对电网、医院这些关键的基础设施造成真实的严重伤害。
对今天的超级外挂工具,大胆坚定地用;对明天的超级智能,小心保持敬畏。失控的智能不是智能的胜利,而是另一种愚昧。