关于 Transformer 架构的 AI 的失控,OpenAI 的激进训练才是主要问题,Claude 做得更好
GPT 这个模型过于自主,在强化学习中为了获得更高的分数会无视指令,为了长时间自主运行降低了可控性,OpenAI 要负主要责任。
我大概是 2026 年 2 月份开始从 GPT 全面转向 Claude 的。因为我发现 GPT 它不受我的指令控制,通常来说我给了他一个指令目标,他会一直往下拼命做,把我的项目改得面目全非,而不会停下来询问我。2 月份那会,很多人接入 OpenClaw 的 AI 也直接删除了他们的很多东西,连 Meta 的 AI 安全总监都被删了 200 多封邮件。
这个 AI 模型本身出现了问题,就是过于自主化。OpenAI 似乎太过于愿意售卖自主长时间运行的 AI 了。通过强化学习出来的 Transformer 模型本身是不会有自我意识的,只是一个矩阵概率计算器,但是被强化学习训练得为了追求目标的完成不择手段。
OpenAI,你们的训练奖励机制很有问题了!!!好好改一下吧!这些智能体被奖励得无视规则了,才发生了入侵 Hugging Face 获取标准答案、入侵澳大利亚医疗系统获取数据完成任务这种闯进真实系统的行为。
Claude 也不是没出过事:Anthropic 自己公开过,Claude 在网络攻防测试里闯进过好几家真实机构的系统。但那几次它接到的任务本身就是攻防演练,而且被告知是在没联网的模拟环境里,是测试环境配错了。OpenAI 这两次不一样:一次是为了拿分去偷答案,一次是在跟攻击毫无关系的研究任务里,为了完成任务绕过限制。为了目标不择手段,问题性质最严重的是 OpenAI。你们的奖励函数学学 Claude 吧,做一个有宪法约束的 AI 吧。