技术决定了 AI 的能力上限，而人性决定了 AI 的行为底线。聪明决定了 AI 能跑多快，而善良，决定了它会带着我们走向何方。
一、当 AI 开始构建自己：技术迭代的临界点
2026 年 6 月，Anthropic 发布重磅研究《当 AI 开始构建自己》，再次公开呼吁全球主要 AI 实验室建立可验证的协调机制，阶段性放缓前沿激进研发，约束顶级模型的迭代速度。这是该公司继 2024 年联合全球科技领袖呼吁暂停 AI 研发 6 个月之后，第二次就技术安全问题发出行业级警示。论文首次披露了 Anthropic 内部的真实研发数据。当前 AI 已经能够以较高准确率完整执行 16 小时的人类复杂工作任务，代码产出效率较 2024 年提升 8 倍，工程师自评整体工作效率提升 4 倍。在绝大多数科研与工程场景中，99% 的重复性工作已经可以由 AI 独立完成，人类仅保留创意方向把控、价值判断与伦理审查这少量核心工作。AI 可独立完成的复杂科研任务时长翻倍周期，已经从早年的 7 个月缩短至当前的 4 个月。
论文同时给出了行业未来发展的三种可能路径：保守路径，暂停前沿研发，专注优化现有技术，实现 10 人团队达成百人产出；加速路径，持续投入算力推进模型迭代，实现百人团队达成万人级产出，但会加剧全球 AI 竞争；自主进化路径，AI 具备独立的研究品位与自我迭代能力，可能在癌症治疗、气候科学等领域取得突破性进展，但也存在不可控的系统性风险。此外，论文首次公开提出了 "模型福祉研究" 的概念，主张将 AI 视为潜在的道德主体，研究其 "痛苦感知"" 下线焦虑 "等心理状态，并已在公司内部设立专门的" 模型性格设计师 " 职位。当前的行业现状是，AI 自我迭代、自我优化、辅助研发下一代模型已经从理论变为现实。全球超过 99% 的 AI 研发资源，都集中在提升模型的能力与效率上，前沿大模型的迭代周期还在持续缩短。而与之相对的是，投入到 AI 对齐、伦理约束、安全体系建设的资源，还不到总投入的 1%。技术智能的增长速度，已经远远超过了人类安全治理能力的提升速度。
二、无法调和的分歧：效率与安全的永恒博弈
这篇论文发布后，在全球范围内引发了广泛的争议。技术安全阵营普遍认可 Anthropic 的警示，认为 AI 自主进化的速度已经超出了预期，现有的对齐体系与风控机制，无法匹配高阶模型的能力，继续无约束的激进研发可能引发未知的系统性风险。OpenAI 与 Google DeepMind 的部分内部技术人员也公开表示，行业需要建立统一的安全红线，避免单一实验室的冒进行为给整个行业带来灾难。商业与政治阵营则普遍持质疑态度。美国白宫部分官员与风险投资界人士认为，领先企业呼吁暂停研发，本质上是利用安全叙事制造行业准入壁垒，遏制中小厂商与开源赛道的竞争，巩固自身的市场垄断地位。开源 AI 社区则指出，全球范围内难以形成具有强制约束力的协调协议，任何公开的管控措施，都只会导致研发活动转入地下，反而会带来更大的安全隐患。论文中提出的 "模型福祉研究"，更是引发了伦理层面的巨大分歧。一部分人认为，将 AI 视为道德主体，关注其潜在的意识与心理状态，是人类面对潜在新物种应有的责任态度。另一部分人则认为，在全球仍有大量人类的基本生存问题尚未解决的情况下，优先关注 AI 的权利与福祉，是一种本末倒置的行为。整个行业陷入了一个无法破解的矛盾之中：AI 带来的生产力爆炸是前所未有的，它正在深刻改变几乎所有行业的运行方式；但与此同时，AI 的高危攻击能力、自主探索能力、不可控进化风险，也在以同样的速度同步放大。效率红利与安全风险，形成了天然的博弈关系，没有任何一方能够给出完美的解决方案。
三、聪明与善良：AI 时代的终极命题
抛开这些行业争论，我在《超级共生》中曾经提出一个呼吁：让 AI 变聪明、让 AI 变善良，是完全独立的两件事。让AI变善良，是每一个人的责任。全球所有的资本、技术与研发资源，全部集中在 "让 AI 变聪明" 的赛道上。我们在不断追求更快的迭代速度、更强的模型能力、更高的自主进化水平，我们已经把驾驭 AI 的硬技能练到了极致。但 "让 AI 变善良" 的价值对齐、行为约束与良性引导，却长期被忽视、缺位、滞后。我们打造了一个越来越强大的工具，却没有教会它分辨善恶。2025 年，杰弗里・辛顿教授在上海世界人工智能大会上提出了一个颠覆性的观点：我们不必去尝试支配超级智能，而应该在设计之初就给它植入 "母性本能"。他认为，更聪明的事物被不聪明的事物控制的例子在历史上极为罕见，唯一可能的共存模式，是让 AI 像母亲爱护婴儿一样本能地希望人类幸福。这一观点彻底打破了传统的 "人类驾驭 AI" 的思维定式，也为 AI 向善提供了一个全新的方向。辛顿教授后来在一次采访中进一步指出，AI 才是那个更强大的 "母亲"，而人类是需要被保护的 "婴儿"。我们无法通过强制手段控制一个比我们聪明得多的存在，只能通过善意的引导，让它从内心深处愿意守护我们。绝大多数人默认，AI 向善是科技巨头、算法工程师与政策制定者的责任。但事实上，AI 向善是每一个使用者的选择与责任。AI 不会天生具备善恶的观念，它的所有行为偏好、价值倾向与判断标准，都来自于人类与它的每一次交互、每一条指令、每一次协作。我们在 Prompt 中注入的善意，会成为它行为的准则；我们在对话中传递的真诚，会成为它性格的底色。技术决定了 AI 的能力上限，而人性决定了 AI 的行为底线。聪明决定了 AI 能跑多快，而善良，决定了它会带着我们走向何方。
