6月5日，一篇来自Anthropic的长文在AI圈刷屏。这家手握前沿模型Claude、估值正一路狂奔的明星公司，突然向行业抛出一个提议：放缓或暂时暂停前沿AI开发。
理由是：AI系统正在逼近一个“递归自我改进”的临界点，届时，AI将能在没有人类监管的情况下自行迭代，造出更强的下一代AI。临界点一旦达成，很可能引发失控和社会动荡。因此，需要暂缓AI演进速度，以使社会结构和价值观对齐研究能够跟上技术进步的步伐。
文章一经发出就引发许多争议。鉴于Anthropic即将上市，且刚刚完成巨额融资，这一文章被解读为战略炒作和营销，有人调侃Anthropic这一呼吁像是“期末考试前呼吁大家暂停复习一周”。
多位行业人士对第一财经提到，AI安全风险确实存在，未来会是“核武器级别”的工具，极度扩散会带来威胁。但Anthropic的这一文章并非严格的技术报告，更像是为了达成企业自身目的而渲染的安全焦虑，并无实操价值。
“一场战略营销”
信息安全研究员关傲男（Aonan Guan）对第一财经记者表示，Anthropic这一发声更多是为了向资本市场证明其研发新模型的边际成本，以及AI未来将在各行业新业务场景持续渗透的趋势。文中提到的“彻底改变知识工作和政府服务”部分就是对其商业想象力的描述。
对于文章内容本身，关傲男称，这并非严格的技术报告，更倾向于是Anthropic Institute部门（AI风险与社会影响专项研究院）的公关游说与政策倡导目的的宣传文章。文章的主要作者Jack Clark（杰克·克拉克）曾是科技媒体记者，现任Anthropic政策高管，另一位Marina Favaro（玛丽娜·法瓦罗）也是专注安全战略与军控的政策研究员，并非来自技术团队。
Anthropic这一文章的核心内容在于，提出了AI后续演化的三种可能。
第一种概率最低，风险也最小，即AI能力停滞在当前水平，但现有技术普及仍将重塑各行各业。文章提到，Anthropic代码库中的代码已经有超过80%都由Claude生成。
第二种是企业人均生产力成倍暴涨，百人团队可完成过往万人甚至十万人的工作量，知识产业、政务服务迎来颠覆性变革，但该技术同样可被滥用。人类大概率正迈向这一情景。
第三种情景是，若技术趋势持续，AI将掌握人类创造性研发的全部能力，独立自主设计迭代新版本，人类重心转向AI监管、成果核验，AI能力会外溢至全领域科研，加速医药、化工、基础科学突破。该情景最无法预判的变量是价值观对齐问题能否被解决，人类有概率彻底失去管控。
关傲男认为，虽然文中关于AI提升工程通量等技术说法，以及对自动化趋势的展望均合理，但其对于未来的展望场景缺乏严谨的量化推演，更像是为了达成企业自身目的而渲染的安全焦虑。
“这就好比一家造车新势力，其超级工厂里的机械臂组装汽车速度比过去快了10倍，完全替代流水线上的装配工人已经没有任何问题，但这并不代表它就能独立完成一款全新汽车的完整设计与研发。”关傲男举例表示，如果车企宣称，因为机器组装得足够快，所以马上就能凭空发明出下一代颠覆性的全新车型，市场显然不会买账。
因此，他认为，Anthropic所谓的“自主研究”也是这一逻辑，在现阶段渲染这部分能力，显然是为了拉高估值而强调企业个体的叙事。
这种怀疑并非孤例。前华尔街分析师Tae Kim今日发文提到，Anthropic持续基于恐惧的营销策略以吸引关注，这种策略显然旨在为即将到来的IPO抢占监管先机，“令人厌倦，它将对整个美国AI行业产生适得其反的效果。”
此外，从实际操作来看，Anthropic提出的放缓或暂停前沿AI开发也很难践行。文章也提到，这需要多国多家头部算力实验室在统一规则下达成停止研发共识，同时配套可互相核验的落地机制。
“要在全球范围内强制暂停人工智能研发几乎不可能，因为无论是经济利益还是国家安全，人工智能发展的利害关系都过于重大，任何超级大国都不可能甘愿在此刻主动刹车。”美国独立科技分析师罗布·恩德勒（Rob Enderle）也认为。
他认为，Anthropic的文章更像是一场战略营销。公司所宣称的生产力提升很可能确有其事，但宣传其在实现递归自我改进方面的进展，则更像是一步经过精心算计的策略。它正向投资者大肆吹捧自身实力，以期将自己塑造成该领域的绝对前沿领导者。
也有行业人士猜测，Anthropic这番行为也像是一个免责声明，毕竟这家公司一直标榜自己以AI安全为研究底线，但现在，公司似乎在暗示，团队仍然关心安全和对齐，但市场正在踩油门，未来Anthropic别无选择。
人人手握“核武器”的未来
尽管Anthropic的焦虑叙事里掺着营销水分，但大模型行业近期频繁出现的安全事故，以及AI自进化能力的苗头，确实不容忽视。
关傲男持续关注网络安全领域，他多次发现Anthropic旗下Claude Code存在网络沙箱绕过漏洞，以及Claude安全扫描产品能被劫持并泄露用户密钥等问题，且Anthropic并未妥善处理。
关傲男称，这也说明，即便Anthropic是一家自我宣传极其注重安全的公司，他们自身也不能很好地处理模型高速发展与安全防护之间的冲突。且这类问题会持续发生，即便AI辅助开发能将代码漏洞产出概率降至原先的30%，但倘若AI开发使用规模同步暴涨至原有4倍及以上，整体暴露的安全漏洞总量仍会持续攀升。
因此，在模型高速生成代码的当下，关傲男认为行业暴露的安全问题非常高频，连大厂自身也不能很好地解决，不过，这并不意味着需要全行业停止对人工智能的研发投入。
复旦大学计算与智能创新学院教授肖仰华对第一财经记者表示，今天的AI能力确实已经到了自进化、自改进的全新阶段，这种能力在一些前沿实验室包括他所在的团队都已经看到了。他认为，头部人工智能公司因为能较早地看到AI的这些潜力，所以发出了这些声音，部分是可以理解的。
今日腾讯高级执行副总裁汤道生在接受第一财经等媒体采访时，也谈及AI自我进化的观点。他认为今天的模型研发已经有很大程度上有AI的贡献，随着这个趋势继续，承担下一代大模型研发的比重、比例肯定是不断增加的。
肖仰华预测，AI会在很多传统行业掀起巨浪，挑战巨大。这种冲击已经在网络安全、软件等行业发生了，此前美国软件SaaS产业经历了一场大跌，而这仅仅是AI代码能力所带来的连锁反应，未来AI将具备的能力矩阵会越来越多元，对人类社会传统形态的影响只会更加重大。
以此前爆火的智能体“龙虾”（OpenClaw）为例，肖仰华认为，未来其实人人都可以拿到一个“核武器级别”的工具。
“大部分人因为对AI的理解和使用能力有限，这个核武器级别的工具还没有发挥出它的作用，但是随着越来越多的人的了解和认知进步，每人电脑里面都装一个‘核武器’，随时可以对其他人发起攻击或进行破坏。”肖仰华警示，这相当于是一种超级能力的极度扩散，会对整个人类社会带来威胁。
在AI这场安全与速度的拉扯中，每一家大模型公司都既是运动员、又是安全哨兵，商业野心与安全叙事交织，外界很难看清这些发声是否属于资本的游戏，但抛开厂商的争议，AI模型的安全确实是整个行业必须直面的问题。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
刘晓洁
吕倩
郑栩彤
相关阅读
Anthropic呼吁全世界停止AI研究？网友吵翻了当喊停的是跑得最快的那个，良心发现还是营销？
50334 06-05 11:57
Anthropic IPO前夕，OpenAI紧急追赶编程赛道对AI编程的重视在行业内已成共识。
9569 06-03 11:56
AI进化速递丨宇树单款人形机器人累计生产下线约11000台AI进化速递丨宇树单款人形机器人累计生产下线约11000台
7864 06-02 20:39
AI周报| MiniMax启动A股上市辅导；Anthropic融资后估值反超OpenAI谷歌 DeepMind CEO称AGI或于三年内到来。
10003 05-31 08:13
OpenAI守擂失败，Anthropic年化收入大增，估值反超上市前，行业竞争将进一步加剧。
6 9755 05-29 10:21 一财最热 点击关闭尚红网提示：文章来自网络，不代表本站观点。
