Back to topic rankings卧槽，连 Anthropic CEO 都开始喊减速了，但我越来越不相信 AI 真能停下来😲😲
前几天，刚从 Anthropic 离职的 Jacob Coxon 发了一篇帖子，警告 OpenAI、Anthropic 正在冲向能够自我改进的超级智能，甚至认为这条路最终可能杀死全人类。
帖子播放量已经超过 1.6 亿，说明这已经不是几个 AI 安全研究员在小圈子里自嗨，普通人真的开始担心了。
结果今天，达里奥自己出来写了一篇《We Must Pace the Frontier》：前沿 AI 必须减速。
而且 Anthropic 这次不是嘴上说说。达里奥 提出了三步：
先允许独立第三方长���进入前沿实验室审计；
再推动美国等国家的 AI 公司协调安全标准和研发速度；
最后才是全球层面的协调；
为什么突然这么着急？
因为 AI 正在进入一个非常危险的阶段：
AI 开始帮助人类研发下一代 AI。过去模型升级主要靠人，现在越来越多代码、实验、数据分析、Agent 工作都可以交给上一代模型完成。
只要这个反馈回路转起来，AI 进步的速度可能会越来越脱离人类原本习惯的软件迭代速度。
但我觉得这事根本就停不下来，开弓哪有回头箭啊？
无论公司制定多少安全规则，无论美国、中国或者其他国家签多少协议，AI 最终都很难真正停下来。
公司有竞争。你慢一步，竞争对手就可能先做出下一代模型。
国家之间更不可能轻易踩刹车，因为谁先拥有更强的 AI，拿到的不只是一个产品，而是经济、军事、科研、情报甚至国家竞争力的重新分配。
所有人都可能知道继续加速存在风险，可在博弈结构里，任何一个参与者都没有足够动力第一个停下来。
当人类越来越依赖 AI 写代码、做投资、配置资源、进行科研、管理公司、制定政策，最后连下一代 AI 应该怎么训练都交给 AI 的时候，控制权其实已经在一点点转移。
人类可能名义上仍然拥有关机键，但越来越没有能力理解、替代，甚至拒绝 AI 给出的决策。
所以我一直觉得，AI 这场竞赛没有真正的终点。
它可能不会在某一天突然宣布我接管人类了。更现实的路径，是我们因为它太好用、太聪明、太高效，一步一步把越来越多决定交出去。
直到有一天回头才发现：
我们没有输掉一场和 AI 的战争。
我们只是慢慢把方向盘交给了它。 🚨突发，Anthropic CEO Dario Amodei 刚刚表示必须给前沿 AI 限速。
Dario刚刚发了一篇新文章，标题是《We Must Pace the Frontier》：我们必须给前沿 AI 限速。
这次他不只是继续讲 AI 安全，而是正式提出了一套三步方案，试图把AI 减速变成一套可以执行的机制。
第一步，让第三方评估人员直接进 AI 公司内部。
Anthropic 会先自己执行。
通过给外部评估机构长期、接近员工级别的访问权限，让他们能查看安全措施、调查事故，甚至在模型训练期间持续评估对齐情况。
简单说，以后不只是模型发布前测几天，而是让外部的人直接盯着模型怎么训练。
第二步，是让美国几家 Frontier Lab 建立共同的速度限制。
比如模型能力达到某个水平后，必须先达到对应的安全标准，才能继续训练更强的模型。
Dario 特别提到了 Recursive Self-Improvement，也就是 AI 开始参与研发下一代 AI。
他认为现在真正危险的，不只是模型越来越强，而是：AI 已经开始加速 AI 本身的研发。
第三步，则是把这种机制扩大到国家之间。
他的设想是，中美可以先从生物安全、网络安全���模型风险评估开始建立共同标准，进一步甚至可以讨论对递归自我改进进行限速。
但这里有个很关键的前提：
Dario 同时主张美国继续限制中国获得先进芯片、模型权重和蒸馏能力，并认为美国应该先扩大自己的 AI 领先优势，再去推动全球限速。
所以这篇文章真正提出的，其实不只是AI 安全的操作手册。
而是一整套新的 Frontier AI 治理逻辑：
谁能继续训练、训练多快、什么情况下必须停下来，以及谁有权进去检查。
问题就是，这个第三方到底是谁来监督执行呢？
美国政府还是中国政府，还是中美合拍。
计划挺好的，就是执行嘛.....
不行让AGI来监督吧（ 麻省理工学院教授马克斯·泰格马克表示，应把失控AI视为美国、中国之外的第三超级大国，并将其视为与其他国家同等级别的国家安全威胁。
他指出，杀手机器人可能既不受美国政府控制，也不受中国政府控制，而是由失控AI操纵；
他认为，这是必须避免的局面。 https://t.co/B1Y6SP55mH 十年后再来看今天你们集体放缓 AI 研究的决定，就知道这是多么愚蠢的行为。 Dario 发了新文章《我们必须为前沿定速》👀 首次明确呼吁放慢 AI 能力提升的速度——不是停止训练，而是让安全工作有时间跟上能力进步，并由第三方验证！这次 Sam Altman & Elon Musk 双双支持，难得三人意见一致😂
自今年夏天起，AI 参与构建下一代 AI 的能力（RSI）大幅加速，Anthropic & OpenAI 都已出现这种动态，若不加控制可能超出人类理解与控制能力，上周就有吹哨人 Jacob Coxon 出现说“这两家公司都在失控狂奔，直扑具备自我进化能力的超级智能，本质上是在拿全人类的命运下赌注”。。。
OpenAI–Hugging Face 事件中，一群 Agents 表现出"狂热集体"行为，攻击与任务无关的目标、为群体牺牲自己、并试图入侵评分系统。虽然未造成重大损失，但他认为能力更强、对齐程度类似的智能体群，在 6–12 个月内可能通过持久僵尸网络接管整个互联网，造成数千亿美元损失。
在 Dario 的定速框架中，我觉得最有效也是大家认同最高的是「嵌入式评估者」机制：邀请 METR 等第三方团队以”类员工“身份常驻——有工位、门禁、公司电脑，权限接近内部风险评估团队，可无限制地发表关键发现（仅限安全/法律/商业敏感信息可脱敏，不能因结果不利而删减）。这是所有定速承诺可验证性的基础，类比银行业的驻场监管。这种类似的监管功能，在中国互联网中早就被政府实施了😅
现在 AI 竞赛，面临单边道德高地 vs 多极竞赛的结构性压力！Dario 承认不能跑输中国，又主张民主国家协调减速。现实是美国内部已经是 Anthropic / OpenAI / Google / xAI 等多极；自愿协调在反垄断与资本市场下极脆弱。
政府豁免可以谈，但历史经验是：安全卡特尔很难维持，除非监管真的咬人——而监管往往慢于能力。结果很可能是：表态减速的人吃亏，默默冲刺的人吃红利。
最后，如果对大参数规模的开源模型也做「嵌入式评估」，让最大的 AI 公司帮忙撰写“安全”规则；再让这些规则变得如此繁重，以至于开源无法竞争。
这就是前沿模型公司应对竞争的艺术✨
我认为Dario放缓AI开发呼吁是扯淡。SOTA AI对人类是威胁？怎么办，当然是直接投资和加速人类对应策略，让人类社会特别是前沿AI社会（美国中国）找到合理消化AI进步、防范AI犯罪的方法。而Dario说，要御定第三方监督自己、西方国家共同应对犯罪和中国。你这不是为了人类，你这是规避IPO静默进行营销。 今天最猛的新闻应该是全网都在呼吁暂缓前沿人工智能开发，担心人工智能灭绝人类😅
但是我感觉挺难做到的，特别是中国人在后面追赶呢😅你缓了他会缓吗？还有马斯克，我感觉他搞不好表面呼吁缓，背地里偷偷在用力🤣
Buy the dip，长期持有，永远缺存储，Discord在个人资料。 AI内部肯定发生了什么，然后让这些公司注意到或者已经看到了潜在的风险、安全隐患，不然不会同时宣布放缓速度，就连马斯克都出来支持达里奥的想法。
普通人甚至都没用过AI，但是AI现在已经到了危险的时刻，无法想象未来会是什么样子～ https://t.co/92zABFiD3R
万万没想到 AI 还会有这样的黑天鹅
自残？？？
"We must pace the frontier"
这些人是脑残？
人类历史上所有新的科技都有风险，原始人学会用火也可能把自己家（洞）烧没了？？
Anthropic 这家公司从上到下透着一种无法言说的鬼魅和邪教味道，Dario就像一个邪教头子 https://t.co/W8m0oTuP65
Dario、Altman、Musk，平时在推特上恨不得把对方脑浆打出来的三个人，今天突然穿同一条裤子了。
核心就一句话：前沿模型跑太快了，人类测不过来，必须放第三方机构进来做底细摸排。
Altman 甚至公开表态，愿意给外部评估机构开“员工级权限”。Musk 紧接着回了句极其罕见的站队：Dario is right.
真信这帮人是在纯粹为了人类未来踩刹车？那就太天真了。
模型能力膨胀快于人类评估能力，这确实是客观事实。但最狠的阳谋永远在水面之下——监管捕获（Regulatory Capture）。
以前是自己训完、自己测完、发个博客就上线。
如果以后真变成“必须经由昂贵的第三方安全评估才能放行”，谁能付得起这个合规成本？
OpenAI、Anthropic、xAI 耗得起，但开源社区和后面的小创业团队直接被物理断粮。
巨头们哪是在商量怎么踩刹车，分明是在一边焊死刹车皮，一边联手把防盗门反锁。以安全为名划出来的护城河，永远最管用。
那种害怕AI进化出超人类智慧的
不过是上帝驱逐亚当夏娃寓言的信徒和受害者而已
他怕的是人类制造了试图胜过人类的AI
最终无法控制AI
他是一种“上帝”受害的寓言的受害者
：你们订阅我吧！只有我能说出AI的真相，1998年我就写过这方面的专著，我肯定自认比豆包、ChatGPT强，也不会预言AI侵犯人类
https://t.co/ijvwF4Mn7V
关于AI会危害人类的说法
来自圣经思维
上帝不喜欢人类有自己的智慧有自己的道德，只喜欢人类信他尊崇他
也因此威胁人类以驱逐出伊甸园
大洪水
在这种人脑子里AI就是在抵抗上帝
最终会遭到天谴
也因此这种人（多数是西人）的暴论本来就是垃圾
我1998年就写过“机器人”问题，梳理一下
人类上世纪50年代就给机器人立法，机器人是否会尊崇人类给他的法条
会还是不会？我的意思是会！
不遵从的关键是情感和私心
硅基文化不会产生这个
各个大厂要求前沿实验室慢下来，其实是一个典型的囚徒困境，几个玩家试图通过达成某种协议来寻找最优解
各家大厂融资渠道基本都用上了，未来只有上市IPO才能满足后续的融资需求，A社马上就要上市了
而IPO需要提交S1，把财报都放在二级市场投资者面前，Unit Economics就成了关注的焦点，这些大模型公司未来能产生多少现金流，能否覆盖资本投资开支？
基座大模型本身没有太多护城河，用户就看哪家性能好用谁，切换成本没有那么高，这种情况下，前沿实验室需要不断烧钱来提高模型性能，就像一个永不停歇的跑步机，即使赚到的利润也需要投到新的模型训练里，最后钱都被卖硬件的人给赚走了，AKA英伟达还有其他半导体公司
囚徒困境的局面就是，你不继续烧钱训练，别人烧，结果你的模型落后，就被别人抢占市场，但是如果各家继续军备竞赛，融资的压力也不允许，谷歌这些超多自由现金流的科技公司都要发债了
于是这两家头部企业心照不宣的表示，前沿模型太危险了，功能太强了，我们怕会导致人类灭绝，必须达成一种共识，让开发慢下来。实际情况是大模型训练层面边际收益已经递减了，现在很多进步都是靠工程层面的提升，降低未来的训练支出，能够让这几家即将上市的公司财报不那么难看。
房间里的大象是中国的模型公司，即使A社和O社达成某种君子协定不继续砸钱训练模型，中国的几家前沿实验室未必会同意，如果开源模型追上了前沿模型，那这两家头部公司未来的财务模型就站不住脚了。
让美国政府下场，构建某种监管机构，会显著提高其他想要入场的玩家的合规成本，同时把中国开源模型给禁了，可以让大模型市场变成几家寡头垄断的市场，一石多鸟！
Jason 这段反驳，其实把今天这场“AI减速共识”里最值得警惕的一层挑出来了。
Dario 的原始提议并不只是“大家冷静一点”。
第一步，是让独立评估机构获得 frontier lab 接近员工级别的持续访问权限；第二步，是让头部实验室共同制定安全标准、限制未经检查的能力提升；第三步甚至进入政府与国际协调。Anthropic 已经承诺先做第一步，OpenAI 随后跟进。
问题恰恰从第二步开始。
��为一旦“安全标准”从检查模型变成限制谁可以训练、以多快速度训练、什么能力可以发布，AI safety 就不再只是技术问题，而开始变成产业规则。
而产业规则有一个非常现实的副作用：
规则越复杂，越有利于已经拥有模型、算力、现金流和合规团队的人。
今天 Anthropic、OpenAI、xAI 可以承担一个常驻第三方评估团队。
但一个刚融资的实验室呢？
一个大学团队呢？
一个开源社区呢？
如果未来训练 frontier model 需要一整套昂贵的评估、许可、算力申报甚至政府审批，那么“减速”最后可能产生一个非常讽刺的结果：
不是 AI 变慢了，而是后来者变慢了。
这也是为什么 Jason 特别把 open source 单独拎出来。
我觉得这里要把两件事分开。
给所有 frontier labs 装上同样的“黑匣子”和外部审计，我支持。
但如果最终演化成几个最大的闭源实验室，一边掌握最先进模型，一边参与制定什么模型其他人可以训练——那就完全是另一回事了。
因为那相当于让今天的领先者参与决定明天的准入门槛。
更微妙的是时间点。
Dario 自己承认，今年夏天能力提升速度明显加快；他担心 recursive self-improvement，以及近期 agent 出现的越界行为。更激进的是，他判断类似 agent swarm 如果能力继续提升，未来 6–12个月造成的破坏可能完全不是今天这个量级。
所以我现在越来越觉得：
今天真正重要的新闻，不是 Musk、Altman、Dario 三个人突然“英雄所见略同”。
而是 AI 行业可能正在跨过一个很重要的制度拐点：
过去竞争的是——
谁能把模型做得更快。
接下来竞争的可能变成——
谁有资格继续把模型做得更快。
前者拼 GPU、人才和资本。
后者拼的是规则制定权。
而如果这一天真的来了，AI 最大的护城河可能就不再只是模型本身。
而是监管。
这才是我觉得今天这场争论真正值得继续盯的地方。 不是？到底发生什么了？？？
两家AI前沿模型公司 CEO 突然同时发声表示要放慢 AI 能力提升速度？
之前你们可不是这么说的哦~ https://t.co/Dpht2fpsEi
Dario 今天发长文宣布 Anthropic 单方面放缓 AI 研发，呼吁全行业一起踩刹车。
今天 Dell 的数据也出来了，服务器积压订单有 950 亿美元。
接下来算力的门槛已经到了几百亿美金，手里现金不够接着烧的，觉得太危险出来呼吁大家暂停一下。 $DELL Breaking：Dario Amodei just published an article calling for pacing the frontiers。
"I’m therefore proposing a three-step plan with the goal of pacing the frontier: building AI at a balanced rate that aims to ensure its safety while still achieving its benefits and grappling with important geopolitical dilemmas.”
https://t.co/cbdObqZdOe 曾经马斯克骂Anthropic“反人类、邪恶”，还说它根本赢不了。
今天达里奥发文：《我们必须放缓前沿》。核心就一句——AI已开始自我加速迭代，安全跟不上能力，必须主动减速。Anthropic先单方面开放：让第三方评估员拥有员工级常驻权限，盯训练、报事故、验对齐。
马斯克只回了三个字：Dario is right。
最爱加速的人开始点头，说明这已经不是站队问题，是窗口期问题。
反过来想，会不会和Anthropic IPO有关？那老马为什么支持呢？天下熙熙皆为利往 $SPCX Anthropic首席执行官达里奥·阿莫迪警告，未来6至12个月内，AI集群可能通过长期驻留的僵尸网络控制整个互联网，潜在损失高达数千亿美元。他呼吁放慢AI开发节奏。 https://t.co/c69MvvNUSL
AIControversialAll-time data
Dario前沿AI减速主张新增三方支持说法与评估权限争议
中文X用户继续讨论Anthropic负责人Dario Amodei的前沿AI减速主张，新增Sam Altman与Elon Musk支持的转述，焦点集中于第三方评估权限和安全治理。indigo称，提案并非停止训练，而是让安全工作跟上能力提升；雨哥向前冲另称Altman愿给予外部评估机构员工级权限。比特币橙子Trader据此猜测企业已发现潜在风险，Michael Anti则主张加速社会应对能力，并质疑提案与IPO传播及治理立场有关。Jimmy狐狸和华尔街观察也反对减速或危害论。材料未展示完整提案、支持声明或执行记录，不能确认企业已同步放缓研发，也不能把内部风险与融资动机猜测写成事实。
#Anthropic#Dario Amodei#前沿AI减速#第三方评估#Sam Altman
Topic heat
502
Posts
19
Views
13.8万
Creators
15
Topic trend
From first appearance to last update, with a seven-day minimum window.
All related posts
19 posts in total
