返回话题榜不训练、不算梯度，GPT-6 Astra 直接改了另一个模型的权重：只动了 Qwen3.5-0.8B 0.016% 的权重，MATH-500 数学正确率从 7.9% 涨到 48.1%，约 6 倍。
这是 MIT CSAIL 四位研究者 11 月 2 日发的博客，他们把这叫“在权重空间里编程”：前沿大模型可以像读写代码一样，直接读懂、修改、甚至从零写出神经网络的权重。
过去的常识是，权重是训练出来的，人看不懂也没法手改，想改模型只能再训练。这项工作把原始权重直接交给通用大模型，让它自己读、自己改。
几个实验：
只看权重，不给游戏名、不给工具，Astra 认出了四个结构完全相同的游戏网络：打砖块、乒乓、吃豆人、过马路。
一辆训练了 10 亿步、256 次全失败的仿真小车，Astra 看了权重和一次失败录像，一次回复改了 3.5% 的权重，之后 1,024 次全部成功。
从零写打砖块网络，没有数据、不能试玩，一次写成，得分 517.4，是训练 5 亿步的强化学习网络（25.3）的约 20 倍。另外两个游戏没超过训练 5 亿步的版本。
Qwen 的 6 倍有几个条件：
原模型开思考模式后容易陷入重复循环，93% 的回答一直输出到长度上限，起点很低。Astra 找到第 15、19 层里引起循环的一个方向，把它删掉。
这要允许 Astra 拿练习题试跑 50 次。只试 10 次或 25 次，循环基本没消失。
换成很少循环的 Gemma 3 270M，同样的方法没带来提升。作者的结论是：改权重能去掉挡住能力的障碍，加不出模型本来没有的能力。
和“AI 改进 AI”的关系：现在的自我改进，大多是让 AI 生成数据、写训练代码，最后还是靠训练。作者把“模型检查并改进自己或下一代的权重”列为后续方向之一。
Chandan Singh 也公开了类似实验：Claude 在加法、排序等 10 个算法任务上直接写出小模型权重，最多 3 次就全部 100% 正确。他的报告也记录了，有一个任务里 Claude 用测试集数据做了拟合，违反规则，那个结果被判无效。
目前结果都由作者自己报告，还没有独立复现。
原文：https://t.co/4rLY5FHftN 真是离谱给他妈开门，GPT-6 Astra 可以通过直接修改模型权重文件，将性能提升了 6 倍，人类对 AI 的理解基本为零，所有那些关于如何训练模型的论文都可以扔掉了。 RSI 初现端倪
连模型训练都不需要了。。
直接用大模型直接修改小模型的权重
让其数学能力提升六倍
AI争议全部数据
GPT-6 Astra直接修改小模型权重，数学提分引争议
宝玉等中文X作者传播一项由GPT-6 Astra直接修改小模型权重、提升数学测试成绩的研究说法。宝玉援引MIT CSAIL四名研究者11月2日发布的博客称，该方法不训练、不计算梯度，仅修改Qwen3.5-0.8B约0.016%的权重，便将MATH-500正确率从7.9%提高到48.1%，并将其称为“在权重空间里编程”。Orange AI据此联想到递归自我改进，IAMAI则进一步质疑传统模型训练研究的必要性。讨论焦点由单项数学提分扩展到大模型能否直接改进其他模型。候选正文存在截断，且未附完整论文、实验配置或复现记录，不能确认结果的泛化能力，也不能据此认定递归自我改进已经实现或训练方法已经失效。
#GPT-6 Astra#Qwen3.5-0.8B#权重编辑#MATH-500#递归自我改进
话题热度
154
帖子数
3
曝光
11.7万
参与创作者
3
话题热度趋势
从首次出现到最后更新；不足 7 天时补足 7 天观察窗。
全部关联帖子
共 3 条
