只改了 0.016% 的权重,一个 8 亿参数大模型的数学成绩,就从 7.9% 飙升到了 48.1%。 更夸张的是,动手修改这些权重的,竟然是另一个大模型 GPT-6 Astra。 最近,MIT CSAIL 的研究团队展示了一种相当大胆的 AI 优化方法。他们让 GPT-6 Astra 像程序员阅读和修改代码一样,直接分析神经网络的权重,定位模型的问题,再修改其中的参数。 整个过程没有使用传统的梯 ...
整个过程没有使用传统的梯度训练。研究人员仅修改了 Qwen3.5-0.8B 的 131072 个参数, 就让它在 MATH-500 上的成绩从 7.9% 提升至 48.1% ,GSM8K 从 13.8% 提升至 67.1%,指令遵循能力也明显改善。
如果把一个训练好的神经网络摊开,只给大模型看一串权重数字,它能看出这个模型学会了什么吗?甚至能直接修改其中一小部分参数,让模型变得更聪明? 这听起来有些不可思议。MIT CSAIL 团队最新公布的一组实验,却让这个设想有了初步的现实依据。 团队让 GPT-6 Astra 直接检查 Qwen3.5-0.8B 的内部权重,找到了导致模型反复陷入推理循环的关键问题。随后Astra 只修改了约 0.016 ...
GPT-6 Astra能直接读取编辑小模型权重了。 MIT刚刚做了个实验,瞬间引爆大模型圈—— 0.8B的「源神」Qwen3.5交给Astra,仅改动其中0.016%的权重,模型性能可以直接飞升。 全程没用训练,也没梯度下降。
大数据文摘出品AI圈又出狠活了!MIT CSAIL团队提出了一种叫“权重空间编程”(Weight-Space Programming)的方法:不训练、不算梯度,让GPT-6 Astra直接读取和修改神经网络的权重。在Qwen3.5-0.8B的实验中,Astra仅修改约0.016%的权重,就将模型的MATH-500成绩从7.9%提升至48.1%,GSM8K从13.8%提升至67.1%,IFEval指 ...
智东西(公众号:zhidxcom)编译 | 孙小雯编辑|程茜智东西11月3日消息,昨日,麻省理工学院计算机科学与人工智能实验室(MIT ...
MIT CSAIL团队让OpenAI GPT-6 Astra直接读取并修改阿里Qwen3.5-0.8B模型权重,仅改动131072个参数(约0.016%),使MATH-500数学基准从7.9%升至48.1%,指令遵循能力提升约3倍,全程未使用梯度下降或反向传播。该实验名为权重空间编程(WSP),尚未通过同行评审,结果以博客形式发布。
原标题:GPT-6徒手「修」好了阿里的小模型,AI 开始动别人的脑子了 11 月 3 日,一张截图在中文互联网刷屏:MIT CSAIL 团队让 OpenAI 的 GPT-6 Astra 直接读取并修改阿里巴巴 Qwen3.5-0.8B 模型的权重,只改动了 131072 个参数,约占该模型 8 亿参数的 0.016%,就将其在 MATH-500 数学基准上的成绩从 7.9% 拉升至 48.1%,指 ...
11月2日,MIT计算机科学与人工智能实验室(CSAIL)的研究团队发布了一篇博客,公布了一项他们称之为「权重空间编程」(Weight-Space Programming)的实验结果。第一作者Rikiya Takehi是MIT CSAIL一年级博士生,合作者包括Jayden Teoh、Alex Zhang,以及Takehi的导师Omar Khattab。
作者|刘必可(微信zbthdx)编辑|王兆洋(微信Geisterspiele)11 月 2 日,MIT CSAIL 的四位研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab ...
在 Google 工作 27 年后,Jeff Dean 选择了重新创业。 这位参与过 MapReduce、Bigtable、TensorFlow、TPU 和 Gemini 等重要项目的技术老将,如今把目光投向了一个更具挑战性的方向:让 AI ...
同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。
一些您可能无法访问的结果已被隐去。
显示无法访问的结果