作者 | Chidi Nwaogu译者 | 田橙我花了一年时间,看着学生一个接一个地消失。当时我经营着一家编程培训机构,学生们会进入直播课堂,积极参与,然后突然在上课途中掉线。后来我逐个跟进才发现,几乎没有人是主动退出的。他们的网络连接根本撑不到一节课结束。在一批报名的 80 名学生中,最终只有 6 ...
MIT CSAIL让GPT-6 Astra直接读取Qwen3.5-0.8B的权重,只改约0.016%的参数,就把MATH-500准确率从7.9%拉到48.1%。这不是微调,而是把另一个神经网络的权重当成可读可改的程序对象。
MIT刚刚做了个实验,瞬间引爆大模型圈——0.8B的「源神」Qwen3.5交给Astra,仅改动其中0.016%的权重,模型性能可以直接飞升。 GPT-6 Astra能直接读取编辑小模型权重了。 MIT刚刚做了个实验,瞬间引爆大模型圈—— 0.8B的「源神」Qwen3.5交给Astra,仅改动其中0.016%的权重,模型性能可以直接飞升。 全程没用训练,也没梯度下降。 同样的采样设置下,MATH- ...
美国麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究团队11月2日公布了这组实验:让GPT-6 Astra直接读取并修改另一个模型的权重。在Qwen3.5-0.8B上,Astra改动了131072个参数,占模型8亿个参数的0.016 ...
同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。
当「读懂权重」和「改写权重」被同一个模型打通,「AI 改进 AI」就多了一条不经过梯度下降的短路通道,模型维护与模型能力放大之间的边界开始模糊。 作者丨郑佳美 编辑丨岑峰 一个模型做数学题,写了 3 万多个 ...
如果把一个训练好的神经网络摊开,只给大模型看一串权重数字,它能看出这个模型学会了什么吗?甚至能直接修改其中一小部分参数,让模型变得更聪明? 这听起来有些不可思议。MIT CSAIL 团队最新公布的一组实验,却让这个设想有了初步的现实依据。 团队让 ...
11 月 3 日,一张截图在中文互联网刷屏:MIT CSAIL 团队让 OpenAI 的 GPT-6 Astra 直接读取并修改阿里巴巴 Qwen3.5-0.8B 模型的权重,只改动了 131072 个参数,约占该模型 8 亿参数的 0.016%,就将其在 MATH-500 数学基准上的成绩从 7.9% 拉升至 48.1%,指令遵循能力(IFEval)提升约 ...
MIT CSAIL团队让OpenAI GPT-6 Astra直接读取并修改阿里Qwen3.5-0.8B模型权重,仅改动131072个参数(约0.016%),使MATH-500数学基准从7.9%升至48.1%,指令遵循能力提升约3倍,全程未使用梯度下降或反向传播。该实验名为权重空间编程(WSP),尚未通过同行评审,结果以博客形式发布。
只改了 0.016% 的权重,一个 8 亿参数大模型的数学成绩,就从 7.9% 飙升到了 48.1%。 更夸张的是,动手修改这些权重的,竟然是另一个大模型 GPT-6 Astra。 最近,MIT CSAIL 的研究团队展示了一种相当大胆的 AI 优化方法。他们让 GPT-6 Astra 像程序员阅读和修改代码一样,直接分析神经网络的权重,定位模型的问题,再修改其中的参数。 整个过程没有使用传统的梯 ...
大数据文摘出品AI圈又出狠活了!MIT CSAIL团队提出了一种叫“权重空间编程”(Weight-Space Programming)的方法:不训练、不算梯度,让GPT-6 Astra直接读取和修改神经网络的权重。在Qwen3.5-0.8B的实验中,Astra仅修改约0.016%的权重,就将模型的MATH-500成绩从7.9%提升至48.1%,GSM8K从13.8%提升至67.1%,IFEval指 ...