研究
通往模型權重的七條路線。
權重編程的意思，是透過構造或推理來產生或改變網絡的參數，而不是在數據上進行漫長的梯度下降。現有七條路線。REWIRE 把它們放進同一個可驗證的工作流程，而不是發明第八條。
| 路線 | 作用 | 例子 |
|---|---|---|
| A · 編譯 | 程式變成精確的 transformer 權重。構造即正確，但規模極小。 | Tracr, ALTA, Percepta transformer-vm, AdderBoard |
| B · 生成 | 任務或文件經訓練好的超網絡一次前向運算，變成一個 LoRA。 | HyperNetworks, Text-to-LoRA, Doc-to-LoRA, Drag-and-Drop LLMs |
| C · 定位並編輯 | 在 MLP 層找到某項事實，以閉式解改寫，並量度副作用。 | ROME, MEMIT, AlphaEdit, MEND, EasyEdit |
| D · 算術與合併 | 以權重空間代數把多個模型或增量合而為一。 | Task arithmetic, TIES, DARE, mergekit |
| E · 先引導，再固化 | 對比提示給出一個方向；在推理時加入，或折疊進權重。 | ActAdd, CAA, RepE, Arditi et al. |
| F · 神經元層級編輯 | 直接訓練或設定選定的神經元或權重列。 | 128 個神經元人格修改（Qwen3-8B）、neuron-explorer、Sparse Feature Circuits |
| G · 代理編輯 | 配備沙盒的通用大型語言模型讀取原始權重、提出假設並進行修改。 | Takehi et al., MIT CSAIL, 2026 |
2026 年的頭條成果，在機制上是一個由 G 類代理選出的 E/F 修改：從兩層的下投影欄中減去一個「循環方向」。這並不代表它不重要。把發現與套用自動化，正是其新穎之處。但它也設定了誠實的期望。
MIT 成果證實了甚麼
確實
- 對於小型網絡（最多約 150 萬個權重），配備 Python 沙盒的前沿模型可以從原始權重讀出功能，並從零寫出可運作的策略。日誌與差異檔均已公開。
- 一次精確、極小、免梯度的修改（0.016 %）可以移除小型推理模型的一種失敗模式。確切的差異檔已在 Hugging Face 公開；一次獨立重跑重現了 MATH-500 的結果（4 個樣本）。GSM8K 與 IFEval 的數字尚未重跑。
有爭議或薄弱
- 純粹只讀權重的方法在大型語言模型的規模上並不奏效：一個 270M 模型的諂媚測試單憑權重失敗了，而 0.8B 的修復需要五十次前向運算。
- 基線公平之後，能力增益很小：關閉思考模式的基礎模型已經取得 45.8 %；公平的差值約為 +4.3 分，而在關閉思考模式時，這項修改反而損失約兩分（−2.2）。
- 編輯器是一個封閉的前沿模型，每次修改的成本未有披露。以開放編輯器進行一次乾淨、預先登記的重現，便可解決提示洩漏的質疑。這是我們的第一項交付成果。
我們承接的缺口
- 01驗證：差異檔 → 神經元 → 修改前後對話 → 回歸測試組，全在一個工具內完成。批評這項成果的人要求的正是這一點。
- 02開放編輯器：以開放權重的代理模型重現實驗；公布每次修改的成本及固定預算下的通過率。
- 03混合編輯：代理選擇目標，零空間求解器套用修改，Atlas 負責驗證。
- 04把編譯模組嫁接到預訓練模型：尚未解決，價值很高，失敗時如實交代。
- 05一個基準測試，把以權重為依據的編輯與「先推理後寫入」區分開來，並把算力計算在內。
- 06編輯器代理的管治：為一個會寫入其他模型權重的代理設計沙盒的參考方案。
我們在讀誰的研究
Takehi、Teoh、Zhang 與 Khattab（MIT CSAIL）；Schmidhuber、Schlag 與 Irie 的快速權重研究；Meng、Mitchell、Fang 與 Gupta 關於編輯及其限制的研究；Lindner 與 Shaw 的編譯 transformer；Arditi、Turner 與 Zou 的引導研究；Charakorn 與 Sakana AI 的文字生成權重；lyra 的 neuron-explorer；Goodfire 的 Cammarata、Gogineni 與 Tigges 關於乾淨神經元的研究；Zhuge 的 Neural Computers；Lin 的 Neuronpedia；以及 circuit-tracer 與 Transluce 團隊。
完整的研究回顧（79 篇經核實的 arXiv 論文、33 個附授權條款的程式庫）、架構、路線圖及驗證帳本，可應評審要求提供。