REWIRE by AIFLOWLABS · 開放大型語言模型的權重空間編程
章節 02 / 112026 年 11 月 2 日發生了甚麼
一個語言模型編輯了 另一個模型的權重。
四位 MIT CSAIL 研究人員把一個小型開放模型的原始權重和一個 Python 沙盒,交給封閉的前沿模型 GPT-6 Astra。沒有訓練運行,沒有梯度:只有五十次前向運算和它自己的推理。它找出令小型模型陷入循環的方向,從兩層中的 131,072 個權重裏減去這個方向,循環便停止了。
- 0.016 %Qwen3.5-0.8B 被編輯的權重比例:第 15 層和第 19 層中的 131,072 個數值。Takehi、Teoh、Zhang、Khattab,MIT CSAIL,2026 年 11 月 2 日網誌文章 ↗
- 7.9 % → 48.1 %MATH-500,開啟思考模式。GSM8K 13.8 → 67.1。觸及詞元上限的比例 93 % → 33 %。同一文章;實驗 8 ↗
- +4.3 分公平比較的增幅,[1.9, 6.8]:把已編輯模型與關閉思考模式的基礎模型(45.8 %)比較所得。Hugging Face 上的獨立核查。JonathanColetti/Qwen3.5-0.8B-Astra-WeightEdit,4 樣本 MATH-500 ↗
誠實解讀
標題數字。基礎模型有 93 % 的情況會循環直至觸及詞元上限。
在一個很少循環的模型(Gemma 3 270M)上,同樣的方法沒有令任何指標移動超過約一分。這就是這項結果的真實大小。它同時也是早期的公開證據,顯示一個通用語言模型可以透過推理另一個模型的權重來修復它。它需要五十次前向運算和一個封閉的前沿編輯器。這兩點正是本計劃存在的原因。
鏡頭潛入晶格。第十五層和第十九層發亮;每層有六十四個金色欄位從銀色網格中突出。旁邊三個讀數逐一遞增。
章節 03 / 11醞釀三十五年
網絡改寫網絡,並非新事。 新的是編輯器。
這裏每一個部件都已發表。一個網絡寫入另一個網絡的權重:1991 年。一個網絡生成另一個網絡:2016 年。以閉式解改寫一項事實:2022 年。把程式編譯成權重:2023 年。行為背後的單一方向:2024 年。一句話變成一個適配器:2025 年。每一項都需要專為一項工作而建的系統。2026 年新增的,是一個配備工具的通用模型作為寫入者,以及一幅它所寫入的神經元地圖。REWIRE 是把這些部件組合起來的儀器。
八個銀色節點組成的路徑,從 1991 年到 2026 年螺旋環繞晶格。最後兩個節點是金色。
章節 04 / 11缺口
每個人都問 同樣的三個問題。
公告之下,真正重要的回覆談的不是數學分數,而是:究竟改了甚麼、還改了甚麼、誰批准的。今天沒有一個開放工具能在同一處回答這三個問題。
還有一個較少人提及的原因:一個經修改的開放模型可以隱藏一個能通過所有乾淨評估的觸發條件。與基礎模型比對差異是標準的第一步檢查,而我們尚未見到它被打包成開放、端到端的工具。對香港團隊而言這很實際:HKCERT 把供應鏈及第三方風險列入 2026 年五大關鍵風險,而經修改的開放模型正是這條供應鏈的一部分。
晶格碎裂成傾斜的層。三塊磨砂面板懸浮在前方,每個問題一塊。深處有一個未標記的神經元閃着紅光。
章節 05 / 11運作方式
用程式碼訓練。
找出神經元寫入權重證明改變
四個部件,一個循環。Scribe 是一個配備沙盒和前向運算預算的人工智能代理。Atlas 是一幅神經元層級的地圖,Scribe 讀取它來選擇寫入位置。Implant 是修改本身:一個稀疏、經簽署、可還原的差異檔。Verdict 是評估循環,為修改及其周遭的一切評分。
我們首先驗證的假設:神經元層級的證據,能讓開放編輯器以幾次運算做到封閉前沿模型需要五十次才做到的事。如果假設錯了,我們也會發表。
四個站點環繞晶格:Scribe、Atlas、Implant、Verdict。金色路徑從 Atlas 通往 Scribe,從 Scribe 進入晶格的兩層,再以一張 Implant 卡的形式出來,穿過 Verdict 進入一個經簽署的登記冊。
章節 06 / 11為何重要
更少 GPU。 更少數據。 更多證明。
以常規方式教模型一種行為,意味着收集數據、租用 GPU 集群、運行一項無人能檢視的作業。權重編程則從一個已存在的模型出發,用一個 Implant 改變它:一份規格、一筆前向運算預算、一份證明。已發表的修復在一個 0.8B 模型上以五十次前向運算觸及 131,072 個數值。目標模型放得進一部手提電腦;編輯器卻是封閉的前沿模型。把這項成本降下來,是我們的第一個假設。
改變模型的兩種方式
- 編輯器詞元一群開放模型提出 Implant
- 前向運算有預算、有記錄:數十次,而非數百萬步
- 審核關卡前有人批准晉升
- 證明Verdict 為每個 Implant 評分,每一次都如此
示意,並非實測。運算帳本會從重現衝刺起公布每個 Implant 的真實成本。
M1 和 M2 的假設:Verdict 的分數就是獎勵。一群開放編輯器模型提出 Implant,通過的保留,目標模型從不經過訓練運行。產出的是一個小型、專門化的模型,放得進機械人或邊緣裝置,而那正是 AIFLOW LABS 所建造的領域。
兩條通道注入晶格。上方,數據方塊和一座發熱的 GPU 機架把一條漫長的銀色訓練運行推進模型。下方,一群金色 Scribe 直接把 Implant 寫入模型,模型的小型副本流向一片邊緣裝置網格。
章節 07 / 11Atlas
信任之前, 先看內裏。
挑一個神經元。把它壓下、不動、推高,然後把同一段對話讀三次。如果行為確實存在於 Implant 所指的位置,欄位就會移動。如果同等大小的隨機編輯也有同樣效果,該主張便會被標記為不具特異性。
基礎模型。同一提示,未經觸碰。
合成預覽:長條代表推演,並非真實的模型文字。
建基於開放的 neuron-explorer 方法,並與 Neuronpedia、circuit-tracer 和 TransformerLens 兼容。Atlas 亦把其工具開放給 Scribe,讓負責寫入的代理可以先看一看。
探針鎖定一個神經元。三塊磨砂面板懸在晶格前方,標示負一、基礎和正一。每塊面板中的一排排長條代表推演;探針上的金色標記顯示劑量。
章節 08 / 11版本控制
權重的 Git。
編輯以經簽署差異檔的歷史形式,堆疊在一個凍結並經雜湊的基礎之上。log 顯示每個 Implant 及其作者。diff 顯示張量。explain 打開該次編輯的 Atlas 頁面。bisect 找出堆疊中第一個令測試失敗的編輯。revert 逐位元還原基礎模型,而這項特性是經測試的,不是假設的。
試一試
$ implant log
基礎 7f3a…c1 上有五個 Implant。三個由 Scribe 寫入,兩個由人寫入。每個都帶有意圖、驗收測試和簽署。
每項新編輯都在整個堆疊上評分,因為連續編輯已知會令模型退化。登記冊亦會報告一個模型的歷史有多少由代理寫入、多少由人寫入。
一個銀色基礎方塊帶着它的雜湊值。五張金色 Implant 卡在一條發光的線上堆疊其上。執行 bisect 時,游標走過堆疊,其中一張卡轉紅。執行 revert 時,卡片由上而下淡出,基礎回報一個相符的雜湊值。
章節 09 / 11按安全設計
能改寫模型的編輯器, 須受管治,不只是交付。
同一套修復模型的機制,也可以削弱模型的拒絕回應、注入一種人格或隱藏後門。所以審計先行:顯示第三方差異檔真正改了甚麼。REWIRE 不提供任何移除安全護欄的功能,並從第一個提交開始內置其控制措施。這些是我們可以測試的特性,不是承諾。
Scribe 站在左方,目標晶格在右方,中間是一道白金色關卡。一條金色的經簽署路徑穿過關卡。一條從 Scribe 回到自身的虛線迴路被切斷並轉紅。
章節 10 / 11我們首先要證明的事
五道關卡之後, 才值得任何人相信我們。
每個階段都以一道可量度的關卡結束,並在工作開始前預先登記。目前尚無法合理訂定的閾值,會在重現衝刺結束時設定,而非在此憑空捏造。
五道白金色門檻沒入霧中,標示 M0 至 M4。最近的一道亮着金光。
章節 11 / 11香港研究計劃
一項研究計劃, 來自 AIFLOW LABS。
AIFlow Labs Limited 是一家香港人工智能工程公司。REWIRE 是我們認真對待下一個問題的地方:當模型可以用程式碼編程,要在開放環境中安全地做到這一點,需要甚麼?
- 研究人員。 加入重現衝刺:一個測試框架、一份公開差異檔、一個 Atlas 視圖,以及一份我們共同發表的簡報。
- 運行開放模型的團隊。 成為設計合作夥伴:帶來一個模型和一種你需要修復或專門化的行為,並證明改了甚麼。
- 合作夥伴與審閱者。 本頁所有內容均有來源。索取技術檔案:研究評述、架構、路線圖及驗證帳本。
晶格平靜下來。金色欄位安放在銀色網格之中,探針已收回。旁邊的登記卡顯示:已簽署、已驗證。
誰在建造
每項結果背後都有負責的人。
REWIRE 由 AIFlow Labs Limited 擁有並開發。AIFlow Labs Limited 是一家香港人工智能工程公司。人工智能編程工具加快工程進度;每項結果都由具名的人負責。
只顯示已確認的姓名。沒有圖庫照片,沒有虛構人物。
- 01
Igor Lessio
創辦人兼行政總裁,AIFlow Labs Limited
23 年以上軟件開發經驗。曾建造生產級多代理系統及數據基礎設施;曾任一家人工智能數據公司的臨時技術總監。負責架構、研究方向及工程。
- 02
香港開發者
待公布
常駐香港。負責重現衝刺的測試框架及本地合作夥伴工作。確認後在此公布姓名。
- 03
顧問
可解釋性 · 知識產權與合約
確認後公布。
參與
與我們一起改寫神經元。
重現衝刺從一個公開差異檔、一個 0.8B 模型和一部手提電腦開始。想要共用測試框架的研究人員、運行開放模型並需要修復、專門化或審計模型的團隊,以及想索取技術檔案的合作夥伴或評審:請來信。
目前進度
規劃階段,2026 年 11 月。研究回顧、架構、路線圖及驗證帳本已經寫好;重現衝刺是第一項建造工作。本頁不聲稱任何屬於我們自己的結果。