潛在能力過剩

資料來源#

• More compute, more capability: Why AI agent evaluations need to account for test-time compute
• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown

摘要#

如果能力會隨推論預算（Large-Scale Test-Time Compute）擴展，但沒有人投入大筆預算，那麼已發布的模型能做到遠超任何人已展示的程度。 Noam Brown 直接指出：「沒有人充分探索過，如果我把價值 $100,000 的運算投入[已發布的模型]，會發生什麼事。」這項能力之所以潛伏，並不是因為它不存在，而是因為提取它需要金錢與耐心，而幾乎沒有人願意投入（practitioner-opinion）。

實例：Erdős unit distance conjecture#

OpenAI 使用內部模型推翻了 Erdős unit distance conjecture——依 Brown 的說法，這「在數學界是件相當重大的事」，是許多數學家投入大量時間研究的第一個此類問題，而且是在「成本低得不可思議的預算」下解出的（他們訓練了新模型，出於好奇心執行它，並使用低預算）。揭示性的部分發生在之後：結果公布後，人們發現可以從已公開的 GPT-5.5 得到相同的推翻結果——不是直接詢問，而是為它搭建腳手架（要求它列出攻擊策略，告訴它探索最有希望的策略，反覆迭代）。Brown 估計，一個能得到該推翻結果的通用腳手架，成本會是「一千到 $10,000 到 $100,000」——昂貴，但可行，而且在 OpenAI 做到之前就已經可行。這項能力一直存在於已發布的模型中；只是沒有人付費去觸及它。

這是DeepMind 的 Lean-verified Erdős work那種非正式但可檢驗成果的近親：DeepMind 解決了形式化的 Erdős 問題，由編譯器為每一步提供認證；OpenAI 的推翻結果則由通用模型在人類引導下產生，事後再加以驗證。兩者都是 2026 年的證據，顯示前沿模型如今能為開放數學作出貢獻——一個透過可靠驗證器，另一個透過測試時運算搜尋。

不只是軼聞，而是經過測量（UK AISI）#

Erdős 故事屬於 practitioner-opinion——一則單獨重建的軼聞。UK AI Security Institute 2026 年 7 月的研究（empirical）提供了已發布模型的測量所得能力過剩，而且形狀正如本頁所預測：標準固定預算評估永遠不會揭露的能力，因為沒有人投入足夠的預算。

• AISI 的狹窄網路安全任務中，約 8% 只有在每項任務預算達到 ≥10M tokens 時才被解出（部分任務最高需要 50M）。「在較小的預算下，這些成功原本會完全不可見。」最新模型在 100M+ 時仍持續攀升。
• 「The Last Ones」（約 20 個人類工時）在預算達到 ≥30M tokens 前，所有受測模型都無法解出——一整類能力都隱藏在那條線以下。
• 在公開基準測試上也呈現相同形狀：1M→10M tokens 為軟體工程帶來約 +25%，為數學／學術任務帶來約 +22%。

這是對能力過剩的量化，而非僅僅宣稱；而且測量者是獨立於 OpenAI 來源敘事的政府第三方：對於已發布的模型，例行評估預算會讓一部分真實能力保持潛伏，恰恰因為提取它需要沒有人願意投入的 tokens。

與發布週期的互動：為什麼沒有人費心#

能力過剩持續存在，是因為有一種理性的抑制因素。任何特定能力的成本，都會隨每個模型發布週期下降 10–100×（每兩到三個月一次），因此今天花 $100K 提取某項能力，往往不如等待下一個模型以一小部分成本完成。這就是「去度假，兩個月後回來，成本已經便宜一千倍」的迷因——也是為下一個模型打造的悲觀雙生版本。Brown 部分認同這一點：OpenAI「正處於進展非常快速的時期」。

但 OpenAI 的機構選擇卻朝另一個方向，且有其理由：它積極勸阻數學家與物理學家把全部時間用來將當前模型在開放問題上推向極限。明示的邏輯是前沿領域的機會成本——「重點應該是如何打造更強大的模型……讓全世界的科學家都能使用這些模型，自己解決問題。」挖掘能力過剩會分散拓寬能力過剩的注意力。

它造成的評估盲點#

能力過剩也是沒有人知道當前模型上限的原因。將模型推向極限需要兩到三個月；每兩到三個月就會發布新模型；因此每個模型在有人運行足夠長的時間、找出它能做到什麼之前，就已經退役。Brown 舉的例子是：一項長期視野代理能力發布時，人們直到耗時超過一週的執行終於完成後，才意識到那是件大事——而那已經是發布後一週。測量延遲是結構性的，並且會加劇安全評估落差：如果你無法在下一個模型到來前負擔找出模型能力上限的成本，也就無法找出它的危險能力上限。

相關連結#

• Large-Scale Test-Time Compute — 根本原因：能力過剩之所以存在，只是因為能力會隨沒有人投入的預算擴展
• Compute-Controlled Benchmarking — 報告上的對應問題：網格低估了能力，因為投入不足；本頁則將同一軸線解讀為潛在上行空間
• AI-Driven Formal Proof Search — DeepMind 經 Lean 驗證的 Erdős 結果；OpenAI 非正式單位距離推翻結果在形式認證上的近親
• Build for the Next Model — 產品策略的反向版本：「等下一個模型」（之後以更低成本挖掘）對上「為下一個模型打造」（現在製作原型，讓發布來縮小差距）
• Task Time-Horizon Scaling — 沒有人能測量的上限：發布節奏短於將模型推向極限所需的時間
• Responsible Scaling Policy Evaluations — 盲點的安全成本：未測量的能力上限，同樣也是未測量的危險能力上限
• Open-Weight Elicitation Irreversibility — 沒有召回機制的能力過剩：對已發布權重而言，誘導預算是無上限且永久的
• Inference Efficiency as Capability — 每代 10–100× 的成本下降，拆解為促成這一下降的各個槓桿
• UK AI Security Institute — 測量能力過剩的政府評估機構：約 8% 的網路安全任務只有在 ≥10M tokens 時解出，「The Last Ones」只有在 ≥30M 時解出
• Noam Brown — 來源
• OpenAI — 推翻該猜想、並選擇不挖掘能力過剩的實驗室

待解決的問題#

• 如果每次發布成本下降 10–100×，那麼現在花大筆資源提取能力、而不是等待，何時才是理性的？（對於正在與競爭者爭奪特定結果的實驗室而言，是「現在」；對其他人而言，則很少——這也是能力過剩不斷累積的原因。）
• 某個已發布模型的能力過剩有多大——是否有辦法在不付費觸及上限的情況下估計上限？（這是將Large-Scale Test-Time Compute的投影問題解讀為安全工具。）2026-07 強化：AISI 正積極處理這兩個部分——從較低成本的執行預測高預算表現，以及定義「最低資訊量預算」（只有當增加更多運算後，觸及率不再上升時，才宣告某個預算已足夠；這正是「我們是否已達到上限？」的測試）。問題尚未解決，但如今已是政府積極推動的研究計畫，而不再只是未獲解答的願望。
• 鑑於同樣的抑制因素會阻止人們投入預算去尋找，誰來審核已發布模型潛在的危險能力？

資料來源#

• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown — No Priors 訪談（2026-06-26）；Erdős unit distance disproof、「將 $100K 投入已發布模型」的觀察、每週期成本下降的迷因，以及 OpenAI 選擇不挖掘能力過剩（practitioner-opinion）
• More compute, more capability: Why AI agent evaluations need to account for test-time compute — UK AISI（2026-07-02，empirical）：已發布模型上經測量的能力過剩——約 8% 的網路安全任務只有在 ≥10M tokens 時解出（部分需要 50M）、「The Last Ones」只有在 ≥30M 時解出，以及從 1M→10M tokens 帶來的 +25%／+22%