H
Howardism
Plate IIAgent Systems機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

潛在空間 vs. 確定性空間

PublishedJuly 21, 2026FiledConceptDomainAgent SystemsTagsAgent EngineeringArchitectureContext ManagementPractitioner OpinionReading4 minSourceAI-synthesised

Garry Tan 對代理系統錯誤的診斷:計算發生在兩個地方——潛在空間(LLM:品味、判斷、模糊意圖的解讀,由 markdown 引導)與確定性空間(生成的程式碼、外部狀態)——而多數 AI 工程失敗,都是因為計算發生在錯誤的一側

潛在空間 vs. 確定性空間的插圖

資料來源#

摘要#

Garry Tan 對代理系統的設計準則(practitioner-opinion):務必有意識地思考計算實際發生在哪裡,因為它總是發生在兩個地方之一——而且「我們遇到的所有 AI 工程問題,通常都是因為某些事情發生在等式的一側,但其實應該發生在另一側。」

  • 潛在空間——LLM 本身。它適合處理的事情:品味、判斷、「理解人們說出模糊話語時真正想要什麼」,以及非確定性呼叫。你可以用 markdown 引導它(Agent Context Files)。
  • 確定性空間——工程師早已熟悉的領域:代理程式寫出的程式碼、外部儲存,以及可驗證的狀態。

實際案例:安排 800 人的座位#

Tan 在 YC Startup School 的現場案例:從 6,000 名參加者中安排 800 人入座,讓每個人的鄰座都是最適合與其認識的人。分工如下:

  • 800 個座位的多維陣列——也就是狀態——「絕不能存在於 context window 中。」 它應該放在確定性空間。
  • LLM 處理人類的部分:判斷誰應該與誰見面——原本人類組織者得靠列印 800 頁資料,再在一個大房間裡花一個月洗牌才能完成的工作。

合計只需「幾百美元的 tokens,可能還有 10 分鐘」——這項任務在六個月前或許還不具經濟可行性。這個例子可以推廣到更廣的情境:潛在空間為每個決策提供判斷;確定性空間則保存狀態並強制執行約束。

為什麼這個框架值得獨立成頁#

它把這個 wiki 中幾個得來不易的經驗,濃縮成一個診斷問題——這項計算應該放在哪一側?

  • 把狀態移出 context windowContext Window Smart Zone 背後的工作準則(smart-zone 預算應花在判斷,而不是儲存),也是這個 vault 自身架構的基礎(LLM-as-Compiler Knowledge Base:wiki 保存狀態;build.py/lint.py 負責確定性的記帳;LLM 只做詮釋性的編譯)。
  • 用 markdown 引導潛在空間Agent Context Files 模式的核心,如今被定位為雙側架構的一半,而不只是獨立技巧。
  • 錯誤分類學——「某些事情發生在不該發生的那一側」——涵蓋兩種熟悉的失敗類型:LLM 在程式碼應負責的地方做算術與狀態追蹤(幻覺式記帳),以及脆弱的程式碼把應由模型處理的判斷硬編碼(Software 3.0 的觀點——Karpathy 的 MenuGen「不應該存在」,因為原生於該典範的版本會把整項任務推入潛在空間)。
  • 它是 Planning / Execution Division of Labor 在架構層級的近親:那一頁把決策拆分為人類與代理;這一頁則把計算拆分為模型與程式碼

相關連結#

  • Agent Context Files — 作為潛在側引導機制的 markdown
  • Context Window Smart Zone — 將狀態移出 context window 的容量論據
  • Software 3.0 — Karpathy 對同一邊界的典範框架;他的 MenuGen 例子是反向錯誤(確定性應用程式在做潛在空間的工作)
  • Planning / Execution Division of Labor — 人類/代理的決策拆分;本頁則是模型/程式碼的計算拆分
  • Agent Harness Engineering — harness 設計很大程度上就是在工程化這條邊界:模型看得到什麼,以及 scaffold 以機械方式強制執行什麼
  • LLM-as-Compiler Knowledge Base — 這個 vault 的實例:圍繞潛在編譯器建立確定性的生成器與 lint 工具
  • AI-Native Organization — 同一場演講中的組織層級論點;組織映射的前提,是每個被編碼的流程都知道自己的步驟應在哪一側執行
  • Garry Tan — 這個框架的作者

開放問題#

  • Tan 認為「錯誤的一側」診斷涵蓋了大多數 AI 工程錯誤。是否有任何事件/失敗分類學(代理事後檢討、eval 失敗分析)確實依照計算位置分類失敗,而且落在兩側的比例各是多少?
  • 這個座位案例估算,為 800 個座位分配提供潛在空間判斷需要「幾百美元的 tokens」。隨著模型吸收更多確定性能力(Harness Shrinkage as Models Improve),經濟上最佳的邊界會朝潛在空間移動嗎?還是將狀態移出 context window 仍然是不變的原則?

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 14
Related articles
  • LLM-as-Compiler Knowledge Base

    Karpathy's architecture: LLM incrementally compiles raw docs into a persistent interlinked wiki, replacing RAG with a 4…

  • Agent Context Files

    The cross-vendor markdown-as-control-plane pattern: repo-versioned plaintext (CLAUDE.md / AGENTS.md / SOUL.md / WORKFLO…

  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Open Questions Backlog

    _456 actionable open questions across 205 pages · 107 predictions · 9 notes · 147 in progress · 69 watching (entities),…

  • Context Lifecycle Management

    Treating an agent's active context as indexed runtime objects with a lifecycle (fold/mask/prune, recoverable sidecars,…