資料來源#
- Driving the Agent Quality Flywheel from Your Coding Agent- Google Developers Blog
- The New Physics of Business — Garry Tan, Y Combinator
- The Shift to Agentic AI: Evidence from Codex
摘要#
OpenAI 的 Codex 使用研究 用來衡量代理式 AI 是否超越一次性協助的三個「如何」邊際之一:系統化——從臨時委派(描述任務、代理執行、互動結束),轉向可重複使用的工作流程基礎設施,讓相似工作能夠反覆委派,而不必每次重新提供脈絡。 在 Codex 中,這透過技能(SKILL.md 工作流程規格)與插件(可安裝的技能+整合套件)實現。論文的表述是:若沒有系統化,「使用者必須一再提供任務脈絡、程序指引與指令,限制了工作能夠被交接出去的程度。」因此,系統化是深度委派的前置條件,不是進階使用者的錦上添花。這是 Loop Engineering 的技能原語,以及 Agent Context Files 所說的「寫在外部的意圖」之可測量、實證性的對應物——如今還有採用曲線,支持了 Osmani 的意圖債務論點。
證據說明。
empirical——技能來源的呼叫情況,是根據 Codex 日誌以每週區間測量;OpenAI 內部使用情況是前沿預覽,不是母體估計(見 Conversation-to-Delegation Shift 的證據說明)。
技能使用普遍、持續上升,但分布不均#
在截至 2026 年 6 月 11 日的 7 天區間內:
| 使用者群體 | 呼叫至少 1 項技能的比例 |
|---|---|
| 個人使用者 | 25.7% |
| 組織使用者 | 30.4% |
| OpenAI 工作人員 | 96.2% |
而且上升得很快:每週活躍 Codex 使用者中呼叫任何技能的比例,從 5.4%(2026 年 3 月 1 日)→ 26.6%(2026 年 6 月 11 日) 上升——三個月內約增加 5 倍。在 OpenAI 內部,系統化實際上已是預設使用模式;在外部使用者中,它仍是少數做法,但正在成長。
技能分類,以及自訂技能揭示的內容#
論文區分了五種技能來源,順序從產品提供到使用者撰寫:
- 預先安裝——隨 Codex 附帶的能力(例如影像生成)。
- 策展技能——由 OpenAI 單獨發布、未綁定於插件的技能(例如 PDF 處理)。
- 插件技能——封裝在插件內(例如 Google Drive 文件工作流程)。
- 自訂插件技能——與已識別的插件相關,但不符合策展目錄。
- 自訂技能——獨立存在、由使用者/組織撰寫,且非由 OpenAI 發布(團隊資料視覺化指南、研究工作流程)。
成長尤其來自插件與自訂技能——也就是系統化光譜的兩端。插件將一般能力延伸到反覆出現的產物領域(文件、試算表、簡報);自訂技能編碼了在地程序脈絡——團隊寫作標準、定期報告、組織特有的工作流程、使用者偏好。自訂技能的增加是承重訊號:使用者重視的不只是模型的一般能力,也包括將持久的程序脈絡附加到反覆執行、過於特殊而無法標準化的任務上的能力。
組織梯度#
插件與自訂技能的使用在 OpenAI 最高,且組織使用者顯著高於個人使用者。 論文將此解讀為系統化回報的差異:當反覆任務依賴共享慣例、內部程序或團隊層級標準時,自訂技能最能發揮效益——這些條件在組織環境中遠比個人獨立使用常見。因此,系統化集中於持久的程序脈絡能降低反覆任務間協調成本的場域。(附錄細節:OpenAI 協作對話中有 50.9% 會呼叫技能——系統化已在內部從程式碼工作擴散到知識工作。)
這與 compounding context 的邏輯相同:價值不在於單次呼叫,而在於編碼後的工作流程能在人與時間之間重複使用並共享。技能是撰寫格式;插件是分發單位——一個人的系統化得以在組織內擴散的機制(也是 Loop Engineering 所劃分的技能≠插件差異)。
規範性版本:「永遠不要做一次性工作」(Garry Tan,2026 年 7 月)#
這個頁面以採用曲線測量的現象,Garry Tan 將其表述為一項紀律(practitioner-opinion):任何代理任務成功後,都要**「把它技能化」**——在繼續前進之前,將完成的互動轉成可重複使用的技能檔案,因為「如果你必須第二次提出某件事,你就失敗了。」他的組織層級主張是:「像這樣捕捉所學內容的組織,每一天都會變得更聰明。不這麼做的組織,無論模型多麼優秀,每天早晨醒來時都像失憶一樣。」他表示,這種做法已超越 YC 的工程師——媒體、活動與財務人員也在撰寫技能檔案——如果這具有代表性,就表示上述組織梯度正在單一個高互補性機構內展開(AI-Native Organization)。
技能作為跨廠商的方法論分發管道#
再往前一步,超越組織內部系統化:2026 年 6 月,Google 將其代理品質評估方法論以可安裝技能的形式發布(來自 skills.sh 的 npx skills add …,共兩個套件),設計目標是由客戶已在使用的任何程式碼代理驅動。上述分類是在單一產品內從產品提供延伸到使用者撰寫;這是第三個位置——由廠商撰寫、以技能格式在代理產品之間分發的方法論。技能不再只是組織編碼在地程序脈絡的方式,也正在成為廠商將專業知識交付到其他廠商 harness 中的方式。
相關連結#
- Loop Engineering — 同一原語的實務紀律來源:技能是五個迴圈原語中的第三個,是「寫在外部的意圖」,讓迴圈不必每個週期重新推導專案;本頁則是它的測量與採用曲線對應物
- Agent Context Files — 技能/
SKILL.md作為外化且可重複使用的專案脈絡;系統化是這項原語正大規模被採用的使用資料證據 - Conversation-to-Delegation Shift — 系統化是該研究衡量委派深度的三個「如何」邊際之一(另外兩項是並行性與執行時間)
- Parallel Agent Orchestration — 同一研究中的姊妹邊際;系統化使平行/可重複的委派變得可行
- Compounding Data Moat — 自訂技能是經編碼、組織特有且會複利並共享的程序脈絡;系統化回報梯度是「由脈絡形成護城河」的論點
- Harness Shrinkage as Models Improve — 技能/插件是被產品吸收的 harness 能力,以具名、可共享的原語存在,而不是手動維護的腳手架
- MCP and Computer Use — 插件將 MCP/連接器整合與技能一起封裝;這是系統化中工具觸達的一半
- Agentic Technical Debt — 未系統化的代理使用是從零重新推導/意圖債務的失敗模式;技能是持久脈絡的解藥,此處展示了它正被採用
- Ticket-Driven Agent Orchestration — 看板/票券狀態是另一種持久的外部化;透過技能實現的系統化是程序面,票券則是工作圖面
- OpenAI — 這些 Codex 遙測資料所屬的實驗室
- Codex — 本研究測量其技能/插件系統的工具
- Agent Quality Flywheel — 以技能格式在代理產品之間發布的廠商方法論;系統化光譜的跨廠商延伸
- AI-Native Organization — Tan 的組織論點建立在這項邊際之上:技能作為組織編碼的角色,而「永遠不要做一次性工作/把它技能化」則是複利紀律
開放問題#
- 5.4%→26.6% 的曲線只有三個月。這是持久的行為改變,還是 Codex 技能功能推送後的新奇效應高峰?(參見論文提到的 OpenAI 內部培訓活動。)
- 自訂技能編碼了組織特有的脈絡——但當程式碼庫與慣例漂移時,誰來維護它們?如果技能腐化,系統化本身也可能成為債務面(Agentic Technical Debt)。
- 系統化是造成更深度委派的原因,還是僅僅與原本就高度密集使用的使用者相關?論文展示了關聯,而非方向。
資料來源#
- The Shift to Agentic AI: Evidence from Codex — §5.3「代理式工作的系統化」;§6 結論;註腳 13(技能與插件的定義);附錄圖 A8(按任務領域區分的技能使用)
- Driving the Agent Quality Flywheel from Your Coding Agent- Google Developers Blog — Google 的 eval 方法論以 skills.sh 套件形式分發,適用於任何程式碼代理(
vendor-claim) - The New Physics of Business — Garry Tan, Y Combinator — Garry Tan 的 AI Engineer 演講(2026-07-17,
practitioner-opinion):「永遠不要做一次性工作/把它技能化」的紀律
Cited by 23
- Owning Your Externalized Cognition×4
What makes the claim non-trivial is that externalization is the same act as the productivity gain.…
- Open Questions Backlog×3
Agentic Work Systematization: Custom skills encode org-specific context — but who maintains them as…
- Agent Context Files×2
Agentic Work Systematization — the usage-data evidence that this externalized-context primitive is…
- Agent Quality Flywheel×2
Agentic Work Systematization — skills as the distribution unit, here carrying vendor methodology…
- Agentic Technical Debt×2
Agentic Work Systematization — un-systematized agent use is the re-derive-from-zero / intent-debt…
- AI-Native Organization×2
Agentic Work Systematization — the measured counterpart: Tan's "skillify it" rule is the normative…
- Codex×2
Agentic Work Systematization — Codex's skills/plugins are the systematization substrate that study…
- Conversation-to-Delegation Shift×2
Agentic Work Systematization — one of the three "how" margins: ad-hoc delegation hardening into…
- Garry Tan×2
Never do one-off work. After any successful agent task, "skillify it" (he published a skill for…
- Harness Build-vs-Buy×2
Skills or plugins for repeatable work — "your organization's expertise without creating a permanent…
- Harness Shrinkage as Models Improve×2
Agentic Work Systematization — the same absorption measured: skills/plugins are harness capability…
- The HTML Artifact Lifecycle: Where Plan History Lives, and When Disposable Becomes Durable×2
When a micro-app pattern recurs, what gets templated is the generator prompt, not the HTML. That is…
- Systems Thinking Over Specialization×2
She names the agent-scale endgame explicitly: Netflix's vision is "so many agents contributing to…
- Agent Supply Chain Risk
Agentic Work Systematization — the prose supply chain, measured: agent skills are reused by…
- Compounding Data Moat
Agentic Work Systematization — custom skills are encoded org-specific procedural context that…
- Crystallizing Agent Work into Workflows
Agentic Work Systematization — the same instinct as skills-and-plugins (externalize what you keep…
- Gemini Enterprise Agent Platform
The Google-side counterpart to Claude Code's and Codex's agent stacks — but where those entries…
- Loop Engineering
Agentic Work Systematization — the empirical, adoption-curve counterpart to the skills primitive:…
- MCP and Computer Use
Agentic Work Systematization — plugins bundle MCP/connector integrations alongside skills;…
- AI Coding Practice
Agentic Work Systematization — OpenAI Codex study's 'systematization' margin: the shift from ad-hoc…
- Parallel Agent Orchestration
Agentic Work Systematization — the sibling margin; reusable skills are what make…
- Standardize the Infrastructure, Not the Tools
Agentic Work Systematization — the same standardize-the-substrate instinct one level down, at the…
- Ticket-Driven Agent Orchestration
Agentic Work Systematization — tickets are the work-graph side of externalizing agent context;…
Related articles
- Harness Shrinkage as Models Improve
Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…
- Loop Engineering
Replacing yourself as the agent's prompter by designing the system that prompts it: a recursive-goal loop built from fi…
- Agent Context Files
The cross-vendor markdown-as-control-plane pattern: repo-versioned plaintext (CLAUDE.md / AGENTS.md / SOUL.md / WORKFLO…
- Claude Code
Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React on Bun (itself Claude-rewritten…
- Open Questions Backlog
_456 actionable open questions across 205 pages · 107 predictions · 9 notes · 147 in progress · 69 watching (entities),…
