Agentic Coding 中的專業知識回報

資料來源#

• Agentic coding and persistent returns to expertise

摘要#

Anthropic 經濟研究報告 Agentic coding and persistent returns to expertise（Hitzig、Massenkoff、Lyubich、Heller、McCrory，2026 年 6 月）的核心發現是：能放大 AI coding agent 效能的，是使用者的領域專業知識，而不是 coding 熟練度。 在約 40 萬個 Claude Code 工作階段中，一個人越理解自己要解決的問題，agent 每次指令完成的工作就越多，工作階段成功的頻率越高，也越能從困境中恢復。相較之下，coding 背景幾乎無關緊要：在產生程式碼的工作階段中，每個主要職業與軟體工程師的差距都在七個百分點內。報告的一句話論點——「coding agent 並沒有取代領域專業知識；工作者帶給 agent 的理解越多，agent 能完成的高品質工作就越多」——是「你可以外包思考，但不能外包理解」的實證確認。

證據註記。 empirical — 這些數據來自對約 23.5 萬人、2025 年 10 月至 2026 年 4 月間約 40 萬個互動工作階段的隱私保護（Clio）分析，使用分類器（Claude Sonnet 4.6），並以自動遙測資料驗證，再以包含控制變數與信賴區間的迴歸分析處理。兩項誠實的保留意見使它還稱不上乾淨的外部基準：它是第一方研究——Anthropic 以自家遙測資料和分類器測量自家產品（無法由外部獨立重現）——而且排除了無頭模式（claude -p）、SDK 及第三方 IDE 的使用，這些占實際活動的「相當大一部分」。結果是從逐字稿推斷出的代理指標，而非觀察到的真實世界結果。

專業知識是任務特定的，不是履歷上的標籤#

專業知識評分（五點的新手→專家量表）不是職稱或一般能力。「一位資深工程師第一次提出 Rust 問題時，在 Rust 上仍是初學者。一位從未使用過 Python 的會計師，若能精確告訴 Claude 腳本必須執行哪些對帳規則，並在月末結帳時抓出它錯誤處理的邊界案例，那麼他就是該任務的專家。」分類器會讀取三項訊號：

1. 框定的精確度 — 使用者多具體地指示工作。
2. 他們要求 Claude 驗證的內容 — 專家會指定定義「完成」的檢查。
3. 誰在糾正誰 — 是使用者糾正 Claude，還是 Claude 糾正使用者。

這正是可被量測的理解殘餘：這些訊號是內在模型的表面證據，而該模型已足以引導、判斷與驗證。

放大效應：專家每次 prompt 得到更多 agent 工作#

專業知識會放大每個人類 prompt 所啟動的自主工作量（行動鏈）：

使用者專業知識	每次 prompt 的行動數	每次 prompt 的產出
新手	約 5	約 600 字
專家	約 12	約 3,200 字

行動數超過兩倍，產出則是五倍。這個差距在每種工作模式與每個任務價值區間內都成立，即使迴歸控制了工作模式、任務價值、月份、職業與模型家族，仍然存在：每提升一級專業知識，每次 prompt 的行動數增加 9%，產出增加 13%（每個相鄰階段的 p < 0.001）。專家不只是比較幸運——他們給出的每項指令，都能安全地解開更長的自主權韁繩。

成功梯度#

工作階段展現的專業知識越多，在每項衡量方式下成功的可能性就越高。成功有兩種定義：判定成功（分類器讀取逐字稿，判斷使用者是否得到他原本想要的結果），以及更嚴格的已驗證成功（判定成功，且至少有一項硬性的外部訊號——相符的 commit/PR、通過測試，或使用者明確確認）。

專業知識	已驗證成功	至少部分成功
新手	15%	77%
中階–專家	28–33%	91–92%

曲線是凹形的：大部分增益發生在新手→中階；中階→專家只有適度增益。 對領域具備能實際工作的掌握度，就能取得大部分好處；深度精通只再增加一點點。（這些是調整後的比率——比較相同工作模式、價值區間、月份、主題與職業類型的工作階段。）

關於恢復能力還有兩項推論，而這正是專業知識發揮價值之處：

• 從困境中恢復。 在那些「遇到困境」的工作階段中（出現已驗證的失敗訊號——錯誤、測試失敗、重複嘗試、使用者挫折），已驗證成功率從4%（新手）升至 15%（專家）；部分成功率則從 60% 升至 80–81%。專業知識的部分價值，在於能把陷入困境的 agent 重新引回正軌。（保留意見：專家較少遇到困境，所以他們的困境工作階段其實處理的是更難的問題——困境工作階段的估計任務價值從新手到專家約增加一倍；因此，部分恢復差距反映的是新手卡在例行問題上，而專家卡在真正困難的問題上。）
• 放棄。 當一個困境工作階段被判定失敗，且沒有寫入任何程式碼行時，就稱為放棄。19% 的新手工作階段最後被放棄，相較之下其他人是 5–7%。 經驗最少的人在卡住時最容易放棄。

職業的重要性低於專業知識#

故事互補的另一半，也是支持軟體民主化最有力的證據：coding 背景對 coding 成功正變得不那麼重要。職業是推斷出來的（分類器明確被告知，不要把 coding 行為本身視為 coding 職業的證據——替合約條款檢查撰寫腳本的律師會被歸入 Legal，而不是 Software）。

• 軟體相關職業整體約有 30% 的工作階段達成已驗證成功；其他專業約為 26%。在產生程式碼的工作階段中，兩者分別為 34% 與 29%，部分成功率則為 89% 與 88%。
• 在產生程式碼的工作階段中，十大職業中的每一個，其已驗證成功率都在軟體工程師的七個百分點內；軟體／非軟體之間五個百分點的差距，在七個月內既未擴大也未縮小。
• 管理職業在已驗證成功率上略勝軟體工程師。 報告的解讀是：管理技能（委派、具體說明、確認）能轉移到引導 agent——「也許扮演管理者確實會帶來更高的成功率。」（衡量上的保留意見：已驗證成功部分依賴逐字稿中的明確確認，而管理者可能只是更常說出自己是否得到想要的結果。）這是對HBR 責任歸屬批評的建設性對照——受限委派的技能有所幫助；把 agent 框定為員工的組織圖式思維才會適得其反。

對勞動市場的意義#

報告將自己定位為知識工作轉型的早期觀察。兩種解讀表面上互相衝突，實際上並不然：

• 取代 coding 技能。 過去需要 coding 背景的實作密集型工作正在被吸收；「coding 背景[正變得]對成功程式設計不那麼重要。」這就是地板上升——「如今，任何領域中掌握某個領域的人，或許都能完成過去無法完成的技術工作。」
• 獎勵領域理解。 同時，增益會流向對問題掌握更牢固的人。「缺乏任何這類專業知識的人，從同一工具得到的東西會少得多。」這是人類剩餘的比較優勢在使用資料中的呈現：不是 coding，而是知道該建造什麼，並且能夠驗證它。

報告點出了值得追蹤的指標：如果專業知識的回報隨時間開始下降，那就代表模型開始提供使用者目前帶來的判斷力——也就是品味成為「另一項能力」。以這批資料來看，回報仍然持續存在。

相關連結#

• 實作豐饒顛覆產品工作 — 「判斷力比廉價執行更持久」在產品流程上的一面：實作成本下降後，策展／品味成為昂貴步驟
• 角色平均化，而非角色消滅 — 「專業不會消失」的實證骨架：即使角色平均化，領域專業知識仍決定成功
• 外包你的思考，不要外包你的理解 — 這是 Karpathy 論點的實證證明：成功取決於對問題的理解，而非輸入程式碼的能力；不可委派的殘餘如今已可被量測
• 印刷機式軟體民主化 — Cherny 所說「最適合寫會計軟體的人是優秀會計師，因為 coding 才是簡單的部分」，正是每種職業都在 7pp 內的發現；這是那個類比一直等待的硬數據
• Vibe Coding 與 Agentic Engineering — 「地板上升、天花板維持」：職業不重要代表地板上升；專業知識仍決定結果代表門檻維持
• 研究品味是人類瓶頸 — 「如果專業知識回報下降，模型便是在提供判斷力」這項測試，是「品味是持久護城河，還是下一個鋸齒狀山谷？」在勞動資料中的版本
• 規劃／執行分工 — 放大效應的機制：專家的框定，安全地延長 Claude 每次 prompt 執行的行動鏈（5→12 個行動）
• Agentic Coding 的工作組成轉移 — 同一研究的配套發現：七個月間工作是什麼，以及它如何轉移
• AI 員工框架 — 這裡管理者的優勢（委派技能可轉移）是 HBR 警告的建設性反面（員工框架稀釋責任）；技能有幫助，組織圖式象徵則有害
• 驗證是新的瓶頸 — 「他們要求 Claude 驗證什麼」是三項專業知識訊號之一；專家能指定並檢查，正是瓶頸所在
• 工程師與 PM 趨於融合 — 領域／產品理解成為瓶頸技能，這在成功資料中清楚可見
• 鋸齒狀智慧（幽靈，而非動物） — 專家能從 agent 尖銳而不穩定的失敗中恢復；新手則放棄——留在迴圈中能帶來可量測的回報
• Claude Code — 整項研究測量的產品
• METR — 報告引用 METR 的時間跨度上限，作為這些使用情境所低於的能力前沿
• 從對話轉向委派 — OpenAI 的 Codex 研究引用本報告（Hitzig 等人，2026），並從使用資料得到相同結論：工作轉為委派後，起約束作用的技能是領域理解加監督，而非執行
• AI 的組織互補因素 — 將 Hitzig 等人的論點重新表述為經濟學：監督／驗證／協調與領域專業知識，是限制 AI 價值的關鍵互補因素
• 暴露分類法：觀察到的、理論上的、回報的、預期的 — AEI 的 Cadences 調查從工作者口中確認了這點：工作 15 年以上的人回報 AI 能完成的工作約少 10pp，並指出判斷、情境與關係工作是 AI 無法觸及的部分——默會專業知識就是剩餘部分
• 自動化—樂觀連結 — 鏡像梯度：經驗豐富的工作者更懷疑 AI 的觸及範圍，但大量委派者卻最樂觀——專業知識與熱情朝相反方向拉扯
• 生成式 AI 的實驗學習影響 — 學習任務的回聲：AI 的增益偏向能力較高的學生，也偏向增強式使用（AI 加深理解），與本研究在 agentic coding 中量測的「好處歸於帶來／建立理解的人」模式相同
• 對話產物 — 「人類仍參與高價值工作」（隨薪資上升，互動輪次和 Claude 產出都增加）是專業知識放大 agent 的增強式解讀
• AI 使用 Cadences — 非工作時間的 Claude 工作偏向高薪職業，這與 AI 首先落地於專業知識密集型工作一致
• Anthropic 經濟指數 — 本研究所屬的研究計畫；Cadences 是其下一份報告
• 情境優勢，而非品味 — 測量工具。 如果人類的角色是可封閉的資訊不對稱，而不是某種能力，那麼專業知識溢價的量測下降，就是差距正在縮小，並且已在使用資料中被追蹤；兩種框架對下降代表的意義有不同看法
• 未知數是 Agentic 的瓶頸 — 專業知識溢價背後的機制：Thariq Shihipar 觀察到「最優秀的 agentic coder 擁有相對少的未知數」——專家的地圖已經與疆域相符，而且他們假設未知數存在，而不是相信地圖已經完整
• 審查是控制點 — 在審查端也是同一主張：審查者的專業知識加處置方式，是決定 coding agent 對軟體有益或有害的三項調節因素中的第一項。專業知識在審查鍵盤前會放大並保護成果，正如在撰寫端一樣——CMU 理論說明了為何本研究的專業知識溢價應持續存在
• 市場定價的 AI 暴露（AI 溢價） — 資產定價的回聲：AI 溢價載入密集邊際（付費／核心與資深使用者的長 prompt 會為 AI 風險定價；隨意／新手使用則不會），而市場隱含的技能地圖獎勵互動／關係／溝通工作，懲罰分析／科學工作——這是本頁「理解深度會放大 agent」與調查「有經驗的工作者指出關係判斷是 AI 無法觸及的剩餘」的市場版本
• AI 原生組織 — 值得與這些資料權衡的實務者放大效應主張：Tan 自我測量約 400 倍（自行下修為 8–80 倍），對比測得的 2× 行動／5× 產出溢價；他所說「2 倍人力和 100 倍人力使用完全相同的 Claude」，把差距歸因於連線方式而非專業知識——這是本研究未測試的互補因素故事

開放問題#

• 報告自己提出的前瞻測試：隨模型改進，專業知識的回報會持續、縮小，還是反轉？下降代表模型正在吸收使用者目前提供的判斷力。
• 結果是從逐字稿推斷出的（已驗證成功依賴 git 活動加明確確認）。管理者優勢——以及整體成功梯度——有多少是真實結果，又有多少只是誰在逐字稿中敘述成功？
• 研究排除了無頭模式／SDK／IDE 使用（「相當大一部分」）。在完全沒有任何人類於工作階段中途引導的非互動式與 pipeline 使用情境中，專業知識回報模式是否仍成立？
• 「中階掌握大部分好處」是穩定現象，還是當前模型能力的產物——也就是說，隨模型變好，凹形曲線會進一步變平（所有人趨於收斂），還是變陡（精通程度再次開始拉開差距）？

推導#

• 學習與 AI 協作：軟體工程師的實戰指南 — 實戰指南的「領域深度＋品味」技能論點，正是本研究直接測量的內容

資料來源#

• Agentic coding and persistent returns to expertise — Anthropic Economic Research，2026 年 6 月；§"The returns to expertise"、§"Occupation may matter less than expertise"、§"Looking ahead"