AI 基準測試的盲區：九成工時沒被主流基準測到，Mercor 研究給中小企業的導入警訊
模型榜單分數高，不代表能做好你公司的日常工作。Mercor 估計，美國 90% 的工作時數落在它整理的 29 個 AI 基準測試很少涵蓋、或完全沒涵蓋的任務上。導入 AI 之前，請先用自家任務實測。
本文發稿日是 2026 年 10 月 18 日。Mercor 的〈A benchmark map of the US economy〉頁面沒有標示發布日期。另一份一起參照的論文 FDE-Gym，在 2026 年 10 月 15 日上傳 arXiv。前者量的是「榜單涵蓋了多少真實工作」，後者量的是「模型到客戶現場交付得多好」。兩份放在一起看，指向同一件事：分數和實際工作之間，有一大段空白還沒被量清楚。
AI 基準測試到底測了什麼，又漏了什麼？
AI 基準測試是一套固定題目加上評分規則，用來比較模型能力。問題是題目只覆蓋少數工作。Mercor 統計，美國 18,797 項職業任務中，只有 924 項被它整理的 29 個基準測試涵蓋到。
Mercor 用的分類是美國勞動部的 ONET。這是一個官方資料庫，把全美 923 個職業拆成一條條具體任務。以律師為例，ONET 列了 22 項任務，包括起草合約、解釋法規、分析案件可能的結果、督導法律助理等（Mercor 頁面舉例）。
把門檻設在「一項任務至少對應 5 題基準題目」時，923 個職業裡只有 208 個至少有一項任務達標。22 個職業族群中，有 6 個一個職業都沒達標（Mercor）。
Mercor 據此估計，美國 90% 的工作時數花在這 29 個基準幾乎沒有、或完全沒有涵蓋的任務上。這 90% 缺乏涵蓋的工作時數，正是模型分數說不準的地方。Mercor 自己的說法是：這讓人很難知道 AI 模型在美國人實際在做的工作上表現如何。
要注意的是，這 29 個基準已經篩選過。入選條件有三個：至少要有 25 題公開題目、題目要接近企業真實工作，而且要考「代理式任務」（agentic task，模型得自己動手把事做完，光回答問題或給建議不算）（Mercor 方法說明）。挑過一輪、相對貼近實務的榜單，涵蓋面都只有這樣。
為什麼榜單分數高，導入公司後效果常常不如預期？
原因有兩層。第一層，榜單根本沒測到你公司做的那些事。第二層，就算測到了，榜單題目的需求寫得清清楚楚，真實工作卻常常需求模糊，還藏著沒人講出口的限制，模型在這一關會大幅掉分。
第二層有新證據。2026 年 10 月 15 日上傳的 FDE-Gym 論文，模擬「駐點工程師」的工作。駐點工程師（forward-deployed engineer）是到客戶現場把 AI 系統做起來的人。這份研究設計了 95 項端到端交付任務，來自 18 個產業、20 個客戶情境，都由業界專家從真實專案改編。
它的評分方式很接近老闆的算法：看交付後，客戶自己的成功指標改善了多少。系統沒變是 0 分，參考解答是 1 分。跟客戶來回傳訊息、試跑、等待的時間，都會被扣分（FDE-Gym）。
研究團隊測了七家廠商、13 種模型配置。在必須自己挖出隱藏限制的擬真設定下，最佳配置平均只拿到 0.56 分。以「分數 0.8 以上且沒出事故」作為完成任務的標準，95 項只完成 14 項（FDE-Gym）。
論文指出，最大的瓶頸是找出沒講明的限制。更值得老闆警惕的是另一組數字：有 23 項任務，最佳配置已經從利害關係人那裡問到所有關鍵資訊，但業務改善達 0.8 以上的仍然只有 10 項（FDE-Gym）。問對問題只走了一半。拿到資訊之後能不能把事情做成，是另一道關卡。
哪些工作被 AI 基準測試測得多，哪些測得少？
在表列的 12 個族群中，被測得多的是電腦與數學、法律、商業與財務，被測得少的是醫療專業、教育、科學與銷售。下表整理自 Mercor 地圖頁面上列出的 12 個職業族群。O*NET 共有 22 個族群，其餘 10 個的數字本文未取得，涵蓋率可能更低。「被涵蓋職業數」照頁面列示的數字抄錄，涵蓋比例由本文依原始數字換算。頁面沒有說明這張表用的涵蓋門檻，跟前文「至少 5 題」門檻得出的 208 個職業是不同口徑，請不要混在一起看。
| 職業族群 | 被涵蓋職業數 / 職業總數（依 Mercor 頁面列示） | 涵蓋比例 |
|---|---|---|
| 電腦與數學 | 29 / 36 | 81% |
| 社區服務 | 10 / 14 | 71% |
| 法律 | 5 / 7 | 71% |
| 商業與財務 | 33 / 48 | 69% |
| 行政事務 | 21 / 51 | 41% |
| 管理 | 21 / 56 | 38% |
| 建築與工程 | 19 / 56 | 34% |
| 藝術與媒體 | 13 / 40 | 33% |
| 銷售 | 6 / 22 | 27% |
| 科學 | 15 / 60 | 25% |
| 教育與圖書館 | 9 / 62 | 15% |
| 醫療專業人員 | 12 / 89 | 13% |
這張表算的是各族群裡「被涵蓋職業的比例」，沒有依工時或薪資加權。所以醫療專業、教育這類大族群排在最後，不能直接拿來驗證或推翻下面「先量大市場」的結論，那個結論來自 Mercor 在任務層級另外做的分析。
涵蓋的分布有明顯偏向。Mercor 用迴歸分析（用統計方法檢查兩件事是否連動）發現，職業的年薪資總額越大，任務被涵蓋的機率越高。年薪資總額（wage bill）是指該職業全國從業人數乘上平均薪資。分析也一併納入 AI 暴露度：這是 Eloundou 等人 2023 年研究中，標記任務是否容易受 AI 影響的二分類標籤（Mercor）。
Mercor 舉的例子很具體。同樣高度暴露於 AI 的法律工作，律師的任務被大量涵蓋，法律秘書和法院書記官的任務卻幾乎沒被涵蓋。Mercor 的結論是：規模較小、中等收入的知識工作形成一條長尾，涵蓋看起來不足。
榜單量得最仔細的，多半是薪資總額大的職業。表中行政事務（41%）、銷售（27%）的涵蓋率偏低，若你的業務集中在這些類型，榜單參考價值較小。本文未查到台灣的對應數字。
看榜單和自家實測，評估 AI 導入效益差在哪？
榜單告訴你模型在別人出的題目上表現如何，自家實測告訴你它在你的工作上能省多少。榜單便宜、現成，適合縮小候選名單。自家實測要花一點時間，卻是唯一能回答「值不值得導入」的方法。
看模型榜單
- 測的題目
- 研究者設計的題目，多偏向大型職業
- 需求清楚程度
- 題目規格寫得清楚
- 評分標準
- 答對率或榜單分數
- 成本
- 幾乎為零，網路上就查得到
- 能回答的問題
- 哪個模型整體較強
用自家任務實測
- 測的題目
- 你公司上個月真的發生過的工作
- 需求清楚程度
- 跟真實一樣模糊，有沒講出口的限制
- 評分標準
- 你自己的業務指標，例如回覆時間、錯誤率、重工次數
- 成本
- 要花人力準備題目、檢查結果
- 能回答的問題
- 這個工具在我公司划不划算
先用自家任務實測，再決定要不要導入
榜單只拿來把十個工具篩到剩兩三個。最後買不買，先用自家任務實測，再決定要不要導入。
這對台灣中小企業意味著什麼？
意味著拿榜單分數當採購依據，風險比你以為的高。美國的估計是 90%，本文未查到台灣的對應數字，但你公司的日常工作很可能也有大段沒被榜單量過。舉個例子：某個模型在榜單的律師任務拿到高分，不代表它能整理你的報價單。能給答案的，只有你自己的任務。
我們建議老闆用「四步自家實測」取代看榜單做決定：
第一步，挑任務。從過去一個月真實發生的工作裡挑 10 到 20 件，優先挑重複次數多、最花人力的，例如回覆客戶詢價、整理出貨單、寫月報。
第二步，寫驗收標準。每件任務先寫好「怎樣算做完、做好」，用你在乎的指標，像回覆時間、錯誤筆數、需要人改幾次。FDE-Gym 用客戶自己的成功指標打分，也是同一個道理。
第三步，小規模實測。把原始需求原封不動丟給工具，不要先替它整理得清清楚楚。真實工作的難處就在模糊和隱藏限制，所以要觀察它會不會主動追問、會不會漏掉你沒講的規矩。
第四步，算淨效益。把來回溝通、人工修正、等待的時間全部扣掉，剩下的才是真正省下的工時。FDE-Gym 也把傳訊息、試跑、等待都算進扣分。
判斷門檻很簡單：實測下來，如果多數任務還是得由人從頭重做，榜單排名再高也先別買；如果多半只要小修就能用，就值得擴大試用。出題時，請讓實際做這份工作的員工參與，因為隱藏限制他們最清楚。如果你公司的任務種類集中、能拍板的人也參與實測，這套流程可以很快跑完。
這份 Mercor 研究有哪些限制要一起看？
最該記住的一點：沒被涵蓋的意思是「沒被這 29 個基準涵蓋」。90% 這個數字說的是證據不足，模型在那些任務上可能很強，也可能很弱。
其他幾點也要一起看：
- Mercor 的索引也納入 APEX，這是 Mercor 自家的基準測試。Mercor 能取得 APEX 未公開的題目，所以能拿來對應 O*NET 任務（Mercor）。研究者本身也是榜單提供者，讀數字時要記得這層關係。
- 清單只有 29 個基準。Mercor 把這張地圖定位為第一步，之後會持續更新，數字還會變動。
- 資料反映的是美國的職業與工時結構。台灣的產業組成不同，90% 不能直接套用，但方向可以參考。
- FDE-Gym 是模擬環境，客戶角色由腳本扮演，跟真實客戶仍有距離。
那老闆還要不要看模型榜單？
要看，但只看一半。榜單適合用來淘汰明顯落後的工具、縮小名單；決定導入、決定預算時，請回到自家任務。
「用自己的真實情境實測，別拿別人的分數下判斷」這條原則，也適用在另一件老闆常問的事：AI 搜尋會不會推薦你的公司。這件事同樣沒有現成榜單能回答，要拿客戶真的會問的問句，到 ChatGPT、Perplexity 上實際問過才知道，做法見我們的 AEO（讓 AI 搜尋工具推薦你的公司）服務頁。
我們的立場是：2026 年採購 AI 工具，沒做過自家實測就簽約，等於拿別人的考卷替自己的公司打分。
常見問題
AI 基準測試是什麼？
AI 基準測試是一套固定題目加上評分規則，用來比較不同 AI 模型的能力。各家發表新模型時公布的榜單分數，多半就是從這裡來的。它的限制在於題目由研究者設計。Mercor 統計，美國 18,797 項職業任務中，只有 924 項被它整理的 29 個基準測試涵蓋。
美國 90% 工作時數沒被 Mercor 整理的基準測試涵蓋，是什麼意思？
這是 Mercor 的估計。它把自己整理的 29 個基準測試題目拿去對照美國勞動部 O*NET 的職業任務，發現美國 90% 的工作時數花在這些基準幾乎沒有、或完全沒有題目對應的任務上。換句話說，這些工作在這 29 個基準裡缺乏測量，模型在上面表現好不好，目前沒有可靠證據。
為什麼 AI 模型榜單分數高，導入公司後效果卻不如預期？
主要有兩個原因。第一，榜單題目多半沒涵蓋你公司的日常工作。第二，榜單的需求寫得很清楚，真實工作卻常常需求模糊，還藏著沒講出口的限制。FDE-Gym 研究中，最佳模型配置在擬真設定下平均只拿到 0.56 分，95 項交付任務只完成 14 項。
中小企業要怎麼評估 AI 工具值不值得導入？
用四步自家實測：挑出 10 到 20 件真實工作任務，先寫好驗收標準，把原始需求直接交給工具試做，最後扣掉溝通與修正的時間，算出淨效益。實測下來，如果多數任務仍要人從頭重做，就先別買；如果多半只需小修就能用，再擴大試用。
還需要參考 AI 模型榜單嗎？
需要，但只拿來縮小候選名單。榜單能幫你淘汰明顯落後的工具，省下試用的時間。至於買不買、投多少預算，要看工具在你自家任務上的實測結果，因為榜單量的大多是別人的工作。