OpenAI 撤回數學論文：三篇成果收回，選 AI 工具還能信廠商成績嗎？
廠商公布的成績可以參考，但要有公開紀錄可查，採購前也要用自家資料自己驗。
OpenAI 研究員 Dan Roberts 在 2026 年 10 月 8 日於 X 公布，OpenAI 的 GitHub 數學專案這次更新撤回了三篇數學稿件。先講清楚：撤回本身不證明任何廠商的成績造假，也不代表 OpenAI 公布過的基準測試分數有問題。我們借這件事，談老闆採購 AI 工具時該養成的查證習慣。
OpenAI 撤回的三篇數學成果是什麼？
OpenAI 在 GitHub 數學專案的紀錄檔 history.md 裡，把三篇稿件列為撤回。從題目看，其中一篇與 Hodge 猜想（數學界的知名難題）相關。
OpenAI 研究員 Dan Roberts 在 X 上的貼文說，這次更新包含 6 項新的 Lean 形式化、19 項修改、3 項撤回，之後會繼續補上新的形式化，發現勘誤也會更新。
他也說，專案裡約 42% 的主要成果已經完成形式化。「主要成果」的原文是 top-line results。
這則貼文底下的討論串裡，X 用戶 Smoke-away 貼出了 history.md 的內容，撤回的三篇是：
- Algebraicity of Weil classes on split abelian eightfolds
- Algebraicity of Kuga–Satake Correspondences for K3 Surfaces
- The rational Hodge conjecture for products of K3 surfaces
| 更新項目 | 數量 | 白話意思 |
|---|---|---|
| 新增 Lean 形式化 | 6 項 | 又有 6 項成果改寫成電腦可以逐步檢查的證明 |
| 修改 | 19 項 | 既有內容有 19 項調整 |
| 撤回 | 3 項 | 3 篇稿件正式撤回 |
Dan Roberts 的貼文沒有交代每篇稿件具體錯在哪裡。Smoke-away 引的那段以「As a result」（因此）開頭，代表 history.md 在這句之前另有說明；本文未取得 history.md 全文，撤回原因請以原文為準。這些稿件裡 AI 和研究人員各負責哪一段，貼文也沒有說明。下面的分析只建立在已公開的事實上。
Lean 形式化是什麼？跟這次撤回有關嗎？
Lean 是一種「證明助理」軟體。以下定義是本文補充的背景說明，來源貼文沒有解釋：一般來說，它用來把數學證明寫成電腦可以檢查的形式，每一步都要通過檢查才算數。白話說，就是讓電腦逐步核對數學證明。
照這個設計，證明形式化之後，別人也能重跑一次檢查，不必只靠作者的權威。
跟這次撤回有沒有關係，目前看不出來。Dan Roberts 的貼文沒有說這三篇是被 Lean 檢查抓出問題的，所以我們不做這個推論。能看到的是：「新增形式化」和「撤回」放在同一次更新裡，成果改寫成外人查得了的形式，撤回也公開列在紀錄上。
討論串裡網友 Anderson 說「proofs are shipping like software now」，意思是證明現在像軟體一樣一版一版出貨、一版一版修。
公開撤回，對 OpenAI 是加分還是扣分？
能確定的只有加分的部分：OpenAI 把撤回寫進公開的 GitHub 紀錄，外界查得到哪幾篇被收回。這讓外界有東西可以查。
扣分與否，目前資訊不足以判斷。討論串裡網友 Bicycle 質疑：「Respectfully why did you not check these before releasing them?」（為什麼公布前沒先檢查？）這是網友提出的問題，並非已證實的事實。本文未取得 history.md 全文，撤回原因請以原文為準；是否為公布前查核不足，我們無法判斷。
反過來推也成立：一家廠商沒有任何撤回紀錄，不代表它沒出過錯。可能只是沒人仔細查，也可能查到了卻沒公開。讀者要把「零撤回」當成一個需要追問的現象，不要直接當成品質證明。
AI 基準測試的分數，可以直接拿來比較嗎？
先別急著比。分數背後有統計假設，最近一篇 arXiv（論文預印本網站）論文就重算了 METR 的指標，發現換一種算法，同樣是「進步十倍」，難度可以差很多。AI 基準測試是一組固定的標準考題，廠商常拿它的分數來宣傳模型能力；分數怎麼換算成「能力」，中間有假設，假設一變，結論就跟著變。
OpenAI 的撤回講的是數學稿件，下面這篇論文講的是統計方法，兩者都不涉及廠商灌水。放在一起談，是因為它們指向同一個習慣：數字要追問怎麼來的。
2026 年 10 月 8 日，Drew T. Nguyen 與 William Fithian 在 arXiv 發表論文，重新檢視研究機構 METR 的「50% 時間範圍」指標。這個指標只針對軟體任務，意思是：AI 有五成機率完成的軟體任務，換成人類來做需要多久。
兩位作者用 228 個任務、26 個 AI 模型重算。原本的算法假設，任務對 AI 的難度跟人類耗時的對數呈線性關係。作者改用樣條（spline，一種彈性曲線）擬合出「人類耗時→AI 難度」的換算曲線，它在 2 到 30 分鐘幾乎是平的，其他區段接近線性。結果是：從 3 分鐘進步到 30 分鐘，比從 30 分鐘進步到 5 小時容易得多，雖然兩者都是 10 倍。
換成老闆聽簡報的情境：廠商說「我們的模型能力一年成長十倍」，這句話可能沒有說謊，但十倍落在哪一段，意義完全不同。論文作者建議，時間範圍數字要搭配診斷圖（用來檢查指標算法站不站得住的統計圖表）一起看。老闆不必自己讀診斷圖，但可以借同一個精神：聽到漂亮數字，就要求廠商交代測試方法與版本。
這對台灣中小企業意味著什麼？
意思是你手上最可靠的評估工具是自己的資料。連 OpenAI 的研究團隊都公開收回過稿件；廠商簡報裡的「基準測試第一」，你更難自己查證。
下表把兩種做法放在一起比：
| 比較項 | 只看廠商簡報 | 用自家資料驗證 |
|---|---|---|
| 判斷依據 | 廠商挑過的考題與分數 | 你自己的訂單、客服紀錄、報表 |
| 錯誤何時被發現 | 多半在上線後、付錢後 | 簽約前 |
| 誰承擔錯誤成本 | 你，而且錢已經付出去了 | 簽約前驗證：發現問題時你還沒付錢，可以不簽或談條件 |
| 花費 | 聽一場簡報的時間 | 一到兩週試用，加上整理 30 到 50 筆自家案例的時間 |
| 看得到的問題 | 只有廠商挑出來給你看的成績 | 在你自己業務上的錯誤率與錯誤類型 |
| 兩者可並用的情況 | 適合初步篩選廠商、了解功能範圍 | 篩出兩三家之後，用同一批自家案例比出高下 |
很多中小企業沒有專職的 AI 評估人員，常在聽完一場簡報後就要拍板。這時候最有效的防線，是在簽約前要求試用，並準備一份自家的考題，例如過去三個月真實的客服問題、報價單、出貨異常紀錄。
採購 AI 工具前，怎麼用三步檢查廠商的成績？
下面這套檢查法，老闆在聽簡報的當下就能用，不需要技術背景。
- 查公開紀錄
- 看撤回紀錄
- 用自家資料驗證
再決定要不要簽約
採購前三步檢查，順序如下：
- 查公開紀錄：廠商宣稱的成績，有沒有原始資料、測試方法、版本紀錄可以查？只有一張投影片、沒有出處的數字，先打折。
- 看撤回紀錄：這家廠商過去有沒有公開更正過錯誤？一般 SaaS（雲端訂閱制軟體）或 AI 工具廠商多半沒有「撤回紀錄」這種東西，就改看它的更新日誌（changelog）、事故報告、服務狀態頁，並直接問對方：「上一次改掉錯誤的對外公告在哪裡？」拿得出來，代表它願意被檢查；拿不出來，先打折。
- 用自家資料驗證：拿 30 到 50 筆你自己的真實案例試跑，記下錯誤率和錯誤類型。
三步走完，再決定要不要簽約。
第三步最花時間，也最值得。基準測試回答的是「這個模型在標準考題上表現如何」，你要知道的是「它在我的業務上會錯多少、錯在哪裡」，這兩個問題只有你自己的資料回答得了。
AI 公司自報的成果，以後還能相信嗎？
能信，但只信三種：有公開紀錄可查的、錯了肯公開列出的、經得起你自家資料檢驗的。其他的數字一律當成行銷文案處理，聽聽就好，不拿來做決策。
OpenAI 這次把「新增形式化、修改、撤回」都列在公開紀錄上，也表示之後發現勘誤會繼續更新。我們希望更多廠商跟進，也希望老闆開始用這個標準要求廠商。
加分歸加分，它不能代替你自己查。肯讓你查的廠商才值得加一分信任，不肯讓你查的，簽約前先打折。
常見問題
OpenAI 撤回的是哪三篇數學稿件？
根據 X 用戶引述 OpenAI 數學專案 history.md 的內容，撤回的三篇是〈Algebraicity of Weil classes on split abelian eightfolds〉、〈Algebraicity of Kuga–Satake Correspondences for K3 Surfaces〉、〈The rational Hodge conjecture for products of K3 surfaces〉。每篇的具體撤回原因，請以 GitHub 上的 history.md 原文為準。
Lean 形式化是什麼？
Lean 是一種證明助理軟體，一般用來把數學證明逐行寫成電腦可以檢查的形式，每一步都要通過驗證才算數（這段定義是本文補充的背景說明，來源貼文沒有解釋）。OpenAI 研究員 Dan Roberts 表示，這個數學專案目前約 42% 的主要成果已經完成 Lean 形式化。
公開撤回代表 OpenAI 不可信嗎？
不代表。撤回是把稿件正式收回，並留下外界查得到的紀錄；本文未取得 history.md 全文，撤回原因請以原文為準，是否為公布前查核不足也無法判斷。留下公開紀錄，對可信度是正面訊號。採購時更該追問的，是完全沒有公開紀錄可查的廠商：沒有撤回紀錄，不代表沒出過錯，可能只是沒人查，或查到了沒公開。
廠商說「基準測試第一」，可以直接相信嗎？
只能當參考。基準測試是一組標準考題，跟你公司的業務資料不一樣。2026 年 10 月 8 日，Nguyen 與 Fithian 在論文預印本網站 arXiv 發表論文，重算研究機構 METR 的「50% 時間範圍」指標（只適用軟體任務），發現同樣是進步十倍，從 3 分鐘到 30 分鐘比從 30 分鐘到 5 小時容易得多。這篇論文談的是統計算法，不涉及廠商灌水，提醒的是漂亮數字背後都有假設。採購前要拿自家真實資料試跑，看實際錯誤率。
中小企業採購 AI 工具，最少該做哪些查證？
三步。第一，查公開紀錄：廠商宣稱的成績有沒有原始資料可以查。第二，看撤回紀錄：錯了有沒有公開更正；一般軟體廠商多半沒有撤回紀錄，就改看更新日誌（changelog）、事故報告或服務狀態頁。第三，用自家資料驗證：拿自己的訂單、客服紀錄或報表試跑一到兩週，看過錯誤率再決定要不要簽約。