本週你不可不知的 AI：AI 模型成績可信度，只信公開可查、能重跑的那種
本週的判斷：看 AI 模型成績可不可信，先問兩件事：誰說的，能不能重跑。廠商自報的分數只當參考。換模型前，用自家 20 筆真實資料驗一輪。
發稿日期 2026 年 10 月 11 日，本篇串起 10 月 2 日到 10 月 8 日的五件事，各事件日期在文中標明。事實只取自原始來源與我們的單篇整理，來源沒講的寫「官方未公布」。
新 AI 模型說分數贏過 GPT，中小企業老闆該怎麼判斷能不能信？
先打個折再看。廠商自報的基準測試（benchmark，一套固定考題，用來替模型打分數、互相比較）分數，考題與評分方式外人通常看不到。判斷時先看兩件事：誰說的、能不能重跑，再把模型放到你家的任務上跑一輪，做法見後面的三步驗證。連原始出處都找不到的分數，當行銷文案讀就好。
設想一個場景：業務拿著一張「贏過 GPT」的發表會截圖來提案，說換過去能省錢又更準。這時先問三句：這個分數出自哪份官方公告或報告？有沒有廠商以外的團隊重測過？在我們自己的客服信、訂單備註上跑過嗎？三句都答不出來，這份提案就先放著。本週五件事剛好落在這兩把尺的不同位置：Red Hat 對照 Jev（10 月 2 日）、Mistral Large 4 預覽（10 月 6 日）、Claude Haiku 5.5 發布與 DeepSeek 4.1 Flash 心得文（10 月 7 日）、OpenAI 撤回數學稿件（10 月 8 日公布），下一節的表逐件放上去量。
怎麼分辨 AI 成績的可信度高低？
用兩把尺量：誰說的、能不能重跑。這是我們自訂的判斷框架，不屬於任何機構的標準。「誰說的」由低到高是一人心得、廠商自述、第三方對照；「能不能重跑」看有沒有公開的考題、方法或紀錄，讓外人照著再做一次。下表把本週五件事放上這兩把尺。
| 事件（日期） | 發生了什麼 | 誰說的 | 能不能重跑 | 對中小企業的意思 |
|---|---|---|---|---|
| DeepSeek 4.1 Flash 心得文（原文 10 月 7 日） | 一位開發者用了約一個月，說分不出它和 Opus | 單一重度使用者 | 原文查得到；心得本身沒辦法重跑 | 證明有人用得滿意，不證明你的任務也行 |
| Mistral Large 4 預覽（10 月 6 日） | 1 兆參數，資安測試自報 82% | 廠商官方 | 目前沒有外部複測；預覽 API 已開放，可以自己測 | 值得試，現在不該搬 |
| Claude Haiku 5.5（10 月 7 日） | 平均執行成本比 Haiku 4.5 少約 75%，OSWorld 從 15.7% 升到 72.4% | 廠商官方 | 本文來源只有官方數字 | 先跑自家考卷再決定 |
| Red Hat 對照 Jev（10 月 2 日） | 拿 Jev 去跟傳統分類器、LLM 評審對照；依我們單篇的標題結論，Jev 打不贏 LLM 評審，也打不贏傳統分類器 | 第三方（Red Hat 開發者部落格） | 評測設計公開；本文只讀到評測設計，逐項數字未取得 | 多了一個外人設計的考場；廠商主打的快、便宜、不用訓練仍是廠商自己的說法 |
| OpenAI 撤回數學稿件（10 月 8 日公布） | Dan Roberts 貼文列出 3 項撤回、19 項修改、6 項新的 Lean 形式化 | 廠商自己（研究員貼文與 GitHub 紀錄） | 數字出自 Dan Roberts 貼文，history.md 列出三篇撤回稿件的題目；修改項是否公開列出，來源未說明；Lean 形式化理論上可重跑檢查 | 示範錯誤可以被公開收回，不替任何分數背書 |
我們的讀法：兩把尺要分開看。OpenAI 那一列，說話的是廠商自己，在「誰說的」這把尺上只排中間，它的強項是撤回的三篇稿件題目公開列在 history.md，外人查得到。Red Hat 那一列在「誰說的」排最高，但我們只讀到評測設計，表上的結論取自我們單篇的標題，逐項指標沒有取得；廠商主打的快和便宜也還沒人驗。新模型上市得愈密，各家說的話就愈像，人人都說自己贏；真正拉得開差距的，只剩這兩把尺。
廠商自報的成績，缺的是什麼？
缺的是讓外人重跑的機會。自報分數可以參考，弱點在於只有一個出處。本週的 Mistral Large 4、Claude Haiku 5.5 和 DeepSeek 4.1 Flash 都是這樣：兩個是官方自述，一個是一人心得，本文引用的來源裡都還沒有獨立的第三方數字可以對照。
依 Mistral 官方公告，Large 4 有 1 兆參數，每次運算只啟用 490 億參數；參數可以白話理解成模型腦中的連結數量。開放權重的意思是模型訓練完的參數檔（也就是權重）會公開讓人下載，企業可以拿回自己的機器跑。官方說權重預計本月底釋出，授權條款能不能商用，官方目前尚未公布。預覽 API 則已經開放，API 是程式直接呼叫模型、按用量計費的介面，等於現在就能拿自家資料去測。
在我們取得的公告文字中，明確提到 GPT-6 Astra 的是這一項資安測試：重現開源軟體的真實漏洞並修補。Large 4 官方自報 82%，官方稱這是所有模型中最高；GPT-6 Astra 和 Claude Opus 5.5 接近零分。官方也說它大幅勝過在美國或歐洲開發的開放權重模型。以上都是官方說法，目前沒有外部複測。
台灣老闆最該注意的是語言。官方說訓練資料涵蓋 160 多種語言，但繁體中文的表現，官方未公布專項數字。我們的單篇〈Mistral Large 4 是什麼？台灣中小企業該換嗎〉結論也一樣：值得試，現在不該換，先拿預覽 API 跑自家真實文件。
Claude Haiku 5.5 是另一個官方自報的例子。依 Anthropic 發布頁，它的平均執行成本比 Haiku 4.5 少約 75%；在 OSWorld 2.1 離線子集測試（考模型能不能自己操作電腦），分數從 Haiku 4.5 的 15.7% 升到 72.4%。這兩個數字都出自官方。我們的單篇〈Claude Haiku 5.5 值得換嗎？〉認為客服回覆、分類、摘要這類大量重複的工作值得換，長推理和高風險決策先別降級。
DeepSeek 4.1 Flash 則是另一種單一出處。原文作者在 10 月 7 日發表心得：他連續用了約一個月、橫跨十幾個專案，說工作時不看模型名稱，就分不出它和 Anthropic 的旗艦模型 Opus，價格卻便宜好幾個數量級。這篇文章後來在工程師聚集的科技討論站 Hacker News 衝到單日 1086 熱度。作者自己也承認這是主觀體驗。細節見〈DeepSeek 4.1 Flash 便宜又夠用？〉。
第三方對照和公開紀錄，各補上了什麼？
第三方對照補上「誰說的」，公開紀錄補上「能不能重跑」。前者讓廠商的說法多一組參照，後者讓錯誤和修正都看得見。本週 Red Hat 和 OpenAI 各示範了一種：一個是外人設考場對照，一個是把撤回攤開給外人查。
Red Hat 開發者部落格在 10 月 2 日發表評測，拿 TypeSafe AI 的決策模型 Jev（只回答「選哪個、打幾分、是或否」，不生成整段文字）去跟傳統分類器、LLM 評審對照。傳統分類器是只負責把文字歸類的程式，要先拿標註好的資料訓練；LLM 評審則是讓 ChatGPT、Claude 這類大型語言模型（LLM）當裁判。考場選在 AI 護欄，也就是擋在 AI 系統前後、負責攔下有風險內容的檢查關卡。TypeSafe 主打的更快、更便宜、不用訓練，仍是廠商自己的說法。我們單篇的標題結論寫的是 Jev 打不贏 LLM 評審，也打不贏傳統分類器。第三方對照的價值在於考場由外人設計、方法公開，廠商的說法多了一組參照。
Red Hat 的作者群對 Jev 夠不夠「新」也有保留。他們認為這類模型早在 2019 年就以 zero-shot 文字分類器的名字存在，例如 Meta 的 BART-large-mnli。zero-shot（零樣本）的意思是不必先拿標註好的資料訓練，遇到新題目直接能答。我們的整理在〈AI 決策模型 Jev 值得導入嗎？〉。
OpenAI 這邊，研究員 Dan Roberts 在 10 月 8 日於 X 公布，GitHub 數學專案這次更新撤回了三篇數學稿件，同時新增了 Lean 形式化。Lean 是一種證明助理軟體，能把數學證明寫成電腦可以逐步檢查的形式。照 Lean 的設計，證明形式化之後，別人理論上也能重跑一次檢查；這三篇撤回跟 Lean 檢查有沒有關係，目前看不出來。外人現在能直接查證的，是紀錄檔 history.md 列出的三篇撤回稿件題目；19 項修改是否公開列出，來源未說明。這次撤回的對象是數學稿件，跟模型的基準分數性質不同。放進成績可信度這個主題，它示範的是錯誤可以被公開收回，並不替 OpenAI 任何分數背書。
Dan Roberts 在貼文中說，專案裡約 42% 的主要成果已經完成形式化，也就是改寫成電腦可以逐步檢查的證明。同一則貼文列出這次更新有 3 項撤回、19 項修改、6 項新的 Lean 形式化；這組數字出自貼文，history.md 列出的是三篇撤回稿件的題目，19 項修改是否公開列出，來源未說明。貼文沒有交代撤回原因，本文不做推論；撤回本身也不能證明 OpenAI 其他公布過的成績有問題。單篇見〈OpenAI 撤回數學論文〉。
換模型前，怎麼用自家 20 筆資料做三步驗證？
新模型一律從第一關起算。前兩關只要搜尋和閱讀，第三關最貼近你的實際狀況。三關都過才進正式流程；第一關沒過的，不列入評估；第一、三關過了、只差第三方複測的，可以在量大、重複、非關鍵的工作上小流量試用，也就是只切一小部分工作給新模型，出錯救得回來，隨時能退回原模型。
本週的 Mistral Large 4 就適合這樣做：權重還沒釋出，預覽 API 已開放，現在可以先拿不含客戶機密的 20 筆資料跑一輪，看繁體中文的表現。
- 查公開紀錄：分數出自官方公告、技術報告，還是社群轉貼？有沒有寫清楚考題名稱、測試日期、比較對象？只有一張發表會截圖的，不算數。
- 找第三方複測：搜尋模型名稱加「benchmark」或「評測」，看有沒有廠商以外的團隊用同一套考題重測。
- 跑自家 20 筆：從真實工作裡挑 20 筆，例如客服信、訂單備註、商品描述，舊模型和新模型各跑一次。負責的同事在不知道哪份出自哪個模型的情況下（盲評，避免先入為主），每筆標「可用」或「不可用」。
| 驗證步驟 | 要看什麼 | 過關標準 | 沒過怎麼辦 |
|---|---|---|---|
| 查公開紀錄 | 原始出處、考題名稱、測試日期 | 找得到原文（官方公告、技術報告或作者原文） | 當作傳聞，不列入評估 |
| 找第三方複測 | 廠商以外團隊的公開對照 | 至少一份獨立評測 | 不進正式流程；第三關過了，可小流量試用 |
| 跑自家 20 筆 | 每筆可用／不可用，看正確率、格式、繁中用語 | 新模型可用筆數不低於舊模型，且沒有任何一筆嚴重錯誤 | 留在原模型，下一季再測 |
嚴重錯誤由你事先定義、寫下來再評分，例如報錯價格、回錯客戶。20 筆只夠抓出明顯翻車，算不上統計證明；兩個模型可用筆數差距小，就加量再比。這份考卷記得存下來，下次新模型上市就直接重跑。
三關都過之後，還要算轉換成本：改提示詞、改串接、重教同事。省下的錢大於轉換的工夫，才值得動。
這對台灣中小企業意味著什麼？
意味著換不換模型，該由你自己的資料決定，不必跟著發表會走。我們的立場很明確：沒有外部複測、沒用自家資料跑過的模型，不進正式流程，也不碰關鍵任務。驗證的代價是一份 20 筆的考卷，換錯模型的代價是整條流程重來。
三個可以直接照做的判斷：
- 現在用得順的流程，不因為新分數而換。 等第三方複測出來，再拿自家考卷重跑。
- 便宜的新模型，先切一小部分流量。 分類、摘要這類工作，同一份考卷過關後，先把一小部分流量切過去；關鍵任務繼續交給旗艦模型。DeepSeek 4.1 Flash、Claude Haiku 5.5 都適合這樣試。
- 涉及客戶資料或要自架的，等條款公布再說。 Mistral Large 4 的權重和授權條款都還沒出來，自架評估現在做不了；預覽 API 可以先拿不含客戶機密的資料測繁中表現。
把這 20 筆考卷當成公司資產保存。模型每一季都在換，考卷不必換。哪天客戶問你「你們用的 AI 準不準」，你拿得出自己的測試紀錄，這比任何廠商分數都有說服力。
另有一則旁證：依媒體報導，Meta 與微軟正設法降低員工使用 Claude 的比例，兩家官方未公布正式數據，在「誰說的」這把尺上只算媒體轉述。我們的單篇〈Meta 微軟減少使用 Claude：只押一家 AI 模型的風險〉建議把模型當可替換零件，手上那份自家考卷就是換模型時的依據。
下週該盯什麼？
盯三件事，都跟「能不能被外人重跑」有關。
- Mistral Large 4 的權重與授權條款：官方預計 10 月底釋出權重；官方未公布是否有外部複測計畫。授權條款能不能商用，也要等官方公布。
- OpenAI 數學專案的後續更新：Dan Roberts 說會繼續補上形式化，發現勘誤也會更新。看撤回原因會不會補上說明。
- Jev 與 DeepSeek 4.1 Flash 的獨立評測：Jev 已經有 Red Hat 的對照，看廠商主打的快和便宜有沒有其他團隊驗證；DeepSeek 4.1 Flash 目前只有一人心得，等第一份公開的第三方數字。
分數聽聽就好，考卷自己出。
常見問題
新 AI 模型說分數���過 GPT，可以直接相信嗎？
不建議直接相信。廠商自報的分數，考題與評分方式外人通常看不到，也很難照著重跑。先查有沒有公開紀錄、有沒有第三方複測，再用自家真實資料跑一輪。以 2026 年 10 月 6 日預覽的 Mistral Large 4 為例，它在資安測試拿到的 82% 是官方自報，目前沒有外部複測；它的預覽 API 已開放，可以先拿自家資料測。
什麼是第三方複測？為什麼比廠商分數可信？
第三方複測是由廠商以外的團隊，用公開的考題或方法把模型重新測一次。它比較可信，因為考場由外人設計、方法攤開給人檢查，廠商的說法多了一組參照。例如 2026 年 10 月 2 日，Red Hat 開發者部落格拿決策模型 Jev 去跟傳統分類器、LLM 評審對照；Jev 主打的快、便宜、不用訓練，仍是廠商自己的說法。
中小企業沒有工程師，要怎麼自己測 AI 模型？
挑 20 筆真實工作資料就能開始，例如客服信、訂單備註、商品描述。舊模型和新模型各跑一次，再請負責的同事在不知道哪份出自哪個模型的情況下，每筆標「可用」或「不可用」。新模型可用筆數不低於舊模型，而且沒有任何一筆嚴重錯誤，才算過關。20 筆只夠抓出明顯翻車，差距小就加量再比。過關又有第三方複測，才進正式流程；還沒有第三方複測的，只切一小部分非關鍵工作試用。這份考卷要存下來，下次有新模型就直接重跑。
OpenAI 撤回三篇數學成果，代表它的分數都不能信嗎？
不代表。撤回本身不能證明 OpenAI 其他公布過的成績有問題，研究員 Dan Roberts 的貼文也沒有交代撤回原因；這次撤回的對象是數學稿件，跟模型分數性質不同。它的意義在示範錯誤可以被公開收回，並不替任何分數背書。3 項撤回、19 項修改、6 項新的 Lean 形式化這組數字出自 Dan Roberts 的貼文；GitHub 紀錄檔 history.md 列出三篇撤回稿件的題目，19 項修改是否公開列出，來源未說明。
只有一位重度使用者說好用的模型，值得換嗎？
可以小流量試用，不要全換。DeepSeek 4.1 Flash 的好評來自一位開發者約一個月的使用心得，作者自己也承認這是主觀體驗。它的原文查得到，但心得本身沒辦法重跑，也還沒有第三方複測。先拿量大、重複、非關鍵的工作跑自家 20 筆，過了再切一小部分流量；關鍵任務繼續交給旗艦模型。