本機跑大模型：1250 億參數 Qwen3.8 裝進一台遊戲電腦，中小企業該跟嗎？
結論：跑得動，值得試，但只適合草稿與內部問答；對外正式交付和長任務，仍交給雲端模型（如 Opus 5.5）。
開源專案 Strata 把 Qwen3.8-Flash-Next（1250 億參數）裝進一般遊戲電腦。硬體門檻要同時滿足三項：顯示卡要有 12GB 以上 VRAM（顯示卡上自帶的記憶體，也叫顯示記憶體），系統記憶體至少 32GB（64GB 可跑所有尺寸），硬碟要有約 80GB 可用空間。光有一張 12GB 顯卡並不夠。官方實測機是 RTX 5070（12GB）搭 64GB 記憶體，每秒可寫出 94 個 token。token 是模型處理文字的單位，README 說一個 token 約等於四分之三個英文單字。截至本文發稿（2026 年 10 月 5 日），這個專案在 GitHub 上有 1.13 萬顆星。
本文的事實只取自 Strata README 首頁，以及 claude.dev 部落格 2026 年 9 月 22 日刊出的 Opus 5.5 使用指南；README 連到的 DETAILS.md 完整表格、INSTALL.md 安裝文件與社群實測頁沒有納入，下文說「README 沒列」都指首頁。
一張遊戲顯卡真的跑得動 1250 億參數的大模型嗎？
跑得動。Strata 官方在兩台一般遊戲電腦上實測：NVIDIA RTX 5070（12GB VRAM）搭 64GB 記憶體，以及 AMD RX 9070 XT（16GB）搭 47GB 記憶體，兩台都能執行 Qwen3.8-Flash-Next。README 寫明這個模型會聊天、寫程式、看圖片。
「參數」可以白話理解成模型腦中的連結數量。README 寫著：這種模型「通常需要一台伺服器」，而 Strata 讓一般 PC 就能跑。
Strata 提供好幾種尺寸的版本（Q2_0、IQ2_XS 等，後面會講），讀者要搭配足夠的系統記憶體來選。README 特別強調：你的記憶體大小，決定能裝哪一種尺寸的模型。
Strata 在不同顯卡上每秒能跑多少 token？
官方在兩台機器上實測，最快的一筆是 RTX 5070 跑 Q2_0 版本，每秒寫出 94 個 token。24GB 的 RTX 3090，README 給的是估計值，每秒約 100–140 個，原文用的是 should，沒有寫成實測結果。
官方也補了一句參考：每秒 60 個 token 就已經快過人的閱讀速度。
下表整理自 Strata README 首頁的官方實測（短對話寫作速度、32K token 長文讀取速度）：
| 顯示卡 | 版本 | 寫出答案（token/秒） | 讀取輸入（token/秒） |
|---|---|---|---|
| RTX 5070（12GB） | Q2_0 | 94 | 2,650 |
| RTX 5070（12GB） | IQ2_XS | 79 | 2,090 |
| RTX 5070（12GB） | IQ3_XXS | 62 | 1,750 |
| RTX 5070（12GB） | IQ3_S | 53 | 1,620 |
| RTX 5070（12GB） | Coder | 55 | 2,180 |
| RX 9070 XT（16GB） | Q2_0 | 60 | 1,160 |
| RX 9070 XT（16GB） | IQ2_XS | 52 | 1,110 |
| RX 9070 XT（16GB） | Coder | 44 | 1,420 |
註：NVIDIA 那台的 Q2_0 用引擎 0.1.36 測，其他列用 0.1.26（測試條件為 4K 答案、32K 輸入）。Coder 是另一個版本，它和其他尺寸差在哪，README 沒有說明。
表上有兩件事值得老闆注意。第一，「讀取輸入」那欄比「寫出答案」更貼近企業場景：把一份約 3.2 萬 token 的合約或產品手冊丟進 RTX 5070，約 12–20 秒讀完，視版本而定。最快的 2,650 是 Q2_0 那列，用的是較新的 0.1.36 引擎；同一張卡的 IQ3_S 是 1,620，要 20 秒左右。第二，RTX 4090 在官方支援清單內（RTX 20 到 50 系列都支援），但 README 表格沒列 4090 的實測。README 寫 VRAM 越大越快，並連到各模型速度與社群實測頁面；手上有 4090 的讀者可以先去那裡找，或直接在自己的機器上測。
量化是什麼？壓得越小會不會變笨？
README 沒有說明 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 這些尺寸是怎麼做出來的。一般業界做法是量化，也就是把模型裡的數字用更少的位元來儲存，像把高解析照片壓成小檔：檔案變小、跑得變快，細節可能有損失。Strata 的各尺寸是不是這樣做、各用幾個位元，README 都沒有寫。
不同尺寸，速度也不同。同一張 RTX 5070，Q2_0 每秒 94 個 token，IQ3_S 每秒 53 個。不過 Q2_0 這列用了較新的引擎，不能直接當成尺寸與速度的取捨來讀。只看同一版引擎的三列，IQ2_XS 每秒 79、IQ3_XXS 62、IQ3_S 53，名稱數字越大，速度越慢。
品質差異，README 表格沒有列出各尺寸的品質或準確度比較，也沒有和雲端模型對照。 不同尺寸品質差多少、差在哪裡，從這份資料看不出來，所以「本機版能取代雲端」這件事，目前手上沒有數據可以支撐。拿它做「人會再看一遍」的工作，品質損失可以靠人工把關吸收；拿它直接對外交付，風險太高。
公司要準備什麼硬體才裝得起來？
一台中高階遊戲電腦就夠。依 Strata README 首頁，門檻如下：
| 項目 | 最低需求 | 建議 |
|---|---|---|
| 顯示卡 | 12GB 以上 VRAM（NVIDIA RTX 20–50 系列，或列名的 AMD Radeon） | VRAM 越大越快 |
| 系統記憶體 | 32GB | 64GB 可跑所有尺寸 |
| 硬碟 | 約 80GB 可用空間 | 用 SSD，第一次啟動快很多 |
| 作業系統 | Windows 10／11 或 Linux | 顯示卡驅動更新到最新版 |
安裝流程對非工程師相當友善。Windows 雙擊 START-HERE.bat，Linux 執行 ./setup.sh，安裝程式會自己判斷是 NVIDIA 還是 AMD 卡。也可以把 README 提供的一句話貼給 Claude Code、Cursor 這類 AI 程式助理，讓它照 AI_SETUP.md 檢查硬體、挑選適合的模型尺寸並裝好。
README 也寫明，兩到三張顯示卡可以一起分擔同一個模型（multi-GPU，也就是多卡並用）。另外有一批由社群成員在自己機器上寫好、測過的實驗性支援，對象是較舊的顯示卡、Intel Arc（需在 Linux 上自行編譯），以及沒有 AVX2 的舊處理器。AVX2 是處理器的一組加速運算指令，較舊的 CPU 沒有；README 說這類機器能跑，但慢。
延伸閱讀：README 把完整硬體清單放在 INSTALL.md，本文沒有引用其內容。
README 列出的是官方需求，整台電腦要花多少錢，來源沒有提供。顯示卡和記憶體價格浮動大，請以採購當下報價為準。
哪些工作適合放本機，哪些還該用雲端模型？
分工原則：資料敏感、量大、人會再審一次的工作放本機；要一次做對、對外交付，或需要長時間自主推進的任務，交給雲端模型。
Strata 會在本機提供相容 OpenAI 與 Anthropic 格式的 API。API 白話說就是軟體之間對話的窗口，其他程式透過它把問題丟給模型、拿回答案。理論上，公司現有接 OpenAI 或 Anthropic 的 AI 工具，把連線位址改到這台電腦就能用；實際相容程度要自己測。README 說資料不會離開這台電腦，這是專案自述，本文沒有獨立驗證；要放客戶資料之前，請先自行檢查這台電腦的網路連線行為。
| 工作類型 | 建議放哪裡 | 理由 |
|---|---|---|
| 客服回覆草稿 | 本機 | 含客戶個資，且客服送出前會再看一次 |
| 內部文件問答（手冊、SOP、合約條文） | 本機 | 讀取速度快，文件不必上傳到外部 |
| 報價單、訂單資料整理 | 本機 | 含價格與交易細節，屬於敏感的營業資料 |
| 對外正式文案、提案書定稿 | 雲端模型 | 品質要穩，README 沒有本機各尺寸的品質對照 |
| 跨多步驟、數小時的長任務 | 雲端模型 | Opus 5.5 指南說它比前代 Opus 進步最大的是多步驟工作 |
雲端模型強在哪，可以看 claude.dev 部落格 2026 年 9 月 22 日刊出、Addy Osmani 署名的 Opus 5.5 使用指南：和前代 Opus 相比，它進步最大的是多步驟工作，早期測試者讓它在少量監督下連續跑了好幾個小時的程式任務。像這種「交辦一件大事、讓它自己推進到完成」的工作，本文所引資料沒有顯示本機版做得到。
這對台灣中小企業意味著什麼？
我們的判斷是：「用 AI 就得把資料送出公司」這個前提開始鬆動了。擔心客戶資料外流、遲遲不碰 AI 的老闆，現在多了一個選項：用一台遊戲電腦，在公司內跑 1250 億參數的模型。具體做法是：含客戶個資的客服信件、報價單先在本機處理，產出草稿或摘要，再決定哪些內容去掉個資後才送雲端模型加工。
分三種公司給建議：
- 現在就該裝來試的：公司裡已有 12GB 以上顯示卡、32GB 以上記憶體的電腦，處理大量客戶個資或報價資料，而且 AI 的用途是草稿與內部查詢。
- 先觀望的：沒有人能負責維護那台機器。本機模型要更新、會當機、驅動會出問題，沒人顧就會變成閒置設備。這種情況，雲端訂閱反而省事。
- 不該用本機取代雲端的：主要用途是對外正式交付，或需要 AI 長時間自主完成複雜任務。本機版的品質還沒有公開對照，拿客戶信任去賭不划算。
放本機也不等於合規。客戶個資存在公司電腦裡，公司仍須遵循個資法的保管義務，細節請向法務或律師確認；帳號權限、存取控管與備份都要自己負責，軟體不會替你扛。
成本這樣看：本機的花費集中在一次性硬體與後續維護人力；雲端是按用量持續付費。兩者哪個便宜，取決於你的用量與人力，沒有一個數字適用所有公司，網路上任何「一定省多少」的說法都該打折看。
手上有敏感資料的中小企業，建議走雙軌：敏感、重複、量大的工作放本機，關鍵交付留給雲端模型。第一步不用大：先挑一個含客戶個資的流程，例如客服回覆草稿，用本機模型跑兩週，記下每封草稿省了多少時間、要改幾處。數字出來，再決定要擴大到內部文件問答，還是退回雲端。
常見問題
RTX 4090 跑 Strata 每秒能出多少 token？
截至 2026 年 10 月 5 日，Strata README 首頁表格沒有列出 RTX 4090 的實測數字。首頁的實測機型是 RTX 5070（12GB），Q2_0 版本每秒寫出 94 個 token；README 另外估計 24GB 的 RTX 3090 每秒約 100–140 個 token。RTX 4090 在支援清單內，README 也連到各模型速度與社群實測頁面可以查，最後仍以自家機器實測為準。
本機跑大模型，客戶資料真的不會外流嗎？
依 Strata README 的說法，模型在你自己的電腦上執行，資料不會離開這台電腦，並在本機提供相容 OpenAI 與 Anthropic 格式的 API。這是專案自述，本文沒有獨立驗證，上線前請自行檢查這台電腦的網路連線行為。電腦本身的帳號權限、存取控管、網路設定與備份，也要公司自己負責。
要跑 1250 億參數的 Qwen3.8-Flash-Next，最低需要什麼硬體？
依 Strata README：顯示卡需 12GB 以上 VRAM（顯示卡上自帶的記憶體；NVIDIA RTX 20 到 50 系列，或列名的 AMD Radeon 型號），系統記憶體 32GB 以上，64GB 可跑所有尺寸，硬碟約需 80GB 可用空間且建議用 SSD，作業系統為 Windows 10／11 或 Linux。
本機開源大模型可以完全取代雲端 API 嗎？
現階段不建議完全取代。本機跑的是 Q2_0、IQ3_S 這類尺寸版本，README 沒說明它們怎麼製作，業界一般做法是量化壓縮，可能犧牲部分品質；README 首頁也沒有列出品質比較，沒有和雲端模型對照。比較務實的做法是分工：客服草稿、內部文件問答、報價資料整理放本機；對外交付的正式內容、長時間多步驟的複雜任務，繼續用 Opus 5.5 這類雲端模型。
不懂技術的老闆，自己裝得起來嗎？
安裝步驟對非工程師算友善。Windows 使用者雙擊 START-HERE.bat，Linux 執行 setup.sh，安裝程式會自動判斷顯示卡並設定。也可以把 README 提供的一句指令貼給 Claude Code 等 AI 助理，讓它檢查硬體、挑選合適的模型版本並完成安裝。真正的門檻在之後的維護，要有人負責更新與排除故障。