antirez 開源 ds4：本機執行大型語言模型，中小企業可行嗎？
可行，但門檻在硬體：有標明容量的典型機型從 64 GB 記憶體起跳，而且只適合特定工作。
ds4（DwarfStar 4） 是一套開源的本機推論引擎，程式碼放在 GitHub 帳號 antirez 底下，讓你在自己的機器上跑大型語言模型。本文於 10 月 3 日發稿，內容只依據官方專案頁面載明的資訊，頁面沒寫的，一律標「官方未公布」。
ds4 是什麼？
ds4 是一套用 C 語言寫的本機推論引擎，讓你在自己的電腦上執行大型語言模型（ChatGPT、Claude 背後那類 AI 模型），不必把資料送到雲端。官方首頁的設計原則段落說它是「narrow on purpose」，刻意只支援少數幾個模型家族，每一種都從頭到尾驗證過。
推論指模型實際「回答問題」的運算過程，ds4 負責的就是這一段。
依官方支援模型清單，ds4 目前支援：
- DeepSeek V4 與 V4.1 Flash
- GLM 5.x
- Qwen3.8 Flash Next
- 文字與視覺輸入
專案採 MIT 開源授權。這些都是開放權重模型，模型檔案公開可下載、放在自己機器上跑。
ds4 怎麼讓大模型在本機跑得動、重啟不用重算？
官方說 DeepSeek V4 Flash 是一個 2,840 億參數的混合專家模型（MoE），這類模型內部分成許多「專家」，每次由路由機制挑中其中一部分來運算，通常放在遠端伺服器上服務。ds4 用兩個機制讓它放得進本機，再用第三個機制省掉重算。
放得進：非對稱 2-bit 量化。量化就是把模型裡的數字用更少的位元存，讓檔案變小。ds4 只壓縮被路由選中的專家層，共用的關鍵路徑保持精確。官方首頁的設計說明寫明，支援的版本就是靠這招放進目標機器。官方自己的描述是「Compressed, not lobotomized」（壓縮了，但沒切掉腦子），這是專案方的說法，品質究竟掉多少，官方未公布對照數據。
放不下時：從 SSD 串流讀取。依官方適配檢查，128 GB 的機器跑 V4.1 Q2，要從 SSD 串流讀取。串流讀取對速度的影響，官方未公布。
重啟不用重算：KV cache 存到 SSD。KV cache 是模型讀過一段提示詞後留下的中間運算結果。依官方 KV cache 說明，ds4 把長的提示詞開頭存到 SSD，用開頭內容的 SHA1 雜湊當索引；服務重啟後遇到相同開頭就直接讀回，不必整段重算。這一招省的是時間，跟模型能不能放進機器無關。
另外，ds4 只支援專案自己提供的 GGUF 模型檔（一種常見的本機模型檔格式），官方明說通用 GGUF 檔不是它的目標。
需要什麼硬體？一般辦公電腦跑得動嗎？
官方列的典型機型都是高記憶體機器，有標明容量的從 64 GB 起跳，一般辦公機不在其中；官方適配檢查器的記憶體選項則從 32 GB 列起。
先翻譯表格裡的幾個詞：Metal 是蘋果晶片的運算後端，CUDA 是 NVIDIA 顯卡的，ROCm 是 AMD 的；DGX Spark 是 NVIDIA 的 AI 運算主機，Strix Halo 是 AMD 的處理器平台，Framework Desktop 是採用它的桌機。
官方首頁的硬體需求區列出的典型支援機型如下：
| 平台 | 典型機型 | 記憶體 | 後端 |
|---|---|---|---|
| Apple Silicon | Mac | 64 GB 以上，依模型而定 | Metal |
| NVIDIA | DGX Spark 或一般 CUDA Linux 主機 | 官方未標容量 | CUDA |
| AMD | Strix Halo（如 Framework Desktop） | 官方未標容量 | ROCm |
| Apple 高階 | Mac Studio | 512 GB，對應 V4.1 Q4 | Metal |
官方的適配檢查寫到：128 GB 的機器，V4 Flash Q2 是基本盤，GLM 5.3 Q2 與 Qwen Q4 也放得下，V4.1 Q2 則要從 SSD 串流讀取。Windows 是否支援，官方頁面沒有提到，屬官方未公布。
本機跑起來有多快？
官方提供上游參考測速。prefill（預填）是模型「讀進」你給的內容的速度；generation（生成）是模型「寫出」回答的速度。單位 t/s 是每秒處理的 token 數，token 大約是模型切字的最小單位。
| 機器 | 上下文長度 | Prefill t/s | Generation t/s |
|---|---|---|---|
| M5 Max，128 GB | q2 · 2,048 tok | 790.2 | 39.4 |
| M5 Max，128 GB | q2 · 65,536 tok | 398.5 | 27.6 |
| DGX Spark，128 GB | q2 · 2,048 tok | 825.8 | 18.1 |
| DGX Spark，128 GB | q2 · 65,536 tok | 823.0 | 13.8 |
資料來源：官方 benchmark 表
兩個重點：同一台 Mac，內容從 2,048 拉長到 65,536 tok，讀取速度掉了將近一半；DGX Spark 讀得快、寫得慢，Mac 寫得較快。丟長合約問幾句，看 prefill；要它寫長文，看 generation。
ds4 可以接到現有的 AI 工具上嗎？
可以。ds4 有三種用法：./ds4 是互動式命令列聊天，./ds4-server 是本機 API 伺服器，./ds4-agent 是內建的程式碼代理。
官方 API 串接說明指出 ds4-server 支援 OpenAI 與 Anthropic 風格的 API（/v1/chat/completions、/v1/messages、/v1/responses），所以 Claude Code、Codex CLI、OpenCode 這類工具，只要把連線網址改成你自己的機器就能接上。實際相容程度要自己測。
本機模型跟雲端旗艦模型，各適合做什麼？
| 比較項 | 本機 ds4 | 雲端旗艦模型 |
|---|---|---|
| 資料去向 | 留在自己的機器 | 送到服務商伺服器 |
| 硬體門檻 | 高記憶體機器（Mac 典型機型 64 GB 起） | 一般電腦加網路即可 |
| 模型品質 | 2-bit 量化開放權重，與旗艦比較官方未公布 | 各家最新旗艦 |
| 維運人力 | 要有人會編譯、下載模型、排錯 | 幾乎不用 |
| 適合工作 | 合約摘要、內部文件問答、敏感資料初步整理 | 對外文案、複雜企劃、高難度推理 |
這對台灣中小企業意味著什麼？
我們的判斷很直接：ds4 讓「AI 不上雲」這條路在硬體上變得可走，品質是否夠用仍待自己驗證，目前只適合少數公司先走。
先盤點哪些資料算機密。以下是常見的清單範例，照自己公司增刪：
- 員工薪資、勞健保與個人資料
- 報價單、成本結構、合約條款
- 財務報表、銀行往來資料
- 未公開的產品規格、研發文件
- 供應商合作條件
該先試的情況（三項都符合）：
- 上面清單裡的資料，你們真的需要交給 AI 處理，而且不能離開公司。
- 公司已經有，或願意添購 64–128 GB 記憶體的 Apple Silicon Mac 或同級機器。價格官方頁面沒有提供，先向經銷商確認 64–128 GB 機型報價，再評估值不值得。
- 內部有一個人會用終端機、能照著指令編譯程式。
不必試的情況（符合任一項就先放著）：
- 只有一般辦公筆電，記憶體不到官方 Mac 典型機型的 64 GB。
- 主要需求是行銷文案、簡報、對外溝通，這些內容本來就要公開。
- 沒有人能維護，裝好後壞了沒人修。
第一步很小：挑一份不敏感的文件，在一台 Mac 上照官方安裝三步驟（下載模型、編譯、啟動）跑起來。驗收標準要具體：用同一份合約做摘要，比對本機與雲端模型各漏了幾個重點、有沒有寫錯條款。本機漏得明顯較多，就先別把敏感工作移過來。
還有一點：本機模型只解決「在哪裡算」，外洩也可能出在共用帳號、隨身碟、聊天軟體轉傳。買機器之前，先把上面那份機密清單列清楚，這件事零成本又更急。
結論：中小企業現在該把 AI 搬回自己電腦嗎？
大部分公司還不用，但處理敏感資料的公司可以現在就開一台機器試。ds4 採 MIT 開源、能用 OpenAI 與 Anthropic 風格的 API 接現有工具，讓本機執行大型語言模型多了一個選項；品質要用自己的文件驗過才算數。我們的立場是：雲端旗艦模型負責對外與高難度工作，本機模型負責不能外流的內部資料，兩條線分工，現在就可以開始規劃。
常見問題
ds4 是什麼？
ds4（DwarfStar 4）是放在 GitHub 帳號 antirez 底下的開源專案，用 C 寫成的本機推論引擎，採 MIT 授權。它支援 DeepSeek V4／V4.1 Flash、GLM 5.x 與 Qwen3.8 Flash Next，跑在高記憶體的 Mac、CUDA 或 ROCm 機器上。
用 ds4 在自己電腦跑模型，最低要什麼硬體？
官方沒有給各平台一致的最低規格。官方列出的典型機型是 Apple Silicon Mac（64 GB 以上，依模型而定）、NVIDIA DGX Spark 或一般 CUDA Linux 主機、AMD Strix Halo 等級的 ROCm 機器，其中 NVIDIA 與 AMD 官方未標記憶體容量；V4.1 Q4 則對應 Mac Studio 512 GB。官方適配檢查器的記憶體選項最低列到 32 GB，各容量能跑哪個模型以檢查器結果為準。一般辦公筆電不在官方列的典型機型之中。
本機跑的模型，資料真的不會上雲嗎？
模型權重下載到本機後，推論在自己的機器上完成，ds4-server 也是在本機開 API。前提是你沒有另外把內容送到其他雲端服務。資料不上雲靠的是整條流程的設計，工具本身只解決「模型在哪裡算」這一段。
ds4 能取代 ChatGPT 或 Claude 這類雲端旗艦模型嗎？
目前不建議當完整替代。ds4 跑的是經過 2-bit 量化的開放權重模型，官方沒有公布與雲端旗艦模型的品質比較，也沒有公布中文表現。需要最強推理、長篇企劃或對外文案時，雲端旗艦模型仍是較穩的選擇。
ds4 支援 Windows 嗎？
官方未公布。官方頁面列出的後端是 Metal（蘋果晶片）、CUDA（NVIDIA 顯卡）與 ROCm（AMD），建置範例中 Metal 標示 macOS、CUDA 的 DGX Spark 標示 Linux，ROCm 對應的作業系統沒有寫，Windows 也沒有提到。
ds4 要多少錢？
軟體本身可免費取得，採 MIT 開源授權。主要成本落在高記憶體硬體，以及架設、維護的人力；硬體價格官方頁面沒有提供。