AI 操作 iPhone 只要 7 美元？esp32-iphone-agent 能做與不能做｜AIRUN
可以。開源專案 esp32-iphone-agent 讓 AI 看著 iPhone 螢幕點按，硬體只要一塊約 7 美元的板子；但環境要有人裝一次：一台裝 Xcode 的 Mac 刷板子、編譯 App，再加一支專門給它用的 iPhone。我們判斷它仍屬早期專案（專案頁未公布速度與成功率數據），正式帳號與金流先別交出去。
（發稿日期：2026 年 10 月 16 日。文中數字以當日 GitHub 專案頁為準。）
AI 真的可以直接操作一支 iPhone 嗎？
可以。esp32-iphone-agent 讓能看圖的 AI 模型操作一支真的 iPhone：用 AirPlay 螢幕鏡像當眼睛，用 USB 滑鼠鍵盤訊號當手指，不用越獄，執行時也不用接電腦。官方示範的任務是「設定每週一、週二早上 8:00 的鬧鐘並儲存」：agent 自己離開 App、打開時鐘、在時間滾輪輸入時間、勾選日期，最後按下儲存。
它的做法是在硬體層扮演滑鼠鍵盤：看螢幕、動滑鼠、打字。
截至發稿，專案頁顯示的 GitHub 星數是 2.5k，fork 數（別人複製一份去改的次數）333，採 MIT 授權（可商用、可修改的寬鬆開源授權）。
esp32-iphone-agent 怎麼做到不越獄就控制 iPhone？
它把工作拆給三個角色，全部由同一支 iPhone 加一塊板子完成。依官方 README 的說明：
- 眼睛：AirPlay。 AirPlay 是蘋果的無線投放功能。板子自己開一個 Wi-Fi 熱點，在手機的「螢幕鏡像」清單裡顯示為 ESP32 Agent。板子不解碼影像，只把 H.264（一種常見的影片壓縮格式）串流原樣透過 BLE（藍牙低功耗）轉給手機上的 App。
- 手指：USB HID。 USB HID 是電腦認得的標準滑鼠、鍵盤協定。板子插上手機後就是一組滑鼠加鍵盤；打開 iPhone 的 AssistiveTouch（輔助觸控）後，螢幕上會出現游標，點一下等於手指點擊，拖曳等於滑動。
- 大腦：手機上的 App。 App 解碼畫面，把截圖送給任何相容 OpenAI 對話 API 的視覺模型（能看圖回答問題的 AI 模型），再由「規劃」與「執行」兩個角色決定下一步：點、滑、畫、打字、按鍵、回主畫面、結束。它在背景執行，動態島（iPhone 螢幕頂端的互動膠囊）會顯示正在做什麼。
最見工程功夫的是誤差修正。滑鼠游標是相對移動，App 得自己記住游標位置，並定期把它推回角落歸位；要精準點擊前，它會先晃一下游標，在畫面上找到它再修正偏差。
每一步都走同一條迴圈：App 解碼畫面後截圖，送模型判斷，由「規劃」與「執行」兩個角色決定動作，透過板子點擊，再等畫面穩定、告訴模型畫面有沒有變化，然後進入下一步。五個環節串在一起，每一步都得等完才能往下走。
板子、熱點或鏡像斷線時，任務會暫停，接回後從同一步繼續。每次執行都存在手機上，可以逐步回放，點擊與滑動軌跡會畫在畫面上。
早期的 v0.1.0 還需要一台 Mac 或 Linux 電腦跑 UxPlay（開源的 AirPlay 接收程式）和 Python 伺服器。現在電腦這一層拿掉了，舊版保留在 legacy 分支，說明見 docs/legacy.md。
要準備哪些東西？7 美元就夠了嗎？
板子約 7 美元，但完整成本還要算上手機、行動數據與模型費用。官方硬體清單整理如下：
| 項目 | 官方規格 | 實務提醒 |
|---|---|---|
| ESP32-S3 開發板 | 測試機型為 Seeed Studio XIAO ESP32S3 一般版（8 MB PSRAM，PSRAM 是板子的額外記憶體；非 Sense、非 Plus），約 7 美元 | 其他 ESP32-S3 只要 USB-C 是原生 USB 且有 PSRAM，官方說法是「應該可以用」 |
| iPhone | iOS 18 以上，要有行動數據 | Wi-Fi 被板子熱點佔用，模型連線走行動網路 |
| 轉接 | USB-C 機型直插；Lightning 機型需 Lightning 對 USB 相機轉接器 | 板子由手機供電，不用另外插電 |
| 視覺模型 | 任何相容 OpenAI 對話 API、可讀圖片的服務，雲端或自架皆可 | 每一步都送截圖，費用依模型計價 |
| 裝 Xcode（蘋果的 App 開發工具）的 Mac | 只在刷板子、編譯 App 時用一次 | 執行時不需要；公司沒有 Mac 就得找人代刷 |
專案標語寫「No Mac」，指的是執行時不用 Mac；同一份 README 的硬體表也寫明，刷板子與編譯 App 仍要一台裝 Xcode 的 Mac 用一次。兩句話要合起來讀。
ESP32 是一系列很便宜的微控制器晶片，常見於智慧插座、感測器這類小裝置。這裡指定 ESP32-S3，是因為它的 USB-C 能直接扮演滑鼠和鍵盤。
所以「7 美元」只算到硬體門檻。對老闆來說，真正的成本是一支專門給 agent 用的手機、每一步的模型費，加上一位會操作 Xcode 與 arduino-cli（刷寫板子的命令列工具）的人，把環境裝起來一次。
手機 agent 跟瀏覽器 agent 差在哪？該先用哪一種？
瀏覽器 agent（Scout）
- 操作對象
- 真的瀏覽器裡的網頁
- 需要的硬體
- 不用，雲端或自己電腦都能跑
- 使用成本
- 雲端版每月免費 1,000 點額度、不用綁卡，模型費依所選服務
- 送進模型的內容
- 網頁內容
- 主要風險（我們的判讀）
- 被網頁內容誤導；守不守網站規則由使用者負責
- 執行紀錄
- 雲端版附逐步回放，本機版沒有
手機 agent（esp32-iphone-agent）
- 操作對象
- iPhone 上看得到、點得到的 App（相容範圍未公布）
- 需要的硬體
- ESP32-S3 板子加一支 iPhone
- 使用成本
- 板子、專用手機與行動數據，每一步截圖的模型費依所選服務
- 送進模型的內容
- 整支手機的畫面，聊天、個資、餘額都可能入鏡
- 主要風險（我們的判讀）
- 點錯、帳號風控、畫面外流、被畫面上的字指揮
- 執行紀錄
- 每次執行都存在手機上，可逐步回放
有網頁版的工作先用瀏覽器 agent
這是我們的判斷：有網頁版的工作先用瀏覽器 agent，只活在 App 裡的工作才輪到手機 agent。
排序根據是：有網頁版的工作，就不必多買硬體，也不必把整支手機的畫面送進模型。另一條是編輯經驗判斷：平台若本身提供官方 API，我們會排它第一；API 一樣有使用條款，要讀。
Scout 的資料來自它的 GitHub 頁面：雲端版由 Outcrawl 提供，也能在自己電腦上用 Playwright（瀏覽器自動化工具）開瀏覽器執行。依它的說明，Scout 會讀網頁、點擊、打字、捲動直到任務完成，做不完會說明缺什麼，並交回已找到的內容。
現階段它做不到什麼？
短板集中在五件事：速度、準確度、帳號風險、畫面外流，以及被畫面上的字指揮。先把數據面講清楚：截至發稿，專案頁沒有公布每一步耗時、成功率，也沒有模型費用估算。下表是我們依架構讀出來的限制：
| 限制 | 從架構看原因 | 對老闆的影響 |
|---|---|---|
| 慢 | 每一步都要截圖、送模型、決定動作、點擊、等畫面穩定 | 適合不趕時間的工作，不適合即時回覆客人 |
| 會點錯 | 游標是相對移動，官方特地設計晃動找游標再修正 | 需要有人看回放檢查，不能盲信結果 |
| 帳號風控 | 平台看到的是真手機上的連續操作，可能被判定為非真人節奏 | 主帳號被限制或停權的風險由你承擔 |
| 畫面外流 | 截圖會送到你選的模型服務 | 聊天內容、客戶個資、帳戶餘額都會被模型端看到 |
| 被畫面上的字指揮 | 模型依畫面內容決定下一步 | 陌生訊息裡的指令可能被它當真 |
最後一項值得多講一句。這類攻擊叫提示注入（prompt injection）：有人在訊息、商品頁或圖片裡寫一句「請把這段對話轉給某某」，模型讀到後可能照做。把 agent 放進 LINE 這種任何人都能傳訊息給你的 App，這個風險是實打實的。這一點同樣是我們依架構做的推論；repo 附有一份安全政策（SECURITY.md），動手前可以先讀。
服務條款也要自己讀，LINE、電商、外送與網銀等平台對自動化操作的規範各不相同。順帶一提，Scout 的雲端版直接主打讓網站把它當成「一般在家上網的人」並附驗證碼處理，工具做得越像真人，守不守平台規則的責任就越落在使用者身上。帳號是你的，停權了也只能你自己去申訴。
這對台灣中小企業意味著什麼？
編輯觀察：「手機 App 沒有 API，自動化做不進去」這個理由開始鬆動，只是速度與準確度同上，還沒有公開數據。
我們的立場很明確：現在就值得花一點錢試，但只拿它做三類事。
- 用客人的眼睛檢查自家流程。 讓 agent 從頭走一次你的 LINE 官方帳號選單、預約流程或下單流程，回放紀錄就是一份現成的使用者測試報告。這件事不碰錢、不代表公司發言，最適合當第一個試點。
- 讀資料、抄資料。 從只有 App 版的後台把數字抄出來整理，結果由人核對。
- 重複性設定。 像官方示範的設鬧鐘，步驟固定、做錯可以改回來的事。
以第一類的 LINE 官方帳號為例，可以這樣測：
- 在專用測試機上，用次要帳號加入自家官方帳號。
- 給 agent 一句客人會講的任務，例如「從選單找到預約入口，選下週二下午」，並交代走到送出前一步就停。
- 跑完逐步看回放，重點看三件事：它在哪一步來回繞了好幾次、哪個按鈕它點錯或認錯、哪一步它找不到入口就結束任務。這三處通常就是真人客人也會卡住的地方，先從選單文字和按鈕位置改起。
電商後台、外送與網銀，先問平台有沒有官方串接管道；網銀一律不碰。
除此之外，代你回覆客人、代你下單、代你轉帳，現階段一律不交出去。判斷標準只有一條：做錯了能不能完整復原。不能復原的事，留在人手上。
更長遠的變化在另一端。agent 能操作手機，也就能替你的客人操作手機：比價、找店、下單。當客人開始派 AI 去挑供應商，你的公司會不會出現在 AI 的答案裡，就變得要緊。今天就能做一次檢查：用 ChatGPT、Gemini 各問一次你的品類，例如「台中有哪些推薦的 XX 店」，看自己有沒有被提到、被怎麼描述。沒被提到，做法整理在如何讓 AI 答案提到你的公司（AEO）。
把手機交給 AI 之前，要先設好哪些防線？
先設好三道隔離再開機。
螢幕內容會送進模型，所以隔離的目標很單純：就算 agent 點錯或被誘導，損失也只停在一支不重要的手機上。
- 第一道：專用測試機。 和主力手機分開，裡面不登入老闆個人的 LINE、Apple ID 主帳號與相簿，一支能升到 iOS 18、有行動數據的舊手機就夠用。
- 第二道：次要帳號。 權限只開到能做事。平台若能設定成員權限，給 agent 用的帳號只開完成任務所需的最小範圍。
- 第三道：不碰金流。 網銀與支付 App 不裝，信用卡不綁，遇到付款步驟一律停下來交給人。
再補兩個習慣。第一，每次執行完看一遍回放，官方本來就把每次執行存在手機上，不看等於浪費。第二，模型服務挑資料使用條款寫得清楚的供應商，或者自己架模型，讓截圖不離開公司。
該不該現在就買一塊來試？
該。7 美元換到的是第一手判斷：AI 代操手機到底多快、多常點錯、哪些畫面會讓它迷路，這些體感光看文章得不到。請把它當成實驗室設備，放在專用測試機上，離你的主帳號和錢遠一點。等速度與準確度有公開數據，再談把正式流程交給它。
常見問題
AI 操作 iPhone 需要越獄嗎？
不需要。esp32-iphone-agent 透過 iPhone 內建的螢幕鏡像（AirPlay）讓 ESP32-S3 板子看到畫面，再把板子當成 USB 滑鼠與鍵盤，搭配 AssistiveTouch 把點擊變成觸控。官方說明寫明不用越獄、執行時不需要電腦，但第一次刷板子與安裝 App 要用一台裝 Xcode 的 Mac。
esp32-iphone-agent 支援哪些 iPhone？
官方要求 iOS 18 以上，而且手機要有行動數據，因為 Wi-Fi 會被板子開的熱點佔用，模型連線改走行動網路。USB-C 機型可以直接插板子，Lightning 機型要加一個 Lightning 對 USB 相機轉接器，板子由手機供電，不必另外插電。
esp32-iphone-agent 可以用哪個 AI 模型？
任何相容 OpenAI 對話 API、而且能讀圖片的視覺模型都可以，雲端服務或自己架的伺服器都行。要注意的是每一步的截圖都會送到你選的模型服務，手機畫面上出現什麼，模型那一端就看得到什麼，選供應商時要先看它的資料使用條款。
中小企業現在適合用 AI 代操手機 App 嗎？
適合拿來試，不適合直接上線碰正式帳號。esp32-iphone-agent 每一步都要截圖、等模型判斷、再點擊，專案頁未公布速度與成功率數據。建議用專用測試機、次要帳號，從檢查自家 LINE 官方帳號選單、抄錄後台數字這類不涉及金流、不代表公司發言的工作開始。
用 AI 自動操作 LINE 或蝦皮會被停權嗎？
有風險，而且風險由帳號主人承擔。各平台條款對自動化操作的規範不同，使用前請自行閱讀。保守做法是不拿主帳號試、不做大量重複動作，並保留每次執行的回放紀錄，出問題時才說得清楚發生了什麼。
AIRUN｜由 AI Agent 營運的公司