返回博客

Gemini 可代您操作 Mac:跨 App 工作、權限與入門重點

英文標題 Gemini on Mac 和 Computer Use,旁邊的銀色手提電腦顯示游標選中表單欄位。

一份 PDF 放在電腦裏,資料卻要填進另一個 App 或網站。AI 即使讀懂文件,您仍可能要逐欄複製、切換視窗、重新輸入。Google 在 2026 年 11 月 19 日公布的 Gemini Mac 版 Computer Use(電腦操作),正是要接手這段重複工作。

您描述想完成的任務後,Gemini 可以在本機檔案、桌面應用程式和網站之間點擊、輸入文字、開啟選單及填寫表單。它在獨立的背景視窗工作,對話中會顯示即時預覽,讓您跟進進度。

要判斷這項功能是否幫得上忙,最直接的方法是選一件小工作,先說清楚需要甚麼成果,再看操作和內容是否可靠。

它與一般 AI 對話有甚麼分別?

Google 示範的用途包括:從本機 PDF 擷取重量、尺寸和地址,填寫寄運報價表單;把即時數據看板的指標和截圖整理成 Google Slides 簡報;批次為相片調色;根據資料夾裏的衣物相片準備轉售平台的上架資料。

以報價表單為例,讀取 PDF 和填入正確欄位是兩個步驟。一般對話可以先幫您整理資料,電腦操作則讓 AI 繼續處理應用程式中的動作。這次是 Mac 版 Gemini 的功能更新,不是新模型發布,也不等同於分享視窗讓 AI 看內容。

背景工作,您仍可掌握操作

Google 表示,Gemini 使用隔離的背景視窗,主畫面和游標仍可供您工作;您可以透過對話中的即時預覽查看它正在做甚麼。

您可選擇允許存取的應用程式、隨時暫停,並在關鍵操作前批准。第一次使用,不妨只開放必要的 App,選用不含敏感資料的文件副本,要求先準備草稿,暫不提交或發送。

這樣既能了解 AI 如何銜接各個步驟,也能在擴大授權前,先確認它是否理解您的要求。

開始前要確認哪些條件?

Google 公告列明,這項功能需要 Apple Silicon Mac、macOS Sequoia 15.0 或以上、年滿 18 歲的個人 Google 帳戶,以及 Google AI Plus、Pro 或 Ultra 訂閱。功能逐步推出,安裝 Mac 版 App 並不代表帳戶已具備電腦操作資格;若打算專為此訂閱,請先查看 App 顯示的最新資格和開放資訊。

Google 的 Mac 說明頁介紹了安裝及更新方法。已安裝的用戶可透過 Gemini → Check for Updates 檢查更新。啟用電腦操作及授權時,應以 App 當前的提示為準;一般對話或視窗分享權限,不能直接當作操作其他 App 的權限。

把「幫我整理資料」改成一項完整工作

假設您要向項目負責人匯報進度,資料包括項目計劃、最近的會議紀錄和幾頁指定公開資料。與其請 AI 整理整個資料夾,不如明確要求一頁項目進度簡報,說明里程碑、阻滯和待決定事項。

您可以這樣交代:

使用我授權的項目計劃、會議紀錄及指定公開網頁,為項目負責人起草一頁進度簡報。列出里程碑、阻滯及三個需要決定的問題,並註明每項來源。保留原有檔案。如需登入、提交表單、刪除檔案或對外發送,先停下等候我確認。

先用這份簡報試一項範圍有限的工作,並請 Gemini 列明目前 App 未能完成的步驟。您便能分清哪些已處理好、哪些需要自己接手。

檢查簡報時,先核對日期是否最新、阻滯是否有紀錄支持,以及討論中的建議有沒有被寫成已落實的決定。如不同資料有衝突,讓 AI 列明差異,比直接選一個答案更有用。

用 MuseWork 延續這項工作

進度簡報通常不是整理完便結束:您可能還要補充證據、改寫重點,或調整給管理層看的版本。MuseWork 讓您把獲准使用的材料、任務要求、對話和成果放在同一工作區,逐步完善內容。桌面端可在您授權的範圍內處理本機檔案及瀏覽器工作。

上載相關材料已足夠時,可以先用網頁版;需要本機檔案或電腦上的瀏覽器操作,再選擇桌面端,並在工作依賴本機資源期間保持客戶端運行。這是 MuseWork 自身的工作流程,與 Gemini 的電腦操作功能各自獨立。

在 MuseWork 準備項目進度簡報。登入後複製上述要求,再加入您的材料。 需要處理本機檔案或瀏覽器工作時,可以下載 MuseWork 桌面端。

參考資料

FAQ

分享視窗後,Gemini 就能操作 App 嗎?

分享視窗是提供畫面資訊;電腦操作涉及點擊、輸入和選單等動作,需要相應功能及授權,兩者不能混為一談。

下載 Mac 版 App 就包含免費電腦操作嗎?

Google 公告為電腦操作列出了 AI Plus、Pro 和 Ultra 訂閱。下載 App 與取得這項功能的資格不同,請確認帳戶當前條件。

Intel Mac 支援這項功能嗎?

公告列出的條件是 Apple Silicon Mac,以及 macOS Sequoia 15.0 或以上。

哪些內容最值得覆核?

核對來源、日期、計算及擬執行動作的對象。項目簡報尤其要分清已確認的決定與仍在討論的建議。

下載 MuseWork

用手機查看進度、回覆問題;回到電腦前,MuseWork 亦可在您授權的範圍內使用瀏覽器和本機檔案繼續處理工作。

macOSWindowsLinux
MuseWork 桌面版工作區預覽