Google DeepMind 宣布將「電腦操作」(Computer Use)功能正式列為 Gemini 3.5 Flash 的內建工具。這類讓 AI 直接操作螢幕、點擊按鈕的代理程式(Agents)功能,前一陣子有接觸的經驗,也是讓AI進入工作流程,實際進入工作環境的一個功能。
而且我認為很重要的一點是 Google 提到 Gemini 3.5 Flash 這次的更新功能API層面也支援了手機端,代表行動裝置可能也準備進入 AI 時代的下個轉捩點。
新聞重點
根據 Google 發布的資訊,這項功能過去僅以獨立的 Gemini 2.5 模型形式提供,現在則原生整合進 Gemini 3.5 Flash 主模型中。
這項更新的核心在於「跨平台」的互動能力。開發者現在可以建立能同時在瀏覽器、行動裝置與桌面環境中觀察、推理並執行動作的代理程式。Google 特別強調這項功能針對「長程任務」(long-horizon tasks)與企業自動化進行了優化,例如持續性的軟體測試,或是跨專業應用程式的知識工作。
在安全性方面,Google 採取了對抗性訓練來應對提示詞注入風險,並提供兩項企業級的防護機制:
1. 敏感動作確認: 針對不可逆的動作,系統會要求使用者明確確認。
2. 自動停止機制: 若偵測到間接提示詞注入,系統會自動終止任務。
目前開發者已可透過 Gemini API 和 Gemini Enterprise Agent Platform 開始使用,並能透過 Browserbase 提供的環境進行測試。
讀後感:以往使用經驗感受普通,但期待目前的體驗
看到這則新聞,我直覺想到的是之前測試類似工具的經驗。大約一、兩個月前,我曾嘗試使用過 Browser Use 相關工具,讓 AI 操作我的瀏覽器頁面。
當時我主要是透過 Codex 來擷取資訊並執行點選任務,但老實說,體驗並不是很流暢。首先是連線穩定度問題,常常跟瀏覽器介面斷連;其次是效率極低,AI 為了確認一個簡單的點選動作,會頻繁地截圖再確認,這對流量(Token)來說是非常大的損耗,看著流量快速減少卻沒做完多少事,感覺上性價比及實用性就還有待加強。後來也試過其他的 Computer Use 功能,雖然速度快一點,但在 Windows 系統上依然容易出現連不上的問題( macOS不曉得體驗如何 )。
因此,這次 Gemini 3.5 Flash 選擇將功能原生內建,我認為這是一個值得期待的轉變。如果能從模型底層就優化對螢幕資訊的理解與動作回傳,或許能改善我之前遇到的那種低效循環。
題外話是上述的測試都是在 Codex 的使用環境,這部分一直有一個小問題,除了連線,明明 CPU 跟記憶體的用量還沒有到高峰,在代理任務進行的時候就會有點卡頓的感覺,相關的討論也在幾個windows系統的使用者回饋中有提到。在此基礎上使用 Antigravity 進行任務時完全沒有發生這個問題,會讓我想像 Computer Use 這個功能在兩個應用程式上會不會也有差異,有點好奇,之後再找時間測看看,如果有發現什麼新的心得再進行分享。
行動裝置端的部分也是挺讓人期待使用體驗,看來為了因應 Apple 接下來的更新,Google也是有所準備,把這項工具設定成模型上的原生功能,我認為是蠻漂亮的一手,文章提到安卓端有優化,後續如果 Iphone 上使用體驗也不錯那就真的是漂亮的一手,期待後續的實際使用體驗。
這件事值得繼續觀察什麼

1. 推論效率與流量損耗: 原生整合後的 Gemini 3.5 Flash,在執行電腦操作時是否能減少不必要的截圖與重複確認,進而降低開發者的成本?
2. 跨平台的穩定性: 尤其是 Windows 環境下的流暢度。既然官方強調了桌面環境,是否能解決目前市面上工具常見的卡頓或連線問題?
3. 低延遲的需求: Google 選擇在強調速度與效率的 Flash 模型上推出此功能,可能暗示了電腦操作這類任務對於「即時反應」的要求遠高於「複雜推理」?
4. 安全機制的實用性: 官方提到的「可選式」防護系統在實際企業場景中,是否能在不干擾自動化效率的前提下,有效攔截惡意指令。
原文連結:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/



