重點摘要
Google 這次發布的 DiffusionGemma 是一個擁有 260 億參數（26B）的混合專家模型（MoE）。最核心的突破在於將影像生成常見的「擴散技術」（Diffusion）應用到了文字生成上。
傳統的大語言模型（LLM）生成文字時像「打字機」，必須由左至右、一個字接一個字地產出（自迴歸機制）。而 DiffusionGemma 則像「印刷機」，它採用雙向注意力機制，每次可以同時生成並修正一整塊文字（約 256 個 Token）。
根據官方數據，這種方式在專用 GPU 上能將生成速度提升高達 4 倍。例如在 NVIDIA H100 上每秒可產出超過 1000 個 Token，而在消費級的 RTX 5090 上也能達到 700+ Token。雖然它總參數有 26B，但因為是 MoE 架構，推理時只會活化 3.8B 參數，量化後僅需 18GB 顯存，這對高階電腦玩家來說門檻並不算太高。
不過，這項技術也有其代價。官方明確表示，為了換取極致的速度，DiffusionGemma 的輸出品質會低於標準的 Gemma 4 模型。此外，它在雲端高併發環境下的優勢會遞減，主要發揮場景是在本地端或低延遲需求的任務中。
觀察：不只快，也要在本地端更快
目前前段班的模型商中，Google應該最著重可適用於本地端模型，因為其事業體涵蓋較廣，對安卓系統的長期耕耘的經驗、雲端模型的供應限制、個人、企業隱私的需求，認知到本地端進行模型的推論勢在必行。
目前本地端跑模型最大的瓶頸往往不在算力，而在於硬體（如記憶體頻寬）跟不上模型讀取的速度。DiffusionGemma 的「印刷機」模式，是一個很聰明的解法。它減少了頻繁讀取參數的次數，把壓力轉交給 GPU 去做區塊運算，讓速度有了質的飛躍。
雖然 Google 的前沿模型在目前看起來稍微落後競爭對手，但他們在應用端的佈局卻很廣。透過釋出這類開放模型，Google 似乎想利用其廣大的開發者生態系，讓這套技術框架成為主流。只要用的人夠多，技術核心就會被鞏固。
這件事值得繼續觀察什麼
1. 速度與品質的平衡點：開發者在什麼樣的場景（例如程式碼補全、即時編輯輔助）會願意犧牲一部分的準確度，來換取 4 倍的速度？
2. 硬體廠商的連動：Google 與 NVIDIA 針對 NVFP4 等底層技術的合作，是否會讓未來的消費級顯卡更針對「擴散式文字生成」做優化？硬體商會不會也跟Google有更深的技術合作。
3. 非線性任務的表現：這種一次生成一整塊文字的特性，在處理程式碼、數學圖表或生物資訊（如胺基酸序列）時，是否會展現出比傳統模型更強的邏輯一致性？
現在 AI 技術迭代的速度真的很快，每天都有新的突破。雖然未來會如何發展還是問號，但能像這樣持續追蹤並參與其中，是一件很有趣的事，明確感覺自己也參與整個AI發展史中。
原文連結：https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/
