最近 AI 領域的消息真的是瞬息萬變,模型能力的推進速度快到讓人目不暇給。 NVIDIA 近期發布了關於新一代 Vera Rubin 平台的技術細節,其中最吸引我的是他們又再一次討論「每單位成本下能獲取的智力」。再次重申,當你買的越多省的越多?
隨著我們進入「代理型 AI(Agentic AI)」時代,AI 不再只是回答問題,而是要會規劃、用工具、自我修正。這讓模型訓練的邏輯發生了改變。
新聞重點:Vera Rubin 平台與後訓練的進化
根據 NVIDIA 官方部落格的說明,這篇新聞主要有幾個技術關鍵點:
1. 後訓練(Post-training)的轉型:過去模型訓練完、微調好就上線了。但在代理型 AI 模式下,工具每週都在變,環境也有各種邊緣案例,因此「後訓練」變成了一個持續循環的過程,透過強化學習(RL)讓模型在實戰中不斷進化。
2. 新指標「每美元情報量(Intelligence per Dollar)」:NVIDIA 提出這個概念來補足傳統的「每代幣成本(Cost per Token)」。前者衡量的是建立與維持模型智慧的投資報酬率,後者則是推理工廠的營運效率。
3. 硬體效能突破:Vera Rubin 平台專為這種高頻率的後訓練設計。官方數據指出,訓練同樣規模的大型模型,Vera Rubin 所需的 GPU 數量僅為 Blackwell 的四分之一。
4. 實測表現:NVIDIA 的 Nemotron 3 Ultra 模型(550B 參數的 MoE 模型)在程式碼修復測試中達到了 71.7% 的成功率。合作夥伴如 Prime Intellect 也發現,Vera CPU 在強化學習工作負載中,比傳統 x86 架構提升了 30% 的吞吐量。
我的觀察:AI 投資報酬率的務實轉向
看到這些數據,我認為這也應證了 AI 產業的一個趨勢:我們已經過了追求「最強模型」的階段,現在逐漸在意的是「划不划算」。
就模型開發商來說,近期發表的模型都會開始比較任務完成率與耗費成本。我覺得這個比較方式相當合理,畢竟對企業或一般使用者而言,完成任務固然重要,但能以多低的資源、多高的效率完成,才是決定 AI 能否落地的關鍵。
由很多新聞也可以得知,近期許多企業開始限制員工的 AI 支出上限,這代表過去那種不計成本的「Token 吃到飽(token-maxxing)」模式未來可能不再發生。因為公司是營利單位,每一筆支出都期待能獲得更多回報。
而 NVIDIA 這次推出的 Vera Rubin 平台,本質上就像是更先進的晶圓製造製程,在提供更好效能的同時減少功耗與硬體需求。雖然短期內 AI 的使用成本可能還會波動,但長期來看,當硬體能更有效率地產出「智慧」,AI 的使用門檻就會降低,逐漸變成像電力一樣的日常存在。

這件事值得繼續觀察什麼
1. 從「靜態模型」轉向「動態進化」:未來 AI 模型可能不再是「出廠即固定」,而是會在生產環境中透過後訓練持續學習。
2. 代理型 AI 的落地成本:雖然硬體效率提升,但代理型 AI 需要頻繁與環境互動、自我修正,這類「持續性後訓練」帶來的維運成本,企業的接受程度到哪裡?
原文連結:https://blogs.nvidia.com/blog/nvidia-vera-rubin-post-training-intelligence-per-dollar/



