輝達攜手雲端巨頭！多節點架構效能倍增、成本減半一次看
[Newtalk新聞] 當今最複雜的 AI 模型，像是大規模混合專家（MoE）模型，要達到業界領先的效能，必須將推論任務分散到多台伺服器（節點）上，這樣才能同時服務數百萬使用者，並確保回應速度迅速。
NVIDIA 的 Dynamo 軟體平台將這種強大的多節點處理能力帶入實際生產環境，使企業能夠在現有的雲端基礎設施上，實現基準測試中所顯示的卓越效能和高效運行。
以下是輝達發布最新動向，探討多節點推論如何提升效能，以及各大雲端平台如何實際運用這項技術來達到最佳效果。
善用解構式推論 最佳化效能
對於能完整放在單一 GPU 或單一伺服器上的 AI 模型，開發者通常會在多個節點上平行運行許多相同模型的複本，以提供高輸送量。Signal65 首席分析師 Russ Fellows 在近期一篇技術報告中指出，這種作法搭配 72 顆 NVIDIA Blackwell Ultra GPU，首次創下每秒 110 萬個詞元 (token) 的聚合輸送量紀錄。
而當 AI 模型需要擴充，以即時服務大量同時上線的使用者，或是需要處理輸入序列極長的高負載工作時，採用稱為解構式服務（disaggregated serving）的技術，便能進一步釋放效能並提升效率。
AI 模型在提供服務時，大致可分為兩個階段：處理輸入提示的預填（prefill）階段，以及產生輸出結果的解碼（decode）階段。傳統上，這兩個階段都在同一組 GPU 上執行，容易降低資源使用效率。
解構式服務的做法，是將這些工作智慧地分配到分別最佳化的 GPU 上。如此，每一部分工作都能套用最合適的最佳化技術，極大化整體效能。對於當今大規模的 AI 推理與混合專家模型（如 DeepSeek-R1），解構式服務便是其中的關鍵技術。
NVIDIA Dynamo讓解構式服務等功能，能輕鬆擴展至 GPU 叢集層級，導入實際生產環境。這項能力已經開始創造實際價值。
以 Baseten 為例，該公司透過 NVIDIA Dynamo，將長脈絡程式碼生成的推論服務速度提升 2 倍，輸送量提高至 1.6 倍，且完全不需要額外的硬體成本。這類由軟體驅動的效能提升，讓 AI 服務供應商可以大幅降低生產智慧的成本。
在雲端擴展解構式推論
就像當年協助大規模 AI 訓練一樣，Kubernetes 做為容器化應用管理的業界標準，也同樣非常適合用來將解構式服務擴展到數十、甚至數百個節點，滿足企業級 AI 佈署需求。
隨著 NVIDIA Dynamo 現已整合進所有主要雲端供應商的託管式 Kubernetes 服務中，客戶可以在包括 GB200 與 GB300 NVL72等 NVIDIA Blackwell 系統上擴展多節點推論，同時滿足企業 AI 佈署對效能、彈性與可靠性的嚴格要求。
Amazon Web Services 現正透過 NVIDIA Dynamo，並結合 Amazon EKS，為客戶加速生成式 AI 推論。
Google Cloud 在其 AI Hypercomputer 上提供 Dynamo 配方（recipe），以在企業規模下最佳化大型語言模型（LLM）推論。
Microsoft Azure 透過 Azure Kubernetes Service，搭配 NVIDIA Dynamo 與 ND GB200-v6 GPU，實現多節點大型語言模型推論。
Oracle Cloud Infrastructure（OCI）結合 OCI Superclusters 與 NVIDIA Dynamo，提供多節點大型語言模型推論能力。推動大規模多節點推論的腳步，已不僅止於超大規模雲端服務業者。
例如 Nebius 正在設計其雲端平台，目標是大規模提供推論工作負載服務，並以 NVIDIA 加速運算基礎設施為基礎，以生態系夥伴角色使用NVIDIA Dynamo 協作。
在 Kubernetes 上結合 NVIDIA Grove 與 NVIDIA Dynamo，簡化推論流程。解構式 AI 推論需要協調多個專門元件的運作，包括預填（prefill）、解碼（decode）、路由（routing）等，而且每個元件都有不同需求。Kubernetes 現在面臨的挑戰，不再只是啟動更多平行的模型複本，而是如何巧妙地將這些不同的元件整合成一個運作順暢、效能卓越的系統。
NVIDIA Grove 是一套現已整合進 NVIDIA Dynamo 的應用程式介面，可讓使用者以單一、高層級的規格描述整個推論系統。
例如，在一份規格中，使用者只需要清楚宣告需求：「我需要 3 個用於預填階段的 GPU 節點，以及 6 個用於解碼階段的 GPU 節點，而且同一個模型複本所需的所有節點，都必須部署在同一個高速互連網路上，以獲得最快速的回應。」
在取得這份規格後，Grove 會自動處理所有繁複的協調作業：在維持正確比例與相依性的前提下，擴展相關元件，依正確順序啟動，並在叢集中策略性配置，確保溝通快速且高效。想了解如何開始使用 NVIDIA Grove，可參閱相關技術深度解析。
隨著 AI 推論日益走向分散式架構，Kubernetes 結合 NVIDIA Dynamo 與 NVIDIA Grove，將大幅簡化開發者建置與擴展智慧型應用程式的方式。
更多Newtalk新聞報導
12月降息機率驟降！ 美股道瓊暴跌近800點、台積電ADR下殺近3％
營收破百億、EPS 22.8 元！新代科技搶先布局AI有成
其他人也在看
美國食品價格貴桑桑！ 川普政府撤回食品產品關稅滅火｜#鏡新聞
美國食品價格飆漲，逐漸變成民眾「買不起」的樣子，引發眾怒。川普總統如今在面對美國民眾，對貴桑桑的食品價格、越來越不滿的壓力下，撤回了數十項食品產品的關稅，包含牛肉、番茄和香蕉等日常主食。 加入頻道會員支持鏡新聞🩷： https://www.youtube.com/channel/UC4LjkybVKXCDlneVXlKAbmw/join 鏡電視綜合台YouTube👉http://pse.is/59enw2 鏡電視直播台YouTube👉https://pse.is/4w3gts
鏡新聞 ・ 21 小時前美瑞貿易協議敲定！瑞士投資2000億美元 美關稅39％大幅降至15％
[Newtalk新聞] 美國總統川普（Donald Trump）對全球實施對等關稅，多國持續與美國談判。美國與瑞士在經歷3個多月的貿易緊張後，雙方14日宣布已實質上達成協議。根據白宮在14日發表的聲明，華府計畫將原本對瑞士祭出的39%關稅稅率大幅降為15%，瑞士則除了調降美國貨品的關稅之外，還承諾要對美投資至少2000億美元。 綜合有線電視新聞網（CNN）、美國財經新聞網站CNBC及彭博報導，美國貿易代表葛里爾（Jamieson Greer）在與瑞士方面會面之後，白宮與瑞士政府14日發表聲明，其中美國表示對瑞士貨物的關稅稅率將從39%降至15%，瑞士則承諾向美國投資至少2000億美元（約6.11兆元新台幣）並調降「一系列美國產品的關稅」。 白宮發表的聲明也提到，瑞士的2000億美元投資當中，至少有670億美元將在2026年完成，且所有的投資額度將於2028年達成，美國對於瑞士藥品、半導體所祭出的關稅也不會高於15%。葛里爾受訪時透露，瑞士將會把包括製藥、黃金冶煉以及鐵路設備在內的製造業轉移到美國，瑞士也承諾購買更多波音（Boeing）飛機。 美國商務部數據顯示，美國2024年對瑞士存在
新頭殼 ・ 21 小時前
美國與瑞士敲定貿易協議 關稅從39%降至15%
美國與瑞士於14日共同宣布敲定一項貿易框架協議。美方將把目前對瑞士輸美商品高達39%的關稅，降至15%的上限作為交換，至於瑞士則承諾，將在2028年底前投入至少2000億美元於美國市場。美國貿易代表葛
中廣新聞網 ・ 20 小時前瑞士獲美國關稅大幅減免 承諾對美投資2000億美元
（中央社蘇黎世14日綜合外電報導）美國與瑞士今天宣布一項貿易架構協議，內容包括華府將瑞士進口產品的關稅稅率從39%大砍至15%，以及瑞士企業承諾於2028年底前在美國投資2000億美元。
中央社 ・ 19 小時前
推論AI崛起 輝達最強助攻手曝！
NVIDIA Blackwell 在獨立機構 SemiAnalysis 近期的 InferenceMAX v1 基準測試中，於所有受測模型與使用情境中皆展現最高的效能與效率，以及最低的總持有成本。NVIDIA 執行長黃仁勳日前在 NVIDIA GTC Washington D.C. 大會上指出，Blackwell 相較 NVIDIA Hopper 可帶來 10 倍效能，並讓營收也成長至 10 倍。
三立新聞網 setn.com ・ 20 小時前
外媒：川普逆轉關稅政策 下調逾200項食品關稅緩解物價壓力
[Newtalk新聞] 根據《路透社》報導，美國總統川普 15 日大動作回撤先前祭出的關稅政策，對超過 200 項食品商品取消或下調關稅，包含咖啡、牛肉、香蕉、柳橙汁等美國家庭日常必需品。此舉被視為川普政府在物價壓力與民怨升高下的重大轉向。 《路透社》指出，新豁免措施自 14 日午夜起回溯生效，象徵川普罕見鬆口承認關稅確實「在某些情況下」推升價格。他在空軍一號上對記者表示，雖然關稅可能使部分商品變貴，但仍宣稱美國「幾乎沒有通膨」。 近期民主在維吉尼亞、紐澤西與紐約市地方選舉連勝，據《路透社》分析，選民對高物價與生活成本不滿，是選情關鍵議題之一。川普並向媒體表示，將在明年以關稅收入為中低收入家庭提供 2000 美元補貼，他形容：「關稅讓我們可以發股息。」白宮同時宣布與阿根廷、厄瓜多、瓜地馬拉和薩爾瓦多完成框架貿易協議，後續將取消部分食品與商品關稅，且可能在年底前再擴大協議範圍。 美國總統川普關稅政策受到美國民眾反彈，高通膨逼的川普政策放軟。 圖：翻攝自 rainbow7852 X 帳號 《路透社》指出，這次名單涵蓋一般家庭常買的食品，許多商品在過去一年出現兩位數漲幅，包括柳橙、巴西莓、
新頭殼 ・ 19 小時前
台美匯率聯合發佈中英版聲明「承諾不操縱匯市、僅因應過度波動」：和台美關稅談判無涉
本行與美國財政部已就匯率議題達成共識，並於本日台北時間晚間8時30分（同日美東時間上午7時30分）同步發布聯合聲明，有英文版與中文版。
放言 Fount Media ・ 20 小時前
那指逆勢收漲！美股續挫道瓊跌309點 台積電ADR反彈
【國際中心／綜合報導】美股今天（14）日互有漲跌，那斯達克甩脫昨日科技股受AI疑慮拖累的陰霾，逆勢收高，不過道瓊等3大指數持續收跌。台積電ADR小漲0.93%，收284.82美元
壹蘋新聞網 ・ 21 小時前
Google 德國「反壟斷案」敗訴 需向兩家比價平台賠償超 5 億歐元
火報記者 陳銳/報導 柏林法院近日裁定 Google 在德國價格比較市場濫用搜尋引擎的支配地位，必須賠償比價平 …
火報 ・ 19 小時前道瓊續跌309點 那指回神上漲30.23點
(台北訊)美股今天互有漲跌，科技股反彈，那斯達克指數收高。道瓊工業指數終場下跌309.74點，或0.65%，收在47147.48點。標準普爾500指數下跌3.38點，或0.05%，收在6734.11點...
自立晚報 ・ 18 小時前《國際經濟》抄功課囉！華爾街巨頭持股變動總整理 輝達失寵......
【時報編譯柯婉琇綜合外電報導】根據最新披露的監管文件，華爾街巨頭在第三季縮減了對輝達等「科技七雄」（Magnificent Seven）的投資部位，其主要持股變動整理如下： ●波克夏·海瑟威（Berkshire Hathaway） 重要事件：現年95歲的執行長巴菲特（Warren Buffett）將於年底卸下職務，未來將繼續擔任董事長，但公司日常營運將交給接班人阿貝爾（Greg Abel）。 加碼：第三季以43億美元新敲進Google母公司Alphabet多達1785萬股A類股，是波克夏第三季買進最多的個股，使Alphabet在波克夏的持股部位一舉躍上第十大，持股市值約為43.4億美元。 減碼：進一步將持有的蘋果股票從2.8億股減少至2.382億股，減持幅度達15%，為減碼取多的持股。與曾經持有的9.05億股蘋果股票相比，目前已出脫近四分之三，但蘋果仍是波克夏持有部位最大的股票，目前持有價值約為607億美元。減持美國銀行（Bank of America）約3720萬股，減幅達6.15%，持股市值減少19.2億美元，為300億美元， ●橋水基金（Bridgewater Associate
時報資訊 ・ 19 小時前經濟學人稱央行壓低匯率致諸多問題 工商團體：對央行不盡公平
經濟學人(The Economist)撰文指出，台灣央行長期壓低新台幣匯率衍生購買力受損、房價攀升等問題。全國商業總會今天(15日)表示這樣的說法不盡公平，新台幣今年曾出現大幅升值，當時產業也曾批評央行沒有處理，且高房價背後有其社會結構面的因素，不能全歸咎於匯率。全國中小企業總會也認為，在美國緊盯下，央行不至於伸手操控匯率，只能盡量維持平衡。 經濟學人以「台灣榮景的潛藏風險(The hidden risks in Taiwan's boom) 」論述台灣經濟問題，報導提到台灣央行長期壓低新台幣匯率，導致台灣國人購買力受損、房價攀升、累積金融風險等。央行14日晚間已發布5點說明澄清，強調影響匯率的因素眾多，而匯率是由外匯市場供需決定。 全國商業總會理事長許舒博15日指出，今年第二季，新台幣匯率出現史詩級升值，還曾衝上28字頭，當時產業界也曾批評過央行為什麼都不處理，他不認為新台幣匯率有長期受到壓抑。他並認為經濟學人文章中提及的問題也不能全歸咎於新台幣匯率，像是房價高漲背後，有許多原因需要探討，央行施政雖有部分影響，但不是全部。他說：『(原音)比如說當初的新青安(新青安貸款)剛開始的時候，
中央廣播電台 ・ 22 小時前
《經濟學人》指台灣壓低匯率造成「台灣病」...央行五點反擊：美國未要求台幣升值
央行表示，影響匯率的因素眾多，匯率係由外匯市場供需決定，並非單一商品價格所能衡量；金融自由化以來，跨境資本移動係影響新台幣匯率升值或貶值的重要因素。
放言 Fount Media ・ 23 小時前
央行與美財政部發聯合聲明 重申不應操縱匯率
台美關稅談判即將底定之際，中央銀行和美國財政部發布聯合聲明，表示雙方就匯率議題達成共識，重申不應操縱匯率，僅在過度波動或失序時採雙向干預。央行強調，此次聲明無關對等關稅談判，且美國財政部從未要求新台幣升值。匯率專家認為，此舉顯示台美雙方對於匯率議題有良好溝通。
公視新聞網 ・ 20 小時前
SCFI運價連二跌 貨櫃三雄「貨減量降」股價跌
根據最新一期運價，遠東到美西運價每40呎櫃（FEU）較前一期下跌389美元至1823美元，跌幅達17.6%；遠東到美東運價每FEU較前一期下跌248美元達2600美元，跌幅8.7%。遠東到歐洲運價每20呎櫃（TEU）較前一期上漲94美元至1417美元，周漲幅7.1%；遠東到地中海運價每TEU2029美元，開...
CTWANT ・ 21 小時前經濟學人稱央行壓低新台幣匯率導致「台灣病」 學者：倒果為因
英國《經濟學人》最新一期的封面故事以台灣為主角，點出台灣經濟在出口暢旺、貿易順差創新高的風光背後，潛藏被稱之為「台灣病」的結構性風險，而新台幣匯率長期被低估是元凶。對此，學者認為，央行從未進場干預匯率升貶，只會在匯率波動劇烈時干預，此篇文章有點「倒果為因」。 英國《經濟學人》以「台灣榮景的潛藏風險(The hidden risks in Taiwan's boom) 」論述台灣經濟問題，該報導引用其編製的大麥克指數，指稱台灣央行長期壓低新台幣匯率，導致台灣國人購買力受損、房價攀升，並提及壽險業投入美國公債，是用新台幣負債來支持美元資產，只要匯率劇烈波動，壽險業就可能遭受致命損失，危及台灣金融安全。 中央大學台灣經濟發展研究中心執行長吳大任受訪時指出，以他長期觀察央行的操作模式，央行從未主動讓匯率升值或貶值，只會在匯率波動劇烈時進場干預，例如讓貶值速度不要那麼快，因為他們必須維持匯率穩定，《經濟學人》質疑央行刻意壓低台幣的匯率，「這恐怕是不太了解央行」。 吳大任認為，匯率並非造成高房價等問題的唯一原因，「新台幣在很強勢的時候，房地產照樣大漲」，《經濟學人》有些「倒果為因」，且把責任都推給
中央廣播電台 ・ 22 小時前
沖繩青少年闖空屋「撿到1億日圓現金」 多人偷竊狂買喪屍煙彈
根據《琉球新報》報導，這起事件發生於今年5到6月間，多名未成年學生擅闖沖繩一處無人居住的房屋，意外發現屋內有超過1億日圓現金，隨後便多次潛入偷取部分金錢，用於娛樂消費，甚至有人拿來購買「喪屍煙彈」等毒品。沖繩縣警方指出，至少有數十人參與這起竊案，有少年私藏金...
CTWANT ・ 17 小時前
對美投資3500億美元？趙堃成分析「台美談判延宕反而有利」：美國對川普關稅行為是否合法「很快揭曉」、目前關稅影響不大！
趙堃成建議，所以目前政府可以做的事情就是，彙整這些可能到美國去投資的上下游有關IC以及算力產業的金額，做為據以向美國爭取最好的貿易條件的基礎...
放言 Fount Media ・ 19 小時前瑞士如何讓關稅降至15%？討好川普「秘密武器」曝光：勞力士與金條
美國和瑞士14日達成框架貿易協議，瑞士進口產品的關稅將從39%降至15%。Axios報導，瑞士派出企業大亨組成的代表團，...
聯合新聞網 ・ 20 小時前