CSP巨頭全面導入！輝達Dynamo平台推動多節點AI推論效能革命
【記者呂承哲／台北報導】大型語言模型（LLM）與混合專家模型（MoE）持續擴張，單一 GPU 已難以支撐龐大推論需求，企業必須改採多節點架構提升速度與承載量。輝達（NVIDIA）推出 Dynamo 平台，將多節點推論能力帶入實際生產環境，讓企業能在既有雲端架構中取得基準測試等級效能，成為擴大 AI 服務的新動能。
AI 推論效能能否提升，關鍵在於如何將複雜模型拆分成不同運算階段。以大型模型的推論流程而言，大致可分為負責處理輸入的預填（prefill），以及產生最終輸出的解碼（decode）兩個階段。
傳統做法將兩個階段綁在同一組 GPU 上，往往導致效能受限，難以發揮硬體最大效益。NVIDIA 近年提出的「解構式服務」（disaggregated serving）則改變了這種分配方式，將不同的運算需求分派到最合適的 GPU 上，不僅提升效率，也讓模型得以擴展至更大規模。
Signal65 首席分析師 Russ Fellows 於技術報告中指出，這種架構搭配 72 顆 NVIDIA Blackwell Ultra GPU，首次創下每秒 110 萬個詞元（token）的聚合輸送量紀錄，證明解構式推論在大規模模型下的效能優勢。
NVIDIA 表示，Dynamo 的核心價值在於把這些原本只存在於實驗與基準測試環境的能力，真正擴展到 GPU 叢集規模，並讓企業能輕鬆部署到雲端服務上。這項技術已在商業應用中展現顯著成效，例如雲端 AI 服務供應商 Baseten 便透過 Dynamo 提升長脈絡程式碼生成的推論服務效率，在完全不增加額外硬體的前提下，推論速度提升兩倍，輸送量也提高至 1.6 倍，使 AI 服務成本大幅下降。
多節點推論之所以重要，除了模型規模擴大，還因雲端部署正走向更高的彈性與分散式架構。NVIDIA 已將 Dynamo 整合進所有主要雲端業者的託管式 Kubernetes 服務，使企業能在主流雲端平台上，直接把解構式推論擴展到數十甚至數百個節點。
Amazon Web Services（AWS）透過 Amazon EKS 搭配 Dynamo 加速生成式 AI 推論；Google Cloud 則在 AI Hypercomputer 架構上推出 Dynamo 配方，協助企業最佳化大型語言模型效能；Microsoft Azure 已採用 Azure Kubernetes Service 搭配 Dynamo 與 ND GB200-v6 GPU 推動多節點推論；Oracle Cloud Infrastructure（OCI）也整合 OCI Superclusters 與 Dynamo，讓大型語言模型推論擴展更為順暢。
除了成熟的超大型 CSP，新興雲端業者 Nebius 也以 NVIDIA 加速運算基礎建設打造平台，並採用 Dynamo 支撐其推論服務。
在多節點推論中，真正的難題並非單純擴大節點數，而是如何在 Kubernetes 上協調預填、解碼、路由等多個功能模組，使其既能保持效能又不互相阻礙。NVIDIA 推出的 Grove API，已與 Dynamo 深度整合，可讓使用者以單一高層級規格描述整個推論架構。
企業只需宣告所需節點數與部署要求，例如預填需要三個 GPU 節點、解碼需要六個 GPU 節點，且各節點需部署於同一高速互連網路之下，Grove 即會自動完成協調、配置、啟動順序與比例維持等複雜工作，使推論系統像是一個整合良好的大型應用，而非多個零碎模組的組合。
NVIDIA 指出，隨著 AI 推論走向更大規模的分散式運算，企業對效能、可靠性與擴展性的要求將更高。Dynamo 與 Grove 的出現，使企業能以更少的成本、更高的效率部署大型 AI 應用，而不必暴增硬體投資。NVIDIA 也提供 AI-at-scale 模擬工具，讓企業能在部署前即預估不同硬體與叢集配置對效能的影響，找出最佳推論策略。
隨著模型體量不斷上升、長脈絡推論需求快速增加，NVIDIA 認為企業級 AI 推論將全面邁向叢集化與多節點化，而 Dynamo 結合 Grove 與 Kubernetes，將成為推動下一階段 AI 工程效能革命的核心基礎。
更多壹蘋新聞網報導
獨家｜台大電機系學長送400份雞排 身分曝光！是寶可夢卡牌開箱網紅
獨家爆料｜新竹沒法治？議員詐領助理費遭判刑解職 女兒厚臉皮幫父審查預算
「台灣有事」出動自衛隊？中國怒召日本大使 美國務院說話了
其他人也在看
東陽迎傳統旺季 營運動能回穩 股價挑戰重回115元守穩
全球領先的汽車AM塑膠零組件供應商東陽(1319)，在北美AM市場市佔率居高不下，鈑金件領域具全球領導地位。法人指出，隨著傳統旺季來臨以及市場需求回升，東陽第四季營收可望進一步回升，全年仍有機會維持穩健規模。近期股價在相對低位整理後出現放量，市場關注資金回流動向，股價有望重新挑戰115元大關。
理財周刊 ・ 1 天前
AI泡沫論3風暴同脈絡 專家示警「這公司」：不會全部飛上天
全球人工智慧（AI）熱潮席捲市場，但泡沫疑慮也在近一年內三度升溫。前台積電工程師、具18年操盤資歷的基金經理人沈萬鈞近期在《萬鈞法人視野 WJ Capital Perspective》粉專上指出，AI產業的三波「泡沫風暴」其實同屬一條脈絡，他直言：「AI不會讓所有公司一起飛上天。」
EBC東森財經新聞 ・ 1 天前
惹到道奇巨星大谷翔平？因為「這件事」不再向教士隊致意！
體育中心／綜合報導MLB美國職棒洛杉磯道奇日籍巨星大谷翔平在比賽首次上場打擊前都會向敵隊摸一下頭盔致意，不過近日在網路上出現大谷翔平不和教士隊致意的話題，原因竟和「這件事」有關。
FTV Sports ・ 11 小時前
歷任總統誰最貪？粉專網路投票結果太震撼 青鳥炸鍋戰翻
普發現金1萬陸續入帳，符合條件的民眾也可以到指定ATM領取。有粉專近日在YouTube頻道進行網路投票，包括普發1萬是誰的功勞，結果高達87%認為是藍白在野的功勞。粉專也另問一題對於歷任總統的意見，結果「賴清德」負評最多、甚至認為賴比前總統陳水扁、蔡英文都貪，但卻引來不少網友踢館，開酸同溫層太強，也有人「抱不平」說，畢竟賴跛腳、預算沒過怎有機會貪？但也有網友反嗆，青鳥跑到這來崩潰喔，自己也一堆同溫層民調，只不過後來被「32:0」洗臉！
中時新聞網 ・ 18 小時前
中國人脆問台人「回歸中國擔憂什麼」？香港人冷回網讚翻
政治中心／綜合報導中國近期對台灣文攻武嚇不斷，除了頻繁軍演製造區域緊張外，對台民眾也積極在各領域進行統戰。對此，一名中國人透過Threads發文，指出想聽聽台灣人對於回歸中國的擔憂是什麼。除了引發熱議之外，更有香港人冷回 1 句話，讓網友笑翻。
民視 ・ 1 天前
劉書宏爆被健身教練打到「骨裂發炎」！經紀人發聲曝近況
劉書宏9月初突在社群上透露「肋骨骨裂」的消息、暴瘦4公斤，當時絕口不提原因，18日有新聞傳出，他和健身教練好友蔣政8月底起爭執，雙方大打出手，但劉書宏體力不及對方、並且受了重傷。對此，劉書宏經紀人表示，「謝謝你們的關心，目前恢復都很良好，受傷的過程沒有特別要跟大家交代的細節。」
中時新聞網 ・ 10 小時前
親媽教得好！汪小菲妻Mandy首洩「大S生前託付」：我一直在做
大S（徐熙媛）2月於日本病逝後，留下的一雙兒女「玥兒」、「箖箖」目前由生父汪小菲及現任妻子Mandy（馬筱梅）照顧。Mandy對姐弟倆的悉心照顧外界有目共睹，她也被網友盛讚是「後媽最佳人選」。Mandy近日在直播罕見提起大S，大讚對方將孩子教得很好，也透露自己一直在做大S生前委託她的事。
三立新聞網 setn.com ・ 1 天前
WBC》韓國投手2戰多達23次四死球 韓媒批判：與日本實力差距很大
韓國隊昨天在與日本隊的強化試合比賽打成7比7平手，中止對戰10連敗，2場比賽以1勝1 和作收，韓國隊2戰出現23個四死球，讓韓媒大力檢討。
TSNA ・ 1 天前
大腸癌盯上年輕人！醫曝45%患者「首個症狀」：不要拖
大腸癌有年輕化趨勢！胸腔暨重症科醫師黃軒近日說，醫學界發現，20～40歲的年輕人，大腸癌發生率暴增；他特別提到，有45%的年輕大腸癌患者首個症狀就是「便血」，民眾若發現症狀千萬不要拖。
三立新聞網 setn.com ・ 19 小時前
陶晶瑩親向范姜彥豐致歉！認了「錯誤判斷」直播親揭２人私訊對話
資深主持人陶晶瑩近日因評論粿粿與范姜彥豐婚變事件，再度成為話題焦點。她先前在節目中提到，范姜彥豐於「天后闆妹」直播時飲用名為「小王秘蜜粿果綠」的飲品，還微笑稱「好喝」，讓她直言這舉動恐被誤解為「拿婚姻傷口開玩笑」，對形象不利。此番言論引發外界兩極反應，陶晶瑩今（18日）也於節目中主動道歉，並親自范姜彥豐傳訊致歉，坦言：「我做了錯誤的判斷。」
三立新聞網 setn.com ・ 8 小時前
好冷！東北季風發威「這2天」最有感 下波冷空氣報到時間曝
即時中心／潘柏廷報導中央氣象署預報員黃恩鴻今（17）日下午說明，今天到週五（21日）前受東北季風影響，特別在週三（19日）及週四（20日）清晨預估是冷空氣影響最明顯的時候，隨後週末則是東北季風稍減弱，溫度也會有明顯回溫；下週一（24日）起下波東北季風又南下，但預估和這波相比較弱，溫度變化不會那麼明顯。
民視 ・ 11 小時前
陽明山「向天蝦」（鵠沼枝額蟲）大爆發 想「上山追蝦」要把握時間
最近接連幾個颱風帶來的環流，與東北季風產生的「共伴效應」，所帶來的大量雨水，讓大屯山區的向天池達到滿水位，也讓鵠沼枝額蟲（別名向天蝦）大爆發，吸引一波波的登山客上山，只為一睹「綠色小精靈」的風采，而看著這些在池水中悠哉游來游去的小生命，直呼好可愛；還有登山客利用向天蝦的向光性，在暗夜裡點著頭燈，只見向天蝦群聚湧來好不壯觀。
三立新聞網 setn.com ・ 20 小時前
油車萬元開銷、開特斯拉年省15萬起！買屋有充電樁別高興太早：問清楚是「出線」還「全套」｜好宅報報
根據「財團法人車輛研究測試中心」統計報告指出，臺灣自2020年起，純電動車(BEV)登記數突破1萬輛並開始顯著攀升，截至2024年底，登記數已近十萬台(96,367輛)，普及率1.1%(整體小客貨登記數約840萬輛)，隨著電動車牌照稅開徵與貨物稅減免確定延至2030年，預料將會有更多民眾投入電動車車主行列。
Yahoo奇摩房地產編輯部 ・ 20 小時前
不是日本！這國家「中國客變少了」 當地人鬆口氣讚：挺好的
日本首相高市早苗7日在國會答辯中明確指出，台海若爆發武力衝突，可能構成日本可行使集體自衛權的「存亡危機事態」，等同日本可能出兵，發言引起中國強烈反彈，罕見發布「禁日令」呼籲公民暫時勿前往日本。其實不僅日本，前往泰國旅遊的中國人也大幅度下滑，但比起政府的頭痛，泰國人卻開心表示「其實挺好的」。
三立新聞網 setn.com ・ 18 小時前
披薩店公審台人惹義大利市長震怒！她見1事驚「台灣國際地位」變了
生活中心／曾郁雅報導日前一群台灣遊客飛往義大利一間披薩用餐，沒想到疑似因為16人只叫了5份披薩、3杯啤酒，讓當地披薩店老闆直接把整群團客的清晰面貌全錄下，甚至直接在現場公審、但由於台灣旅客聽不懂老闆所說的外語內容，還對鏡頭比YA、豎起大拇哥，老闆最後卻不留情喊「台灣滾吧」，影片公開後大炎上、讓餐廳老闆緊急道歉，可當下老闆又喊出自己跟「中國、台灣」道歉，讓網友再度看傻眼，事態持續延燒更讓蒙特卡丁尼市的市長德羅索（Claudio Del Rosso）出面緩頰、透露將見「台灣代表」一起解決這次事件，對此台灣財經網美胡采蘋就感歎台灣現在國際地位「稍微有點太高了」。
民視 ・ 1 天前
全台有感降溫！明後天會更冷 氣象署曝這天回暖
受東北季風影響，全台今(18)日降溫，天氣明顯偏涼，最低溫來到16度左右。雨勢方面在基隆北海岸、宜蘭地區及大台北地區都出現局部大雨或豪雨。中央氣象署指出，這波降溫會一直持續到週五，到週六、日東北季風稍...
華視 ・ 16 小時前