推論AI崛起 輝達最強助攻手曝！
財經中心／廖珪如報導
NVIDIA Blackwell 在獨立機構 SemiAnalysis 近期的 InferenceMAX v1 基準測試中，於所有受測模型與使用情境中皆展現最高的效能與效率，以及最低的總持有成本。NVIDIA 執行長黃仁勳日前在 NVIDIA GTC Washington D.C. 大會上指出，Blackwell 相較 NVIDIA Hopper 可帶來 10 倍效能，並讓營收也成長至 10 倍。
輝達發出新聞稿點出，要在當今最複雜的 AI 模型上達到如此領先業界的效能，例如在大規模混合專家（MoE）模型上，必須將推論工作分散（或解構）到多台伺服器（節點）上，才能同時服務數以百萬計的使用者，並提供更快速的回應。 NVIDIA Dynamo軟體平台將這些強大的多節點能力帶入實際的生產環境，讓企業能在既有的雲端環境中，同樣實現這些在基準測試中奪冠的效能與效率。以下將說明多節點推論如何帶動效能躍進，以及各大雲端平台如何實際運用這項技術。
善用解構式推論
對於能完整放在單一 GPU 或單一伺服器上的 AI 模型，開發者通常會在多個節點上平行運行許多相同模型的複本，以提供高輸送量。Signal65 首席分析師 Russ Fellows 在近期一篇技術報告中指出，這種作法搭配 72 顆 NVIDIA Blackwell Ultra GPU，首次創下每秒 110 萬個詞元 (token) 的聚合輸送量紀錄。
當 AI 模型需要擴充，以即時服務大量同時上線的使用者，或是需要處理輸入序列極長的高負載工作時，採用稱為解構式服務（disaggregated serving）的技術，便能進一步釋放效能並提升效率。AI 模型在提供服務時，大致可分為兩個階段：處理輸入提示的預填（prefill）階段，以及產生輸出結果的解碼（decode）階段。傳統上，這兩個階段都在同一組 GPU 上執行，容易降低資源使用效率。
將工作最佳化效能
解構式服務的做法，是將這些工作智慧地分配到分別最佳化的 GPU 上。如此，每一部分工作都能套用最合適的最佳化技術，極大化整體效能。對於當今大規模的 AI 推理與混合專家模型（如 DeepSeek-R1），解構式服務便是其中的關鍵技術。NVIDIA Dynamo 讓解構式服務等功能，能輕鬆擴展至 GPU 叢集層級，導入實際生產環境。
這項能力已經開始創造實際價值。以 Baseten 為例，該公司透過 NVIDIA Dynamo，將長脈絡程式碼生成的推論服務速度提升 2 倍，輸送量提高至 1.6 倍，且完全不需要額外的硬體成本。這類由軟體驅動的效能提升，讓 AI 服務供應商可以大幅降低生產智慧的成本。
在雲端擴展解構式推論
就像當年協助大規模 AI 訓練一樣，Kubernetes 做為容器化應用管理的業界標準，也同樣非常適合用來將解構式服務擴展到數十、甚至數百個節點，滿足企業級 AI 佈署需求。隨著 NVIDIA Dynamo 現已整合進所有主要雲端供應商的託管式 Kubernetes 服務中，客戶可以在包括 GB200 與 GB300 NVL72等 NVIDIA Blackwell 系統上擴展多節點推論，同時滿足企業 AI 佈署對效能、彈性與可靠性的嚴格要求。
Amazon Web Services 、Google cloud 、Microsoft Azure 、Oracle Cloud Infrastructure都透過該系統推動大規模多節點推論的腳步，解構式 AI 推論需要協調多個專門元件的運作，包括預填（prefill）、解碼（decode）、路由（routing）等，而且每個元件都有不同需求。Kubernetes 現在面臨的挑戰，不再只是啟動更多平行的模型複本，而是如何巧妙地將這些不同的元件整合成一個運作順暢、效能卓越的系統。
此外，NVIDIA Grove 是一套現已整合進 NVIDIA Dynamo 的應用程式介面，可讓使用者以單一、高層級的規格描述整個推論系統。例如，在一份規格中，使用者只需要清楚宣告需求：「我需要 3 個用於預填階段的 GPU 節點，以及 6 個用於解碼階段的 GPU 節點，而且同一個模型複本所需的所有節點，都必須部署在同一個高速互連網路上，以獲得最快速的回應。」
在取得這份規格後，Grove 會自動處理所有繁複的協調作業：在維持正確比例與相依性的前提下，擴展相關元件，依正確順序啟動，並在叢集中策略性配置，確保溝通快速且高效。想了解如何開始使用 NVIDIA Grove，可參閱相關技術深度解析。隨著 AI 推論日益走向分散式架構，Kubernetes 結合 NVIDIA Dynamo 與 NVIDIA Grove，將大幅簡化開發者建置與擴展智慧型應用程式的方式。
更多三立新聞網報導
快檢查！不是炎黃子孫？ 這四個姓代表你可能戰神後代
非投等債要大賺了？ 三大理由曝光
買車退稅小確幸 申請辦法曝
非洲豬瘟導致廚餘囤積 永豐餘一招解決！
其他人也在看
《通網股》AI＋智慧桿啟動城市升級 遠傳松菸打造智慧化示範基地
【時報記者王逸芯台北報導】由經濟部產業發展署指導、台北市電腦商業同業公會執行的「智慧桿產業推動暨城市智慧基建計畫」，由遠傳（4904）協助在松山文創園區建置智慧桿先導示範場域，推動智慧城市相關應用。 本示範案由遠傳在園區內設置10支智慧桿，透過自主開發的智慧管理平台，整合AI即時監測用電能耗、設備狀態、人流分布、空氣品質與天氣資訊等多項服務，同時提供數位雙生整合3D地圖指引、AR拍照打卡、語音導覽與優惠推播，全面提升遊客體驗。智慧桿也成為大松菸基地邁向智慧化的重要節點，文化、商業與科技在此匯聚，形成跨域融合示範。未來此模式將逐步擴大至全台各地，讓智慧桿成為點亮城市的新型智慧樞紐。 遠傳資訊長胡德民表示，遠傳以「大數據、人工智慧、物聯網」三大技術結合深厚ICT能量，長期深耕智慧城市應用，協助桃園、台中等城市建置近23萬盞智慧聯網路燈，提升節能效率與用路安全，數量居全國之冠。他指出，此次運用智慧路燈建置與維運經驗協助政府打造示範場域，是遠傳的重要里程碑。智慧桿從資料收集、AI分析到多元應用服務，能全方位提升節能減碳、公共安全、環境監測與交通管理等城市治理能力，成為新一代城市數位基礎設施，有
時報資訊 ・ 1 天前
Google 德國「反壟斷案」敗訴 需向兩家比價平台賠償超 5 億歐元
火報記者 陳銳/報導 柏林法院近日裁定 Google 在德國價格比較市場濫用搜尋引擎的支配地位，必須賠償比價平 …
火報 ・ 1 天前
〈熱門股〉定穎將再擴充泰國廠產能生產AI相關板 周漲30%
定穎 已完成旗下超穎電子在上海 A 股的上市掛牌，成為少數 T+A 雙掛牌的上市 PCB 廠，同時，定穎將再 75 億元於泰國擴廠生產 AI 相關板，本周獲法人大舉買超，外資一周買超 3.73 萬張，股價收在 120.5 元。
鉅亨網 ・ 1 天前瑞士獲美國關稅大幅減免 承諾對美投資2000億美元
（中央社蘇黎世14日綜合外電報導）美國與瑞士今天宣布一項貿易架構協議，內容包括華府將瑞士進口產品的關稅稅率從39%大砍至15%，以及瑞士企業承諾於2028年底前在美國投資2000億美元。
中央社 ・ 1 天前《通網股》看片、看家全都AI！中華電資訊月秀出智慧生活新玩法
【時報記者王逸芯台北報導】114年資訊月即日起至11月16日於台北世貿一館登場，中華電(2412)在「看見AI進行式」主題館的「AI居家館」，以居家情境展示Hami Cam新一代AI智慧攝影機及Hami Video AI創新功能，呈現中華電結合HiNet寬頻龐大用戶基礎與全屋Wi-Fi佈建優勢，推出守護居家安全的全新智慧服務。 中華電此次展出的AI智慧攝影機Hami Cam，採用台製晶片並搭配高規格加密傳輸，強化影像隱私保護。現場可體驗由中華電信研究院開發的「AI人臉辨識」功能，當攝影機偵測到已註冊的家人面孔時，系統會自動推播通知，提醒家人已平安返家，且支援多人同時接收訊息，全面守護居家安全。 中華電Hami Video的AI功能也同步升級。會場展示全新「哈迷聊天機器人」，可依使用者心情或劇情需求找片，並提供客製化片單推薦；「AI智慧推薦」則會結合用戶使用輪廓，自動呈現精選內容，提升觀影體驗。現場更推出限定活動，新用戶註冊Hami Video會員可享「影劇館+」7天免費體驗序號，完成指定任務還能抽限量好禮。
時報資訊 ・ 1 天前
美國與瑞士敲定貿易協議 關稅從39%降至15%
美國與瑞士於14日共同宣布敲定一項貿易框架協議。美方將把目前對瑞士輸美商品高達39%的關稅，降至15%的上限作為交換，至於瑞士則承諾，將在2028年底前投入至少2000億美元於美國市場。美國貿易代表葛
中廣新聞網 ・ 1 天前
沖繩青少年闖空屋「撿到1億日圓現金」 多人偷竊狂買喪屍煙彈
根據《琉球新報》報導，這起事件發生於今年5到6月間，多名未成年學生擅闖沖繩一處無人居住的房屋，意外發現屋內有超過1億日圓現金，隨後便多次潛入偷取部分金錢，用於娛樂消費，甚至有人拿來購買「喪屍煙彈」等毒品。沖繩縣警方指出，至少有數十人參與這起竊案，有少年私藏金...
CTWANT ・ 1 天前
央行與美財政部發聯合聲明 重申不應操縱匯率
台美關稅談判即將底定之際，中央銀行和美國財政部發布聯合聲明，表示雙方就匯率議題達成共識，重申不應操縱匯率，僅在過度波動或失序時採雙向干預。央行強調，此次聲明無關對等關稅談判，且美國財政部從未要求新台幣升值。匯率專家認為，此舉顯示台美雙方對於匯率議題有良好溝通。
公視新聞網 ・ 1 天前
那指逆勢收漲！美股續挫道瓊跌309點 台積電ADR反彈
【國際中心／綜合報導】美股今天（14）日互有漲跌，那斯達克甩脫昨日科技股受AI疑慮拖累的陰霾，逆勢收高，不過道瓊等3大指數持續收跌。台積電ADR小漲0.93%，收284.82美元
壹蘋新聞網 ・ 1 天前
台美匯率聯合發佈中英版聲明「承諾不操縱匯市、僅因應過度波動」：和台美關稅談判無涉
本行與美國財政部已就匯率議題達成共識，並於本日台北時間晚間8時30分（同日美東時間上午7時30分）同步發布聯合聲明，有英文版與中文版。
放言 Fount Media ・ 1 天前《國際經濟》抄功課囉！華爾街巨頭持股變動總整理 輝達失寵......
【時報編譯柯婉琇綜合外電報導】根據最新披露的監管文件，華爾街巨頭在第三季縮減了對輝達等「科技七雄」（Magnificent Seven）的投資部位，其主要持股變動整理如下： ●波克夏·海瑟威（Berkshire Hathaway） 重要事件：現年95歲的執行長巴菲特（Warren Buffett）將於年底卸下職務，未來將繼續擔任董事長，但公司日常營運將交給接班人阿貝爾（Greg Abel）。 加碼：第三季以43億美元新敲進Google母公司Alphabet多達1785萬股A類股，是波克夏第三季買進最多的個股，使Alphabet在波克夏的持股部位一舉躍上第十大，持股市值約為43.4億美元。 減碼：進一步將持有的蘋果股票從2.8億股減少至2.382億股，減持幅度達15%，為減碼取多的持股。與曾經持有的9.05億股蘋果股票相比，目前已出脫近四分之三，但蘋果仍是波克夏持有部位最大的股票，目前持有價值約為607億美元。減持美國銀行（Bank of America）約3720萬股，減幅達6.15%，持股市值減少19.2億美元，為300億美元， ●橋水基金（Bridgewater Associate
時報資訊 ・ 1 天前《科技》鎧俠Q2財報遜預期 股價大跌
【時報-台北電】日本記憶體大廠鎧俠公布最新第二季財報，營業利益未達市場預期，下一季財測也偏弱，導致14日股價大幅走跌逾二成。 市場法人認為，鎧俠的疲弱屬於公司層面的個別因素，並不影響NAND產業已進入結構性多頭周期的判斷，AI推論與企業儲存升級需求正持續推升NAND用量。 台灣NAND控制器龍頭群聯（8299）執行長潘健成先前於法說會中，也對NAND市況釋出強烈正面訊號。 潘健成指出，AI推論所產生的大量資料都必須儲存，因此，NAND具備剛性需求；CSP（雲端服務商）的營收與儲存容量呈線性關係，AI工作負載愈大，儲存需求成長愈快。 他強調，這波NAND缺貨並非短期現象，供需吃緊與漲價態勢將延續多年。 根據報價顯示，近三個月1Tb TLC NAND價格已翻倍上漲，反映供應極度緊縮；即便原廠計畫2026年啟動擴產，新產能最快也要到2027年底才能開出，意味著NAND供給在一至二年內，無法追上需求。 鎧俠本季營業利益870億日圓，低於市場預估的960億～1,000億日圓；下一季財測1,000億～1,400億日圓，同樣低於市場預期的1,410億～1,500億日圓。 鎧俠表示，智慧手機用NAND
時報資訊 ・ 1 天前
瑞士獲美國關稅從39%降至15% 承諾對美投資2000億美元
美國與瑞士14日宣布一項貿易架構協議，內容包括華府將瑞士進口產品的關稅稅率從39%大砍至15%，以及瑞士企業承諾於2028年底前在美國投資2000億美元。白宮聲明表示，美國、瑞士和列支敦斯登的目標是在2026年第一季前完成談判，敲定這項貿易協議。
Yahoo奇摩（即時新聞） ・ 1 天前《光電股》晶睿衝AI、雲端 拚EPS轉正
【時報-台北電】安防龍頭業者晶睿（3454）日前公告第三季每股稅後淨損0.59元，連續兩季虧損。該公司總經理廖禎祺表示「EPS轉正是必要的目標」，展望未來，以AI與雲端服務為研發主要方向，接下來亦會善用集團母公司台達電的資源，在自動化技術、採購成本及供應鏈韌性等層面共同合作，面對全球市場需求變動與成本壓力增加，晶睿自第二季開始，著手調漲終端產品的價格、同時重新配置海外產線與強化庫存周轉。該公司坦言，受到客戶保守採購的影響，今年第二季及第三季連續出現虧損。 晶睿14日於法說會上表示，因應市場變局，陸續投入優化措施，已帶動第三季毛利率回升。展望2026年，將持續強化AI與雲端平台研發，並以品牌推廣、AI全線產品擴張與永續策略為三大主軸。 該公司第三季營運仍處調整期。營業利益較去年同期下滑161％，稅後淨損為0.5億元，每股稅後淨損為0.59元。公司表示，第三季毛利率已有回升跡象，庫存水位亦較去年同期下降約15％。 該公司於今年9月正式推出AI Hub，此為整合深度搜尋、智慧事件洞察與視覺語言模型搜尋功能。另一方面，連接至Vortex的攝影機數量每季成長逾4成，主要成長力道來自於零售、物業管
時報資訊 ・ 1 天前
全球第一家！ 這國砸百萬美元買入比特幣等數位資產
捷克央行發布新聞稿宣布，設立規模達 100 萬美元的數字資產測試投資組合，其中包含比特幣、美元穩定幣以及區塊鏈上的代幣化存款。捷克央行表示，此舉用意在測試區塊鏈資產的購買、持有等代幣化流程。捷克央行行長阿萊什・米赫爾表示，此次布局正系統性積累區塊鏈資產的實操經...
CTWANT ・ 1 天前
震盪盤不怕！台股多頭結構穩固 法人點名十大股布局時機
[Newtalk新聞] 台股在 AI、電子、傳產與金融類股輪動下呈現震盪整理，但整體多頭結構仍維持穩健。大型權值股成為市場指標，其中台積電法說前技術題材持續發酵、鴻海財報亮眼、台達電與廣達營運動能延續，皆為盤勢提供向上支撐；相對地，聯發科受高階手機需求疲弱影響，股價仍在均線下震盪整理，成為盤面相對弱勢。金融股與材料族群則呈現區間盤整與各自表現。 整體而言，市場對 2026 年 AI、高速運算與新能源等需求仍維持樂觀看法，短線雖有指數震盪與均線糾結，但中長線具基本面支撐的個股，仍可在季線或重要支撐位置分批布局。 以下國泰證期重點解析台積電、鴻海、台達電、聯發科、玉山金、廣達、台光電、群聯、南茂等市場動向。 2330 台積電 需求旺盛持續強勁，中長線投資人可於季線之上分批進低布局。 11月11日召開技術論壇，預計2025年將推出2奈米製程大規模量產，除法說日將公告最新資本支出計畫，也將針對不同製程提供最新技術規劃，此次規劃方向顯示2026年高速運算需求依然強勁。 2317 鴻海 股價高檔盤整，中長線投資人可於11月5日低點之上偏多操作。 11月12日公布第3季獲利為576.73億元，創15
新頭殼 ・ 1 天前
美股重點一次看》軟銀出清輝達 女股神減持Tesla為哪樁？
[Newtalk新聞] 全球 AI 熱潮延續、科技巨頭布局愈加激烈之際，美股進入以基本面與資金面交織的關鍵整理期。從軟銀再度出清輝達、ARK 持續調整 Tesla 持股，到微軟、Google、亞馬遜大手筆擴建 AI 資料中心，各大企業的策略動作正在重新塑造市場資金流向。整體而言，AI、雲端、資料中心相關類股仍為長線主軸，而消費電子、車電與國防科技亦展現穩健需求。 在技術面上，多數強勢科技股仍守月線或季線支撐，回檔反倒提供更具吸引力的切入點。下周最受關注的焦點包括：NVDA 與 TSM 的 AI 週期強勢延續、AMD 與 PLTR 基本面躍進、GOOGL 與 AMZN 積極擴張雲端基礎設施，而 TSLA 與 META 則進入短線整理區間。 以下國泰證期整理解析美股NVDA、TSLA、TSM、ONDS、AAPL、AMD、PLTR、GOOGL、META、AMZN 與 MSFT最新動向： 1、NVDA 軟銀宣布出清輝達股票，這是軟銀二度出清持股，輝達股價在過去一年大幅上漲，軟銀選擇獲利了結，釋放資金投入更具成長性的OpenAI，希望在這個領域取得更深的布局；近三個月12度回測季線，均獲強力支撐
新頭殼 ・ 1 天前瑞士如何讓關稅降至15%？討好川普「秘密武器」曝光：勞力士與金條
美國和瑞士14日達成框架貿易協議，瑞士進口產品的關稅將從39%降至15%。Axios報導，瑞士派出企業大亨組成的代表團，...
聯合新聞網 ・ 1 天前
幣圈一片哀嚎！比特幣昨又重跌2.3%一度創半年來新低 10月來慘蒸發逾1兆美元
[FTNN新聞網]記者陳献朋／綜合報導比特幣昨（14）日再次慘跌，一度達95885美元（約293.1萬新台幣），創下5月7日來半年新低水準，關鍵原因在於美國聯準會（Fed...
FTNN新聞網 ・ 1 天前《熱門族群》18檔外資心頭好 攻堅先鋒
【時報-台北電】台幣貶破31元大關，熱錢退潮跡象湧現，被視為熱錢指標的外資，近期賣超、匯出動作不斷，讓台股頓失護持。然在外資連11賣風聲鶴唳之際，仍有由富喬（1815）帶頭的18檔外資心頭好股浮出檯面，有望靠著今年前三季跑贏去年全年的利多，朝28,000點的階段目標前進。 新台幣兌美元匯率陷入貶值，儘管14日新台幣力抗賣壓，都在31元價位徘徊，但最後仍以31.15元、貶值6.9分作收，匯價連四黑、續創逾半年新低。 續創新低的新台幣讓外資再度繃緊神經，14日外資再祭603.99億元賣超，經統計外資自10月31日由買轉賣後，迄11月14日止，已形成連11賣，期間累計賣超金額也同步追高至2,406.97億元，賣不停的外資讓台股多頭行情腹背受敵。 然在外資埋頭狂賣的當下，依然有富喬、華東、大成鋼、南電、工信、建準、華榮、統一實、雄獅、金益鼎、高技、事欣科、卜蜂、長榮鋼、品安、TPK-KY、洋華、宜鼎等18檔個股，憑藉著今年前三季獲利賺贏去年全年獲利的利多，成功吸引外資的目光，在外資連11賣期間，至少獲外資買超逾1,500張。 值得關注的是，不同於以往台股側重科技股的狀況，喜獲外資青睞的18檔個
時報資訊 ・ 1 天前