可少買82%輝達H20晶片!阿里雲提方案解決GPU浪費
AI模型發展過程不光仰賴算力增長,算力浪費問題也日益突出。大陸科技巨頭阿里巴巴旗下阿里雲提出計算池化解決方案「Aegaeon」,成功入選頂級學術會議SOSP 2025。該方案可解決AI模型服務中普遍存在的GPU資源浪費問題,大幅提升GPU資源利用率,目前其核心技術已應用在阿里雲百鍊平台。換算下來,可幫助廠商少採購82%的輝達H20晶片。
SOSP(操作系統原理研討會)由ACM SIGOPS主辦,被譽為計算機操作系統界的「奧斯卡」,為計算機系統領域頂級學術會議,平均每年收錄的論文數量僅有數十篇,本屆SOSP大會上,系統軟體與AI大模型技術的融合成為新的趨勢。
科創板日報報導,數據顯示,在阿里雲模型市場為期逾三個月的Beta測試中,Aegaeon系統在服務數十個參數量高達720億的大模型時,所需的輝達H20 GPU數量從1,192個減至213個,削減比例高達82%。GPU用量削減82%代表企業硬體採購成本將顯著降低,這對於動輒須使用成千上萬顆GPU的大型模型服務商而言至關重要。
少數熱門模型(如阿里的Qwen)承載了絕大多數用戶請求,而大量不常被調用的「長尾」模型卻各自獨佔著GPU資源。數據顯示,在阿里雲模型市場中,曾有17.7%的GPU算力僅用於處理1.35%的請求,資源閒置嚴重。而Aegaeon系統通過GPU資源池化,打破了「一個模型綁定一個GPU」的低效模式。
報導稱,未來AI的發展將不僅依賴於硬體算力的單純增長,更需要通過系統級的軟體創新來深度挖掘現有硬體的潛力。
百度智能雲AI計算部負責人王雁鵬在去年9月曾表示,2024年大模型市場發展迅速,很多企業加大了在大模型領域的投入,在大模型訓練時遇到了一個共性問題,那就是算力利用率很低。他說,有50%算力被浪費的說法一點都不誇張,如何提升算力的有效利用率,正在成為業界共同的努力方向。
更多udn報導
台男新加坡遭竊7萬!飯店「要他翻垃圾桶」 警竟搜出1物
失蹤逾2年…陸前外長秦剛疑現身!北京活動亮相「微發福」
54歲存款百萬簡單生活 她遇1事驚覺:什麼都沒有最可怕
改走夢幻風?火辣女星穿「蕾絲透視禮服」翻車 網:糟透了
其他人也在看
共諜疑雲未歇 傳英國國會考慮緊縮中國人通行規範
(中央社記者陳韻聿倫敦19日專電)英國國會共諜疑雲風波未歇之際,傳出下議院議長考慮對中國公民緊縮國會大廈通行規範,以減少北京施展間諜、滲透等活動的空間。
中央社 ・ 3 小時前
通話川普!普丁要求烏克蘭交出頓內茨克 願放棄部分已占領地區
根據《華盛頓郵報》報導,普丁在過去11年間多次試圖掌控頓內茨克地區,但烏克蘭軍隊多次成功防守,阻止其完全控制該地。直到2022年2月,俄羅斯對烏克蘭發動全面入侵,目前俄方實際控制的烏克蘭土地約佔總面積的五分之一,戰線在過去一年幾乎陷入膠著,雙方均未取得明顯戰略優...
CTWANT ・ 22 小時前Anduril揭內部政策:各計畫以中國2027年攻台為前提
(中央社記者鍾佑貞華盛頓19日專電)美國防公司Anduril創辦人拉奇與台多有互動,8月才訪台交付無人機系統。他透露,自家有一項「中國27」政策,要求任何作為都以「中國在2027年對台出手」為前提。他反對美國介入戰爭,應把台灣打造為「超多刺豪豬」。
中央社 ・ 2 小時前
迪士尼門票飆七千!馬斯克億賠踢走推特CEO
想去世界上最快樂的地方找米奇嗎?你現在要付更多的錢了。迪士尼最近宣布全面調漲票價,一張門票甚至飆破台幣七千塊,而且不只門票,連停車費和快速通關票,通通都要變貴了。迪士尼要我們多花錢的同時,世界首富馬斯克卻是反過來付錢,用上億美元和被資遣的前推特高層和解,甚至推出平價版的特斯拉。兩大巨頭,一個喊漲、一個付錢,背後究竟打得是什麼算盤?
TVBS新聞網 ・ 6 小時前
川普成「傳聲筒」!普丁開條件換和平 烏克蘭痛批「等同自殺」
根據《CNBC》報導,兩名知情人士稱,川普不僅拒絕提供長程「戰斧」(Tomahawk)巡弋飛彈,還拋出同時對烏克蘭與俄羅斯提供安全保證的構想,令烏克蘭代表團困惑。另有歐洲官員向《金融時報》(Financial Times)轉述,川普在白宮的談話與近期把莫斯科形容為「紙老虎」的評估互...
CTWANT ・ 3 小時前
中美交鋒川普掀關稅風暴 這2檔避險潮湧!
中國商務部宣布將加強稀土管控,以維護國家安全與利益,美國總統川普隨即威脅11月起將對中國加徵100%新關稅,並擴大關鍵軟體出口管制,全球市場陷入恐慌。目前市場持續動盪、短期不確定性升溫,建議投資人留意既有資產配置。由於震盪期間債息有望為資產提供下檔保護,當市場不確定性越高,在挑選標的時,更要重視違約風險,目前10年期公債殖利率回落至4%上下,因殖利率與債價呈反向關係,美債、投等債的受惠力度相對較大,此時會是比較優先布局的選擇。
三立新聞網 setn.com ・ 5 小時前權證市場焦點-萬海 中美緊張運價漲
在中美貿易壁壘重新開戰下,SCFI指數大漲,萬海(2615)等貨櫃三雄股價再度上揚。萬海將於10月底與長榮、陽明共同開通「華北—印尼直航線」,進一步擴大東南亞市場。
工商時報 ・ 6 小時前防對等關稅敗訴 川普提前鬆綁
美國最高法院於11月初將就「對等關稅」舉行聽證會,最近幾周,美國總統川普已將數十種產品從對等關稅中豁免,另外,在美國和他國達成的貿易協議中,也豁免了數百種產品的關稅,範圍從農產品到飛機零件等。《華爾街日報》指,此舉旨在對沖最高法院可能否決「對等關稅」所帶來的法律風險,因為一旦最高法院判決政府敗訴,白宮可能被迫退還大量已徵收的關稅。
中時新聞網 ・ 6 小時前
輝達進駐倒數 新壽盼三方會談
距輝達的「最後通牒」倒數計時,北士科T17、T18土地卡關,據了解很多私人地主願意提供土地予輝達開發。新壽則認為,北市府、輝達與新壽應盡快坐上談判桌,談出皆大歡喜的商業協議,只要北市府、新壽有共識,補償金由輝達承擔,歧見應已拉近。但是北市府表示,輝達希望的對口是北市府,唯一的解方是新壽與市府合意終止契約,市府再設定專案地上權給輝達。
中時新聞網 ・ 6 小時前匯率期貨趨勢專欄-日相選舉 日圓風向球
日本現任首相石破茂於9月7日宣布辭去執政自民總裁一職,等同卸任首相,在位僅約1年便準備下台。高市早苗4日於自民內選舉勝出,擔任新任自民總裁,且即將於21日(本周二)舉行的臨時國會中,角逐下任日本首相。
工商時報 ・ 6 小時前《鏈鋸人》日本風光5連霸飆破65億日圓!全台票房破1.6億 本週推新版本
由藤本樹創作的黑暗奇幻少年漫畫《鏈鋸人》以《劇場版『鏈鋸人 蕾潔篇』》首度登上大銀幕,上週末(10月17至19日)持續攻佔日本週末票房冠軍!目前連續5週奪冠,票房已突破65億日圓(約台幣13億元)。該片全台票房已突破台幣1.6億,目前已榮登台灣2025年動畫電影賣座前3名,同時也是年度票房第8名。電
自由時報 ・ 3 小時前
海鯤號若來不及交艦!顧立雄:每天罰台船19萬元
[Newtalk新聞] 對於潛艦國造原型艦海鯤號11月是否來得及交艦,國防部長顧立雄今(20)日受訪坦承「 有相當大的挑戰」,如果來不及交艦,他說,「依約計罰」,每天約罰19萬元。 海鯤號海上測試延宕,立法院外交及國防委員會今日邀請國防部長顧立雄專案報告並備詢。 顧立雄活動前受訪表示,任何相關的國防政策或者是國防部執行的相關計畫都應該受到立法院的監督。上一個禮拜已經做了機密的專報,這一次我們就可以公開的部分進行報告,也向各位在不涉及機密的情況之下,向各位做一個說明。 對於是否11月無法如期交艦,顧立雄說,還是秉持以安全跟品質為上,然後逐漸的來進行所必要的海上測試。確實在11月就要完成相關的測試與交接,有相當大的挑戰,那我們持續會請海軍跟台船來努力。 至於台船來不及交艦、違約,顧立雄說,依約計罰,每天大概是19萬元這個金額。查看原文更多Newtalk新聞報導內要團結!傅崐萁表態挺鄭麗文 將延續支持朱立倫的模式籲新主席「消除親中力量」?曹興誠:鄭麗文當選趙少康是最大的推手
新頭殼 ・ 1 小時前
國際盤勢/美擺脫信貸陰霾!三大指數齊揚 日股重挫韓股周線三連紅
美國股市周五(17)日收漲,投資人消化美國與中國貿易談判語氣轉趨緩和的消息,同時拋開地區銀行信貸疑慮的陰影,道瓊指數上漲238.37點或0.52%,收46,190.61點;標普500指數漲34.94點或0.53%,收6,664.01點;那斯達克指數升117.44點或0.52%,收22,679.98點,成功終結跌勢。費城半導體指數微跌0.32%至6,777.98點,反映晶片股漲跌互見的現況。
三立新聞網 setn.com ・ 3 小時前
北韓士兵跨越非軍事區逃入南韓投誠 李在明上任來首例
南韓軍方週日(19日)宣布,一名北韓士兵週日越過兩國之間戒備森嚴的非軍事區(Demilitarized Zone, DMZ),逃到南韓投誠。這是李在明就任總統以來第一次發生這樣的案例。 南韓軍方說,這名士兵是被一直監控其動向的南韓警衛拘留,他將接受有關其叛逃事件的調查。 北韓人穿越邊境叛逃被認為是極具風險的行為,大多數脫北者是透過中國或其他第三國抵達南韓。 這是自去年八月以來,首次有北韓士兵直接越過邊界叛逃到南韓。
太報 ・ 12 小時前
《歐股》美地區銀行踩雷引發疑慮 歐股下挫
MoneyDJ新聞 2025-10-20 06:15:19 黃智勤 發佈受美國地區銀行信貸風波影響,歐洲股市上週五(10月17日)走低,銀行類股跌幅尤深,資金湧入黃金等避險資產。 泛歐STOXX 600指數10月17日下挫0.95%(5.42點)、收566.24點,當週仍微幅上漲0.4%。產業方面,銀行類股重挫2.5%。 歐洲主要指數17日全線下跌,德國DAX指數下挫1.82%(441.20點)、收23,830.99點;英國FTSE指數下挫0.86%(81.52點),收9,354.57點;法國CAC指數下挫0.18%(14.39點)、收8,174.20點。 由於美國政府持續停擺導致關鍵經濟數據延遲發佈,加上中美緊張局勢加劇和科技業估值過高等疑慮,上週股市行情受到壓抑。 美國次級汽車貸款機構Tricolor和零件製造商First Brands近期聲請破產保護,美國投資銀行Jefferies、錫安銀行(Zions Bancorporation)和西聯銀行(Western Alliance)揭露信貸損失,引發市場不安。歐洲金融股18日普遍下跌,避險情緒轉濃,也推升金價升至歷史新高。 法國興業
Moneydj理財網 ・ 4 小時前
輝達總部改選T12?北市府否認曝新壽期限 傳有「秘密基地」進行場勘
由於T17、18地上權開發案陷僵局,外傳輝達已經同意北市府建議,選用北士科T12設點,作為新總部替代方案,但遭到台北市副市長李四川否認。據悉,輝達態度確實鬆動了,不侷限於北士科T17、18,並已啟動場勘祕密基地備案。
三立新聞網 setn.com ・ 5 小時前