私有化部署大模型的“终点”是 Mac 还是 Nvidia? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
babymonster

私有化部署大模型的“终点”是 Mac 还是 Nvidia?

  •  
  •   babymonster 6h 0m ago 1533 views
    自己家里的 5070Ti 跑模型起来太费劲了,用了一下同事的 macbook 顶配版跑模型比 5070Ti 要强一点点,感觉都差不多,所以大佬可以指点下有没有必要搞一个 Mac studio 还是 Nvidia thor 或者 DGX Spark
    16 replies    2026-04-30 15:23:45 +08:00
    frantic
        1
    frantic  
       5h 58m ago
    mac studio 顶配二手价格都翻倍了
    zenfsharp
        2
    zenfsharp  
       5h 53m ago
    看部署目的啊。
    如果是自己用,那 Mac 的包容性强,起码能塞得下权重,开得起 context 窗口啊,自己用吐答案慢点就慢点。
    如果是内部多人用,还得是正经显卡啊,只要能跑起来,比 Mac 的处理器强太多了。
    maymay5
        3
    maymay5  
       5h 51m ago
    看咋用吧,另外看要部署多大参数,Mac 说实话挺慢的,不能发个 hi 当测试用例,上下文强度提高点,Mac 的慢就很明显了
    stimw
        4
    stimw  
       5h 50m ago   1
    个人场景搞私有化的唯一作用就是涩涩,涩涩的话也不需要参数多大的模型
    penisulaS
        5
    penisulaS  
       5h 21m ago
    mac 方便堆显存,nv 方便堆算力
    sentinelK
        6
    sentinelK  
       5h 15m ago
    在显存够用的前提下,显卡的解码能力远大于统一内存方案(不管是 GB10 、AMD MAX+395 ,还是 mac )
    反之,统一内存方案更容易达到更大的内存级别(能跑更大参数的模型)


    所以,如果你要跑快,只能选显卡。
    如果你要选能用,可扩展性,尝试更多模型,只能选统一内存。(为了大参数换显卡,基本上你整台 PC 也都要换)
    sentinelK
        7
    sentinelK  
       5h 11m ago
    @stimw 个人场景最大的优势是不会暴露隐私。而且有去掉拒绝模块的模型可用(可以忽略道德、法律、伦理等因素)。
    sentinelK
        8
    sentinelK  
       5h 9m ago
    对了,还忘了一点,到了生产力阶段,家庭用显卡就不现实了。

    因为生产力显卡的噪音非常大。
    mxT52CRuqR6o5
        9
    mxT52CRuqR6o5  
       3h 23m ago
    现在这些产品都算不上终点,终点是未来出的专门为这个场景打造的硬件
    babymonster
        10
    babymonster  
    OP
       2h 56m ago
    @stimw 搞涩涩
    /div>
    liubaicai
        11
    liubaicai  
       2h 11m ago
    @mxT52CRuqR6o5 那不就是 DGX Spark 么
    andlp
        12
    andlp  
       2h 10m ago
    噪声大的难以忍受了....
    iorilu
        13
    iorilu  
       2h 1m ago
    临时用用可以租 gpu 把

    自己随便玩玩没必要专门弄个机器感觉

    现在模型进化太快, 自己完全瞎折腾, 除非你是想学习自己训练, 微调模型
    bwnjnOEI
        14
    bwnjnOEI  
       1h 43m ago via iPhone
    带宽太低 略坑 跑跑 moe 还行
    songray
        15
    songray  
       1h 39m ago
    是 5 年后捡洋垃圾 h20
    mxT52CRuqR6o5
        16
    mxT52CRuqR6o5  
       1h 10m ago
    @liubaicai #11 哦哦,之前没看清楚以为 OP 在说 5090/H100 这种,Nvidia thor 、DGX Spark 这类产品确实挺可能是「私有化部署」的终点的
    About     Help     Advertise     Blog     API     FAQ     Solana     5144 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 57ms UTC 08:34 PVG 16:34 LAX 01:34 JFK 04:34
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86