
1 frantic 5h 58m ago mac studio 顶配二手价格都翻倍了 |
2 zenfsharp 5h 53m ago 看部署目的啊。 如果是自己用,那 Mac 的包容性强,起码能塞得下权重,开得起 context 窗口啊,自己用吐答案慢点就慢点。 如果是内部多人用,还得是正经显卡啊,只要能跑起来,比 Mac 的处理器强太多了。 |
3 maymay5 5h 51m ago 看咋用吧,另外看要部署多大参数,Mac 说实话挺慢的,不能发个 hi 当测试用例,上下文强度提高点,Mac 的慢就很明显了 |
4 stimw 5h 50m ago 个人场景搞私有化的唯一作用就是涩涩,涩涩的话也不需要参数多大的模型 |
5 penisulaS 5h 21m ago mac 方便堆显存,nv 方便堆算力 |
6 sentinelK 5h 15m ago 在显存够用的前提下,显卡的解码能力远大于统一内存方案(不管是 GB10 、AMD MAX+395 ,还是 mac ) 反之,统一内存方案更容易达到更大的内存级别(能跑更大参数的模型) 所以,如果你要跑快,只能选显卡。 如果你要选能用,可扩展性,尝试更多模型,只能选统一内存。(为了大参数换显卡,基本上你整台 PC 也都要换) |
8 sentinelK 5h 9m ago 对了,还忘了一点,到了生产力阶段,家庭用显卡就不现实了。 因为生产力显卡的噪音非常大。 |
9 mxT52CRuqR6o5 3h 23m ago 现在这些产品都算不上终点,终点是未来出的专门为这个场景打造的硬件 |
10 babymonster OP @stimw 搞涩涩 |
11 liubaicai 2h 11m ago @mxT52CRuqR6o5 那不就是 DGX Spark 么 |
12 andlp 2h 10m ago 噪声大的难以忍受了.... |
13 iorilu 2h 1m ago 临时用用可以租 gpu 把 自己随便玩玩没必要专门弄个机器感觉 现在模型进化太快, 自己完全瞎折腾, 除非你是想学习自己训练, 微调模型 |
14 bwnjnOEI 1h 43m ago via iPhone 带宽太低 略坑 跑跑 moe 还行 |
15 songray 1h 39m ago 是 5 年后捡洋垃圾 h20 |
16 mxT52CRuqR6o5 1h 10m ago @liubaicai #11 哦哦,之前没看清楚以为 OP 在说 5090/H100 这种,Nvidia thor 、DGX Spark 这类产品确实挺可能是「私有化部署」的终点的 |