Apple Silicon 运行 LLaMa 的性价比似乎还不错

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

Support

根据产品序列号查看状态

有用链接

Apple 产品更新周期

This topic created in 1145 days ago, the information mentioned may be changed or developed.

M2 Max + 96GB unified memory == 7B @ 10 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1460500315)
12700k + 128GB RAM + 8GB 3070Ti == 65B @ 0.01 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1460464011)
Ryzen 5800X + 32GB RAM + 16GB 2070 == 7B @ 1 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1457172578)
2x 8GB 3060 == 7B @ 3 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1457437793)
8x 24GB 3090 == 65GB @ 500 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment-1455284428)

5 replies 2023-03-13 00:49:23 +08:00

tool2d

Mar 9, 2023

烦躁，AI 聊天对机器硬件要求，比起早期的 AI 绘图，要高上整整一大截。

fantasyjm

Mar 9, 2023

这一条写错了
应该是
Ryzen 5800X + 32GB RAM + 8GB 2070s == 65B @ 0.02 token/s ( https://github.com/facebookresearch/llama/issues/79#issuecomment1457172578)

agagega

Mar 9, 2023 via iPhone

看起来和显存关系非常大？

netdcy

Mar 11, 2023

这个 B 和 token 是什么意思呢？

Champa9ne

Mar 13, 2023

感觉虽然 M1 的架构有容易达到大显存的优势，但是算力强度不够啊。听说只能对标到 1050 Ti ？那 65B 推理一次补得等上三五年 O-o