想用手头的硬件最低成本尝试下本地 LLM 推理，请教一下方案

看了一堆以为你要训练，

最后一段看明白是想要个本地部署对话。

lmstudio
ollama

都蛮好，后者 gpu 支持更好 amd @windows 也可以
全部跨平台兼容

7B 模型能力实在有限。最起码要 14B 的模型，才能做一些翻译类的基础工作。

直接 ollama

@dbg 14B 的话，最差也要用个啥显卡呢

@kwater 感谢回复。等哪天想尝试训练就不指望这两张卡了，会老实去租服务器的

@lichdkimba 14B 模型，至少需要 16G 显存的显卡。你可以看看 Ollama 的文档，有这方面的介绍的。

可以试试 Qwen1.5-7B-Chat 阿里的千问模型，P40 24g 显存占用 15 个 g ，效果还能接受，也比较快。16g 显存应该够用了吧，不够再试试量化

绝大多数模型 7b 就是个废物，推理能力明显不行，用这道题测： 100mbps 相当于多少 MB/s ?
答案有惊喜，哈哈哈

所以，比 3090 弱的单卡，就不要玩了，没啥意义

1 ）参数量是主要矛盾，越多越好。
2 ）不必担心量化，量化掉点有限。
3 ）实用模型，参数量不可低于 13~14B ，以 72B 量级为佳。
4 ）显存是主要矛盾，越多越好。
5 ） 2080ti 魔改 22GiB 显存，性价比较高。
6 ）多卡 AI 服务器平台，性价比较高，但要考虑环境和电费开销问题。

@GeekGao
gemma 2b

100 Mbps 相当于 **125 MB/s**。

@GeekGao 我用百度的 chat 试了下，还不错，挺准的，还有解释：

```
我们要找出 100mbps 对应的下载速度是多少 MB/s 。
首先，我们需要了解 Mbps 和 MB/s 之间的转换关系。

Mbps （兆比特每秒）和 MB/s （兆字节每秒）之间的关系可以用以下的数学公式表示：
1 MB/s = 8 Mbps
这个公式告诉我们怎样把 Mbps 转化成 MB/s 。

因此，要将 100 Mbps 转化为 MB/s ，我们只需将 100 除以 8 。
计算结果为：下载速度是 12.5 MB/s 。
所以，100mbps 对应的下载速度是 12.5 MB/s 。
```

@kwater 你反复试试？ 我这里测 Gemma 7B 返回的结果也不对

@GeekGao

看来默认的 cli 不是很好用，ollama api 才工作正常，
即便去掉 temperature 、seed ，也是有正确结论的。

curl -v http://localhost:11434/api/generate -d "{ \"model\": \"gemma:7b\", \"prompt\": \"100mbps 相当于多少 MB/s ?\", \"options\": { \"seed\": -1, \"temperature\": 1 },\"stream\": false }"


100mbps 等于 12.5 MB/s 。
100mbps 等于 100000 比特每秒，也就是 12.5 MB/s 。

@kwater 我知道什么原因了： 我用的是 google/gemma-7b-it （也就是 gemma:7b-instruct ） ，你用的是 google/gemma-7b （ Base model ）吧