可以瑟瑟的，本地部署，要求 12G 内存以下，或者 16G 勉强上，可以本地部署的模型有哪些比较好用的？
This topic created in 142 days ago, the information mentioned may be changed or developed.
 | 1 neosfung Dec 21, 2025 via Android  1 比较简单的计算方法，例如 6B 模型，如果用 BF16 的话，乘以 2 ，就是 12GB 运存（显存/内存）。然后还有激活 activation ，就是我们常说的 KV Cache ，也会随着上下文长度增加，具体不太好估计，得看看是 MHA ，GQA 还是 MLA 结构才知道增长倍数 |
| 2 neosfung Dec 21, 2025 via Android 好吧，才看到不是语言大模型 |
 | 3 euph Dec 21, 2025 via Android 1 z-images |
 | 4 miusmile Dec 21, 2025 “可以瑟瑟的”是什么意思，大的解释一下 |
 | 6 crackself Dec 21, 2025 via Android 难道是 goonsai/qwen2.5-3B-goonsai-nsfw-100k |
| 7 crackself Dec 21, 2025 via Android 1 |
 | 8 tomclancy Dec 22, 2025 借楼问一下 gemma3 27b 怎么解开道德限制 |
 | 9 salor Dec 22, 2025 via iPhone 小体积的模型瑟瑟也是智障，上下长了就成复读机了，Grok 才是真神。 |
 | 10 goodryb Dec 22, 2025 1 下午刚看到这个，实际没用过 https://mp.weixin.qq.com/s/hqpN4U0YEgOa-QYXNuEBPg |
 | 11 CraftDeadMRC Dec 23, 2025 1 @goodryb qwen-image 是 20b 的，而且文生图的模型计算瓶颈较大，如果 offload 比较多很影响性能。z-image-turbo 相对低要求 |
Select Language