这是一个创建于 315 天前的主题，其中的信息可能已经有所发展或是发生改变。
关于本地部署 DeepSeek-r1 模型进行定制化训练的问题，想请教一些技术细节。我们公司计划开发一套智能问答系统，主要用于内部业务指南的自动化处理。考虑到数据安全性和定制化需求，我们希望在本地环境部署 DeepSeek-r1 模型。
通过向模型提供高质量的领域特定数据，是否能够有效训练出符合公司业务需求的定制化模型？ 在训练过程中所使用的技术是什么？ 我们计划使用公司积累的高质量业务文档和知识库作为训练数据，期望最终模型能够准确理解和回答与公司业务相关的问题。
感谢各位大佬的宝贵时间和建议！
13 条回复 2025-02-13 11:50:57 +08:00
 | 1 Kite6 315 天前 via Android 671b ，成本爆炸 |
 | 2 CodingNameless OP 不会用到 671b ，只是 14b 或者 32b 这种能回答一些基本问题的，然后也能结合我们公司的业务知识 |
| 3 CodingNameless OP @Kite6 #1 不会用到 671b ，只是 14b 或者 32b 这种能回答一些基本问题的，然后也能结合我们公司的业务知识 |
 | 4 qxmqh 315 天前  1 你去 github 上搜一个叫 LLaMA-Factory 的东西。你会发现有惊喜。 |
 | 5 Mianmiss 315 天前 1 推荐你用 DIFY 建立公司知识库，微调就算有框架，没点技术 也很难训练成。 |
 | 6 Dw521 315 天前 ollama 搜索一下这个也会有惊喜 |
 | 7 visper 315 天前 直接 ollama 一个命令... |
 | 8 newaccount 315 天前 14b 和 32b 就是被 deepseek-r1 提拔了两句的阿里通义千问，它跟 deepseek 的关系就是没啥关系 |
 | 9 heliar 315 天前 先别一开始就想着训练，用 RAG 试试。训练的话你知识库经常更新成本不低 |
 | 10 JohnYehyo 315 天前 AI 初阶玩家好奇问一下, 如果微调的是 deepseek 蒸馏过的模型比如 OP 提到的 DeepSeek-R1-Distill-Qwen-14B, 那么 1.会不会让模型反而表现不佳 2. 和我直接微调蒸馏对应的 Base Model(比如 Qwen2.5-14B)区别大吗 |
 | 11 specssss 313 天前 直接去优云智算，有基于 vLLM 、Ollama 的 R1 蒸馏模型，基于 Unsloth 的动态量化版本，比较全了 https://www.compshare.cn/image-community |
 | 12 tycholiu 311 天前 可以直接用这家 https://ppinfra.com ，API 服务在国内做得已经很不错了，推荐使用， |
Select Language