想要一个 ai 写作助手, (例如半导体, 新能源等等最新技术分析文章), 应该直接自己训练, 还是有现成的平台提供这样的服务.

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 698 天前的主题，其中的信息可能已经有所发展或是发生改变。

目标

一个写作助手, 需要在一个方向写出专业分析文章
专业分析新技术, 而不是写出新技术, (写新技术, 新应用的优缺点/应用点/所需条件等)

需求:

数据库要新, (GPT-4, 最新是 2023 年 4 月, 这样不符合要求, 要足够新, 例如近期的文章都需要加入)
限定行业或者方向, 缩小范围 (例如半导体, 新能源等等最新技术分析文章, 期望小而精, 例如锂电池一个库, 氢能源一个库, 都可以分开, 或者应该合并更好)

方案选择(问题)

现成的服务平台提供类似的,(目前没看到), 我们自己提供最新文章, 然后生成一些想要的文章
自己训练, 如果自己训练是不是可以考虑直接京东买一块 4090D + 合适的模型 (零基础, 平时写 Go+Python, 后端, 立刻开始试试. 虽然看到 2080ti 22g 性价比, 但是想省时省事一些,还有售后)
如果自己训练, 数据集是不是分割越小越好.例如氢能源单独一个.

模型选择

Chinese-Mixtral-8x7B (今天 twitter 看到 https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B )
34B-Chat (V2ex 看到, @ShadowPower 推荐的 t/1004201#reply43 )
RWKV-Runner ( 也是 @ShadowPower 推荐, https://github.com/josStorer/RWKV-Runner )

显卡

看到有货, 可以买了, 目前能自营买到最好的显卡了吧. 特供版本

七彩虹（ Colorful ） iGame GeForce RTX 4090 D Advanced GDDR6X 24G 大显存游戏电竞电脑显卡￥ 13999.00

https://item.jd.com/100081721839.html

谢谢

文章

例如

能源

现成

11 条回复 2024-01-19 11:27:38 +08:00

daiv

2024-01-19 08:37:07 +08:00

跑模型 1 块 4090D

如果训练, 并且缩小范围, 大约需要怎么样的硬件来搭配?

daiv

2024-01-19 08:41:08 +08:00

或者说,

这样的需求不叫训练, 微调就够了

perfectar

2024-01-19 09:11:31 +08:00

我的理解哈，不一定对。
1. 如果是想快速对某个垂直领域（半导体-新能源等）的数据做理解、分析、总结，可以基于 ChatGPT+RAG 知识库的方式去做，可以参考 langchain 和 LlamaIndex 等框架。优点是：成本比较低，技术路线较成熟，见效快；缺点是：对生成内容的格式、风格等依赖于模型本身的能力，可能无法满足你的特定需求；
2. 如果你的垂直领域数据量足够，且能够转成指令数据集（可人工标注，或者 Self-Instruct ），也可以试试进行指令微调 SFT ，利用 LoRA 或者 QLoRA 等方式，对显存要求不太高。这种方式的优点是可以直接将知识灌入模型本身，直接对齐垂直领域使用需求，缺点是数据若更新较频繁模型的微调成本也会较高。
供参考。

cat9life

2024-01-19 09:22:38 +08:00

同上 RAG 才是正解。微调并不适合你的场景，而训练开个玩笑就好比你想造车现在研究反向确实钢铁是怎么炼成的

daiv

2024-01-19 09:33:05 +08:00

@perfectar 感谢,第一点提到的 RAG, 更好更合适, 第二点的微调可能成本都会很高, 不单单是硬件还需要人工等等.

@cat9life 对的, 现在了解一下 RAG, 然后试试

ShadowPower

2024-01-19 09:38:48 +08:00

用少量样本训练模型其实学不到知识……
模型的绝大多数知识都在预训练阶段获得，微调只是改变模型的输出风格和表达习惯

laipidov

2024-01-19 10:07:01 +08:00

RAG 是靠谱的选择，目前看自己训练没法得到理想的效果，模型选型需要好一点，可以试试 qwen 和 baichuan

prompt 和解码参数也非常重要，对模型的输出结果影响很大

就是不知道 op 的写作中，是不是需要特别强的逻辑推理能力，还是说一般的写作逻辑能力就足以应对。

laipidov

2024-01-19 10:08:30 +08:00

目前看，24g 的显存，基本上只能是 7b 的模型了，13b 都不太好说

luchenwei9266

2024-01-19 10:43:49 +08:00

4090D 在 AI 推理方面被阉割过，游戏性能还是和之前差不错，多嘴一句。如果只是为了大显存，可以考虑魔改的 2080ti 22G ，4090D 这价格应该能买 4 块了。

daiv

2024-01-19 10:55:14 +08:00

@ShadowPower @laipidov 感谢感谢, 我先用 RAG 试试, 看看效果如何, 目前不是很需要特别强的逻辑推理, 因为是介绍性的文章.

@luchenwei9266 2080ti 22G * 4 这样来组? 88G 显存了, 但是买这样的魔改, 要做好折腾的心理准备,

luchenwei9266

2024-01-19 11:27:38 +08:00

@daiv #10 嗯，肯定要折腾一下的，不然你这卡顶多跑个 7B 左右的模型，量化过的 13B 估计也能凑合