这是一个创建于 690 天前的主题，其中的信息可能已经有所发展或是发生改变。
近期领导找聊天，我们内部在做一个 LLM 相关的项目，想让我过去做，说是可以提供一些显卡和一些钱组工作站在家里整这件事（家宽比较方便），估计是 4090 这个级别的卡外加几千块钱，每月补贴电费网费这样
背景
- 几个人的小作坊公司
- 我是数据工程师，比较偏后端那种
- 我对训练模型了解不多，只是自己用 langchain 做过小 demo ，私有部署过开源模型
可能用的技术
- 这个项目是一个自动化的任务，会大量调用 LLM 获得一些结果，后续可能会集成 fastapi 做成服务这样
- 我看了一些博文，我需要做的部分大概是 RAG + 指令式微调 + 单任务微调（我不太懂，可能不准确）
我的想法
这算一个研究中的项目，主要是利用 LLM 做一个工程上的东西，我还比较感兴趣，而且老板说每周大概可以抽一天时间居家办公做这件事，感觉也挺不错的
 | 1 cookgo 2024-01-26 17:15:26 +08:00 为啥公司的项目要把设备部署在你家？有没有一种可能：AI“跑偏”了之后你要承担所有的法律责任？ |
 | 2 efore 2024-01-26 17:16:03 +08:00 自己感兴趣的话完全可以做，不在家的工作日还可以出租显卡，比如咸鱼上挂单帮别人跑跑数据集啥的。只是你得保证最后得有产出 |
 | 3 CodersZzz 2024-01-26 17:18:10 +08:00 一周一天都要在家里弄，公司是给不起电费吗。 |
 | 4 CaptainD OP @cookgo #1 不是部署在我家，应该是在家里开发，方便下载模型和数据集，模型调试好之后会部署在云上或者买物理机托管 |
| 5 CaptainD OP 办公室网很差 |
 | 7 Yuhyeong 2024-01-26 17:25:00 +08:00 4090 单卡跑大的 LLM 感觉有点凑合啊，待遇感觉挺好，就是这条件有点难出成果。 |
| 8 CaptainD OP @Yuhyeong #7 我对硬件什么的不太了解，有相关资料吗？ 不会用 4090 直接部署，是用 4090 把流程跑通，后续部署在云上，可能会用 serverless 的服务，我们也在看一些 8 卡机器的托管，因为调用量很大，部署肯定不是单卡 工资相比互联网很低。。。 |
 | 9 Feiex 2024-01-26 17:38:47 +08:00 为啥不用线上的 GPU ，要自己组机器，电费谁掏？ |
| 10 CaptainD OP @Feiex #9 我也不知道，电费网费公司出，我上面应该提了，细节应该不固定，到时候在申请应该就行，感觉我们这方面的管理超松散 |
 | 12 vicalloy 2024-01-26 17:56:19 +08:00 如果只是领导突发奇想的一个想法，建议不要主动入坑。 所谓的训练啥的，基本按照流程操作就好了，不会有太多技术方面的东西。 主要靠的是算力和原始数据的整理，这两个，一个是钱，一个是体力活。 |
 | 13 nnqijiu 2024-01-26 17:59:53 +08:00 入坑需谨慎 |
| 14 CaptainD OP @orikey #11 我看了一下，好像还不是我需要的，因为调用都是机器调用，不需要界面，也不是简单的问答形式，本地知识库的部分可能有些帮助，我可能要研究下 |
| 15 CaptainD OP @vicalloy #12 也不算突发奇想吧，因为专门做算法同事已经开始做了一段时间了，训练部分可能不太需要我做，但是整理数据我肯定要做，然后就是工程部分 |
 | 16 min 2024-01-26 18:25:30 +08:00 调什么调，直接 gpt4+RAG ，4090 卖了换钱 lol |
 | 17 Flicker 2024-01-26 18:35:27 +08:00 看标题，感觉可以去；看了内容，还是算了吧。楼上大家说得都很对。 |
 | 18 wonderfulcxm 2024-01-26 18:49:52 +08:00 via iPhone 为什么不做呢？又不用你出钱。 |
 | 19 me1onsoda 2024-01-26 18:52:47 +08:00 想起了前阵子的 gpt 哥 |
 | 20 locoz 2024-01-26 20:53:58 +08:00 什么样的操作，会出现“家宽比较方便”的情况？设备放公司通常不都是更加方便的选择吗？这一点如果没有合理的原因，还是别了吧... |
| 21 locoz 2024-01-26 20:55:43 +08:00 @CaptainD #5 公司网络差可以改公司网络，不应该存在必须要你的家宽来解决问题的必要啊，尤其是都小作坊公司了，拉个好点的宽带也不难吧？ |
 | 22 Eafon 2024-01-27 00:39:32 +08:00 做老板都不知道自己到底想要什么，你就别瞎掺和了，除非这件事是你特别感兴趣，那玩玩无妨。 |
 | 23 beyondsoft 2024-01-27 16:58:06 +08:00 不要自己搭建了, 单卡 4090 没有什么算力, 微调个 30b 都难. 建议去用租云 GPU, A100 也不是事,还便宜 |
 | 24 kuroissimo 2024-01-27 17:14:09 +08:00 13B 的模型加载起来都要 27G... 单卡 4090 没有用的 |
 | 25 peezz 2024-01-31 23:01:46 +08:00 几个人的小作坊公司，比互联网工资低很多，就是要个人来干杂活，让你在家里整，就是有备无患，云上被端了，你家里还有备份。 |
Select Language