
我本地也尝试部署过 Stable Diffusion ,4090 的显卡,4 张图一组生成一次最大就要占用大约 8G 的显存。也就是说我顶天也才能支持 3 个人同时使用。
但是我试用过那些在线绘图的网站,生图也很快,也没遇到过排队的情况。好奇他们是咋做到的?
是砸钱堆硬件,还是有更好的算法来增加并发量?
1 x86 2024 年 7 月 12 日 砸钱堆硬件+算法,这个无解 |
2 9A0DIP9kgH1O4wjR 2024 年 7 月 12 日 4090 都是民用级别的了,专业的还是 H100 吧 |
3 yuhr123 2024 年 7 月 12 日 有没有可能它们用的是上游 API |
4 lDqe4OE6iOEUQNM7 2024 年 7 月 12 日 @zwzwzwzwzxt 有没有可能冉家直接部署到阿里云,华为云,腾讯云,你个人的那点卡只能算玩具 |
5 lDqe4OE6iOEUQNM7 2024 年 7 月 12 日 人家 |
6 lDqe4OE6iOEUQNM7 2024 年 7 月 12 日 @zwzwzwzwzxt 快手直接在阿里云买了 5000 块 H100 推理也是算力的,快手那个文生视频的模型,刚开始预约排两个礼拜才能用,我上周末申请几天就过了, |
7 zhangshine 2024 年 7 月 12 日 砸钱买或者租显卡。一张卡只是玩玩罢了。 |
8 lDqe4OE6iOEUQNM7 2024 年 7 月 12 日 @zwzwzwzwzxt 可灵这种文生视频的算力消耗更大,再牛的算法没有硬件也动不了 |
9 lDqe4OE6iOEUQNM7 2024 年 7 月 12 日 你要是想大规模给别人用,要么自己买服务器,或者用这个公有云,或者用第三方的 api ,Stable Diffusion 这汇总烂大街的模型一抓一大把,大规模用还是 api ,你要自己玩你那个卡也够用了 |
10 zwzwzwzwzxt OP @James2099 好吧,看来主要还是靠硬件,一台机器只能自己玩玩了。。 |
11 biu7 2024 年 7 月 12 日 前司是开了一堆 GPU 机器跑 sd |