我本地也尝试部署过 Stable Diffusion ,4090 的显卡,4 张图一组生成一次最大就要占用大约 8G 的显存。也就是说我顶天也才能支持 3 个人同时使用。
但是我试用过那些在线绘图的网站,生图也很快,也没遇到过排队的情况。好奇他们是咋做到的?
是砸钱堆硬件,还是有更好的算法来增加并发量?
1
x86 127 天前 1
砸钱堆硬件+算法,这个无解
|
2
hanierming 127 天前
4090 都是民用级别的了,专业的还是 H100 吧
|
3
yuhr123 127 天前
有没有可能它们用的是上游 API
|
4
lDqe4OE6iOEUQNM7 127 天前
@zwzwzwzwzxt 有没有可能冉家直接部署到阿里云,华为云,腾讯云,你个人的那点卡只能算玩具
|
5
lDqe4OE6iOEUQNM7 127 天前
人家
|
6
lDqe4OE6iOEUQNM7 127 天前
@zwzwzwzwzxt 快手直接在阿里云买了 5000 块 H100 推理也是算力的,快手那个文生视频的模型,刚开始预约排两个礼拜才能用,我上周末申请几天就过了,
|
7
zhangshine 127 天前 1
砸钱买或者租显卡。一张卡只是玩玩罢了。
|
8
lDqe4OE6iOEUQNM7 127 天前
@zwzwzwzwzxt 可灵这种文生视频的算力消耗更大,再牛的算法没有硬件也动不了
|
9
lDqe4OE6iOEUQNM7 127 天前 1
你要是想大规模给别人用,要么自己买服务器,或者用这个公有云,或者用第三方的 api ,Stable Diffusion 这汇总烂大街的模型一抓一大把,大规模用还是 api ,你要自己玩你那个卡也够用了
|
10
zwzwzwzwzxt OP @James2099 好吧,看来主要还是靠硬件,一台机器只能自己玩玩了。。
|
11
biu7 127 天前
前司是开了一堆 GPU 机器跑 sd
|