V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  thorneLiu  ›  全部回复第 6 页 / 共 8 页
回复总数  152
1  2  3  4  5  6  7  8  
2023-09-17 10:13:20 +08:00
回复了 LSB 创建的主题 阅读 各位,如果让你推荐 3 本书,你会推荐哪 3 本啊
高效人士七个习惯 doge
2023-09-16 23:10:10 +08:00
回复了 zhoudaiyu 创建的主题 旅行 下周打算去上海和杭州玩一圈,大家有啥推荐的地方?
杭州 最近桂花开了
去满觉陇路吃一个桂雨山房
或者平价一点吃个龙井绿茶 吃完在三台山附近狂狂
2023-09-15 23:00:13 +08:00
回复了 312ybj 创建的主题 随想 关于家庭吵架的感悟
离了得了
带娃坐高铁是最优化方案
@pengxiaoyu 保守估计乘以 2
vivo x100 等等看
2023-09-11 21:47:09 +08:00
回复了 gfswoquasfasd 创建的主题 咖啡 做个调查:大家一天几杯 coffee
0
2023-09-08 21:43:51 +08:00
回复了 svt 创建的主题 问与答 妹妹大学开始分流了,不知道选啥方向
这是职业技术学院吗?
2023-09-08 21:43:08 +08:00
回复了 freepoint 创建的主题 问与答 突发奇想:你们平时都“逛”哪些网站?
水木社区
骐达
2023-08-31 20:57:55 +08:00
回复了 darkings90 创建的主题 程序员 考考你们 maven 怎么读?马文、埋文、马 wing
美文
没必要 带他该吃吃该喝喝 快乐至上
2023-08-30 20:25:58 +08:00
回复了 TESTFLIGHT2021 创建的主题 Android 推荐个国产牌子的安卓手机吧。。。。。。。
vivo X90 pro
IQOO 11
能用 Google play
2023-08-11 16:38:44 +08:00
回复了 3x1415926535 创建的主题 iPhone iphone8 的钉子户怎么这么多
库克 你好
2023-07-28 08:04:29 +08:00
回复了 sankooc 创建的主题 程序员 如何生成这种 banner 图
PPT 画的 打开思路
2023-07-21 19:04:38 +08:00
回复了 geniusmyn 创建的主题 程序员 求助 V2 大佬,电脑被检测出来了运行代理,要求卸载......
自带电脑上班 搁这儿用爱发电呢
2023-07-19 16:08:11 +08:00
回复了 icemanpro 创建的主题 C++ 在结构体中如何使用动态数组?
土问这个 a1 list[]合法吗
为啥不用 STL?
2023-07-17 18:27:11 +08:00
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
@lyang 一个实例只能同时做一个推理 因为 LLM 推理有很多跟本次推理相关的过程量

所以要么他服务端这里拼了 batch 要么是在排队
2023-07-17 11:12:12 +08:00
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
取决于你后面部署的推理服务怎么个策略
2023-07-17 11:09:42 +08:00
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
就 fastertransformer 而言
权重加载是共享的 但用于推理的 modelinstance 可以构建多个
所以是支持多用户推理的

但理论上 其实多用户输入进队列拼 batch 用一个 modelinstance 推理会比多 instance 单 batch 推理效果好一点
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3392 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 10:58 · PVG 18:58 · LAX 02:58 · JFK 05:58
Developed with CodeLauncher
♥ Do have faith in what you're doing.