V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  BQsummer  ›  全部回复第 1 页 / 共 15 页
回复总数  287
1  2  3  4  5  6  7  8  9  10 ... 15  
15 天前
回复了 xqk111 创建的主题 Android 好奇现在一款安卓手机的系统能维护几年
@CodeAllen 安全更新不代表系统更新, 我的 s20 在 s23 还是 s24 就收不到 oneui 的大更新了
33 天前
回复了 jedeft 创建的主题 程序员 搞一台 4090 服务器放客厅怎么样?
@UEVdugfw 休眠被我关掉了, 怕远程桌面连不上
33 天前
回复了 jedeft 创建的主题 程序员 搞一台 4090 服务器放客厅怎么样?
13900+4090 挂着一天 6 度电
手机长时间插电源会不会鼓包完全看人品
142 天前
回复了 Alicewish 创建的主题 分享创造 用 GPT4 翻译电子书的体验
题外话,推荐个今天刷到的吴恩达的翻译 agent ,https://github.com/andrewyng/translation-agent
155 天前
回复了 BenjaminNL 创建的主题 Python anaconda 商业收费,有什么替代品吗?
mamba? 我看 yi llm 用的这个,个人没用过
166 天前
回复了 basncy 创建的主题 微软 劝大家不要用微软的邮箱, 会丢信且无提示.
@miyuki 这是发信, smtp 请求直接失败了, 并不是 po 说的 发件人显示成功, 但是收件人收不到这种场景
169 天前
回复了 joye 创建的主题 程序员 唉,一年了无人问津,开源算了
一直用 squoosh.app 竞品太多了
@bthulu 没网关跨 vpc 怎么调用? 金丝雀发布怎么精确控制流量到 pod? 失败逻辑怎么精确到接口?
175 天前
回复了 gongxuanzhang 创建的主题 程序员 在一个群里被恶心坏了
"普通 Select 无论加不加锁,无论怎么查询都不会有幻读问题,如果 for update 或者 delete update 这种操作就会用临建锁或者间隙锁来保证一致" 原 op 的这句话错的一塌糊涂, 为啥大家关注点不在技术本身
1. llama3 70b 需要 142G 显存,4090 是 24G 显存,不量化得 6 张卡,https://llm.extractum.io/list/?query=llama3 ,可以在这个网站查下大概的显存占用,8bit 量化也要 75G ,4bit 量化 40G ,4090 不合适。31L 的 llama3:70b 是“quantization
4-bit”的: https://ollama.com/library/llama3:70b
2. 显存不是重点,重点是推理速度,取决于模型、显卡、还有部署模型的服务,比如 vllm ,都会做推理优化,而且推理速度和并发不是成线性反比的,所以实际的推理速度真的只有在跑下来才知道
3. 主流生产环境部署还是 vllm 多一点,我有在 reddit 看到吐槽 ollama 并发下卡死的,虽然我也用 ollama 测试一些模型,用起来是真方便
上海电信,有遇到过 ipv6 不分配的问题,现在全走 frp 了
208 天前
回复了 wwd179 创建的主题 程序员 运维平台的选型
可以看看 JumpServer
213 天前
回复了 fields 创建的主题 职场话题 软考报名,留个坑,考试完来填
@wangwei216 杭州认上海的吗?户口政策方面,上海好像只认上海考的
上海 40w 以上到手 70%多点, 如果算公司实际支出, 这个比例能降到 50%~60%, 公务员福利占比更高, 50%妥妥的, 这样算一线城市公务员的"平均"工资实际到手 20w 多点还是比较合理的吧
240 天前
回复了 senl 创建的主题 宠物 V 友们,想养只小型的宠物
为什么没人推荐电子宠物
248 天前
回复了 gulao 创建的主题 程序员 软考高级-架构师(备考)
@buf1024 某些政策支持以考代评. 今年我张江 5 年落户需要软考中级职称, 其实就是一个聘用表格, 加个公章就行, 也是私企, 落户那边审核认
1  2  3  4  5  6  7  8  9  10 ... 15  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2467 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 10:36 · PVG 18:36 · LAX 03:36 · JFK 06:36
Developed with CodeLauncher
♥ Do have faith in what you're doing.