V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  BernieDu  ›  全部回复第 1 页 / 共 20 页
回复总数  381
1  2  3  4  5  6  7  8  9  10 ... 20  
大脑用进废退。程序员的语言中枢得到训练的程度大概率是不如销售行业的。反正我是退化了,而且我负责写字的大脑中枢也退化了,得了”电脑失写症“。但感觉我的逻辑能力变强了。
10 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@swmjjy 感谢数据,被 ds 的回答误导了。。
10 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@ShadowPower 14B 5bit 的小模型大概需要 9g 显存,你这用不着交火吧。我自己没试过 pcie 显卡交火跑模型,但是 ds 查的模型并行(场景是模型过大,需拆分到多个 GPU) 前向传播时需频繁传递中间张量(如层间输出)。PCIe 带宽 7.88GB/s 会限制大张量传输。成为推理瓶颈。让我用 nvlink 。(应该不会封号吧)
10 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@ShadowPower 如果推理不要求带宽那都用内存推理了。。
11 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@tap91624 2 条 nvlink 通道没办法实现 8 卡交火吧,而且 nvlink1 的带宽也不过 100 GB/s
11 天前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
@mumbler 8 块 2080ti 魔改 22g 交火带宽是多少,没记错的话 2080ti 不支持 nvlink 。PCIe 3.0 每卡双向带宽 7.88 GB/s 。是 m4 ultra 内存带宽的 100 分之一。你确定能流畅跑 70B fp16 ? 每秒输出多少 token ?
小模型肯定是新出的 qwq32 最好,不过 ollama 默认 q4 需要 20g 显存,你可以等等看有没有人量化 q2 的
写 SwiftUI ,trae 用 sonnet 3.7 一个问题问了 3 遍写的还是有问题,就是最简单最基础的问题。copilot 用 sonnet 3.5 一遍解决。 估计用了什么节约 token 的手段导致的实际体验很差,根本不是 3.7 的水平
你要是想把这笔钱省下来交彩礼,我劝你还是给家里盖房吧, 两害相权取其轻。
哥飞老师表示震怒
33 天前
回复了 wuzhidexiaolang 创建的主题 职场话题 最近的就业市场好奇怪
@tanranran 这模型考虑到政策影响了吗,55 分流是 21 年开始的吧,对应 27 年大学毕业生应该会减少吧。另外有老哥知道 55 分流现在还在执行吗,没有搜到官方消息
44 天前
回复了 RIckV2 创建的主题 宠物 不想失去猫猫怎么办?
猫毛过敏其实时间久了就好了。脱敏治疗(免疫治疗)其实也是通过逐渐增加接触过敏源的剂量,让免疫系统慢慢适应。楼上说的脱敏针,抗敏针,其实打得就是猫毛过敏源。
@zhangsimon 是小红书开发的,但是 iOS 也提供了 Translation 框架,系统要求较高,效果呢就是 safari 的翻译效果
66 天前
回复了 roxanne299 创建的主题 MacBook Pro M4 Pro 和 M4 Max 怎么选
@frankyuu 48g 还好,刚好能跑 70b 模型,sd 3 也没问题。
68 天前
回复了 KalindaSun 创建的主题 生活 给 v2 男的们捋一下关于彩礼的思路
😅
@lscho 17 年之后的 intel 也可以装吗,我记得新加了个安全芯片,装个 linux 都装不了
83 天前
回复了 nathanw 创建的主题 健康 感冒初期,除了多喝水,如何快速恢复?
@ovtfkw 我感觉是有效的,自己试过断 2 天基本就好了,自噬能提高免疫,而且也能在断食期间给免疫细胞提供蛋白质来源
有点没听懂,你是觉得 Bind 对宿主机路径依赖性很强吗。如果是这样可以改为用 volume
xxxx:
image: yyyy/zzzz:v7.2.2
container_name: xxxx
restart: always
volumes:
- source: xxxx_data
target: /app/data
type: volume
volumes:
xxxx_data: {}
1  2  3  4  5  6  7  8  9  10 ... 20  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1230 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 17:55 · PVG 01:55 · LAX 10:55 · JFK 13:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.