 |
uncatV2EX 第 222542 号会员，加入于 2017-03-23 11:13:16 +08:00今日活跃度排名 9054 |
blog.jinmiaoluo.com
jinmiaoluo
jinmiaoluo
jinmiaoluo
uncat 最近回复了
8 天前 回复了 pdog18 创建的主题 › 问与答 › 本地部署 AI 的意义在哪里？涉密？ |
本地 4 块 3090 。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。
因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。
19 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
实际测试见截图： https://blog.jinmiaoluo.com/upload/natmap-benchmark.png
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
PS：我是基于 NatMap + WireGuard 组网的方案（你的需求组网通过 RDP 内网互联即可解决）。
19 天前 回复了 lxnelly 创建的主题 › 宽带症候群 › 广东联通在一个楼盘内的两个独立宽带下的电脑可以 ipv4 直连吗？ |
可以试试这个方案：买两个小米路由器刷 OpenWRT ，跟着 NatMap 的 Wiki 配置一下 NAT 打洞。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
我的情况：广州移动宽带用户，没有公网 IP ，通过 NatMap 在运营商 NAT 设备上打洞，成功。
实际效果：延迟 10 ms ，瓶颈是家里移动宽带的上行速度（ 6.25 MBytes/Second)。
38 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
38 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom
第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）
38 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 是直接 ollama run deepseek-r1:671b 这个就行吗？
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。
参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650
@vpsvps
38 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
38 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
> 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个吗？
可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。
实际显存+内存总共：180 - 200G 。
ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2
可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。
实际显存+内存总共：180 - 200G 。
ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2
40 天前 回复了 Int100 创建的主题 › VMware › 2025 年 ESXi vs Proxmox VE (PVE)：虚拟化方案选哪个? |
libvirtd + virsh
Select Language