godqueue 最近的时间轴更新 godqueue 最近的时间轴更新 |
godqueueV2EX 第 466888 号会员，加入于 2020-01-27 17:57:17 +08:00 |
| 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ 程序员 • godqueue • 33 天前 • 最后回复来自 Charon2050 | 31 |
godqueue 最近回复了
1 天前 回复了 forgottenPerson 创建的主题 › Windows › 有拓展性比较好的 windows 笔记本吗 |
@esee 有没有试过服务器组网需要多大的带宽。。之前用的腾讯云 5M 的带宽。。感觉不够。。目前用于 nas 做数据同步还行。。但是远程桌面就不指望了。。
4 天前 回复了 forgottenPerson 创建的主题 › Windows › 有拓展性比较好的 windows 笔记本吗 |
@esee 怎么解决远程卡的问题
用过 headscale 之类的。。都比较卡
用过 headscale 之类的。。都比较卡
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@Ayahuasec 嗯。。看来也可以考虑 AMD 的 cpu 了~~~
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@rabbbit 还有这种业务，非常棒，适合我~~~我之前看阿里云啥的都贵的要死。。
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
你们不会拿笔记本显卡跑 70b,如此大模型吧。。
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@lrigi 哈哈。。我知道 llama3 默认是 8b,你们说的 4bit 不懂。。。fp16 也不懂。。还得回炉学习下。。
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@rabbbit 我用 llam3:8b 输出的和 lrigi 一样。。应该是正确的吧
33 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 需要一个在浏览器内本地运行的名称分类模型（100MB 内），输入一个或者多个关键词，猜测返回他们的共同属性，有没有好的建议？ |
如果需要非常精确，那好像只能自己写字典来做这个事情。。
33 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 需要一个在浏览器内本地运行的名称分类模型（100MB 内），输入一个或者多个关键词，猜测返回他们的共同属性，有没有好的建议？ |
如果是生产就老实的用 gpt 吧。。或者其他大模型也可以。。但是大模型有幻觉，输出的内容很可能第一次和第 2 次的内容不一样。。。这个问题好像没有太好的手段。。
33 天前 回复了 godqueue 创建的主题 › 程序员 › 有人用 4070、4060 显卡的笔记本测试过跑 llama3，问问题，或者读取文档做总结，需要多长时间吗？ |
@Ayahuasec amd cpu 不影响跑大模型吗？现在 amd 的 cpu 咋样，还有啥东西会存在兼容问题之类的么？
跑虚拟机或者安装 linux 系统会有影响吗？
我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的
total duration:4m16.4180938s
load duration:524.8u
。。。。。
跑虚拟机或者安装 linux 系统会有影响吗？
我是用 ollama run llama3 "summarize this file $(cat test.txt)" --verbose 这个命令来看速度的
total duration:4m16.4180938s
load duration:524.8u
。。。。。
Select Language