我用 3.5 天的时间和 Claude 3.5 联手开发了一个 Mac App，利用本地运行的 Llama 3.1 提供实时的 AI 反应。在 M 系列芯片的 Mac 上可用。免费，完全本地，飞快。
unstop · 138 天前 · 5106 次点击这是一个创建于 138 天前的主题，其中的信息可能已经有所发展或是发生改变。
朋友们好，好久不见。
前几天 Llama 3.1 发布，我体验之后感到——
时代的变化突然降临了，现在每个人都有几乎免费而且无限量的机器智能。
问题在于缺少应用。
我要做一个大量使用本地 AI 的应用！
整个开发过程和 Claude 3.5 合作完成，3.5 天之后，Snapbox 横空出事：
下载链接：
Snapbox 最基本的用法是在任意 App 中选中一段内容，按 Alt + Space 快捷键启动 Snapbox ，立即获得来自本地 AI 的回应。
修改会自动触发重新请求，因此叫 Live Reaction.
更高级的用法是可以利用预设的 Prompt ，选中内容之后直接套入特定的 Prompt ，可以实现翻译、查词、找 bug 、改写等各种业务。
一切都在本地完成，完全免费，速度飞快。
推荐 Llama 3.1 8B 和 Gemma 2 2B 这两个模型，16G 内存选前者，8G 选后者。
第 1 条附言 · 136 天前
刚刚更新的 v1.10 支持了包括 Openai, Gemini, Anthropic, Openrouter, Groq 等在内的服务提供商。
47 条回复 • 2024-08-10 17:30:19 +08:00
 |
1
BearD01001 138 天前
好强的执行力，已下载体验
|
 |
2
arongpm 138 天前
已下载，需要和你学习执行力
|
 |
3
wangshushu 138 天前
楼主太强了，能否加我微信一下？ R29vZ2xlTWljcm9zb2Z0
|
|
4
BearD01001 138 天前
不知道是不是我使用方法有问题，更改快捷键后好像不会生效，快捷键无法唤起应用主窗口
|
 |
5
unstop OP @wangshushu 微信不太用，可以 X 私信联系我：dm.new/qqs
|
 |
6
CSGO 138 天前
🐂🐸！
|
|
7
CSGO 138 天前
15.0 Beta 版是不是用不了啊。
|
|
8
unstop OP @BearD01001 确认是一个 bug ， 已经在 v1.9.10 中修复。推荐更新一下。
|
 |
10
djyde 137 天前
8.2MB, electron 用户流下了羡慕的泪水
|
|
11
djyde 137 天前
我用的 16G m1 air, 跑 llama 3.1 还是挺吃资源，会从本来 5G free 变成 1G. 速度大概是一秒两三个字。
这也是为什么我一直想用本地模型但最终还是会回到中心化模型。不知道大家一般用什么配置能流畅使用 llama3.1 这个级别的模型。 |
 |
13
richangfoo 137 天前
横空出事? 出什么事了？
|
|
14
unstop OP @richangfoo 故意留的错别字，目前只有你☝️一个人发现
|
 |
18
Chad0000 137 天前 via iPhone
苹果的模型性能需求不是只有你那个 8B 的六分之一么，有没有人试试效果
|
 |
20
kaxiu 137 天前
的确飞快！
|
 |
21
YsHaNg 137 天前 via iPhone
@Chad0000 afm 没开源出来 on-device 是个不到 3b 的模型 按照公测评价实际不咋样 苹果自己评分对比 op 这两个是胜的 https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf
|
 |
22
john990 137 天前
楼主可以分享下使用 Claude 技巧吗？为什么我和他沟通好几次才能完成一个小功能…
|
 |
24
joejiang 136 天前 via iPhone
👍
|
 |
25
gebiwanger 136 天前
nice 。后续还会有更多有价值的迭代更新吗？
git4all 这样的 app 也可以快速下载开源模型，叠加 RAG 文档训练，开启本地 server 。 这些开源模型都需要比较大的内存，服务器上跑跑还可以，但质量还是不行。 本地的话，还是得上 gpt 和 claude ，但是又不开源。 so ，这个方向价值的局限性，看起来还是很大。 |
|
26
unstop OP @gebiwanger 刚刚更新 v1.10 支持了远程服务商
|
 |
27
tomdddd 135 天前
楼主之前有开发这个桌面端 app 的经验么，求问下技术栈是啥
|
 |
31
weilongs 135 天前
下载下载,看起来还不错的样子.
|
 |
32
xing7673 135 天前
@djyde #11 m1max 32g 内存，输出字符和网页版差不多，基本可用。但是非常后悔为什么当时不再多加一点钱上 64g ，这样就可以跑主流 70b q4 的模型了
|
 |
33
Neo18761 135 天前
直接下载 Ollama 就可以呀
|
|
36
unstop OP @fcten 配置为 https://dashscope.aliyuncs.com/compatible-mode/v1 理论上应该可以，我测试了其他的 Openai 兼容接口是好用的。
|
|
37
xing7673 135 天前
看起来目前的需求 raycast 都能够覆盖到，op 加油
|
 |
38
jackple 135 天前
模型文件是下载到哪里了呢?
|
|
39
jackple 135 天前
找到了, 在~/.ollama/models
|
 |
40
mitoop 135 天前
An error occurred. Please try again. 这是为什么
|
 |
42
LaughingCat 135 天前
牛啊
|
 |
43
ropon 135 天前
有 intel 芯片的包么？非常想体验下
|
 |
44
rubbishmod 135 天前
想请问程序内置了 ollama 吗？还是说需要本地自己下载 ollama
|
 |
45
viiii 135 天前
行动力满满, 点赞~
顺便问一下, 按照你这样的深度使用来说, GPT4 和 Claud3.5 相比, 辅助开发(也许是人辅助 AI,哈哈), 哪个更强更实用一些? |
 |
46
yazoox 135 天前
好像很厉害的样子...... 点赞！
|
 |
47
ccc00 130 天前 via iPhone
请问怎么加到访达 - 应用程序里面
|
Select Language