exo + MindMac = 完全跑在 localhost 上的接近 ChatGPT 的体验

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 371 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://github.com/exo-explore/exo

https://mindmac.app/

macOS 上还有哪些可以填自定义 ChatGPT API endpoint 的客户端呢？

第 1 条附言 · 2024-11-25 16:18:12 +08:00

相比折腾 Linux 上的 NVIDIA Driver + CUDA 版本，exo 在 macOS 上跑起来的过程实在是太简单了。

MindMac

localhost

ChatGPT

15 条回复 • 2024-12-11 09:10:14 +08:00

ccbikai

PRO

2024-11-24 20:22:54 +08:00

自力的 ChatX

Livid

MOD

PRO

2024-11-24 20:26:10 +08:00

@ccbikai 感谢。

配上了，能用！

Donaldo

2024-11-25 16:22:42 +08:00

cluster 体验如何？

awah

2024-11-25 16:23:56 +08:00

MindMac 不行阿, 自从 15 之后疯狂崩溃, 9 月之后都没更新修复. 买了后悔死了

Livid

MOD

PRO

2024-11-25 17:48:07 +08:00

在 Windows 上可以跑在 WSL2 上：

Livid

MOD

PRO

2024-11-25 17:55:24 +08:00

游戏卡用来干这个显存比较紧张。

运算的时候整个 Windows 的 UI 都会卡。

Livid

MOD

PRO

2024-11-25 19:17:39 +08:00

zed 编辑器可能可以支持配合 exo 使用：

KcKXpykSg2777f5I

2024-11-25 19:42:07 +08:00

CherryStudio ，功能非常全面

Vitta

2024-11-27 09:02:58 +08:00

intel mac 是不是就跟本地模型无缘了

nutting

2024-11-27 09:18:36 +08:00

我有个 24G 的 P40 ，有意义跑吗

Livid

MOD

PRO

2024-11-28 00:20:55 +08:00

@nutting 如果已经有 Linux 环境的话，几分钟就可以跑起来。

wen20

2024-11-28 08:31:45 +08:00

chatbox

nutting

2024-11-28 10:14:34 +08:00

mac m4pro 48G 的，本地跑什么模型比较均衡啊，试了一下 qwen-coder:32B,内存嗖嗖增长

nrtEBH

356 天前

exo 和 LM studio 比有什么优势呢

Livid

MOD

PRO

354 天前

@nrtEBH exo 如果在内网的几台机器上启动，会自动组成一个群集。

只是，用一堆小机器跑超大模型这件事情可能本身就比较扯。