这可能是目前最简单的本地大模型+知识库部署方案
大模型所有基础功能永久免费
功能特色
无需 docker,无需命令行操作,无需 GPU
基于 ollama ,直接将大模型打进包,选择一个大模型,下载 zip 包,解压,运行即可
无需任何配置,开箱即用
支持 win10,win11 ,mac11+
图形界面,不用自己安装 webgui
自带 embedding 库,支持上传 pdf,docx,txt,md 创建知识库
文档翻译工作流,一次翻译整本书
知识树,从大模型压榨数据
离线使用,所有数据都在本地,充分保护隐私
更多的应用正在开发中:视频字幕翻译,长文写作工具...
本地大模型的三大优势
1.隐私敏感数据保护
2.不依赖网络,可在无网环境使用
3.无限 token ,对于密集计算应用,比如翻译整本书,比云端订阅更划算
欢迎大家下载使用,多提意见
1
creazyrabbit 46 天前
翻译用哪个模型比较好
|
![]() |
2
iorilu 46 天前
换一个模型就要重下一套软件?
不能安装多模型吗 |
3
mumbler OP @creazyrabbit #1 gamme2 9B 翻译超强,比 qwen2,llama3 都强得多,跟 deepl 没有肉眼区别
|
5
tailaqumos 46 天前 via Android
本地模型有提供 api 接口吗
|
6
mumbler OP @tailaqumos #5 可以全部提供,包括 AI ,知识库,向量索引的 api ,我们正在做一个框架,方便启动 api 开发的应用
|
![]() |
7
SWALLOWW 45 天前
我次奥,试试
|
![]() |
8
SWALLOWW 45 天前
这些模型和能力能不能有个可视化图形让我们这些小白参考选择啊~大大
|
9
mumbler OP @SWALLOWW #8 不知道怎么选择,无脑选 gemma2 9B 就行了,中文能力,逻辑能力都一流,特别翻译能力超过 qwen2 ,各种模型排行榜可以看 https://chat.lmsys.org/?leaderboard
|
![]() |
10
DaiShu888 44 天前
Gemma2_27b 的模型什么时候出?
|
![]() |
12
DaiShu888 41 天前
悄悄地问下,能调教个 AI 女友出来吗?无限制 NSFW 的那种
|
![]() |
14
DaiShu888 41 天前
所以楼主就搞一个稳定的 NSFW 模型,肯定卖爆了
|
![]() |
15
DaiShu888 40 天前
楼主什么时候能让本地模型获得网络访问和搜索权限,并且把搜索结果一键添加到知识库。
封装本地模型就是为了使用方便,但如果本地模型不能自己上网搜索东西,这个模型也没有什么用的。 还有,能不能搞个预设的提示词库,类似 chatgpt 的 AI 商店。或者支持微调和手动添加提示词。 我说的这些功能好像你们都有,但用起来又好像不是我们这种小白要的东西,说实话还是有点门槛。 |
![]() |
17
flymeto 11 天前
长文本翻译不行哎,不能自己设置修改最大字符量么
|