V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
coderabbitjiang
V2EX  ›  程序员

go 基于向量数据库与 GPT3.5 的通用本地知识库方案

  •  
  •   coderabbitjiang · 2023-03-14 09:34:17 +08:00 · 1913 次点击
    这是一个创建于 624 天前的主题,其中的信息可能已经有所发展或是发生改变。

    流程

    • 将本地答案数据集,转为向量存储到向量数据
    • 当用户输入查询的问题时,把问题转为向量然后从向量数据库中查询相近的答案 topK 这个时候其实就是我们最普遍的问答查询方案,在没有 GPT 的时候就直接返回相关的答案整个流程就结束了
    • 现在有 GPT 了可以优化回答内容的整体结构,在单纯的搜索场景下其实这个优化没什么意义。但如果在客服等的聊天场景下,引用相关领域内容回复时,这样就会显得不那么的突兀。

    项目地址

    https://github.com/coderabbit214/document-ai

    coolair
        1
    coolair  
       2023-03-14 09:39:30 +08:00
    有没有不使用 openai 的离线本地方案?
    coderabbitjiang
        2
    coderabbitjiang  
    OP
       2023-03-14 09:41:21 +08:00
    @coolair 目前正在考虑 可能 LLAMA?
    40EaE5uJO3Xt1VVa
        3
    40EaE5uJO3Xt1VVa  
       2023-03-14 16:49:20 +08:00
    楼主 readme 里面的流程图用什么画的
    coderabbitjiang
        4
    coderabbitjiang  
    OP
       2023-03-14 16:52:16 +08:00
    @yanzhiling2001 md 格式 你可以下载下来看看源文件,另外:图是 gpt 帮的忙
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5548 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:59 · PVG 15:59 · LAX 23:59 · JFK 02:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.