如何在 30 万个句子中找出特定主题的句子？

[DTCPSS]

我有一个 csv 文件，里面有 30 万个句子。
有没有什么现成的产品，可以做到：我输入 “蔬菜”，它帮我从 csv 文件中找到 “你的番茄是哪里买的？” 之类的和蔬菜相关的句子？
只是自己用，不是对外提供服务。最好开箱即用，越便宜越好。
ChatGPT 提示文件过大。QAnything 的回答完全没法用。

[liprais]

rag 了解一下

[TimePPT]

你这需求如果就举例的那么简单，都不需要大模型，语义向量检索就能满足。
就是楼上的 RAG 的一部分。

[NickHopps]

直接调用 openai 的 api 就可以实现，可以参考这篇文章 https://simonwillison.net/2023/Oct/23/embeddings/

[ck65]

大致步骤：

1. 把 csv 分成 chunk ，一行一个 chunk 或 n 行一个 chunk 看行的长度定夺
2. 逐个 chunk 调 embedding API 换回一个 embedding 结果，存进 vector db
3. 用关键词「蔬菜」检索 vector db

借楼提一个引申问题：有不需要经过 embedding API 的办法吗？

[cando]

输入"蔬菜"，让 GPT 给出所有的蔬菜，然后把所有的蔬菜拿到 csv 去匹配。

[TimePPT]

@ck65 Embedding 背后就是个模型，自己私有化部署一个也行。
还有个办法是做 NER 实体识别，读取离线训练好的 Word Embedding 表，做相似度匹配。
但这个仅限于词级别的匹配

[DTCPSS]

@liprais @TimePPT
有没有推荐的组件？ Faiss 怎么样？

[DTCPSS]

基本解决了。
向量搜索用 Faiss 。
文本向量化用 aspire/acge_text_embedding 和 Alibaba-NLP/gte-Qwen1.5-7B-instruct 。

[kalafinaian]

Bert 得到句向量 Embedding 再 L2 归一化
然后矩阵乘法计算两两之间按相似度