我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置，同时需要保证这些地点是真实存在的，纯粹通过 Prompt 约束，明显是不行的。
现在我通过 Gpt-4o 的 Structured Output ，对其生成结果逐个进行真实性查询，倒是能达到效果，但是缺点是：Structured Output 没法实现 Stream 的方式输出，导致结果要超过 10s 才出现
求助：如何既能保持真实性又能满足 stream 输出呢？
17 条回复 • 2024-10-19 14:43:16 +08:00
 |
1
gaobh 29 天前
接入地图 API 来判断真实度，大模型谈真实本来就是相悖的
|
 |
2
HeyCaptainJack OP @gaobh 嗯，目前确实是通过地图 API 来判断的，就是这样速度就慢了很多
|
 |
3
vevlins 29 天前
为什么不前置给个景点的知识库，或者对输出结果做缓存，你对于某个城市的输出结果不总是一致的是吗
|
 |
4
forgottencoast 29 天前
@HeyCaptainJack
全国的景点一共没多少个，全收集起来，用不着地图 API 吧。 |
|
5
HeyCaptainJack OP @vevlins RAG 这块代码，我没具体实操过，请问配置好知识库之后，能 100%按知识库的推荐来输出吗
|
|
6
HeyCaptainJack OP @forgottencoast 对于 5A, 4A 景点啥的，这些数据能找到，但是比如小县城，就没有这些，不知道数据源要从哪获取？
|
|
7
forgottencoast 29 天前
|
|
8
HeyCaptainJack OP @forgottencoast 嗯，是的，这里面数据很多，不过只能爬过来自己维护了
|
|
9
forgottencoast 29 天前
@HeyCaptainJack
他们可能会有付费的 api 。 |
|
10
vevlins 29 天前
@HeyCaptainJack 你说的我不确定，你可以用 fastgpt 或者 302.ai 之类封装过的工具先快速试验下，他们支持上传 pdf 作为知识库，每次提问后会先搜索知识库，然后再进行回答。
|
|
11
HeyCaptainJack OP @forgottencoast 一般这种，都不提供 api 的
|
 |
12
bigtear 29 天前
配置好知识库，让 AI 直接给出知识库里保存的位置 ID ，然后对比
|
 |
13
KHHj7U2DNR 29 天前
你是圆周笔记 app 的开发者吗？圆周笔记可以根据小红书帖子生成地图景点。
|
|
14
HeyCaptainJack OP @KHHj7U2DNR 嗯，圆周那个，是基于笔记内容，抽出来对应的位置，真实度可信，我这个需求不一样
|
|
15
HeyCaptainJack OP @bigtear 嗯，就是不清楚能否💯完全按照知识库内容输出
|
 |
16
mumbler 29 天前 via Android
解决幻觉最好办法就是知识库，现在的大模型已经足够听话了，我们还会让大模型回答问题同时还要把资料出处给出来，用户自己也能再核查一遍真实性。说实话，旅游景点比法律法规容错性高多了
|
|
17
HeyCaptainJack OP @mumbler 哈哈，现在想起来，AI 法律可是真难啊
|
Select Language