怎么实现让 AI 对百万数据进行本地分析？

[leven5]

目前的需求是，获取服务端数据交给 workbuddy ，让 AI 根据我提供的列名自行编写脚本，过滤、汇总出用户想要的数据。

由于没有参考对象，不知道应该怎么开发，我想的是：

1. 写一个 MCP 获取数据，然后把数据集保存到 jsonl/xslx 等临时文件中，以 resource link 的形式返回给 AI ，并返回列名、字段类型、数据条数等元信息。
2. AI 得到路径后，自己写脚本开始处理数据，然后返回给用户。

但是我文件写到哪里？如果直接往 userdata 写的话，那垃圾文件只会越来越多，而且也不会随着对话的删除一并删掉。

这种功能一般是怎么实现？只能是服务端分析完，把结果返回给 AI 吗？

[victorc]

你直接问 ai 就行了，网友智商更低

[YanSeven]

听着有点像是要对离线数据做批处理和离线分析一样的需求，可以把场景和需求描述地更清晰一点，让 ai 往这个方向给给意见建议。主要是，啥数据，要分析啥。

[blackPanda]

那必须 duckdb 啊

[kevan]

deepseek harness dataagent

[itfarmer]

@blackPanda 👍 duckdb 最适合干这个，不要让大模型去处理大数据

[llsquaer]

感觉你这个分析的话，应该是分析的逻辑，而不是真正的数据处理。真的几百万数据大模型也吃不消啊

[yjiefl]

先跟 ai 聊目标和数据情况

[413420]

做不到

[swczxf]

让 ai 写个离线分析的数据库，然后把数据插入数据库，再写 sql 分析

[liaanj]

问我们干嘛问 ai 啊，而且你直接把数据放在那里，ai 会读取的

[iiduce]

把数据放数据库里，让 ai 操作数据库

[NQ]

写脚本处理的话，把数据都下载下来让 AI 自己抽样就行了，全量 LLM 语义分析估计得几百亿 token 。

[moefishtang]

@swczxf 有 duckdb 浪费 token 写数据库干嘛…脱裤子放屁…

[Ericcccccccc]

问 ai 怎么搞方案

[kuhung]

换个能力更强的，他们一般会搞个临时路径处理

[a569171010]

OLAP ，让 AI 写 SQL ，跑完结果给 mcp 。其实就是服务端分析完。

[qweruiop]

直接 duckdb

[xsonglive491]

我觉得 1 楼说的对.你应该先写几个不同的小 demo 当作指导

[irvinghua]

这不就是智能取数或者说 text2sql 做的事情？
1.看你描述，都有固定的列名，那说明是结构化数据。既然是结构化数据，取到数据后为啥不存数据库？为啥是写文件？ sqlite 或者 MySQL 应付这种量级数据都绰绰有余。
2.智能取数/text2sql 就是个研究型概念，没有哪家公司说有完整可靠的方案。假设 AI 统计数据有 5%或者 3%的概率出现幻觉，导致汇总的数据就错的，你如何发现并校验改正？

[irvinghua]

我的意见是，如果你数据格式是固定的，并且筛选、统计的逻辑也是固定且清晰的，那就 vibe coding 写程序按照固定流程来干完这活。这种情况下别把 ai 掺活进来。

如果你的数据格式不固定（非结构化），或者处理数据的逻辑也不固定。你此时引入 ai 来自动化处理数据，那你就得接受 ai 总有小概率会给你一个错误的统计数据。这是目前 ai 娘胎里带出来的毛病，此缺点无解。

[smallest10]

这让我想起了之前有个新员工做数据分页查询的需求时，全走的前端分页。然后业务办公网到服务器的网络带宽也不是特别大，每次业务查询个数据都要等老半天。