V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
SimonTart
V2EX  ›  分享创造

写了一个库,可以即时解析不完整 JSON,在 AI 的场景下好用

  •  
  •   SimonTart · 2023-11-09 20:01:29 +08:00 · 1344 次点击
    这是一个创建于 413 天前的主题,其中的信息可能已经有所发展或是发生改变。
    在实时互动和数据处理的领域,如跟 ChatGPT 类似的 AI 对话模型中,JSON 数据的快速、准确解析尤为关键。今天,我想向大家介绍一个全新的开源工具 —— json fragment parser 。这个轻量级库旨在解决一个特定问题:如何在数据还未完全到达时,就开始解析和使用 JSON 片段。

    🚀 主要特性:

    🛠️ 支持不完整 JSON 的解析:无需等待整个 JSON 数据加载完毕,即可进行解析。
    🖥️ 兼容性强:完美支持 Node.js 环境以及所有现代浏览器。
    ⚡ 提高响应速度:让你的前端应用能够及早渲染数据,显著提升用户体验。
    ✨ 使用 json fragment parser ,你可以确保你的应用更为迅捷地响应用户操作,即便数据正在 "飞速" 传输中。欢迎大家访问 [GitHub 链接] 来了解更多信息,加入我们一起改善现代 web 应用的交互体验!

    ( PS: 内容是 chatgpt 帮忙生成的)

    https://github.com/SimonTart/json-fragment-parser/tree/main
    8 条回复    2023-12-06 20:28:16 +08:00
    pjxxcc
        1
    pjxxcc  
       2023-11-09 20:11:21 +08:00
    功能挺好,不过目前还没遇到过需要提前解析片段 json 的场景。
    倒是 sql 格式化一直没找到好用的支持片段格式化的 Js 库
    xdzhcs
        2
    xdzhcs  
       2023-11-10 15:07:24 +08:00
    这个好哇
    xdzhcs
        3
    xdzhcs  
       2023-11-10 15:07:48 +08:00
    还有类似的解析 md 表格也是有差不多的问题
    funnysaltyfish
        4
    funnysaltyfish  
       2023-12-04 21:09:25 +08:00
    可以很强,让 gpt 生成了个 json ,从最后往前面删除,基本各种情况都能解析出来(除了 null -> n, true -> t 这种,不过看了看 gpt 的分词器下,null true false 都是独立 token ,也不存在这种情况),对于字符串内部的 \" 也能处理,点个 star 先
    SimonTart
        5
    SimonTart  
    OP
       2023-12-05 08:43:26 +08:00 via iPhone
    @funnysaltyfish 这种应该也是可以解了正确解析的 能发我一下你测试的 case 吗?我看看是不是 bug
    funnysaltyfish
        6
    funnysaltyfish  
       2023-12-05 15:38:27 +08:00
    @SimonTart 哦,我可能表达的不清楚。我的意思是类似 {"bool": t(rue 及后面的还没生成出来) 这种情况,后来发现 true 是一个完整的 token ,没有这种情况。 {"bool":true 这种是可以的
    SimonTart
        7
    SimonTart  
    OP
       2023-12-06 08:36:54 +08:00 via iPhone
    @funnysaltyfish 会有这种 json 吗 这种 json 是不合法的吧,会出现 t(rue 这种情况吗?
    funnysaltyfish
        8
    funnysaltyfish  
       2023-12-06 20:28:16 +08:00
    @SimonTart 不会有这种情况,另外这个括号断句应该是 {"bool": t (rue 及后面的还没生成出来),也就是 true 只生成了个 t ;后来发现 true 是一个完整的 token ,不会从中间断开。
    此外,感谢提供的思路,我转了一份 Kotlin 版本的 https://github.com/FunnySaltyFish/partial-json-parser-kmp 出来,供后来人需要的方便用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3205 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:06 · PVG 20:06 · LAX 04:06 · JFK 07:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.