V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
scalaer
V2EX  ›  分享创造

打算开发一个数据同步工具针对区块链的, 有价值没?

  •  
  •   scalaer · 2022-04-01 18:19:02 +08:00 · 2309 次点击
    这是一个创建于 993 天前的主题,其中的信息可能已经有所发展或是发生改变。

    从区块链同步数据到传统数据服务, 类似 mysql, hdfs, ....

    9 条回复    2022-04-02 18:31:32 +08:00
    rekulas
        1
    rekulas  
       2022-04-01 18:41:04 +08:00
    我帮你起了个名字,就叫区块链浏览器怎么样
    scalaer
        2
    scalaer  
    OP
       2022-04-01 18:49:20 +08:00
    @rekulas 这个能做一些数据分析吗
    0o0O0o0O0o
        3
    0o0O0o0O0o  
       2022-04-01 19:30:16 +08:00 via iPhone
    不了解商业化产品怎么做的,我猜一般也是利用区块链浏览器背后的 archive node 提供的 rpc ,也或者直接读取 node 的 kv 数据库,搞到传统数据库里来做数据分析吧?你的思路是这样吗?
    lithiumii
        4
    lithiumii  
       2022-04-01 19:31:54 +08:00
    Etherscan 那种背后应该是把区块链数据存数据库了吧
    scalaer
        5
    scalaer  
    OP
       2022-04-01 20:08:29 +08:00
    @0o0O0o0O0o 目前只想做一些 web3 工具的尝试。 不知道您有没有用过 mirror, 进入后发现光秃秃的页面, 没有推荐系统, 一下子很不适应。 所以用 web2 的思路去应用数据, 我觉得还是有一定的需要
    kaichen
        6
    kaichen  
       2022-04-01 21:41:48 +08:00   ❤️ 1
    你可以看看著名分析数据服务商 nansen 早期实践的 https://github.com/blockchain-etl/ethereum-etl 最终可以导入到 sqldb https://github.com/blockchain-etl/ethereum-etl-postgres

    最后你会发现存储也是个最费钱的事情,如果你做的数据颗粒度越细存储成本就越高,仅仅转账以太坊就需要 2T ,如果把各种业务结果结构化存下来不会少,再加上快照型数据那更是天量

    如果你想分析各种各样的链,可以 github 上搜索各个链的浏览器实现,每个链都有差异,像 nansen 就做精以太坊系的

    ---
    这个事情实际上区块链相关服务商都会做自己做这个事情,我们厂是做钱包的,从 2016 年就在做这块,v2ex 区块链节点下右边有我们招聘广告,和 etherscan 是很早合作伙伴(他们处理这么多数据成本控制是件难事)
    scalaer
        7
    scalaer  
    OP
       2022-04-02 09:43:30 +08:00
    @kaichen 谢谢
    beyondsoft
        8
    beyondsoft  
       2022-04-02 12:33:37 +08:00
    #6 以太坊转账就 2T 有点儿夸张了, 现在 eth full node 才 700G. 全归档节点才占用很大
    就目前看链上获取 Internal Tx 是最困难的
    # 3
    区块链浏览器背后绝对不是简单的 web3 rpc, 举一个例子, 地址和 token 的关系,rpc 没有接口能获取,需要自己解析 transfer event 的关系索引出来

    我觉得这块还是有需求的, 小团队想把链上数据转换成关系型数据, 自建成本太高了,要么只能用第三方的 api 来搞了
    woshifyz
        9
    woshifyz  
       2022-04-02 18:31:32 +08:00
    Dune Analytics 了解下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3405 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:50 · PVG 18:50 · LAX 02:50 · JFK 05:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.