首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Braisdom  ›  全部回复第 17 页 / 共 31 页
回复总数  612
1 ... 13  14  15  16  17  18  19  20  21  22 ... 31  
❮ ❯
2023-02-11 22:26:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@bojue 数据血缘是由于数据的再加工衍生出来的。


@lmq2582609 前端用的是 React + elastic ui
2023-02-11 22:08:17 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@beneo 不需要 CDC ，你可以直接连接到数据库上分析。
2023-02-11 21:58:58 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 产品上线后，希望你能提更多问题，不断优化。感谢
2023-02-11 21:55:11 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 感谢提醒，大公司也呆过，产品先上线，先落地。
2023-02-11 21:48:09 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 这块我之前就设计过，后面录个视频给你看一下，Agile Query 本身是有权限控制的，不同人看到的指标和列是不一样的，管理员会在 Agile Query 里创建不的 Schema ，Schema 中包含不同的列和字段 ，然后分配给不同的人使用。
2023-02-11 21:42:54 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 目前我是按最复杂的分析场景设计的，当然后面还会遇到很多挑战，一点一点迭代解决。就像 typescript 编译成 javascript 一下，我将简单，容易生成的表达式，编译成不同数据库的 SQL 一样的原理。
2023-02-11 21:40:23 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51
1 ）我之前的公司是个很小公司，做零售数据业务的，正常分析的数据差不多 20 亿左右吧。后面换了一个做招聘数据分析
的公司，数据也过亿了。
2 ）我的 Agile Query 是个开箱即用的，不需要二次开发，直接连接上数据库就可以进行各种复杂分析。
3 ）数据分析和正常的业务完全可以分开的，通过 CDC 实时同步一份进行分析。不存在安全问题。
4 ）技术的发展是降低开发、维护工作量，充分满足灵活的业务发展，以及更便宜的价格。
2023-02-11 21:34:25 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@beneo 还有用户端输入的不是 SQL ，而是任意关系的几十张表中的列，或者 count, sum 聚合，还有各种多表的计算表达式映射的中文指标。生成的 SQL 中会有大量子查询解决 overcounting 问题，不是简单的 join
2023-02-11 21:31:45 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@beneo 这些 BI 我都用过，也研究过他们的实现方案，基本上都是通过宽表的方式解决的。网易有数，帆软 这两个我特别仔细的研究过，很难做到开箱即用，前期都需要做很多工作。
2023-02-11 21:18:08 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 如果没有数据的再加工（提前按维度聚合），现有的 BI 都需要写 SQL 的。都是原始表的话，任何一个分析基本上都需要几百行的 SQL ，join 几十几张表。
2023-02-11 21:07:10 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 我要计算的是过亿级别的数据，其它的小数据 excel 和 power bi 足够了。
2023-02-11 21:05:30 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 这些产品我都研究过，之前的公司也在项目里使用 superset ，这一系列数据分析和可视化产品都有一个共同点，就是写大量 SQL ，之前的公司 1000 多张报表，每个报表都有几百行的 SQL 。

而我的 Agile Query 不需要写一行 SQL ，都是动态生成的，其它可视化都是辅助的特性。
2023-02-11 20:59:18 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@beneo 我解决的就是传统 BI 的问题，1 ）数据的二次处理，3 ）大量复杂的 SQL ，
这两块我都不需要，我不会加工数据，也不需要写任何 SQL 。
2023-02-11 20:57:42 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@xmh51 power bi 当然了解过，power bi 用的是自己的计算引擎，需要将数据导入进 power bi ，而我的 agile query 是直接在数据库上进行计算的，这是本质的区别。我只是计算定义的公式编译成不同数据库的 SQL 。
2023-02-11 18:45:20 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@allAboutDbmss 有公式配置，已经支持窗口函数，也增加了 nested aggregation 主要支持像复购分析，留存率分析等，例如：ncount, nsum, navg...，后面还会增加更多函数
2023-02-11 18:02:49 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@v2exblog 快了，争取本月，或下月初出第一个版本。
2023-02-11 13:18:45 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
多数据源会支持的，联邦分析现在的需求还是比较旺盛的。
2023-02-11 12:55:45 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
前期会部分开源，最核心的 SQL 编译那块，后期会开源出来 。
2023-02-11 11:43:47 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@winglight2016 字段，计算公式，表关系需要手动维护的，也就是初始部署时维护一次就可以了。后期可以进行各种组合分析。
2023-02-11 11:36:56 +08:00
回复了 Braisdom 创建的主题 › 程序员 › 智能 SQL 分析系统（我的新作品）
@VHacker1989 目前 BI 的产品，我都深入分析过。大部分都是按维度进行数据再加工，分层设计，然后通过拖拉生成简单的 SQL 查询，数据开发成本非常高。

而 Agile Query 直接在原生数据库上进行查询，不需要再加工，几乎不需要二次开发，关键现在 MPP 类数据库发展比较快，查询效率非常高。
1 ... 13  14  15  16  17  18  19  20  21  22 ... 31  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2452 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 15:48 · PVG 23:48 · LAX 07:48 · JFK 10:48
Developed with CodeLauncher
♥ Do have faith in what you're doing.