用什么来做数据监控报警？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1617 天前的主题，其中的信息可能已经有所发展或是发生改变。

1.每天的数据量很大，大概 5 亿多条，如果用 mysql 存储，再用来查询监控，肯定不行的。那么用什么来存储呢？

2.数据监控报警，可以知道当前金币发放的数据量，如果超过 /少于 3 天前，7 天前的数据量 10%，就发出报警，用什么开源的工具可以快速实现呢？

报警

监控

数据

MySQL

20 条回复 • 2020-07-24 15:25:28 +08:00

defunct9

2020-07-23 14:49:02 +08:00

prometheus

KaynW

2020-07-23 15:17:26 +08:00

prometheus

useben

2020-07-23 16:23:17 +08:00

shuax

2020-07-23 16:24:24 +08:00

拿个字段放累加值行不行，不要用 sum

CoooooolFrog

2020-07-23 16:25:22 +08:00

美团点评开源监控系统 cat，谁用谁知道

tianshiyeben

2020-07-23 16:26:07 +08:00

wgcloud

superrichman

2020-07-23 16:26:24 +08:00 via iPhone

elasticsearch

tianshiyeben

2020-07-23 16:26:42 +08:00

@tianshiyeben 开源监控项目 https://github.com/tianshiyeben/wgcloud

shunconf

2020-07-23 17:22:40 +08:00

@CoooooolFrog 不留地址？

laminux29

2020-07-23 17:27:25 +08:00

监控金币发放的数据量，这应该是业务，你居然敢拿第三方监控系统来实现，我也是佩服....万一第三方监控系统挂了，或者有个缓冲延迟什么的...

sujin190

2020-07-23 17:34:09 +08:00

这种正常操作不应该先写入 Kafka，让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么，哪有直接监控原始数据的，就算每天太粗糙，那每小时肯定绰绰有余了，否则这么大量，存入 mysql，查询从磁盘读出来都不知道要多久了，毕竟磁盘读取速度摆在那的

DukeAnn

2020-07-23 17:54:39 +08:00

flink

joesonw

2020-07-23 18:04:07 +08:00

TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警

lasuar

2020-07-23 18:29:36 +08:00

Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
-Clickhouse 用于在线流量分析，一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。

lasuar

2020-07-23 18:33:23 +08:00

Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。
- Clickhouse 用于在线流量分析，在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。
- Clickhouse 能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果
- Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入、修改或删除数据。
- 数据批量写入，不需要经常更新、删除。数据写入完成后，相关业务不要求经常对数据更新或删除，主要用于查询分析数据的价值。
- Clickhouse 适合用于商业智能领域，广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据，如资源位的点击情况，以及并对各资源位进行 bi 预警。

京东使用的架构，Kafka --> flink 定时任务 --> Clickhouse 。

lasuar

2020-07-23 18:33:54 +08:00

https://mp.weixin.qq.com/s/SKO3iAVJzwwcFyGQFetoYA

lasuar

2020-07-23 18:34:20 +08:00