写多读少的大量 kv 数据 用云厂商的啥方案比较合理？

[joyanhui]

物联网设备上报的数据，非结构化数据。目前是序列化后直接以时间戳做文件名写 NFS 共享里。然后定时合并压缩到云厂商的对象储存，然后删除本地 。查询的时候 是 NFS 和对象储存一起查询。

感觉不是很合理的样子，本来想自建时序数据库，又不想增加运维复杂度。所以想用云厂商的方案。

直接写入对象储存的话，因为实时数据太小，压缩没啥意义。数据不压缩的话，总体积比较大。

了解到云厂商有表格储存，看起来适合我这个场景。但是没有看明白 CU 单价之类的，所以也就没明白费用到底会有多少。

不知道各位彦祖，有没有其他的方案推荐？

数据是设备的历史数据。

[ashuai]

这数据有啥用？有没有过期策略？还是想永久保留？ OSS 有存档存储类型好像超便宜

[joyanhui]

@ashuai 没有过期策略，永久保存，基本不会删除。查询较少。

[liprais]

写到 sqlite 里面传到 oss 上

[mightybruce]

如果你可以花钱的话，可以使用 EMQX 企业版，兼容多种数据库存储。
还支持大文件数据上传。
它提供了 MQTT 协议文件传输能力，允许设备上传大文件数据并将其存储到本地磁盘或 S3 存储

[joyanhui]

@liprais 这个不适合。因为一直有新数据，总不能一直重传 sqlite 文件。如果是依旧分割 sqlite 文件，和我们现在方案没差。

@mightybruce 可能我描述的不清楚。我们已经储存到本地磁盘了，只是在考虑同步到云厂商的储存。方便整理和查询。另外我们是私有协议，已经弃用 mqtt ，并且本地已经落盘，再把数据转发给 emqx 多此一举了。