有没有什么数据库适合量大、更新频繁、字段变动频繁的数据？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1529 天前的主题，其中的信息可能已经有所发展或是发生改变。

上亿的数据，两周更新一轮，每天还有几万条新数据入库，这种数据用啥库比较好维护啊
还需要全文搜索😢

数据

频繁

更新

入库

36 条回复 • 2020-09-11 16:31:48 +08:00

TimePPT

2020-09-08 23:30:03 +08:00 via Android

Hadoop

misaka19000

2020-09-08 23:33:17 +08:00

Elasticsearch

baiduyixia

2020-09-08 23:36:33 +08:00 via iPhone

mysql

zzl22100048

2020-09-08 23:46:24 +08:00

@baiduyixia mysql 这么大量真能行么

zzl22100048

2020-09-08 23:48:45 +08:00

@misaka19000 目前是 hbase+es 二级索引，维护起来太累了

zzl22100048

2020-09-08 23:49:27 +08:00

@misaka19000 @TimePPT 目前是 hbase+es 二级索引，维护起来太累了

dethan

2020-09-09 00:24:45 +08:00 via Android

ads

xupefei

2020-09-09 00:35:52 +08:00 via iPhone

pgsql

wellsc

2020-09-09 01:47:16 +08:00 via iPhone

时序数据库

127000

2020-09-09 02:12:02 +08:00

楼主不妨参考下之前的帖子:)
sov2ex.com/?q=亿级数据

594duck

2020-09-09 04:22:00 +08:00 via iPhone

8 万一台的 dell R740 双 E5，512G 内存，ssd 和万转 sas，加上 Microsoft sqlserver 5 台做 cluster 。授权费一台加 Windows 也就 5 万。

再上去就是 oracle 的

别看千多，阿里的 DRDS 比这还贵

594duck

2020-09-09 04:24:45 +08:00 via iPhone

如果要用云。就是 zaure，或者直接开 oracle cloud

des

2020-09-09 07:25:03 +08:00

问一下你们这是啥需求
同时需要这么多条件的：量大、更新频繁、字段变动频繁、全文搜索

zzl22100048

2020-09-09 07:35:38 +08:00 via iPhone

@127000 有点不一样，我们有对老数据更新的需求，

wwwwzf

2020-09-09 07:43:42 +08:00

sqlserver 能用好就很不错了。

SQLServer2005：
Database size 1,048,516 TB
Databases per instance of SQL Server 32,767
Filegroups per database 32,767 （ SQL2000 是 256 ）
Files per database 32,767
File size (data) 16 TB （ SQL2000 是 32TB ）
File size (log) 2 TB （ SQL2000 是 4TB ）

SQL2012 设计极限：
524 PB(536,576TB/549,453,824G)

zzl22100048

2020-09-09 07:59:43 +08:00 via iPhone

@des 类似企查查

newghost

2020-09-09 08:50:54 +08:00

http://oncedb.com

基于 redis 二次开发的的全文搜索数据库

est

2020-09-09 08:54:07 +08:00 via Android

这点数据 mysql 毫无压力啊。没秒万行也能试试

Kaiux

2020-09-09 08:55:11 +08:00

Hudi
https://hudi.apache.org/

kerro1990

2020-09-09 08:57:05 +08:00

sqlserver 最适合，性价比最好

opengps

2020-09-09 09:12:18 +08:00

规划合理，硬盘跟得上，，目测各种库都能抗住这个规模

zzl22100048

2020-09-09 09:47:19 +08:00

@est 真的吗,一天做一千万的更新写入真的可以吗

594duck

2020-09-09 09:52:39 +08:00

@zzl22100048 V2 里那种张口就来的人特别多，什么 512M 内存跑十几个服务的 Docker 吹，千万级宽表 mysql ms 级查询的

要真信了这些人的话，早完球了。

带任务来的。

zzl22100048

2020-09-09 09:57:23 +08:00

@594duck
@kerro1990
大量的 update 会不会出现什么问题

est

2020-09-09 10:47:40 +08:00

@594duck
@zzl22100048

比较老的一个 tokudb 试试。2 周更新一次还行。如果 2 秒更新一次就算了。

594duck

2020-09-09 11:03:21 +08:00

@zzl22100048 有什么问题，没什么问题，无非磁盘寿命用的快点，SSD 只做 CACHE 让 SAS 硬盘做数据写入，Microsoft sql server 水平扩展非常方便。

luvsic

2020-09-09 11:26:37 +08:00

mongodb?

teddy2725

2020-09-09 11:37:13 +08:00

try clickhouse

black11black

2020-09-09 19:11:49 +08:00

上亿：几乎所有数据库都没问题。

每天几万条入库：几乎所有数据库都没问题。

全文搜索：似乎 nosql 不行。

字段频繁更新：似乎 mysql 不行。

所以。。oracle 硬钢？

zzl22100048

2020-09-09 19:32:36 +08:00 via iPhone

@black11black 还有每天千万的 update

kerro1990

2020-09-09 21:06:57 +08:00

@zzl22100048 sqlserver 你查下就知道了，毫无压力，每秒几万个事物都没啥压力

black11black

2020-09-09 21:48:51 +08:00

@zzl22100048 update 和 insert 应该都算在入库里，你这个不该算每天几万条新数据，应该说每天几千万新数据。。当然这个压力 oracle 肯定也是没问题的，一千 qps 在 oracle 设计范围内，很轻松可以搞定，相当于每小时 360 万呗。当然我也很好奇频繁改字段该用什么数据库，我想象不到什么业务需要频繁修改字段的，没做过

zzl22100048

2020-09-09 22:59:31 +08:00 via iPhone

@black11black 数据更新附带了实时计算，计算的结果随需求一直在加

goodboy95

2020-09-10 09:31:30 +08:00

@black11black 话说为啥全文搜索 nosql 不行，这里我不太明白。我自己感觉全文搜索用的是全文索引，应该跟是不是 sql 关系不大吧。

black11black

2020-09-10 15:01:58 +08:00

@goodboy95 我就是笼统地一说，mongodb2.4 以前没有全文检索，redis 也没有，所以就当 nosql 没有了，要做当然能做

nbstoner

2020-09-11 16:31:48 +08:00

adb