数据库内数据太多，查询条件太多该如何优化

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 1251 天前的主题，其中的信息可能已经有所发展或是发生改变。

数据库：mysql

数据预计可达到3 亿条数据，15 个字段，但是需要 9 个字段作为可选参数做查询。因为字段都是可选的，不知道索引如何加。还要根据创建时间逆序排序分页。

不加索引使用数据库全表扫描硬抗估计不行，除了走 ES 外，是否有其他更好的方案。

难点就在于查询字段都是可选的，无法创建合适的索引，无法做合适的分表方案。

搞个 myisan 从库，不加索引，不知是否可行？

😔😔

字段

索引

数据库

可选

16 条回复 • 2021-07-12 17:32:03 +08:00

ccde8259

2021-07-10 01:23:51 +08:00 via iPhone

创建时间排序可以使用主键自增进行基于主键排序，分页以后变成一个 TopN 问题。剩下 9 个字段直接 Using Where 有多慢？

matrix67

2021-07-10 10:09:19 +08:00

曹政有个这个文档，可以搜索看看《 Mysql 性能优化教程.doc 》

matrix67

2021-07-10 10:11:56 +08:00

https://i.loli.net/2021/07/10/bQXezh7Vcy3FjkW.png

wangxin13g

2021-07-10 16:52:52 +08:00

3 亿的数据已经不适合用 mysql 来存东西了，你插数据进去都费劲,换 mongo 或者列数据库或者 ES 吧

zhengfan2016

2021-07-10 17:25:17 +08:00

很好奇支撑 3 亿数据库查询用的是什么配置的服务器

sy20030260

2021-07-10 17:33:05 +08:00

核心也不是多维度查询的问题了，而是亿级数据 InnoDB 单表存储，完全是个不具备拓展性的方案。
建议先重新评审下需求，3 亿数据，却没有任何一个字段或元组可以作为主维度来进行查询，合理吗？
如果不合理，确定一个合理的主维度，做下分表，前端限制或默认带主维度进行查询就好了。
一般来说，99.9%的情况都是需求不合理，剩下 0.1%才是确实需要用 ES 或其他查询引擎来解决的场景。