从数据库中捞取某个字段和为特定值的记录

[qmaker]

假设表 t_pay 中有一个字段为 amount,int 类型；现在需要从表中随机捞取一批记录，满足 2000>sum(amount)>10000,请问有没有什么好的方法

[fuyufjh]

是性能关键的场景吗？
是 --> 用 stored procedure 把结果写到临时表，然后一次 select 读取
不是 --> 每次 select limit 100，不够就再来一批

[qmaker]

条件更正 2000>sum(amount)>10000 =》 20000>sum(amount)>10000

[qmaker]

@fuyufjh 对实时性要求比较高，其实是有多个需求池，比如池 A 要求 sum(amount)≈10000，池 B 要求 sum(amount)≈80000，目前想到的办法是单个记录处理，每条记录取出后丢到某个池里，池蓄满了就接着续下个池，不过单个处理效率感觉还是比较低

[taogen]

1. 重复地随机取一批值，可以一次随机取 1 条或者 N 条，放入 list 中。直到 sum 满足条件或者 sum 大了。
2. 若 sum 满足条件，直接返回。若 sum 大了，使用动态规划找到满足条件的子段和。
3. 若动态规划找到有效解返回。若找不到有效解，清空 list，跳转到第 1 步。

[taogen]

你这个需求不一定有解，可能出现死循环。可以设置最大寻找次数，超过限制次数视为无解，提示暂无数据。

[kkeiko]

写入数据库的时候，把这个字段作为排序值，其他字段打包 json 写入 redis 的有序集合，redis key 根据一定的业务规则进行 hash，多分一些 key，每次从不同的 key 取出在此范围内的数据，多取一些，再合并，根据某个条件排个序，取前几位，做相对随机的效果。

[rockyou12]

先开张表记录下单条值的区间分布，然后去拿各个区间内对应的值？

[taogen]

@rockyou12 有两个问题。1. 区间的宽度如何设置？ 2. 在 1 中设置的区间宽度下，如何选择区间找到有效解的算法是什么？

[rockyou12]

@taogen 区间好说，先根据业务取细一点，比如总区间是 0-2000，那就以 10 为间隔来取。然后通过类型 flink 这种流计算框架先预计算每个区间的总数，和记录该区间中有哪些值（可以放入 redis 的 hset ），然后整个分布就有了