资讯推荐方案求助，内容推荐排序及去重

[xuxuxu123]

现有场景：类似于今日头条 平台资讯内容全部是从三方公司服务器获取，获取到的资讯不会重复，然后客户端需要阅读资讯

想要达到的场景： 用户可以分页获取资讯，但是需要做去重，且怎么保证用户每一次获取的数据都不一样

=============================================================

目前的想法： 前端想后台请求分页数据，实际分页字段不做真正的处理，后端接收到获取数的请求，转交给后端专门负责筛选信息的服务模块进行获取数据，这个模块只做去重及排序，然后返回对应的数据给前端，另外一个服务只做数据拉取，就是从第三方的资讯库，定时拉去资讯到本地数据库。

=============================================================

本人是前端小菜鸡一个，对于这些有点懵，大佬们帮忙写点思路，另外就是我可能说的有点乱，各位大佬请指正

[levylll]

这个方法可以的啊，服务端起个 redis，专门用来记录用户派发历史的，去掉已经派发过的返回给用户。

[figael]

假定数据在后端有序自增且去重，系统只需记录，该用户上一次获取资讯的最大 id （往往是最新），就可以保证用户每一次获取的数据都不一样了。

[xuxuxu123]

@levylll 感谢老哥的回答
但是，假定用户量 1w，每个用户 1000 条阅读历史，那需要记录派发历史的数据量就过大，且还是随时间增长，实际方案似乎不可取

[xuxuxu123]

@figael 感谢老哥的回复，我尝试一下看看是否可取