V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
greenhat233
V2EX  ›  问与答

比赛数据有效性处理的一个问题

  •  
  •   greenhat233 · 2019-07-19 13:14:33 +08:00 · 1322 次点击
    这是一个创建于 1956 天前的主题,其中的信息可能已经有所发展或是发生改变。

    mjj 们,现在在弄一个比赛信息显示与管理的网站(主要显示比赛数据,以及登录后收藏比赛数据什么的),现在在弄显示功能。流程主要是爬虫抓取别的网站上的比赛信息,然后汇总到一个网站上面显示。现在数据已经爬到了,打算直接存到 MongoDB 上面,然后前端定时到数据库拿数据。 现在有一个问题就是不知道怎么处理数据库里面的数据,怎么判断这个数据实时性?就是有时候这个比赛时间过了,这个数据在数据库里面,然后就不能拿给前端了。目前只能想到这个办法是全部拿出来,然后筛选,然后再排序,然后再发给前端,还有没有别的高效的办法呢?

    5 条回复    2019-07-19 20:06:49 +08:00
    q937298063
        1
    q937298063  
       2019-07-19 16:11:46 +08:00
    额,存到数据库的时候 ,不存时间之类的吗。。
    greenhat233
        2
    greenhat233  
    OP
       2019-07-19 17:52:10 +08:00 via Android
    meik2333
        3
    meik2333  
       2019-07-19 18:33:57 +08:00
    http://contests.sdutacm.cn/contests.json

    https://github.com/MeiK2333/recent_contests

    我的做法是结束时间小于当前时间的直接扔了,简单粗暴
    greenhat233
        4
    greenhat233  
    OP
       2019-07-19 19:13:21 +08:00 via Android
    @meik2333 抓取简单,就是配合前端这里。想问你抓取的这个数据有在哪里用嘛
    meik2333
        5
    meik2333  
       2019-07-19 20:06:49 +08:00 via Android
    @greenhat233

    配合前端,就直接用当前时间和数据库里的结束时间比较一下呗,mongodb 也有这样的语句。

    我这个数据就是爬着玩,基本没有应用。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1000 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:41 · PVG 05:41 · LAX 13:41 · JFK 16:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.