V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
alexapollo
V2EX  ›  程序员

关于内网 bbs 抓取的技术问题

  •  
  •   alexapollo ·
    geekan · 2015-03-04 19:46:58 +08:00 · 3477 次点击
    这是一个创建于 3556 天前的主题,其中的信息可能已经有所发展或是发生改变。

    很想关注某些内网bbs的关键词(二手、交易),但我们公司每次登录都是动态密码,cookie每次都变,就没法用程序写死cookie或密码来自动抓取了
    有什么好方法让我能自动抓取内网bbs的相关信息呢?

    18 条回复    2015-03-06 10:51:21 +08:00
    horsley
        1
    horsley  
       2015-03-04 20:32:19 +08:00
    鹅厂?
    onlyice
        2
    onlyice  
       2015-03-04 20:34:05 +08:00 via Android
    动态密码没办法了吧。。看看 BBS 有漏洞没有。。
    zkd8907
        3
    zkd8907  
       2015-03-04 20:34:28 +08:00
    =.= 目测鹅厂。。。
    YouXia
        4
    YouXia  
       2015-03-04 20:40:08 +08:00
    无解。
    xfspace
        5
    xfspace  
       2015-03-04 20:43:52 +08:00
    根据Github的显示: Tencent
    lk09364
        6
    lk09364  
       2015-03-04 20:45:21 +08:00
    userscript?
    loading
        7
    loading  
       2015-03-04 20:50:55 +08:00
    取cookie,发送给你的抓取服务app,app用cookie认证登陆。

    发cookie这一步,程序不好取,可能要手工,不知node-webkit行不行。
    horsley
        8
    horsley  
       2015-03-04 21:02:39 +08:00
    其实我们这边已经有一个小工具,不过我要做一个新工具
    ytzong
        9
    ytzong  
       2015-03-04 21:04:49 +08:00
    装个浏览器扩展,自动刷新页面的那种,可以设置监控的关键字,刷到了会弹通知

    鹅厂你好,鹅厂再见
    800126
        10
    800126  
       2015-03-04 21:24:49 +08:00 via Smartisan T1
    我也想起了鹅厂的RSA密码令牌了
    typcn
        11
    typcn  
       2015-03-04 22:13:48 +08:00
    需要费时间的方法:
    反编译密码令牌的客户端,一般情况下 iOS 客户端比较好逆,OC 可以还原的比较好。安卓端一般混淆的比较蛋疼。
    找出算法,写出密码计算器,然后就简单了

    懒一点的方法(有现成实现的):
    装个安卓模拟器,把密码令牌程序运行到模拟器里,一般情况下数字非常好认,把0-9都截图一遍,然后屏幕识别就可以轻易的获得当前的密码,然后模拟登陆抓取
    mdjhny
        12
    mdjhny  
       2015-03-04 23:05:06 +08:00
    1、大部分人浏览器一整天都是开着的;
    2、总要访问个oa吧,访问oa就自动种下cookie了;
    3、种下cookie就可以用浏览器插件开搞了。

    ps:楼主工作明显不饱和。
    hiboshi
        13
    hiboshi  
       2015-03-04 23:20:34 +08:00
    目测楼主所说的应该是
    bbs.oa.com 鹅厂
    ykjsw
        14
    ykjsw  
       2015-03-05 07:28:10 +08:00 via iPhone
    如果是鹅厂 建议别搞 有访问记录的 访问多了会有人找你的
    horsley
        15
    horsley  
       2015-03-05 09:12:42 +08:00
    @ykjsw ls亲历?
    cvrock
        16
    cvrock  
       2015-03-05 11:42:50 +08:00
    我擦,这么多鹅厂的
    alexapollo
        17
    alexapollo  
    OP
       2015-03-05 14:27:24 +08:00
    @ykjsw really?。。。。
    alexapollo
        18
    alexapollo  
    OP
       2015-03-06 10:51:21 +08:00
    @loading 看起来登录以后ajax调一下本机的服务就行。。
    @ytzong 估计只有这个办法了,但监测到关键字后有没有什么简单的弹提示的方法?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1195 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 18:21 · PVG 02:21 · LAX 10:21 · JFK 13:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.