V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
speedcell4
V2EX  ›  互联网

还有什么类似于 Kimono 的爬虫服务的网站呢?

  •  
  •   speedcell4 · 2015-08-07 14:26:40 +08:00 · 2310 次点击
    这是一个创建于 3403 天前的主题,其中的信息可能已经有所发展或是发生改变。
    15 条回复    2015-08-08 15:42:32 +08:00
    jqw1992
        1
    jqw1992  
       2015-08-07 14:50:04 +08:00
    这个不错哎。
    speedcell4
        2
    speedcell4  
    OP
       2015-08-07 16:18:45 +08:00
    @jqw1992 缺点是有时候异常地慢
    cqcn1991
        3
    cqcn1991  
       2015-08-07 16:21:52 +08:00 via iPhone
    好nb...具体介绍下?从此以后不用再写爬虫了?
    speedcell4
        4
    speedcell4  
    OP
       2015-08-07 16:29:21 +08:00
    @cqcn1991 首先是结构化页面,然后可以设置抓取频率,并且可以层级(具体的话,API主页 -> CRAWL SETUP -> CRAWL STRATEGY -> URLs from source API)。另外它的输出可以是RSS格式,所以对于那些不提供RSS的博客,你懂的。。。
    Moker
        5
    Moker  
       2015-08-07 17:03:49 +08:00
    貌似免费用户只能创建一个API?
    cqcn1991
        6
    cqcn1991  
       2015-08-07 17:11:10 +08:00 via iPhone
    @speedcell4 话说我之前手写medium爬虫…
    speedcell4
        7
    speedcell4  
    OP
       2015-08-07 17:13:00 +08:00
    speedcell4
        8
    speedcell4  
    OP
       2015-08-07 17:13:13 +08:00
    @cqcn1991 medium爬虫 是啥。。。
    Moker
        9
    Moker  
       2015-08-07 17:53:15 +08:00
    @speedcell4 新建的不能填入指定的URL
    speedcell4
        10
    speedcell4  
    OP
       2015-08-07 18:04:06 +08:00
    @Moker 可以呀。。。我明明是来问问题的。。。怎么变成答疑的了。。。
    Moker
        11
    Moker  
       2015-08-07 18:57:25 +08:00
    @speedcell4 因为你是个好人 2333
    speedcell4
        12
    speedcell4  
    OP
       2015-08-07 19:38:55 +08:00
    @Moker 强行发卡。。。
    sunine
        13
    sunine  
       2015-08-07 21:01:12 +08:00
    用过一段时间,用来爬搜狗上的微信订阅号,但是自动爬取经常失败,后来就放弃了。
    使用上还挺不错的,js什么的都没问题。
    speedcell4
        14
    speedcell4  
    OP
       2015-08-08 02:05:24 +08:00
    @sunine 付费之后会有惊人的发现
    caomu
        15
    caomu  
       2015-08-08 15:42:32 +08:00
    搜了下发现个quora问答 http://www.quora.com/What-is-the-best-alternative-to-Kimono-web-scraper-by-Kimonolabs

    另外这货感觉比已经死掉的 yahoo pipes 还要厉害啊。我的理想是有一套公开的爬虫和api中间件的在线应用,类似于 Zotero Translators + Evernote + Yahoo Pipes ,原始数据从这边倒进去,然后格式化的笔记和分类就从那边出来。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   900 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 21:32 · PVG 05:32 · LAX 13:32 · JFK 16:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.