V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiaoyu9527
V2EX  ›  问与答

scrapy 的 xpath 测试 有没有什么所见即所得的方式?

  •  
  •   xiaoyu9527 · 2016-07-28 11:24:37 +08:00 · 1628 次点击
    这是一个创建于 3035 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我用 chrome 的 console 来测试 即便测试成功。 在 scrapy 里 也会抓不到数据。

    有没有办法所见即所得呀。

    8 条回复    2017-08-21 14:21:47 +08:00
    laoyur
        1
    laoyur  
       2016-07-28 12:43:20 +08:00
    xiaoyu9527
        2
    xiaoyu9527  
    OP
       2016-07-28 15:54:50 +08:00
    感觉现在所见即所得的 XPATH 抓取工具还真的不少。

    今晚回家好好研究研究

    gooseeker 就是一个。

    得认真做一个数据抓取者了(辣鸡制造者)了
    imn1
        3
    imn1  
       2016-07-28 16:05:29 +08:00
    除了上面说的 firebug+firepath ,可视化右键指哪选哪的还有
    WebDriver Element Locator 这个可以右键输出 C# Ruby Python Java Xpath 几种语言的 locator
    https://addons.mozilla.org/en-US/firefox/addon/element-locator-for-webdriv
    Yet Another Remove It Permanently 这个主要是隐藏页面元素用的,但有个 copy xpath/css 的功能
    https://addons.mozilla.org/en-US/firefox/addon/yarip
    xiaoyu9527
        4
    xiaoyu9527  
    OP
       2016-07-28 16:19:41 +08:00
    @imn1 我用 chrome 取出来的在 scrapy 经常不能用。。
    laoyur
        5
    laoyur  
       2016-07-29 09:40:28 +08:00
    @xiaoyu9527 确定不是因为 chrome 取的元素是 js 渲染出来的?
    xiaoyu9527
        6
    xiaoyu9527  
    OP
       2016-07-29 10:56:55 +08:00
    @laoyur 不太清楚。目前找了一个专门写规则的插件 gooseeker 感觉挺不错的。

    可以组合到任何采集器里。

    这样可以解决 XPATH 不熟练的大问题
    regent
        7
    regent  
       2017-08-20 11:05:55 +08:00
    @xiaoyu9527 请问后面您找了一个什么插件解决问题?谢谢
    xiaoyu9527
        8
    xiaoyu9527  
    OP
       2017-08-21 14:21:47 +08:00
    @regent 我不是已经说了么。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1308 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:33 · PVG 07:33 · LAX 15:33 · JFK 18:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.