推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3286 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为朋友是做民航的，希望能够看到未来几天内某个航段的价格情况。
就写了个爬虫，打算从协程爬取数据，因为本来我是刚接触爬虫这个东西，所以基本算是不懂了。
楼主使用的是 selenium 进行数据的爬取，代码在这里
协程的每个页面的数据需要进行下拉才能将数据显示完全。
我在办公室（网速有点慢吧，但是页面能够流畅的打开，并且我增加了 js 交互后的 sleep 时间）运行这段代码，基本上崩溃。。。看错误信息，基本上就是 WebElement 找不到（难道睡 10 秒都不够吗？）
但是，在家里，都能爬取成功。
不明所以，希望和 v 友讨论讨论。。
还有，向请教：正确的爬虫姿势是怎样的？
 |
1
jugelizi 2015-11-21 18:13:45 +08:00
为什么不直接抓 js 请求的数据
|
 |
2
knightdf 2015-11-21 18:40:19 +08:00
selenium 慢的一比。。。你还不如抓下他 ajax 的接口
|
 |
4
XianZaiZhuCe 2015-11-21 18:45:07 +08:00 via Android
携程的数据不行，抓航旅的
|
 |
5
lostsnow 2015-11-21 20:36:43 +08:00
scrapy
|
 |
6
coolzilj 2015-11-22 23:41:51 +08:00
https://www.apifier.com/
爬虫新姿势 |
Select Language