requests 或者 urllib2 能不能模拟手机端抓取网页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3600 天前的主题，其中的信息可能已经有所发展或是发生改变。

RT。因为需要抓取手机页面的信息。不知道如何模拟手机端。谢谢

抓取

urllib2

Requests

12 条回复 • 2015-02-21 13:03:33 +08:00

ryd994

2015-02-18 06:45:23 +08:00

能，无非就是UA而已

fising

2015-02-18 08:07:41 +08:00

就是发送手机的request 可能不止ua

binbex

2015-02-18 09:49:01 +08:00 via Android

搜下fiddler.然后自己搞

killerv

2015-02-18 10:31:01 +08:00

应该是可以的吧，header里面的信息都可以伪造。

jianghu52

2015-02-18 11:00:08 +08:00

可以。我做过一个页面，就是专门判断手机还是PC端的，但是同事写了一个伪造的request，就把我的页面给欺骗了T_T

icedx

2015-02-18 12:24:38 +08:00 via Android

能

zwzmzd

2015-02-18 12:27:04 +08:00 via Android

@fising 手机request除了UA还有啥特别的吗？

icedx

2015-02-18 12:27:35 +08:00

http://paste.ubuntu.com/10284562/

9hills

2015-02-18 12:50:14 +08:00 via iPhone

@zwzmzd 如果不是专门防抓取移动网页，一般就只有ua判断。

如果做了防抓取，方法就多了，比如分辨率等……

clino

2015-02-18 12:55:58 +08:00 via Android

@9hills 分辨率也能配置吧？

9hills

2015-02-18 13:16:45 +08:00 via iPhone

@clino 当然能，所有的防抓取都有破解办法………只是简单一点就UA好了，不行再对症下药

taobeier

2015-02-21 13:03:33 +08:00

一般只是UA区别，伪造头就好了