makeapp 最近的时间轴更新
makeapp

makeapp

V2EX 第 179537 号会员,加入于 2016-06-29 14:16:54 +08:00
搜索引擎类爬虫 crawl frequency 策略的设计
程序员  •  makeapp  •  2019-06-14 11:48:12 AM  •  最后回复来自 makeapp
4
出台新 MacBook air
二手交易  •  makeapp  •  2017-05-03 22:06:27 PM  •  最后回复来自 JerningChan
5
ssh -p 失败
SSH  •  makeapp  •  2016-10-09 08:42:00 AM  •  最后回复来自 makeapp
4
在极路由上安装 python
路由器  •  makeapp  •  2016-10-28 23:15:51 PM  •  最后回复来自 rabbit
5
python 分词的库
Python  •  makeapp  •  2016-09-21 17:17:39 PM  •  最后回复来自 jixiangqd
2
爬取 crunchbase
Python  •  makeapp  •  2016-09-24 14:37:40 PM  •  最后回复来自 googlefans
6
makeapp 最近回复了
2019-06-14 11:48:12 +08:00
回复了 makeapp 创建的主题 程序员 搜索引擎类爬虫 crawl frequency 策略的设计
@locoz 假设给定邮编后能知道 gps 的坐标,100w 个饭店的 gps 坐标也都知道。10 种送餐方式相当于是 seed_url,访问其中一个 url 后输入邮编,可以获取附近 10 公里内的饭店和快递费用。想求的是,给定邮编 xxx,对于附近的饭店,最便宜的送餐方式什么?
2016-10-09 08:42:00 +08:00
回复了 makeapp 创建的主题 SSH ssh -p 失败
@makeapp 解决了。
这条命令
```
ssh -p 10086 root@aliyun
```
应该输入本地内网电脑的密码
2016-10-09 08:36:15 +08:00
回复了 makeapp 创建的主题 SSH ssh -p 失败
@jigloo 什么意思?我本地电脑是可以通过 ssh root@localhost 的

我改了 PermitRootLogin 和 GatewayPorts
2016-09-25 00:18:08 +08:00
回复了 makeapp 创建的主题 路由器 在极路由上安装 python
@ixinshang 什么意思
2016-09-18 14:22:34 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
@est 方便在于,改下 xpath ,改下数据库存储的格式,就可以抓取几百万的数据。
2016-09-18 14:19:13 +08:00
回复了 hippoboy 创建的主题 Python 请问使用 scrapy 的优势是什么?直接用 requests 不是很简单?
我通常都是用 requests 做测试, scrapy 做生产。不清楚 requests 上的高级用法,但 scrapy 的 pipeline , middleware 非常好用,比如数据存储,换 UA ,换 proxy , itemloader 。
2016-09-16 14:59:03 +08:00
回复了 makeapp 创建的主题 Python 爬取 crunchbase
@caspartse 这是什么抓包软件?
2016-09-16 14:57:01 +08:00
回复了 makeapp 创建的主题 Python 爬取 crunchbase
谢谢各位指点,我试了很多 headers ,我一直怀疑是 headers 的问题,最后发现是阿里云的 ip 的问题。我换 ip 后就好了。
logging 模块更加完善,有很多功能。我通常是用 logging 做日志记录进行事后分析, print 作为实时监控,可以直接在 terminal 中查看爬虫实时状态。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   951 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 20:30 · PVG 04:30 · LAX 13:30 · JFK 16:30
Developed with CodeLauncher
♥ Do have faith in what you're doing.