1
panyanyany 2017-05-22 19:45:09 +08:00
弱弱地问一句这 100+万 IP 哪来的啊……可用率有多少?
|
2
golmic 2017-05-22 19:48:15 +08:00
scrapy
|
3
popu111 2017-05-22 19:49:12 +08:00 via Android
Golang 的话 Goroutine 的实现简易度确实高得多,写这种简单的并发应用用 golang 是个相当棒的选择
|
4
dongxiaozhuo 2017-05-22 19:56:09 +08:00 via iPhone
zmap ?
|
5
YingJie OP @panyanyany 初略估计 10%
|
6
YingJie OP @dongxiaozhuo 尝试了,用不起来……
|
7
aip 2017-05-22 21:00:44 +08:00
这个。。。关键难道不是带宽么?带宽足够的话,并发一万个进程。。。。
|
9
nicoljiang 2017-05-23 20:32:05 +08:00
1、你用的 ADSL VPS 的网络质量和机器稳定性,以及 VPS 的数量;
2、反爬策略; 3、爬虫后端的数据处理能力。 以上是开玩笑的,真正的瓶颈就在能投入多少钱。 |