V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
V2EX › Scrapy
 |
现在大型的爬虫项目用的是什么框架， scrapy 过时了吗 程序员 • pureGirl • Dec 17, 2025 • Lastly replied by xjiang1982154112 | 14 |
 |
急需会爬虫的老哥们，兼职。。。。。 酷工作 • fanweiguo • Jul 11, 2025 • Lastly replied by zzj0311 | 12 |
 |
2025 年如果还想做一些爬虫相关的任务，还是首选 scrapy 吗？ 问与答 • rainbowmorel • May 21, 2025 • Lastly replied by rainbowmorel | 9 |
 |
要怎么实现快速爬取 1w 个网站呢？
1 程序员 • baozaodexiaomila • Apr 15, 2025 • Lastly replied by YJi
|
14 |
 |
scrapy 的 item 队列把内存挤爆 Python • bwijn • Feb 22, 2025 • Lastly replied by baozaodexiaomila | 6 |
 |
[求助] 使用 scrapy 爬 nytimes, html 中时间的值总是错误的 程序员 • CareiOS • Jan 24, 2025 • Lastly replied by alabrala | 3 |
 |
写的 Scrapy 爬虫程序在 For 循环中会漏爬很多数据 Python • Windy418 • Dec 25, 2024 • Lastly replied by wineast | 14 |
 |
使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ 问与答 • xoxo419 • Oct 28, 2024 • Lastly replied by clysto | 9 |
|
scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢 是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？ 问与答 • xoxo419 • Oct 25, 2024 • Lastly replied by Pepsigold | 3 |
 |
Scrapy 断点续爬 问与答 • joker2026 • Sep 18, 2024 • Lastly replied by Phant0m | 2 |
 |
sqlalchemy 使用疑问，每次表改了， model 也要改，感觉好麻烦，你们是怎么解决的 问与答 • hahahalololo • Mar 4, 2024 • Lastly replied by lonisletend | 6 |
|
大佬们， scrapy 请求会自动跳转的 url，跳转后的新 url 请求，不会带上 cookies，请问怎么弄才能跳转后也带上 cookies 问与答 • hahahalololo • Jan 10, 2024 • Lastly replied by hahahalololo | 2 |
|
求教同样的 url 参数头部 cookies， scrapy 请求返回验证码， requests 直接请求就正常，代码如下 HTTP • hahahalololo • Jan 9, 2024 • Lastly replied by hahahalololo | 2 |
 |
推荐下我的 scrapy 扩展工具 Python • ayugesheng • Jan 8, 2024 • Lastly replied by ayugesheng | 12 |
 |
Scrapy 异步问题求助 Python • kekeones • Dec 28, 2023 • Lastly replied by kekeones | 7 |
 |
就 web 爬虫来说， scrapy， selenium 之类的爬虫框架和自己用 chrome 扩展做爬虫有啥区别？ 程序员 • Features • Sep 18, 2023 • Lastly replied by locoz | 29 |
 |
[杭州 / 幻方量化] 高级数据采集工程师（AGI） 酷工作 • xiaoxianyu • Aug 1, 2023 • Lastly replied by xiaoxianyu | 5 |
 |
关于 Scrapy 请求的 header 自动转换为 bytes 导致请求失败的问题。 Python • kaiger • Aug 29, 2022 • Lastly replied by Nostalgia | 2 |
 |
pyspider 是弃坑了么..有啥类似的集成式的爬虫框架推荐不 问与答 • l0wkey • Apr 19, 2022 • Lastly replied by l0wkey | 8 |
 |
Scrapy Scapy spaCy 分不清了 Python • zscself • Mar 5, 2022 • Lastly replied by winterbells | 7 |
 |
分享一个 IPTV 爬虫 分享发现 • yscg • Jan 14, 2022 • Lastly replied by yscg | 6 |
 |
scrapy xpath 取值为空 问与答 • CaptainD • Dec 22, 2021 • Lastly replied by CaptainD | 3 |
|
scrapy 反爬问题 问与答 • CaptainD • Nov 29, 2021 • Lastly replied by CaptainD | 2 |
 |
scrapy 部署之后是怎么和后台管理传递信息的？ Python • featureoverload • Nov 9, 2021 • Lastly replied by 996635 | 6 |
 |
JavaScript 爬虫方案有推荐的吗？ JavaScript • dcsuibian • Oct 19, 2021 • Lastly replied by dcsuibian | 10 |
 |
发现一个 scrapy 的奇怪问题 Python • daiqiangbudainiu • Aug 6, 2021 • Lastly replied by zhijiansha | 1 |
 |
scrapy 设置 cookie 有的时候会失效是怎么回事？ Python • ZoeYn • Jun 7, 2021 • Lastly replied by ZoeYn | 1 |
 |
[深圳] 中年全栈程序员求职 职场话题 • vf2020 • Mar 27, 2021 • Lastly replied by idragonet | 15 |
 |
Scrapy 使用 SOCKS5 代理的好方法是啥呢？ Python • Te11UA • Mar 21, 2021 • Lastly replied by Kobayashi | 3 |
 |
[深圳] Automizely/AfterShip 招聘高级/资深 Python 工程师 酷工作 • alvie • Mar 5, 2021 • Lastly replied by linw1995 | 2 |
 |
为什么抓不到 scrapy 的包 Python • tuoov • Feb 20, 2021 • Lastly replied by ch2 | 6 |
 |
打算搞一个在线爬虫平台 奇思妙想 • alexchinatests • May 8, 2021 • Lastly replied by linktom | 27 |
 |
强大高效而精简易用的 Golang 爬虫框架 Colly，能否取代 Scrapy？
2 程序员 • tikazyq • Nov 19, 2022 • Lastly replied by cugxuan
|
12 |
 |
关于 scrapy 的几个问题 问与答 • 13936 • Jul 24, 2020 • Lastly replied by 13936 | 3 |
 |
如何让 scrapy 返回数据？ Python • smallgoogle • Jul 20, 2020 • Lastly replied by Fizzyi | 15 |
 |
conda 安装框架的问题 Python • shunconf • Jun 30, 2020 • Lastly replied by Muniesa | 2 |
 |
scrapy 项目中怎么获取代理 IP 呢 Python • aladdindingding • Jun 18, 2020 • Lastly replied by 1018ji | 6 |
 |
用 scrapy +selenium 练习采集，怎么都输出一些这个，是哪里设置的不对？ Python • python30 • May 29, 2020 • Lastly replied by python30 | 4 |
 |
快毕业了，该怎么办？ 问与答 • t298 • May 7, 2020 • Lastly replied by YadongZhang | 7 |
 |
scrapy 十几个项的优雅部署方案？后期方便修改爬虫和好维护的 Python • songdezu • May 6, 2020 • Lastly replied by tikazyq | 5 |
|
重构蜘蛛，现在选择是基于 crawlab 还是 DotnetSpider 还是其他更好的选择？ 程序员 • songdezu • May 6, 2020 • Lastly replied by tikazyq | 3 |
 |
分享两张阅读 scrapy 源码整理的其程序设计框图（其循环逻辑） - 欢迎指正 Python • oahebky • May 3, 2020 • Lastly replied by xingheng | 5 |
 |
Scrapy CrawlSpider rules 中的 callback 未被调用 Python • gsz2015 • Mar 13, 2020 • Lastly replied by gsz2015 | 5 |
 |
在用 scrapy 写爬虫的时候，想爬 1 万条，实际只爬了 1000 条，如何解决
1 Python • Colorful • May 19, 2020 • Lastly replied by Skyline57
|
29 |
|
爬虫小白，想请教几个问题 Python • Colorful • Mar 6, 2020 • Lastly replied by Colorful | 6 |
|
scrapy 好像会丢任务 Python • daiqiangbudainiu • Mar 4, 2020 |
 |
写了一个代理池, 觉得不错的点个 star 咯 Python • zone10 • Dec 17, 2019 |
 |
求解 scrapy 爬取报错问题 Python • yifengs • Nov 25, 2019 • Lastly replied by yifengs | 3 |
|
Selenium + scrapy 采集微信公众平台 出现如示错误。Google Chrome 78.0.3904.87 (正式版本) （64 位） (cohort: 78_87_Win) 应该用什么版本的 chrome 驱动？ Python • python30 • Nov 8, 2019 • Lastly replied by python30 | 7 |
 |
付费寻找深圳地区会 scrapy 和 PHP 的师傅带 问与答 • linfox • Oct 28, 2019 • Lastly replied by linfox | 9 |
 |
scrapy 扫描目录下所有 py 文件并坚持错误 问与答 • okface • Oct 15, 2019 • Lastly replied by ClericPy | 1 |
|
如果用 scrapy 抓取多个不同的站点放在同一个 spider 里,用下面哪种方法好点? Python • python30 • Sep 29, 2019 • Lastly replied by tisswb | 2 |
 |
为什么诸位老哥的爬虫的都是自己写的，不用 scrapy 呢？ 问与答 • wellhome • Sep 18, 2019 • Lastly replied by niknik | 26 |
 |
scrapy 在搜狗微信按时间段搜索时，返回的源码是“无搜索结果” 程序员 • zdnyp • Sep 18, 2019 • Lastly replied by zdnyp | 3 |
 |
萌新又来了 scrapy 启动时能不能传参数 Python • wersonliu9527 • Sep 17, 2019 • Lastly replied by wersonliu9527 | 2 |
 |
分享一个 scrapy 爬虫用的插件 Python • UserNameisNull • Aug 29, 2019 |
 |
为什么 scrapy 框架选择使用 Twisted 而不是 asyncio+aiohttp 等实现？ Python • waibunleung • Aug 27, 2019 • Lastly replied by julyclyde | 8 |
 |
请教下用 scrapy 如何抓 1688 上的商品数据呢？ Python • MrMike • Mar 16, 2020 • Lastly replied by yangqinger | 15 |
 |
scrapydweb 和 spiderkeeper 有什么区别？ Python • aaronhua • Aug 29, 2019 • Lastly replied by 15399905591 | 12 |
 |
Scrapy 的 Middleware 为什么要用字典的形式设置顺序而不直接用一个列表? Python • morefreeze • Aug 21, 2019 • Lastly replied by lshu | 1 |
 |
[求助] Scrapy 报错 KeyError: 'item' 问与答 • viiii • Aug 21, 2019 • Lastly replied by warcraft1236 | 7 |
 |
管理和监控 Scrapy 爬虫项目和 Scrapyd 集群的最佳实践 程序员 • my8100 • Aug 19, 2019 • Lastly replied by luzihang | 1 |
 |
请问如何在 scrapy 中使用非阻塞暂停 Python • zpwsmile • Aug 5, 2019 • Lastly replied by zpwsmile | 2 |
 |
scrapy FilesPipeline 下载视频文件问题
1 Python • ranlele • Jul 17, 2019 • Lastly replied by locoz
|
4 |
 |
[不懂就问] Scrapy 这类框架到底好在哪里？ Python • JCZ2MkKb5S8ZX9pq • Jul 17, 2019 • Lastly replied by leopku | 11 |
 |
请问一下 scrapy 爬虫的 received_count 和 scraped_count 相差很大是什么原因？ Python • dengwen168 • Jul 12, 2019 |
 |
scrapy 单页面 多条数据 怎么样存入 mysql?
1 问与答 • mon3 • Jul 1, 2019
|
 |
准全栈工程师入门计划 Flutter Go Python Docker 程序员 • hailong0707 • Jul 2, 2019 • Lastly replied by alexmy | 8 |
|
正式成为 scrapy/scrapyd 开源项目开发成员，欢迎大家留言反馈问题和建议
1 Python • my8100 • Jun 28, 2019 • Lastly replied by my8100
|
16 |
 |
现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
1 Python • z1421012325 • Jul 10, 2020 • Lastly replied by gxlonline
|
49 |
|
LogParser 现已支持 Scrapy>=1.5.2 的 telnet 认证登录（Windows 除外） Python • my8100 • Jun 21, 2019 |
|
请教 scrapy 爬虫的一个问题,中间件问题 Python • wersonliu9527 • Jun 20, 2019 • Lastly replied by wersonliu9527 | 4 |
 |
scrapy 框架中的 crawlspider 爬虫问题请教！ Python • xiushenbuhuihui • Jun 14, 2019 • Lastly replied by xiushenbuhuihui | 4 |
 |
Python scrapy 怎么做成一个 flask 的接口 Python • DOUWH • Mar 23, 2020 • Lastly replied by wwb721 | 6 |
 |
Python scrapy yield 无法获取到返回内容 Python • leegoo • May 29, 2019 • Lastly replied by leegoo | 6 |
 |
scrapy 代理 ip 失效后更换 IP Python • Fizzyi • Jun 5, 2019 • Lastly replied by popbayun | 3 |
 |
scrapy 如何对接 selenium？ Python • 911speedstar • May 12, 2019 • Lastly replied by exip | 12 |
 |
使用 scrapy 爬取梦幻藏宝阁的数据并分析
1 Python • moxiaowei • May 10, 2019 • Lastly replied by echo1937
|
33 |
 |
用 scrapy 框架爬取数据时， pipelines.py 里面的 process_item 方法为什么一定要 return,又 return 到何处？ 问与答 • rt95 • Apr 28, 2019 • Lastly replied by neptuno | 2 |
|
Python 对类好像没有太大的要求啊 Python • moxiaowei • Apr 16, 2019 • Lastly replied by Marsss | 37 |
 |
一个关于 scrapy-redis 调度的问题 Python • ghd700 • Apr 3, 2019 • Lastly replied by ghd700 | 2 |
 |
scrapy 去重与 scrapy_redis 去重与布隆过滤器 Python • zhangslob669 • Mar 27, 2019 • Lastly replied by petelin | 4 |
|
如何在 Scrapy 里面发送一个延时的请求？ 问与答 • ghd700 • Mar 23, 2019 • Lastly replied by wuyue92tree | 3 |
 |
Sublimetext3 的 Scrapy 包有人用过吗？ Python • shoreyfish • Mar 18, 2019 • Lastly replied by Trim21 | 1 |
 |
请教各位 scrapy-redis 如何实现 post 请求 问与答 • deepall • Mar 14, 2019 |
|
scrapy-redis 如何实现 post 请求 Python • deepall • Dec 3, 2019 • Lastly replied by deepall | 4 |
 |
坐标武汉，想找 Python 爬虫，或者 Python 开发也行 求职 • 1660551499 • Mar 8, 2019 |
 |
Python 爬虫框架 Scrapy 入门与实践之爬取豆瓣电影 Top250 榜单 Python • wsgzao • Mar 8, 2019 • Lastly replied by wsgzao | 11 |
 |
Scrapy 的 CrawlSpider+selenium 爬取一个网站，出现了一些问题 Python • huyu • Jul 9, 2019 • Lastly replied by xiushenbuhuihui | 1 |
 |
scrapy Middleware 里面的类算不算装饰器? Python • mapnaqi • Mar 2, 2019 • Lastly replied by 911speedstar | 7 |
 |
如果第二门语言学 PHP 直到完整做出一个网站，一般要多久 问与答 • Alfred1993 • Feb 26, 2019 • Lastly replied by Tokin | 5 |
 |
使用 Scrapy 爬取股票代码 Python • lovezww2011 • Mar 7, 2019 • Lastly replied by 911speedstar | 5 |
 |
scrapy 每次翻页的时候换 session 如何处理 问与答 • Ewig • Feb 18, 2019 |
|
scrapy post 怎么发送 json 数据 Python • mapnaqi • Feb 15, 2019 • Lastly replied by luoleng | 12 |
 |
[Remote - 远程] Web developer (8k-15k) 酷工作 • zsj888 • Mar 22, 2019 • Lastly replied by MaxZ | 15 |
 |
想搭建一个 kindle RSS 推送网站 问与答 • Jacky2333 • Feb 11, 2019 • Lastly replied by Jacky2333 | 13 |
 |
用 VSCode 开发 Scrapy 工程的包路径问题 Python • tomleung1996 • Nov 19, 2019 • Lastly replied by guowei121493 | 15 |
Select Language