• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 1746 天前的主题，其中的信息可能已经有所发展或是发生改变。
高级爬虫工程师
工作职责：
1.负责开发网络爬虫系统以及优化爬虫策略（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等），进行多平台信息的抓取和分析；
2.负责海量数据的爬取、清洗、解析、入库；
3.负责研究各类反爬机制,解决封账号、封设备、封 IP 、验证码、页面跳转等难点攻克，提升网页抓取的效率和质量；
4.不断提升数据抓取系统的自动化水平，提升爬虫系统的稳定性、可扩展性。
任职资格：
1.熟悉 web，app 抓取原理及技术，熟悉正则表达式，熟悉常用的爬虫网络框架及重要组件；
2.熟悉 linux 开发环境和数据库，熟练使用 Python 和 Java ；
3.精通爬虫和反爬技术，精通 http 底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP 抓取等技术；
4.有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作；
5.良好的逻辑能力，善于把复杂问题梳理清晰，责任安排到人，完成情况监督到位；
6.有大规模爬虫系统实现的经验。
7.有 app 逆向分析经验优先
简历投递： [email protected]
工作职责：
1.负责开发网络爬虫系统以及优化爬虫策略（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等），进行多平台信息的抓取和分析；
2.负责海量数据的爬取、清洗、解析、入库；
3.负责研究各类反爬机制,解决封账号、封设备、封 IP 、验证码、页面跳转等难点攻克，提升网页抓取的效率和质量；
4.不断提升数据抓取系统的自动化水平，提升爬虫系统的稳定性、可扩展性。
任职资格：
1.熟悉 web，app 抓取原理及技术，熟悉正则表达式，熟悉常用的爬虫网络框架及重要组件；
2.熟悉 linux 开发环境和数据库，熟练使用 Python 和 Java ；
3.精通爬虫和反爬技术，精通 http 底层协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP 抓取等技术；
4.有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作；
5.良好的逻辑能力，善于把复杂问题梳理清晰，责任安排到人，完成情况监督到位；
6.有大规模爬虫系统实现的经验。
7.有 app 逆向分析经验优先
简历投递： [email protected]
Select Language