北京上市企业,需要 1 名数据抓取工程师
岗位职责: 1.设计并搭建公司抓取平台; 2.根据网站结构设计抓取策略及规则; 3.对抓取数据进行清理和结构化处理;
任职要求: 1.熟悉 Java 、 Python ,熟练掌握 MySQL/Oracle/Mongdb 等数据库的使用; 2.熟悉现有开源抓取框架,能够构建多线程、分布式的抓取系统,并具有实际抓取经验; 3.良好的沟通能力和团队合作能力,对工作有激情。
这个岗位虽然以抓取为主,看工程师的能力,也可以涉及到数据处理和分析的工作,帮助工程师打通技术栈。
联系邮箱 hr_cdc@163.com