高薪招聘爬虫工程师
价格: 3万~5万元/月
南山区 | 3-5年 | 硕士/研究生及同等学历 | 人才招聘 | 电子信息技术
需求描述
职位描述:
1、负责分布式抓取平台的核心技术研发;
2、不断完善和重构现有爬虫系统,通过对抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;
3、设计爬虫策略与算法,提升抓取效果。
岗位要求:
1、硕士及以上学历,计算机相关专业;
2、3年以上开发经验,有较丰富的爬虫系统开发经验;掌握python语法、有python项目开发经验;熟悉python爬虫框架Scrapy,有开源网页爬虫开发经验;
3、熟悉MySQL、Oracle数据库,熟练掌握SQL语句;熟悉MongoDB。
4、熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。
5、熟悉常见反爬机制及对应的应对措施,如ua、cookie识别;
6、有较强的数据分析与建模能力;
7、熟悉Linux常用命令.
办公地址
深圳南山区深圳湾科技生态园7栋B座6层

Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20
Copyright © 2022 中国科学技术协会 版权所有 | 京ICP备16016202号-20