高薪招聘爬虫工程师

发布时间: 2023-10-26

价格: 3万～5万元/月

南山区 | 3-5年 | 硕士/研究生及同等学历 | 人才招聘 | 电子信息技术

需求描述

职位描述：

1、负责分布式抓取平台的核心技术研发；

2、不断完善和重构现有爬虫系统，通过对抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台；

3、设计爬虫策略与算法，提升抓取效果。

岗位要求：

1、硕士及以上学历，计算机相关专业;

2、3年以上开发经验，有较丰富的爬虫系统开发经验;掌握python语法、有python项目开发经验；熟悉python爬虫框架Scrapy，有开源网页爬虫开发经验;

3、熟悉MySQL、Oracle数据库，熟练掌握SQL语句；熟悉MongoDB。

4、熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。

5、熟悉常见反爬机制及对应的应对措施，如ua、cookie识别;

6、有较强的数据分析与建模能力;

7、熟悉Linux常用命令.

办公地址

深圳南山区深圳湾科技生态园7栋B座6层

科创中国