1、负责网络爬虫系统平台的架构设计与开发,完善和重构现有采集系统及服务(如抓取调度,多样化抓取,页面解析和结构化抽取 2、研究爬虫策略和防屏蔽规则,解决封账号、封ip、验证码、页面跳转等难点,提升网页抓取的效 率和质量 3、负责后台爬虫数据的分布式存储设计以及代码实现

任职要求 1、 计算机科学相关专业本科及以上学历 5年以上python开发经验,3年以上的爬虫技术开发经验. 2、熟悉使用python编程语言并熟练掌握mysql、redis等数据库的使用 3、熟悉linux、https协议、精通python语言,熟悉主流的开发框架 4、熟练使用requests包、xpath、正则 5、能独立解决实际开发过程碰到的各类疑难杂症 加分项: 了解相关 app 逆向技术、js 逆向和反编译等逆向工程能力. 有电力系统相关工作经验优先