1、对现有爬虫程序进行优化维护； 2、根据业务需要编写分布式爬虫代码，对目标网站编写规则进行抓取，处理常见的反爬问题； 3、对抓取过来的数据进行初步的格式化与清洗工作； 4、维护爬虫服务器，保证其稳定运行； 5、对已爬取的数据监控及定期进行巡检工作，，保证各渠道源爬取稳定。

1.2年以上经验，熟悉数据数据采集与风控的原理，有扎实的网页、小程序、app接口分析能力； 2.熟悉Mysql、pgsql,Redis,kafka的使用； 3.熟练使用python语言,具有良好的编码风格; 4.熟悉HTTP协议，html/js/ajax等相关知识； 5.熟悉linux、git基础指令等 6.了解JS逆向、app逆向，了解几种常用的逆向工具