1.设计和开发爬虫系统：设计、构建高效、稳定的爬虫系统； 2.数据采集与处理：能够对爬取的数据进行清洗、去重等处理工作； 3.爬虫系统监控：构建爬虫运行状态实时监控平台，建立异常报警机制； 4.反爬虫策略：研究及应对反爬虫策略； 5.具有良好的自学能力，能通过研究开源项目来解决开发中遇到的难题。

1.熟悉HTML、CSS、JavaScript等前端技术，能处理复杂网页的爬取与解析； 2.精通Python编程语言，熟悉网络编程、多线程/多进程开发及HTTP协议； 3.熟练掌握至少一种开源爬虫框架，精通爬虫与反爬，有开发爬虫框架经验； 4.具备成熟爬虫工具的设计与运维经验； 5.熟悉常见的数据库（如 MySQL、MongoDB、Redis 等）,具备数据存储与处理能力。 1-3年 本科及以上