岗位职责 1. 负责设计、开发高可用的网络爬虫程序，针对不同类型网站（静态/动态/APP接口）实现数据抓取，覆盖商品、资讯、用户行为等目标数据，保障数据采集的准确性、时效性与稳定性。 2. 分析并应对网站反爬机制（如IP封锁、验证码、User - Agent验证、动态加载），通过代理池构建、验证码识别、模拟览器行为等技术优化爬虫策略，降低采集风险。 3. 参与数据清洗与预处理流程，对抓取的原始数据进行去重、格式标准化、异常值处理，为下游数据分析或业务系统提供高质量结构化数据。 4. 维护爬虫系统与监控体系，搭建日志告警机制，及时排查爬虫故障（如爬取中断、数据缺失），优化爬虫性能（如并发控制、资源占用优化）。 5. 关注爬虫技术合规性，遵循网站robots协议及数据安全法规，制定合规的数据采集方案，避免法律风险；同时沉淀爬虫开发文档与技术经验，赋能团队。

任职要求 本科及以上学历，计算机科学与技术、软件工程、信息与计算科学等相关专业优先。 1 - 3年网络爬虫或数据采集相关开发经验，有复杂网站（如电商平台、社交媒体）爬虫开发经验者优先 1. 精通Python编程语言，熟练使用爬虫核心库（requests、Scrapy、aiohttp），能独立开发同步/异步爬虫，掌握多线程、多进程编程技巧。 2. 熟悉网页解析技术，能运用XPath、CSS选择器、BeautifulSoup解析静态页面，掌握Selenium/Playwright模拟浏览器行为，应对JavaScript动态渲染页面。 3. 了解HTTP/HTTPS协议原理，能使用Chrome开发者工具、Fiddler等工具抓包分析网络请求，理解Cookie、Session、Token的认证逻辑。 4. 掌握至少1种数据库（MySQL/MongoDB/Redis），能完成爬取数据的存储设计与高效读写，具备Redis缓存优化爬虫性能经验者优先。 5. 具备反爬策略实战经验，了解代理IP池搭建、User - Agent池轮换、滑块验证码识别等技术，有使用云服务器或分布式爬虫经验者加分。