设计并实现大规模网页数据的抓取、清洗及结构化、存储流程，保障数据质量与时效性。 熟悉反爬机制及应对策略，开发高可用的数据采集与清洗方案。 构建基于分布式框架（如Scrapy-Redis、Celery）的爬虫系统，提升并发性能与容错能力。 融合大数据组件（如Spark/PySpark）优化数据处理效率，支持实时、批量清洗与转换任务。 协同数据团队完成数据交付，驱动下游分析与应用。

必备能力 精通Python及Scrapy框架，深入理解HTTP协议与动态页面渲染机制 熟悉java 或 c++, 对计算机底层原理有较深入了解 掌握主流数据库（MySQL/MongoDB/Redis/HBase）和消息队列（Kafka/Pulsar） 具备分布式爬虫开发经验，熟悉任务调度与性能优化策略 熟悉Spark进行大规模数据清洗，了解Ray/Dask等分布式计算框架 项目经验 2年以上工作经验，1年以上爬虫开发经验，主导过至少1个中大型爬虫项目落地 有复杂反爬机制破解案例 有Spark/Ray等大数据组件在爬虫任务中的实际应用经验