职位描述 岗位职责 设计并实现大规模网页数据的抓取、清洗及结构化、存储流程,保障数据质量与时效性. 熟悉反爬机制及应对策略,开发高可用的数据采集与清洗方案. 构建基于分布式框架(如scrapy-redis、celery)的爬虫系统,提升并发性能与容错能力. 融合大数据组件(如spark/pyspark)优化数据处理效率,支持实时、批量清洗与转换任务. 协同数据团队完成数据交付,驱动下游分析与应用.

必备能力 精通python及scrapy框架,深入理解http协议与动态页面渲染机制 熟悉java 或 c++, 对计算机底层原理有较深入了解 掌握主流数据库(mysql/mongodb/redis/hbase)和消息队列(kafka/pulsar) 具备分布式爬虫开发经验,熟悉任务调度与性能优化策略 熟悉spark进行大规模数据清洗,了解ray/dask等分布式计算框架 2年以上工作经验,1年以上爬虫开发经验,主导过至少1个中大型爬虫项目落地 有复杂反爬机制破解案例 有spark/ray等大数据组件在爬虫任务中的实际应用经验 加分项 掌握js逆向分析及浏览器自动化工具(如selenium/puppeteer) 在专有领域有数据采集经验