岗位职责 1、负责数据抓取体系的整体落地,构建覆盖多模态数据的端到端数据链路 2、制定平台级反爬战略与稳定性策略,形成标准化方案与应急预案,确保在复杂限制环境下持续、稳态输出 3、设计分布式抓取与任务编排框架,提升并发、可扩展与容错能力,支持增量更新、断点续抓与变更感知 4、打造统一数据处理能力,同时覆盖实时与批量加工,建立数据标准与口径,保证多源数据的一致性与可复用 5、协同数据团队完成数据交付,驱动下游分析与应用.

任职要求 1、 5年以上工作经验,1年以上爬虫开发经验,主导过至少1个中大型爬虫项目落地 2、精通python及scrapy框架,熟悉java 或c++,对计算机底层原理有较深入了解 3、具备分布式爬虫开发经验,熟悉任务调度与性能优化策略 4、熟悉spark进行大规模数据清洗,了解ray/dask等分布式计算框架 5、对金融数据有经验基础或者感兴趣优先 职位信息 工作经验