职位编号 J20260809020208128035
数据抓取工程师-爬虫
40-100万北京市本科5-8年招聘 2 人预计佣金 103.7K23小时前刷新/8月9日 21:56发布
职位信息项目手册职位进展做单须知佣金规则发单顾问
寻访须知
必要条件:第一学历最低本科
可以base北京/上海
画像：新增数据岗位，需求较多，辛苦重点支持。 招聘级别：P5/P6/P7 招聘画像：互联网大厂背景，学历优秀，在大数据/大安全做数据质量，数据治理的人选；侧重数据的后端开发方向。
优先条件:对金融数据有经验基础或者感兴趣优先
目标公司/行业:目标公司：字节，阿里，小米等IT科技类大厂，或者得物，小红书，知乎等中小型发展迅速的科技类公司。 新增目标公司：AI类公司，比如商汤，旷视，寒武纪，科大讯飞等
必问问题:
- 看机会原因，现司职级
- 当前年包，期望薪酬
- 目前有无offer，有几个面试流程，初期还是后期
- 近两年绩效，到岗时间
JD基本信息
岗位职责
岗位职责
1、负责数据抓取体系的整体落地，构建覆盖多模态数据的端到端数据链路；
2、制定平台级反爬战略与稳定性策略，形成标准化方案与应急预案，确保在复杂限制环境下持续、稳态输出；
3、设计分布式抓取与任务编排框架，提升并发、可扩展与容错能力，支持增量更新、断点续抓与变更感知；
4、打造统一数据处理能力，同时覆盖实时与批量加工，建立数据标准与口径，保证多源数据的一致性与可复用；
5、协同数据团队完成数据交付，驱动下游分析与应用。
任职要求
任职要求
1、 5年以上工作经验，1年以上爬虫开发经验，主导过至少1个中大型爬虫项目落地；
2、精通Python及Scrapy框架，熟悉Java 或C++，对计算机底层原理有较深入了解；
3、具备分布式爬虫开发经验，熟悉任务调度与性能优化策略；
4、熟悉Spark进行大规模数据清洗，了解Ray/Dask等分布式计算框架；
5、对金融数据有经验基础或者感兴趣优先；
所属行业:互联网、人工智能/大模型/算力、计算机软件
职能分类:爬虫工程师
工作城市:
北京，招聘2人，详细地址：海淀区清华科技园
职位要求
学历要求:本科·统招
工作年限:5-8年
薪资福利
年薪范围:40-100万 16薪
薪资福利:-
面试信息
面试轮次:3轮
视频面试:可以接受
面试流程:-