职位描述 核心职责： 负责构建面向大模型训练的超大规模多模态数据处理引擎，设计高性能分布式架构，支撑万亿级数据的智能化处理流水线。 具体工作： 1. 分布式架构设计：构建面向文本/语音/图像等多模态数据的高性能分布式处理框架，实现低延迟、高吞吐、强容错的数据处理系统 2. 异构计算优化：设计智能化资源调度系统，实现CPU/GPU/NPU异构计算资源的动态负载均衡和数据流水线优化 3. 大规模数据处理：参与万亿级URL处理与千亿级多模态数据清洗Pipeline的核心开发，负责PB级数据的高效清洗、存储、索引、标签与分布式存储优化 4. 系统创新：研发创新的数据并行与计算系统，解决超大规模多模态数据的存储与处理技术挑战

任职要求 基础要求： - 熟练掌握分布式计算基础，具备Ray、Spark、Hadoop、Flink等至少一种大数据处理框架的实战经验 - 优秀的SQL能力，熟练使用Hive、ClickHouse等数据仓库技术 - 深入理解数据仓库理论及ETL技术，具备优秀的数据架构设计和建模思维 - 卓越的学习能力和问题解决能力，具备工程化思维和敏锐的数据洞察力 优先考虑： - 具备PB级数据处理项目经验，有分布式计算框架的部署运维经验 - 拥有大模型数据链路处理经验（数据清洗、分类、打分、去重、Common Crawl处理等） - 具备LLM项目经验，深度了解模型训练数据处理全流程 - 有模型驱动的智能化数据处理经验，包括内容质量评估、领域分类、自动化标注 - 参与过数据-模型反馈闭环系统建设，具备通过模型效果反向优化数据策略的经验