职位描述 1. 负责基座大模型训练数据平台的架构设计与核心研发,建设覆盖预训练、后训练等场景 的数据处理、存储管理和数据交付能力,以高质量数据基础设施支撑模型能力持续突破. 2. 面向海量、多模态训练数据,设计并优化分布式计算与存储体系,解决超大规模数据处 3. 建设统 一、高效的数据开发与管理平台,完善数据版本、元数据、血缘、质量、权限及 审计等能力,支持算法团队完成从数据开发、实验分析到规模化生产的全链路迭代. 4. 与数据算法及模型训练团队紧密协作,参与核心数据处理算子的研发和工程化落地,通 过平台能力与数据生产效率的持续提升,加速数据策略验证和基座模型迭代.

职位要求 1. 计算机或相关专业本科及以上学历,具备扎实的系统设计和工程能力,熟练掌握 java、go、c++、python 等至少一门编程语言. 2. 具备大规模数据处理系统研发经验,熟悉 spark、flink、ray 等一种或多种分布式计算 框架,对任务调度、容错和性能优化有深入理解. 3. 熟悉分布式存储、对象存储或数据湖相关技术,对数据组织、元数据管理、数据版本和海量数据读写优化有较深入的实践经验. 4. 具备数据平台、机器学习平台或 ai 基础设施建设经验,能够兼顾底层系统性能、平台 易用性与算法研发效率. 5. 具备良好的复杂问题分析和跨团队协作能力 模数据处理平台经验者优先