【岗位职责】 1.大规模分布式批处理与调度引擎(compute):基于 ray、k8s 等分布式计算框架,构建支撑千万小时级视频帧解码、空间位姿重构、数据降采样与对齐校验的高并发批处理流水线(dag). 统筹调度异构集群(cpu/gpu),实现算力资源的极致压榨. 2.离线清洗与模型批处理工程化(pipeline):将算法团队研发的各类数据质检、标注模型工程化部署到批处理节点,对海量原始数据进行全量洗脱,大幅提升高价值数据的训练密度. 3.pb 级多模态湖仓建设与存储优化(storage):搭建并维护百万至千万小时级别的视频序列及高频多源传感器(如 6- dof 空间位姿、多模态物理接触数据)的云原生多模态数据湖 优化底层存储层结构(如基于 lance、iceberg 或 parquet 格式),实现离线大文件的高效列追加(如增加新的语义 mask 或算法打分),攻坚零拷贝数据流转,避免昂贵的全局数据重写. 4.多维度混合检索引擎开发(search):设计并实现跨模态的高性能搜索引擎,支持算法团队通过 sql 结构化元数据、向量化语义(vector search)及时空轨迹特征组合查询,在 pb 级数据海中实现毫秒级的目标操作切片定位.

【任职要求】 1.本科及以上学历,计算机科学、软件工程等相关专业 拥有扎实的分布式计算与操作系统底层功底. 熟练掌握 python/go/c++,具备极强的代码架构能力 精通 ray、spark 或 flink 等分布式计算框架,具有丰富的大规模 k8s 集群管理与容器化部署实战经验. 对主流向量数据库(milvus/qdrant 等)及列式存储格式(parquet/iceberg)底层原理有深度理解 精通 aws/阿里云等云原生存储架构(oss/s3)及高并发 io 优化. 4.多媒体与算力优化:熟练掌握视频编解码底层技术(如 ffmpeg、nvenc),了解 gpu 显存压榨、多节点并行计算优化及显存碎片管理.