岗位职责 1. 负责大模型推理引擎的架构设计、核心模块研发及整体性能调优。 2. 开展编译、通信和低比特计算等技术优化，解决并发大模型推理中的瓶颈问题。 3. 设计并实现多维度并行优化方案，结合PD分离、任务调度与KV Cache管理，提升系统整体吞吐量与稳定性。 4. 与业务、算法及产品团队紧密合作，参与需求评审与系统联合优化，确保技术方案满足实际业务场景。 5. 跟踪国内外大模型推理技术动态，评估并引入具有前瞻性的优化方案，持续提升产品竞争力。

1. 学历：大学本科及以上，计算机相关专业，具备扎实的计算机基础知识。 2. 经验：8年及以上工作经验，熟练使用C/C++和Python语言，具备系统软件开发及架构设计经验。 3. 架构与框架：深入理解Transformer架构，了解语言和多模态API及调用链，掌握至少一种机器学习推理框架（如主流开源框架）。 4. 系统与分布式：具备机器学习框架、异构并行计算、分布式存储、高性能网络或云计算调度中至少一项的知识和开发经验。 5. 性能调优：熟悉性能建模、性能分析与优化，并拥有CPU/GPU架构相关经验。 6. 软素质：诚实守信、作风踏实严谨、责任心强，具备良好团队协作能力，学习能力强，善于解决复杂问题。