岗位职责 1. 研发及优化语言大模型及多模态等推理引擎、PD分离推理调度系统。 2. 支持新一代自研AI芯片推理引擎开发优化，优化大模型推理性能，打造性能优势。 3. 优化大模型KV Cache命中率，从推理框架、流量调度、多级缓存等多个系统维度入手定制化优化策略。 4. 优化数据的读取性能，充分利用近计算侧的NVLink、RDMA高速网络、GPU Direct技术实现数据的高效传输。 5. 跟踪国内外大模型推理技术动态，评估并引入具有前瞻性的优化方案，持续提升产品竞争力。

任职资格 1. 学历：大学本科及以上，计算机及相关专业优先。 2. 经验：8年及以上工作经验，熟练掌握C/C++和Python语言，具备良好的coding和调试能力。 3. 框架与技术栈：熟悉主流推理框架，具备CUDA、算子优化、KV Cache、量化、动态批处理、连续批处理或分布式推理实践经验。 4. 算法与系统优化：熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验；熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先。 5. 硬件与架构：具备大规模、生产级大语言模型（LLM）在线推理系统从零到一的架构设计与优化实战经验；熟悉芯片特性，具备系统性能分析和调优经验者优先。 6. 软素质：诚实守信、作风踏实严谨、责任心强，具备良好团队协作能力，学习能力强，善于解决复杂问题。