岗位描述 ● 参与大模型推理引擎（基于 SGLang 框架）的设计与核心模块开发，支持 Transformer、MoE、DiffusionLLM 等多种架构及 LLM/VLM 等模型的高性能推理。 ● 运用低比特量化、投机采样、稀疏计算、分布式推理等技术，加速大模型推理速度并降低部署成本， 并优化其稳定性、易用性。 ● 针对 GPU/AI 芯片架构（含自研硬件），开展针对性性能调优，优化算子、内存管理、KV Cache 管理等核心模块 ● 与算法、产品及业务团队协作，推动不同模型场景下的系统端到端性能优化 ● 关注并引入前沿大模型推理技术，参与 SGLang 及相关开源生态的维护与贡献

岗位要求 ● 计算机、人工智能等相关专业本科及以上学历，具备扎实的计算机体系结构与并行计算基础 ● 精通 C/C++、Python 编程，熟练使用常用性能分析和调试工具 ● 熟悉并有实际使用经验的主流推理框架，如 SGLang、vLLM、TensorRT-LLM 等 ● 掌握 GPU/AI 芯片编程及常用加速库（cuBLAS、cuDNN、Cutlass 等），熟悉模型并行、流水线并行、NVLINK/GPU 通信等高性能计算技术 ● 有大模型推理、算子优化、模型压缩/量化、分布式部署与调度经验者优先 ● 参与或贡献过 SGLang、vLLM 等推理框架的开源项目者优先 -北深杭