岗位描述 1. 核心系统研发 （1）设计与优化大模型推理服务框架与分布式缓存系统。 （2）支持多推理引擎适配、多模态推理、分布式部署及高效数据管理。 （3）开发工具链与服务化能力，包括模型量化、转换、调度与生命周期管理。 2. 性能与稳定性优化 （1）优化推理服务框架的性能，包括引擎适配、生命周期管理和资源调度。 （2）深入优化kvcache的显存、内存和存储管理、批处理、缓存策略和网络传输。 （3）支持高性能通信协议、容错与负载均衡机制。 （4）针对模型热点算子，进行算子优化和融合算子研发 （4）提升系统可观测性，完善监控、告警与故障恢复体系。 3. 引擎与应用集成 （1）深度集成推理引擎、缓存系统和存储系统，优化访问模式与架构设计。 （2）满足大规模、多模态推理场景下的高吞吐与低延迟需求。

岗位要求 1. 必备技能 （1）扎实的 C++/Python 编程功底，具备模块化设计能力。 （2）大模型推理框架（vLLM/SGLang等）经验，理解模型推理原理。 （3）分布式系统开发经验，熟悉缓存、微服务与容器化技术。 （4）Linux、CUDA系统编程与性能调优能力。 2. 优先条件 （1）有推理引擎或分布式核心系统的研发经验。 （2）熟悉大模型推理优化、KVCache 机制、高性能计算。 （3）有云原生平台经验或开源社区贡献。 （4）有高并发在线服务的设计与运维经验。 （5）熟悉GPU硬件特性和底层原理 （6）熟悉高性能网络和通信库 -北京/深圳/上海