工作职责 1、超大规模 LLM 性能工程：主导并规划千亿参数级大模型的极致性能优化技术路线，负责 PagedAttention、连续批处理等核心调度策略的深度定制与生产级架构设计，负责 vLLM/TensorRT-LLM 等主流推理框架的内核级优化与落地； 2、低比特与稀疏模型优化：支持新一代自研 AI 芯片推理引擎 INT4/FP8/AWQ 等的低比特低比特量化技术的工业级落地，平衡精度与计算效率，并设计面向 MoE 模型的分布式调度、通信、显存管理及跨卡通信优化的方案； 3、统一与多模态架构：定义并设计一套具备长期扩展性的统一 AI 推理引擎架构，以支撑回归自生成任务，并前瞻性地解决多模态大模型（如视频 - 语言模型）的推理部署问题； 4、异构算力与国产化适配：主导推理引擎在国产芯片（如昇腾、海光、天数等）平台上的线路级移植、生态适配与性能优化。对 HCCL/NCLL 等通信原语进行深度优化和定制，实现异构计算架构的算力自主可控； 5、核心算子优化与指令级高性能算子（Enhanced Focus）深度介入 GPU/NPU 算子的研发自主可控，主导设计和实现 LLM 特有高性能算子。重点包括：高性能 Attention Kernel、矩阵乘法（GEMM）的深度定制与融合、KV Cache 读写优化等关键算子； 6、具备深入理解和利用硬件指令集（ISA）和微架构（Microarchitecture）的能力，通过 CUDA/Triton 或国产芯片底层编程语言，进行 SIMD/SIMT 指令优化、指令级并行（ILP）及寄存器重排等，将 LLM 推理性能推向硬件理论极限； 7、对主流 AI 芯片的指令集架构（ISA）和微架构有深入理解和实战经验，能够直接通过底层汇编或高阶编程语言（如 PTX、SASS、TVM）进行极致算子的性能调优； 8、具备使用 CUDA/Triton 或国产 AI 芯片的底层编程语言（如 Ascend C）进行高性能算子（如 Attention, GEMM）开发与优化的丰富实战经验。 任职资格 1、大学本科及以上学历，并取得相应学位，计算机、人工智能、软件工程等相关专业； 2、具备 8 年及以上工作经验，具备 AI 系统、高性能计算或底层开发经验； 3、具备大规模、生产级大语言模型（LLM）在线推理或离线部署的架构设计与优化实战经验； 4、精通 C++/Python，具备深厚的系统编程能力，对并行计算、内存管理和锁机制有深入的系统级理解； 5、深入理解 Transformer 架构，具备 vLLM、TensorRT-LLM、LightLLM 等主流推理框架的内核级源码阅读和调优经验； 6、深入理解 CUDA/ROCm 编程模型、异构计算架构和性能优化技术，熟悉 GPU/CPU 内存模型； 7、具备算子优化和底层实现知识，能根据模型结构和硬件特性，设计和实现高性能算子；熟悉 Docker/Kubernetes 等云原生部署技术； 8、诚实守信、作风踏实严谨、责任心强，具备良好团队协作能力精神，学习能力强，善于解决复杂问题。

1、大学本科及以上学历，并取得相应学位，计算机、人工智能、软件工程等相关专业； 2、具备 8 年及以上工作经验，具备 AI 系统、高性能计算或底层系统开发经验； 3、具备大规模、生产级大语言模型（LLM）在线推理系统从零到一的架构设计与优化实战经验； 4、精通 C++/Python，具备深厚的系统编程功底，对并行计算、内存管理和性能调优有深入的系统性理解； 5、深入理解 Transformer 架构，具备 vLLM, TensorRT-LLM, LightLLM 等主流推理框架的内核级 / 源码级深度优化经验；对 KV Cache、低比特量化、连续批处理等核心技术有架构决策能力； 6、具备设计和主导实现高并发、超低延迟分布式服务系统的能力；熟悉 Docker/Kubernetes 等云原生部署运维技术； 7、诚实守信、作风踏实严谨、责任心强，具备良好团队协作能力精神，学习能力强，善于解决复杂问题。