职位描述 1. 主导端侧ai推理引擎的架构设计与开发,支撑深度学习模型(含大模型)在嵌入式平台的高效部署. 2. 负责大模型(如qwen、deepseek、llama等)在端侧的全链路推理加速,包括量化、算子加速、投机采样、动态批处理及运行时调度. 3. 深入了解主流ai框架与推理引擎(如tensorrt、vllm、llama.cpp、sglang)底层机制,进行二次开发与定制优化. 4. 结合cuda、hvx等硬件加速能力,实现异构计算资源的统一调度与性能极限压榨. 5. 输出推理引擎架构文档、性能分析报告及部署方案.

职位要求 1. 计算机、电子工程、通信工程等相关专业,3年以上高性能计算或ai工程化经验. 2. 精通c/c++与python,深入理解计算机体系结构,熟悉cpu/gpu/npu等硬件特性,能够在不同平台上实现高效的推理调度与计算加速. 3. 熟悉tensorrt/vllm/llama.cpp/sglang等底层机制,具备推理引擎开发经验. 4. 熟悉大模型推理加速技术,如量化(int4/int8)、kv cache、动态批处理、投机采样等. 5. 具备cuda编程与优化能力,了解dsp(hvx)或npu开发者优先.