工作职责：（先加微信：duke-simon 拿项目手册，画像精准再做单） 1. 参与大模型端侧部署工作 2. 参与大模型的量化优化、推理加速等性能优化工作 岗位要求： 3. 熟练使用c++、python 4. 有大模型的开发经验，熟悉大模型的相关基础 5. 熟悉大模型加速技术，如kv cache、模型量化、flash-attention、推理并行、投机采样等 加分项： 6. 熟悉常见一种开源社区的大模型推理框架，如vllm、tensorrt-llm、lmdeploy、llama.cpp等 7. 有ai编译器开发、算子开发经验 8. 有大模型推理加速经验 9. 有vlm云端或端侧部署经验者优先

工作职责： 1. 参与大模型端侧部署工作 2. 参与大模型的量化优化、推理加速等性能优化工作 岗位要求： 3. 熟练使用c++、python 4. 有大模型的开发经验，熟悉大模型的相关基础 5. 熟悉大模型加速技术，如kv cache、模型量化、flash-attention、推理并行、投机采样等 加分项： 6. 熟悉常见一种开源社区的大模型推理框架，如vllm、tensorrt-llm、lmdeploy、llama.cpp等 7. 有ai编译器开发、算子开发经验 8. 有大模型推理加速经验 9. 有vlm云端或端侧部署经验者优先