1. 与算法团队紧密合作，理解并优化大模型的预训练过程，提高训练效率和速度。 2. 优化分布式训练框架，包括但不限于Megatron, DeepSpeed, PyTorch等。优化数据读取、网络通信、计算算子等，提高硬件利用率，降低训练成本。 3. 基于NVIDIA/AMD GPU硬件特性（如NVLink、InfiniBand互联、显存带宽优化），设计并优化分布式训练框架（如Megatron-LM、ColossalAI）的核心模块。 4. 解决大模型训练中的显存瓶颈、通信延迟、计算负载不均衡等问题，开发高效显存管理、梯度压缩、混合精度训练等技术。

1. 计算机科学、电子工程、数学或相关领域的硕士或博士学位，或具有相关工作经验。 2. 对深度学习、并行计算和计算机体系结构有深入的理解。 3. 熟练使用至少一种深度学习框架，如 TensorFlow、PyTorch等。 4. 具有使用 C/C++、Python 或其他编程语言的经验，熟悉 CUDA 或其他并行计算平台。 5. 对性能优化和分析工具有实践经验。 加分项： 1. 对大规模机器学习训练和分布式系统有实际经验。 2. 对深度学习优化技术如模型并行化、数据并行化、混合精度训练等有深入理解。 3. 对计算机视觉、自然语言处理等 AI 领域有研究背景。