1.使用 PyTorch 从零或基于现有代码库实现 Transformer（Encoder/Decoder/Encoder-Decoder）及其变体，并保证代码结构清晰、可维护。 2.针对模型训练与推理进行性能优化：内存优化（activation checkpointing、gradient checkpointing、optimizer state sharding）、混合精度（AMP）、算子替换、fusion、kernel 优化等。 3.设计并实现大规模并行训练方案：DP、TP、SP、PP等并行方式的组合与调度，支持多节点多 GPU 群集。 4.熟练使用并能集成主流分布式训练库与工具：PyTorch Distributed、DeepSpeed、Megatron-LM等。 5.编写高质量单元测试、集成测试。

1.计算机、电子工程、软件或相关专业；本科及以上学历，硕士优先，3年以上工作经验 2.精通 PyTorch 编程，能读懂并重构复杂模型代码。 3.熟悉 Transformer 结构与训练细节（attention 机制、positional encoding、layernorm/bias、初始化、正则化等）。 4.熟悉DP/TP/PP（至少两种）在多 GPU/多节点上的实现与调优。 5.了解混合精度训练、梯度累积、优化器（Adam/AdamW）、LR 调度、梯度裁剪等。