岗位职责: 1. vla 基础模型架构研究与训练 负责设计并优化视觉-语言-动作(vla)端到端大模型架构,基于 transformer / flow matching / 扩散(diffusion)等主流范式 深入研究并改进主流 vla 模型(π系列、rt-2、openvla、rdt、gr-3、octo 等)的架构设计与训练策略 主导 vla 模型的预训练(pre-training)→ 监督微调(sft)→ 强化学习后训练(rl post-training / rlhf)完整训练链路 探索 action tokenization、动作块生成(act/action chunking)、扩散策略(diffusion policy)等动作表征方法的融合与创新. 2. 世界动作模型(wam)与世界模型研究 研究并构建具备物理世界预测能力的世界模型(world model),实现对动作执行后场景状态的前向仿真预测 探索动力学原生世界模型(physics-native world model)架构,融合物理引擎约束与神经网络学习能力 设计视频-动作联合建模(va)框架,基于大规模视频数据学习可泛化的操作先验知识 研究基于世界模型的想象空间规划(imagined rollout planning),提升机器人长序列任务成功率. 3. 数据引擎与多模态数据工程 构建大规模具身智能训练数据集,覆盖遥操作演示数据(teleoperation demonstrations)、合成仿真数据(synthetic data)及互联网视频数据 设计自动数据清洗、动作标注(action annotation)、数据增强(data augmentation)流程,解决机器人数据分布长尾问题 熟悉 open x-embodiment、lerobot、droid 等大规模开源具身数据集的数据格式与使用方法 探索数据飞轮(data flywheel)机制,实现模型-数据协同迭代等. 4. 强化学习与模仿学习算法研发 负责模型在边缘端(nvidia jetson orin / agx)或云端的推理加速与部署,基于 tensorrt / vllm / onnx 进行推理优化,满足机器人实时控制(< 50ms 延迟)需求. 6. 前沿技术追踪与落地转化 持续跟踪具身智能、vla、世界模型领域最新论文(corl、rss、icra、neurips、iclr、cvpr等),快速复现并验证 sota 方法 推动研究成果从算法预研到真机硬件部署的完整闭环,在工业、服务或特种机器人场景实现落地优先.

研究并应用模仿学习(imitation learning)、离线强化学习(offline rl)等算法,提升模型在复杂操作任务中的泛化能力与鲁棒性 利用 sim-to-real(虚实迁移)技术,在 isaac gym / mujoco 等仿真环境中训练策略,并将其部署到真实机器人硬件上的相关经验. 5. 大规模分布式训练与模型工程 主导多机多卡分布式训练,熟练使用 deepspeed(zero-2/3)、megatron-lm、fsdp 等分布式框架 负责训练效率优化(混合精度、梯度检查点、流水线并行),具备万卡级别训练工程经验者优先 任职要求: 1.博士研究生,计算机科学、自动化、人工智能、机器人学、控制理论等相关专业 具备流利的英文文献阅读与写作能力 2.编程与基础工程能力 精通 python,熟悉 c++,具备扎实的算法与数据结构基础 熟练掌握 pytorch(必须),了解 jax/tensorflow 者加分 具备良好的代码规范意识和工程实践能力 3.大模型与多模态 深入理解 transformer / attention 机制(自回归、masked attention、cross-attention) 熟悉 llm 训练与微调(llama、qwen、internvl 等)或 vlm 训练(clip、vit、paligemma、llava 等) 掌握 flow matching / diffusion model 训练原理,有 action 生成相关应用经验 4.机器人学基础 熟悉 机器人运动学/动力学基础(fk/ik、雅可比矩阵、轨迹规划) 熟悉 ros / ros2 开发框架(topics/services/actions) 了解常见机器人构型(franka panda、ur系列、viperx、松灵、人形机器人) 熟练使用 isaac sim / isaac lab / mujoco 中至少一种仿真平台 掌握 ppo、sac、cql、iql 等主流 rl 算法,具备 sim-to-real 工程经验 了解 urdf / mjcf 机器人模型建模,能够搭建仿真训练环境 熟悉 3d 视觉感知: 了解物体检测/分割、语义理解在机器人任务中的应用