1、模型能力评测：设计并实施大语言模型（LLM）、语音模型、计算机视觉及多模态模型等大模型的性能评估方案，覆盖准确性、鲁棒性、公平性、安全性等维度。 2、数据集构建：构建通用及行业垂域（如金融、能源、政务）场景化测试数据集，验证模型的通用能力及行业应用能力。 3、评测体系开发：开发自动化评测工具链，支持模型训练、推理、部署全生命周期监控，输出量化评估报告。 4、技术合规协同：协同算法团队优化模型缺陷，跟踪安全漏洞修复及版本迭代效果。 5、评测标准制定：参与制定各个模态大模型的评测技术标准。 6、前沿技术洞察：跟踪国际最新评测基准进展，推动评测方法论迭代升级。

1、全日制博士毕业，计算机、软件工程、人工智能、数学等相关专业优先。 2、具有5年及以上的测试理论或实践经验，其中AI方向评测经验不少于2年。 3、熟悉Python/PyTorch/TensorFlow，具备模型Fine-tuning或测试开发经验。 4、深入理解AI模型原理（如Transformer/BERT架构、强化学习对齐机制）。 5、熟悉主流评测框架（HELM、OpenCompass、GLUE等）及Prompt Engineering。 6、强烈的责任心和解决问题的能力，以及良好的团队合作意识。 7、关注技术创新，愿意为开源社区做出贡献。 加分项 1、具有大模型评测经验或千卡规模大规模模型训练的实际操作经验； 2、具备大模型训练的实际操作经验。 3、曾发表顶级会议论文并具有一定的学术影响力，包括但不限于NeurIPS、ICLR、ICML、ACL、CVPR、ECCV 、ICSE等。 4、ACM等编程竞赛获奖者。