【岗位职责】： 1.场景与任务设计： 创建丰富、多样的评测场景与复杂任务，以模拟真实世界挑战，全面检验智能体群体的能力边界； 2.标注体系：复杂场景下的数据标注规范、标准和流程，特别是针对多轮对话、智能体协作、意图识别等任务； 3.实验执行与数据分析： 负责执行大规模的自动化与人工评测实验，收集、清洗并深入分析实验数据； 4.工具链建设： 参与开发和维护高效的内部评测工具与平台，提升团队整体的评测效率与质量。

【任职要求】： 1.计算机科学、人工智能、软件工程或相关专业，统招本科及以上学历。 2.熟练掌握Python编程语言，具备良好的代码能力和数据结构基础。 3.对AI算法，主流大语言模型（LLMs）和多智能体系统（如AutoGen, CrewAI等）框架有基本了解和使用经验。 4.具备扎实的数据分析能力，能熟练使用Pandas, NumPy等工具进行数据处理和分析。 5.有实际的LLM/智能体项目开发或评测经验。 6.熟悉常用的统计学假设检验方法，了解A/B测试原理。 7.有构建或使用过自动化评测平台的经验 8.具备出色的逻辑思维和系统性思考能力，能够将模糊的需求转化为可量化的评测指标。注重细节，对工作质量有高标准、严要求。