1. 负责大模型自动评测效果分析工作,具备敏锐的数据敏感度,跟踪评测核心数据,定位模型能力薄弱点、特征、优劣、评测优化空间,输出评测分析报告,构建评测异常处理流程 2. 参与负责评测集和评测体系维护,结合业务迭代和用户使用体验,独立或带队完成评测任务以及评测集更新和迭代 3. 数据&流程管理:维护模型各项评测数据、参数、指标等评测信息;管理评测资源和跟进解决资源提需;成本数据监控、看板管理和维护

1.本科及以上学历,计算机科学、人工智能、数学、统计学或相关专业优先,985/211优先 2.具备较高的责任心和团队协作能力,能独立或带队完成工作 3.熟练使用python,具备数据分析、数据处理、流程优化的能力 4.熟悉提示工程、Functioncall、Agent等基础概念,有模型评测经验优先