岗位职责 1.测试体系顶层设计 ●负责 AI Agent 产品线的测试架构规划，设计覆盖 LLM 能力层、Agent 决策层、工具调用层、多 Agent 协作层的全链路测试体系 ●制定 Agent 测试标准、评测基准（Benchmark）和质量度量指标（如任务完成率、工具调用准确率、幻觉率、鲁棒性指数、成本与延迟等） ●设计面向非确定性系统的测试方法论，解决 LLM 输出不稳定、难以断言、回归困难等核心挑战 2.测试平台与基础设施建设 ●主导 Agent 自动化测试平台的架构设计，包括数据集集管理、工具服务、轨迹（Trajectory）回放、评估器（Evaluator）框架 ●建设离线评测 + 在线评估 + 红蓝对抗的三位一体评测链路 ●推动 LLM-as-a-Judge、多维度打分、人工标注闭环等融合评估机制落地 3.关键技术攻关 ●解决 Agent 在长程推理、工具编排、记忆管理、多轮对话等复杂场景下的测试难题 ●设计 Prompt 回归测试、Agent 行为漂移检测、Token 成本与延迟治理方案 ●构建 Agent 安全测试能力，覆盖 Prompt Injection、越狱、数据泄露、工具滥用等风险 4.组织赋能 ●带领测试团队进行技术选型与能力升级，培养 Agent 测试专家梯队 ●与算法、工程、产品团队共建质量标准，推动"可测试性"在 Agent 设计阶段前置 任职要求 ●本科及以上学历，计算机、人工智能相关专业，2年以上 AI/大模型/Agent 相关测试经验 具备完整测试平台/框架的架构设计与落地经验，主导过至少1个规模化测试基础设施建设 ●深入理解 LLM、RAG、Function Calling、MCP、多 Agent 框架（如 LangGraph、AutoGen、CrewAI）的原理与测试要点 ●熟悉主流 Agent 评测基准（AgentBench、GAIA、SWE-bench、τ-bench 等），有自研评测集经验者优先 ●精通 Python，熟悉至少一种 Agent 开发框架的源码级实现 加分项 ●有 LLM-as-a-Judge、Reward Model、自动化评估算法设计经验 ●有 Agent 产品从0到1的质量体系搭建经验

岗位职责 1.测试体系顶层设计 ●负责 AI Agent 产品线的测试架构规划，设计覆盖 LLM 能力层、Agent 决策层、工具调用层、多 Agent 协作层的全链路测试体系 ●制定 Agent 测试标准、评测基准（Benchmark）和质量度量指标（如任务完成率、工具调用准确率、幻觉率、鲁棒性指数、成本与延迟等） ●设计面向非确定性系统的测试方法论，解决 LLM 输出不稳定、难以断言、回归困难等核心挑战 2.测试平台与基础设施建设 ●主导 Agent 自动化测试平台的架构设计，包括数据集集管理、工具服务、轨迹（Trajectory）回放、评估器（Evaluator）框架 ●建设离线评测 + 在线评估 + 红蓝对抗的三位一体评测链路 ●推动 LLM-as-a-Judge、多维度打分、人工标注闭环等融合评估机制落地 3.关键技术攻关 ●解决 Agent 在长程推理、工具编排、记忆管理、多轮对话等复杂场景下的测试难题 ●设计 Prompt 回归测试、Agent 行为漂移检测、Token 成本与延迟治理方案 ●构建 Agent 安全测试能力，覆盖 Prompt Injection、越狱、数据泄露、工具滥用等风险 4.组织赋能 ●带领测试团队进行技术选型与能力升级，培养 Agent 测试专家梯队 ●与算法、工程、产品团队共建质量标准，推动"可测试性"在 Agent 设计阶段前置 任职要求 ●本科及以上学历，计算机、人工智能相关专业，2年以上 AI/大模型/Agent 相关测试经验 具备完整测试平台/框架的架构设计与落地经验，主导过至少1个规模化测试基础设施建设 ●深入理解 LLM、RAG、Function Calling、MCP、多 Agent 框架（如 LangGraph、AutoGen、CrewAI）的原理与测试要点 ●熟悉主流 Agent 评测基准（AgentBench、GAIA、SWE-bench、τ-bench 等），有自研评测集经验者优先 ●精通 Python，熟悉至少一种 Agent 开发框架的源码级实现