1 智能体全链路功能与效果评测 1.1 负责AI Agent端到端全流程功能测试，全面覆盖意图理解、多轮对话（上下文连贯性、记忆时效性）、工具调用（Function Calling精准度、参数传递正确性）、RAG检索增强（检索相关性、幻觉规避）、任务规划与执行等核心链路，确保各环节衔接顺畅、功能符合产品需求。 1.2 设计并落地智能体效果评估方案，建立可量化的关键评测指标体系，重点覆盖任务完成率、工具调用准确率、幻觉率、上下文记忆一致性、交互自然度、用户满意度等核心指标，定期输出效果评估报告，推动算法、产品、工程团队优化。 1.3 针对多智能体协作场景，验证角色分工合理性、冲突消解有效性、动态协商机制灵活性及多智能体间数据交互与指令传递的准确性，确保协同完成复杂任务的效率与质量。 1.4 负责异常场景与边界案例测试，挖掘智能体在极端输入、复杂上下文、网络波动等场景下的潜在问题，形成缺陷库并跟踪闭环，持续提升智能体的鲁棒性。 2 自动化测试与工具体系建设 2.1 基于Python语言，独立开发智能体自动化测试框架、测试脚本与数据处理pipeline，实现评测流水线、回归测试、A/B测试、压力测试的自动化执行与持续集成（CI/CD），提升测试效率。 2.2 构建完善的测试资源库，包括Prompt测试集（覆盖正常、边界、对抗性提示）、对抗样本库、边界案例库、缺陷库，支持模型迭代与产品优化的效果对比、回归验证。 2.3 搭建智能体行为监控与可观测性体系，实现决策路径追踪、性能瓶颈定位、异常行为预警、Token消耗监控等功能，实时掌握智能体运行状态。 2.4 探索并落地前沿自动化评测技术，如LLM-as-a-Judge、自动化提示词生成、测试用例自动生成等，持续优化自动化测试体系，提升测试的智能化水平。 3 模型服务化与推理优化 3.1 设计并执行智能体全场景性能测试方案，评估响应延迟、并发吞吐量、长会话上下文压缩率、Token消耗效率、知识库检索速度等核心指标，形成性能报告并推动优化。 3.2 开展压力测试、负载测试与混沌测试，模拟高负载、网络抖动、依赖服务中断等极端条件，验证智能体的鲁棒性与容错能力。 3.3 监控线上智能体运行质量，建立SLI/SLO体系，跟踪线上缺陷与性能异常，分析根因并推动优化，参与容量规划，确保智能体能够支撑业务规模持续增长。 4 流程与质量体系建设 4.1 制定并完善智能体测试规范、评测标准、准入准出机制，推动可测性设计（Design for Testability）落地，在产品需求评审、技术方案设计阶段提前介入，从测试视角提出优化建议。 4.2 协同算法、工程、产品、运营等多团队，建立高效协作机制，同步测试进度、缺陷信息与优化建议，推动问题闭环，确保产品迭代流程顺畅。 4.3 负责测试知识沉淀与分享，编写测试文档、操作手册，开展团队内部技术培训，提升团队整体测试能力，推动测试团队专业化发展。 5 技术前沿跟踪与沉淀 5.1 跟踪AI Agent前沿评测方法与技术趋势（如RLHF评估、红队测试、对抗性测试、多维度评测体系），结合公司业务场景，持续优化测试策略与方法，提升测试质量与效率。 5.2 每半年组织一次内部技术分享，围绕AI测试最佳实践、踩坑经验、新技术探索等主题，每季度至少沉淀2个可复用测试组件或测试集，促进团队技术成长。

1. 本科及以上学历,计算机科学与技术、软件工程、人工智能、自动控制等相关专业,具有大模型Agent开发经验。 2. AI领域研发经验;具备整车研发行业相关经验者优先。 3. 熟悉整车研发基本流程,了解汽车电子、车身、底盘、动力等核心系统相关知识者优先。 4. 具备良好的沟通协调能力、团队协作精神,较强的问题解决能力与技术攻坚能力,能够承受一定的项目压力。 5. 具有严谨的逻辑思维,良好的编码习惯，重视技术文档的编写与沉淀。 6. 汽车行业相关工作经验5年以上 7. 良好的沟通、组织、协调能力；具备统筹优化能力。