**********************
AI测评资深专家
  • 收藏职位
  • 分享职位
36-60万 上海、深... 研究生 8-10年 招聘 3 人 预计佣金 69.6K 7天前刷新/一周前发布
反馈快
JD基本信息
岗位职责
1、构建智能体评测体系与落地 1)构建覆盖“感知-分析-决策-执行”全链路的智能体评测体系,设计并实现包括准确性、安全性、幻觉率、指令遵循能力在内的多维评估框架; 2)推动建立公司级智能体准入机制,确保各类Agent在上线前通过标准化测试验证; 3)负责交付面向无线通信领域的AI评测智能体,并确保产品竞争力业内领先; 2、实施智能体闭环测试与多智能体协同验证 1)搭建仿真测试环境(含数字孪生网络),开展端到端闭环任务测试,评估智能体在真实或模拟场景下的任务完成率、响应时延与异常恢复能力; 2)验证多智能体间的通信效率、角色分工清晰度与协同流程稳定性,识别并防范幻觉传播、流程断点等问题; 3)支持“人机协同”模式下的自然语言交互测试,确保智能体能准确理解运维意图并合理调用工具。 3、建设AI驱动的自主测试能力 1)推动AI自动生成测试用例、自动执行回归测试、智能缺陷识别与根因定位,实现测试流程的“自测试、自优化”; 2)构建模型漂移检测机制,定期对智能体输出质量进行监控与预警,保障其长期运行可靠性; 3)训练优化测试大模型,推进知识回收机制,将测试过程中发现的新场景、新问题沉淀至RAG知识库,支撑智能体持续学习与进化。 4、推动质量管理体系落地与改进,促进质量文化建设与经验共享 1)协助部门负责人及质量总监开展质量管理,履行质量否决权,组织质量风险识别、跟踪与闭环; 2)负责本部门质量KPI达成与绩效提升,推动质量管理要求(如质量红线、白皮书)在团队内部落地执行; 3)总结智能体评测与AI测试最佳实践,形成可复用的方法论与案例库; 5、前沿技术探索与落地 1)跟踪前沿技术,规划技术路线图,确保产品技术竞争力处于行业第一梯队。 2)转化关键技术为核心专利(5G-A、6G、AI/ML)、构建通信领域Agent及AI/ML技术壁垒,打造行业技术影响力。 3)领导跨部门技术攻关小组及方案推进,指导团队完成关键技术突破,建立人才培养梯队。
任职要求
1、教育背景与经验: 计算机、通信、人工智能等相关专业硕士及以上学历,8年以上大型系统架构或测试经验; 熟悉智能体评测,AI驱动测试,有实际落地经验者优先。 2、技术能力: 熟悉AI大模型原理、RAG架构、Agent行为机制;掌握AIOps、DevOps测试流程; 精通评测方法论: 熟悉业界主流评测集(如MMLU, C-Eval)及自动化评测框架(如 Ragas, TruLens, Arize Phoenix),能设计多维度评测指标(准确率、时延、安全性等) 数据敏感度: 能够设计高质量的测试数据集(Golden Datasets),并运用统计学方法分析评测结果,产出有指导意义的优化报告,具备数据建模与统计分析能力; 3、行业知识与解决问题能力: 具备端到端系统视角,能识别智能体在复杂环境中的潜在风险与失效模式; 了解6G-AIOps与自智网络发展趋势,理解ToB业务痛点,能将技术架构与业务交付紧密结合。 熟悉智能体生命周期管理方法论,包括版本控制、监控告警、安全审计与持续迭代机制。 4、软技能与团队合作: 良好的沟通与协作能力,能够跨团队协作并推动项目进展; 强烈的责任心和自驱力,具备在压力下完成高质量工作的能力。 5、加分项: 具备跨团队协作能力,能与数据科学家、网络工程师、产品团队高效协同; 对具身智能、自主AI程序员(如Devin)等新兴方向有深入思考,能推动智能体向真实环境执行任务演进; 在相关领域有论文发表、专利成果或开源项目经验者优先。
所属行业:
通信/网络设备
职能分类:
测试工程师
工作城市:
西安,招聘1人,详细地址:陕西西安深圳,招聘1人,详细地址:广东深圳上海,招聘1人,详细地址:上海
职位要求
学历要求:
研究生
工作年限:
8-10年
技能/证书:
-
薪资福利
年薪范围:
36-60万*12薪
薪资福利:
具体面议
团队架构
所属部门:
-
下属人数:
-
部门架构:
-
汇报对象:
部长/经理/总工
职级职称:
-
面试信息
面试轮次:
-
面试流程:
两至三轮,人力-业务负责人-总经理。具体看人员情况是否进行技术分享
视频面试:
可以接受
为你推荐