职位编号 J20260811145247128469
AI测评资深专家反馈快
36-60万上海市深圳市西安市研究生8-10年招聘 3 人预计佣金 69.6K9月11日 14:37刷新/8月11日 14:55发布
职位信息项目手册职位进展做单须知佣金规则发单顾问
寻访须知
必要条件:1、硕士及以上学历,8年相关工作经验,重点考虑C9,985,海外常青藤,部分211院校(符合企业赛道的可考虑,师范/财经类不太考虑) 2、熟悉AI大模型原理、RAG架构、Agent行为机制;掌握AIOps、DevOps测试流程; 3、精通评测方法论: 熟悉业界主流评测集(如MMLU, C—Eval)及自动化评测框架(如 Ragas, TruLens, Arize Phoenix),能设计多维度评测指标(准确率、时延、安全性等) 4、数据敏感度: 能够设计高质量的测试数据集(Golden Datasets),并运用统计学方法分析评测结果,产出有指导意义的优化报告,具备数据建模与统计分析能力; 5、具备端到端系统视角,能识别智能体在复杂环境中的潜在风险与失效模式; 6、了解6G—AIOps与自智网络发展趋势,理解ToB业务痛点,能将技术架构与业务交付紧密结合。 7、熟悉智能体生命周期管理方法论,包括版本控制、监控告警、安全审计与持续迭代机制。 8、年龄35~38;稳定性高,跳槽不频繁
优先条件:加分项: 具备跨团队协作能力,能与数据科学家、网络工程师、产品团队高效协同; 对具身智能、自主AI程序员(如Devin)等新兴方向有深入思考,能推动智能体向真实环境执行任务演进; 在相关领域有论文发表、专利成果或开源项目经验者优先。
目标公司/行业:浪潮信息、超聚变、新华三、华为技术、寒武纪、摩尔线程、沐曦股份、字节、腾讯、阿里、美团等头部大厂
必问问题:
待发单方补充
JD基本信息
岗位职责
1、构建智能体评测体系与落地 1)构建覆盖“感知-分析-决策-执行”全链路的智能体评测体系,设计并实现包括准确性、安全性、幻觉率、指令遵循能力在内的多维评估框架; 2)推动建立公司级智能体准入机制,确保各类Agent在上线前通过标准化测试验证; 3)负责交付面向无线通信领域的AI评测智能体,并确保产品竞争力业内领先; 2、实施智能体闭环测试与多智能体协同验证 1)搭建仿真测试环境(含数字孪生网络),开展端到端闭环任务测试,评估智能体在真实或模拟场景下的任务完成率、响应时延与异常恢复能力; 2)验证多智能体间的通信效率、角色分工清晰度与协同流程稳定性,识别并防范幻觉传播、流程断点等问题; 3)支持“人机协同”模式下的自然语言交互测试,确保智能体能准确理解运维意图并合理调用工具。 3、建设AI驱动的自主测试能力 1)推动AI自动生成测试用例、自动执行回归测试、智能缺陷识别与根因定位,实现测试流程的“自测试、自优化”; 2)构建模型漂移检测机制,定期对智能体输出质量进行监控与预警,保障其长期运行可靠性; 3)训练优化测试大模型,推进知识回收机制,将测试过程中发现的新场景、新问题沉淀至RAG知识库,支撑智能体持续学习与进化。 4、推动质量管理体系落地与改进,促进质量文化建设与经验共享 1)协助部门负责人及质量总监开展质量管理,履行质量否决权,组织质量风险识别、跟踪与闭环; 2)负责本部门质量KPI达成与绩效提升,推动质量管理要求(如质量红线、白皮书)在团队内部落地执行; 3)总结智能体评测与AI测试最佳实践,形成可复用的方法论与案例库; 5、前沿技术探索与落地 1)跟踪前沿技术,规划技术路线图,确保产品技术竞争力处于行业第一梯队。 2)转化关键技术为核心专利(5G-A、6G、AI/ML)、构建通信领域Agent及AI/ML技术壁垒,打造行业技术影响力。 3)领导跨部门技术攻关小组及方案推进,指导团队完成关键技术突破,建立人才培养梯队。
任职要求
1、教育背景与经验: 计算机、通信、人工智能等相关专业硕士及以上学历,8年以上大型系统架构或测试经验; 熟悉智能体评测,AI驱动测试,有实际落地经验者优先。 2、技术能力: 熟悉AI大模型原理、RAG架构、Agent行为机制;掌握AIOps、DevOps测试流程; 精通评测方法论: 熟悉业界主流评测集(如MMLU, C-Eval)及自动化评测框架(如 Ragas, TruLens, Arize Phoenix),能设计多维度评测指标(准确率、时延、安全性等) 数据敏感度: 能够设计高质量的测试数据集(Golden Datasets),并运用统计学方法分析评测结果,产出有指导意义的优化报告,具备数据建模与统计分析能力; 3、行业知识与解决问题能力: 具备端到端系统视角,能识别智能体在复杂环境中的潜在风险与失效模式; 了解6G-AIOps与自智网络发展趋势,理解ToB业务痛点,能将技术架构与业务交付紧密结合。 熟悉智能体生命周期管理方法论,包括版本控制、监控告警、安全审计与持续迭代机制。 4、软技能与团队合作: 良好的沟通与协作能力,能够跨团队协作并推动项目进展; 强烈的责任心和自驱力,具备在压力下完成高质量工作的能力。 5、加分项: 具备跨团队协作能力,能与数据科学家、网络工程师、产品团队高效协同; 对具身智能、自主AI程序员(如Devin)等新兴方向有深入思考,能推动智能体向真实环境执行任务演进; 在相关领域有论文发表、专利成果或开源项目经验者优先。
所属行业:通信/网络设备
职能分类:测试工程师
工作城市:
西安,招聘1人,详细地址:陕西西安深圳,招聘1人,详细地址:广东深圳上海,招聘1人,详细地址:上海
职位要求
学历要求:研究生
工作年限:8-10年
薪资福利
年薪范围:36-60万 12薪
薪资福利:具体面议
团队架构
所属部门:-
汇报对象:部长/经理/总工
下属人数:-
职级职称:-
部门架构:-
面试信息
面试轮次:轮
视频面试:可以接受
面试流程:两至三轮,人力-业务负责人-总经理。具体看人员情况是否进行技术分享
上海市,深圳市,西安市AI测评资深专家招聘-禾蛙,猎头合作交易平台