**********************
AI 评测平台开发工程师(全栈)
  • 收藏职位
  • 分享职位
37-75万 北京 本科 3-5年 招聘 1 人 预计佣金 81.6K 1天前刷新/2天前发布
反馈快 72小时新发
JD基本信息
岗位职责
设计并实现评测平台的核心领域模型和平台能力,包括 Benchmark Registry、评测集版本管理、Eval Job 编排、模型 / Checkpoint / 推理服务绑定、Judge Model 管理、人工体验反馈、结果解析归档、报告生成、榜单发布和模型晋级门禁; 建设稳定可靠的异步评测任务系统,支持批量评测、任务优先级、资源配额、失败重试、幂等控制、运行日志、结果复现、失败诊断和成本统计; 打通训练平台、推理平台、算力平台和数据平台等链路,实现训练产物自动评测、在线模型回归评测、评测数据集管理、算力资源申请和推理服务调用; 建设评测结果分析能力,包括指标聚合、版本对比、维度切片、异常样本追踪、人工反馈闭环和可视化报表,帮助算法团队定位模型能力变化,并支撑模型晋级、回滚和对外展示决策。
任职要求
本科及以上学历,计算机、软件工程、人工智能、数据科学等相关专业优先; 3 年以上全栈开发、平台研发、MLOps、评测系统或复杂业务系统研发经验,能够独立完成核心模块从需求抽象、技术设计到工程落地; 熟悉 Python / Go / Java 等至少一种后端语言,并熟悉 React / Vue 或其他主流前端技术栈,具备良好的接口设计、数据建模、异步任务、权限体系、数据库和工程质量意识; 理解大模型研发和评测基本流程,熟悉 Benchmark、评测集、自动化评测、人工评测、LLM-as-a-judge、结果分析和模型版本管理等概念; 有模型评测平台、实验管理平台、标注平台、Leaderboard / Benchmark 系统、任务编排系统或企业内部研发平台建设经验者优先; 具备良好的跨团队沟通能力,能够与算法、训练、推理、数据、产品和业务团队协作,把复杂评测流程沉淀为稳定平台能力。 面壁智能的岗位
所属行业:
人工智能/大模型/算力
职能分类:
全栈工程师
工作城市:
北京,招聘1人,详细地址:北京市海淀区清华科技园科建大厦3层
职位要求
学历要求:
本科·统招
工作年限:
3-5年
技能/证书:
-
薪资福利
年薪范围:
37-75万*15薪
薪资福利:
-
团队架构
所属部门:
-
下属人数:
-
部门架构:
-
汇报对象:
-
职级职称:
-
面试信息
面试轮次:
-
面试流程:
-
视频面试:
不可以接受
为你推荐