工作职责:

-评测体系设计：从用户真实工作出发，设计覆盖任务域、交互形态、行业人群、能力维度的评测框架和分级标准，定义北极星指标与核心评测指标，并能论证体系的完备性与可信度
-评测集建设：主导题目来源规划（真实场景、用户研究、线上回流、前瞻任务），建立出题规范、rubric 规范和质量准入机制，持续迭代
-专家与标准治理：组建并管理金融、教育等垂类领域的专家网络，把专家判断转化为可复现的评分标准；建立人工评分与 AI 评委的一致性校准机制
-竞品对标与决策支撑：完成产品和主流竞品的横向评测，输出能力短板归因和迭代优先级建议，推动算法和产品团队落地
-评测闭环：与算法、工程团队协作搭建评测管线，打通"评测 → 归因 → 优化 → 回归"的闭环

任职要求:

必须：
-一定的产品、评测或数据相关工作经验，负责过大模型/AI 产品的评测工作
-参与过评测集或 Benchmark 的建设
-熟悉主流大模型评测方法，了解业界主流 Agent Benchmark
-深度使用 AI Agent 产品，对办公类任务的能力边界有判断
-有较强的结构化思考和书面表达能力
加分：
-有Office/办公协同、金融研究、教育等垂直领域的产品或从业经历
-有组织外部专家或标注团队、建立质检体系的经验
-能写 Python 脚本，做数据分析或自动化校验
-发表过评测相关论文，或参与过开源 Benchmark