工作职责：

1、制定可延展可泛化的大模型（问答类）评估方案，包括不限于评估维度、评估指标、结果分析。
2、灵活配合模型不同阶段的评估目标及要求，生成测评数据及报告，有效牵引大模型迭代。
3、理解和承接策略需求，制定SFT\RM等监督数据产出SOP。
4、管理测评/数据标注团队人力，保障交付频率的前提下，持续提升团队人员评估/标注专业能力及准确率。

任职资格：

1、本科及以上学历，对主流大模型的原理了解，可与策略等团队沟通。
2、对问答场景的内容质量及体验有见解，有LLM效果测评/SFT数据人工标注相关经验。
3、掌握B/C两端对模型性能、体验等方面的需求，对可外化为客观可执行标准（评估/标注）并培训和指导团队落地执行。
4、具备较强学习能力，持续吸纳行业经验、迭代评测方法。
5、参与/管理20人及以上标注/评估团队者优先，性格外向擅于表达，乐于协调/沟通/管理者优先。