工作职责:
-严格执行既定评估标准,对大模型文本/对话进行多维度质量评估与标注(准确性、完整性、逻辑性、表达与格式等)
-输出准确打分与清晰可复核的评分说明,能定位问题点并给出依据
-归纳共性问题与典型案例,沉淀问题库/样例库,支撑模型迭代优化
-参与复评与校准,保证评估口径一致性与数据稳定性
-及时反馈疑难样本与规则边界问题,推动标准持续完善
-数据处理:使用 Python/SQL 等进行数据清洗、抽样、去重、聚合、统计分析,生成评估用数据集与分析报表
任职要求:
-本科及以上在读(计算机/数学/统计等相关专业优先)
-学习能力强、逻辑严密,能稳定执行复杂标准并保持一致性
-责任心强、细致耐心、可长期稳定投入,结果导向
-具备良好的沟通与协作能力,能对问题进行结构化表达
- 至少具备一种编程语言
-加分项:
-有 AI/大模型评估、数据标注、数据治理相关经验
-熟悉常见数据处理工具/流程(Pandas、Notebook、ETL、可视化、简单统计)
-了解基础 LLM 概念(prompt、SFT、评测、RAG、对齐等)
