工作职责:
-策略验证与评测自动化:负责框架的策略或模型能力评测。通过编写自动化脚本与框架,高效执行消融实验,定量评估记忆、规划、工具调用(Tool-use)及反思等核心能力的迭代效果
-深度数据分析与行为洞察:管理并分析评测产生的海量行为数据,运用统计学或可视化手段深度解析演化日志,建立健全的负样本归因机制,深入剖析系统瓶颈
-评测方法论创新与报告复盘:跟踪国内外前沿评测方法(如基于大模型的自动评估 LLM-as-a-judge、基于环境反馈的评估等),撰写严谨、具备可执行性的评测技术报告,定期与算法团队复盘,驱动技术闭环
-基准建设与开源影响力:紧跟业界前沿,参与设计并落地高难度的 Agent 核心 Benchmark。积极参与顶会论文的研究与撰写,通过开源项目、学术发表等方式拓展团队的行业技术影响力
任职要求:
-学历背景: 计算机科学、软件工程、人工智能或相关专业的在校本科生或研究生
-技术能力:具备扎实的编程能力,熟练掌握 Python 语言。对大模型能力评估有基本认知
-个人特质:对创新事务有足够的热情,学习能力强,主动性强,具备严谨的逻辑思维和数据分析能力
