加入我们

大语言基座模型训练实习生(J100664)

申请职位
| 实习生招聘 | 北京市
发布时间:2026-06-22

工作职责:

-参与大语言模型预训练或中训练(Mid-training),推动 base model 核心能力演进
-开展长上下文(32K–256K+)、代码、数学、Agent 等专项能力中训练,构造合成/交互轨迹数据
-负责训练数据的清洗、配比与质量评估,设计并迭代数据 recipe
-设计并优化训练 recipe,包括训练目标、学习率策略、batch size、sequence length 等核心超参
-定位和解决训练稳定性问题,如 loss spike、梯度异常、数据污染、短能力回退等
-负责模型 checkpoint 分析、能力评测与训练 ablation,驱动训练效果持续提升

任职要求:

-计算机、数学、统计或相关专业硕士及以上学历,顶尖实验室/基座模型团队背景优先
-有长上下文中训练、代码模型(SWE-bench/repo-level)或 Agent trajectory 数据训练经验者优先
-有大模型预训练或 Mid-training 实际经历,能清楚描述数据来源、训练目标与评测指标
-有顶会论文(NeurIPS、ICML、ICLR、ACL 等)、开源大模型核心贡献或模型技术报告经历者优先
-对 base model 能力边界、中训练与 post-training 差异有清晰理解
-熟悉主流分布式训练框架(Megatron、DeepSpeed、FSDP),理解 TP/PP/DP/Sequence Parallel 等并行策略