工作职责:

-模型推理性能优化：负责生成式 AI 模型的推理性能优化，涵盖 LLM、Diffusion、视频生成、数字人等模型，持续提升推理吞吐、降低延迟及计算成本
-推理框架优化：深入研究和优化主流推理框架，包括 TensorRT、ONNX Runtime、PyTorch、vLLM 等，结合业务场景进行定制化优化
-算子与计算优化：针对模型计算瓶颈，开展算子融合、计算图优化、显存管理、访存优化、并行计算等工作，必要时基于 CUDA、Triton 等开发高性能算子
-模型压缩与加速：探索并落地量化、蒸馏、剪枝、低精度计算等技术，在保证模型效果的前提下提升推理效率
-异构计算与部署优化：探索 GPU、CPU 及其他计算硬件的推理优化方案，针对不同模型和业务负载选择高性价比的计算架构
-端到端推理系统优化：结合实时交互、视频生成等业务需求，从模型结构、推理引擎到服务架构开展协同优化，实现推理成本和性能的持续突破

任职要求:

-计算机、电子工程、数学等相关专业本科及以上学历，具备扎实的计算机体系结构、操作系统和并行计算基础
-熟悉深度学习模型的计算原理，对 Transformer、CNN、Diffusion 等模型结构及其计算特征有深入理解
-熟悉至少一种主流推理框架，如 TensorRT、ONNX Runtime、vLLM、TensorRT-LLM 等，具备实际性能优化经验
-熟练掌握 C/C++、Python，熟悉 CUDA、Triton 等 GPU 编程技术，有高性能算子开发或优化经验者优先
-熟悉模型性能分析方法和工具，能够通过 Profiling 定位计算、访存、通信等性能瓶颈，并提出有效的优化方案
-具备较强的工程实现能力和技术钻研精神，能够深入模型和底层计算细节，推动复杂优化方案落地