牛大妈在社招职位搜索＂大模型推理引擎研发工程师＂ 有 3 条结果

招聘城市：上海
岗位职责：
1.研发及优化大模型推理引擎；
2.推广公有云客户，创造技术优势引导客户上云；
3.对接客户业务，分析性能瓶颈，定位、解决问题；
4.协助业务内部集群部署，持续迭代性能，保持业内领先优势。
岗位要求：
1.熟悉主流大模型推理框架，如vllm，lightllm，tensorrt-llm，lmdeploy，faster transformer等；
2.熟悉CUDA，triton（https://openai.com/research/triton）、cutlass至少一种以上，精通者优先；
3.熟悉大模型结构，了解大模型性能瓶颈，熟练分析单机及分布式情况下不同性能热点和优化手段；
4.熟悉大模型量化算法，int8/fp8/混合精度量化，了解模型蒸馏、稀疏化、剪裁技术；
5.熟悉推理服务框架，具备服务部署经验者优先，了解k8s，容器化服务，Triton Inference Server (https://github.com/triton-inference-server/server)实现原理者…

招聘城市：北京
岗位职责：
1.研发及优化大模型推理引擎、PD分离推理调度系统；
2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
岗位要求：
1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力；
2.熟悉GPU/AI芯片编程，如CUDA，OpenCL，Ascend C等，熟悉cutlass等加速库是加分项；
3.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterFransformer等；
4.熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先；
5.熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先；
6.具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先；
7.加分项：；
8.机器学习…

招聘城市：北京
岗位职责：
1.研发及优化大模型推理引擎、PD分离推理调度系统；
2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。
岗位要求：
1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力；
2.熟悉GPU/AI芯片编程，如CUDA，OpenCL，Ascend C等，熟悉cutlass等加速库是加分项；
3.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterFransformer等；
4.熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先；
5.熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先；
6.具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先；
7.加分项：；
8.机器学习…