招聘城市:深圳
…等座舱芯片平台;
2.探索不同芯片平台的算子能力与工程新特性,设计不同的量化策略与验证方法,优化量化前后精度损失;
3.负责端侧大模型部署过程中的性能优化,优化token生成速度与减少内存带宽的使用;
4.研究端侧大模型前沿的量化部署方法,提升端侧大模型整体性能与精度。
岗位要求:
1.熟练掌握 C/C++、Python语言,有良好计算机体系结构知识;
2.具备高通/MTK/nvidia等芯片平台的端侧量化部署经验,至少一个平台;
3.熟悉大模型常见的部署框架(如TensorRT-LLM/vLLM/QNN等)和量化算法;
4.熟悉端侧大模型推理机制如计算图的执行、算子融合、KV 缓存优化、投机采样策略等;
5.精通 Transformer 等大模型核心…
…等座舱芯片平台;
2.探索不同芯片平台的算子能力与工程新特性,设计不同的量化策略与验证方法,优化量化前后精度损失;
3.负责端侧大模型部署过程中的性能优化,优化token生成速度与减少内存带宽的使用;
4.研究端侧大模型前沿的量化部署方法,提升端侧大模型整体性能与精度。
岗位要求:
1.熟练掌握 C/C++、Python语言,有良好计算机体系结构知识;
2.具备高通/MTK/nvidia等芯片平台的端侧量化部署经验,至少一个平台;
3.熟悉大模型常见的部署框架(如TensorRT-LLM/vLLM/QNN等)和量化算法;
4.熟悉端侧大模型推理机制如计算图的执行、算子融合、KV 缓存优化、投机采样策略等;
5.精通 Transformer 等大模型核心…