牛大妈在社招职位搜索大模型MaaS推理资源调度系统工程师 专家 有 4 条结果

招聘城市：北京，上海，深圳，杭州
…治理经验。
2、熟悉 Kubernetes 调度体系、弹性伸缩、服务发现、流量治理等技术。
3、理解大模型推理链路，熟悉 GPU、显存、KV Cache、batching、Token 吞吐、TTFT/TPOT 等概念。
4、有 GPU 集群、MaaS 平台、模型服务平台或推理系统经验优先。
5、具备强指标意识，能够围绕 SLA、GPU 利用率/SMA、吞吐、延迟和成本持续优化系统。
加分项
1、熟悉 AIBrix、llm-d、vLLM、SGLang、KServe、Ray Serve 等推理框架或服务化体系。
2、有在线离线混部、弹性调度、算力资源池化、异构算力调度相关经验。
3、有大规模 GPU 集群、万亿级 Token 推理服务或商业化 MaaS 平台建设经验。
4、有提升 GPU 利用率、SMA、推理吞吐或降低单位 Token 成本的实际案例。
5、熟悉多租户资源隔离、优先级调度、抢占、配额…

招聘城市：北京，上海
…用、能力卓越、成本经济的模型服务，各领域模型的能力均可通过统一的API和SDK来实现被不同业务系统集成。
工作职责：
1、参与/负责大模型推理服务平台（MaaS）的架构设计、系统研发、产品研发等工作；
2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现千亿级Token并行推理平台；
3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在平台上的使用问题。
任职要求：
任职资格：
1、优秀的代码能力、数据结构和基础算法功底，熟悉C++/Golang/Python开发；
2、有大规模分布式系统实践经验，擅长对现实问题进行建模并运用解决
3、熟悉大模型的基本原理和常见应用场景，例如 Transformer、StableDiffusion…

招聘城市：北京，上海，杭州
…企效、AI 应用等场景提供开箱即用的大模型服务能力。
任职要求：
1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。
2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。
3、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。
4、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。
5、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。
加分项
1、有 LLM / MLLM 模型服务平台、MaaS 平台、API 网关、云服务平台开发经验。
2、熟悉主流大模型推理引擎(vLLM、SGLang…

招聘城市：北京，上海，杭州
岗位职责：
工作职责
1.大模型生产平台：负责大模型平台核心功能的需求分析与产品设计，覆盖数据集建设、模型训练、模型压缩/量化、推理部署、模型评估等全链路，持续提升算法工程师的模型迭代效率和产品体验；
2.Agent 应用平台：负责面向公司内部业务的 Agentic 能力产品规划，包括 Agent 编排框架、工具调用市场、Prompt 管理、多轮对话、一句话生产助手、训练异常诊断智能体等模块，推动平台 AI Native 转型落地；
3.GPU 资源管理：将 Quota 管理、故障机自动化处理、潮汐调度等底层能力产品化，让资源管理对用户透明、可控、易用；
产品交付与跨团队协作：组织需求评审，制定产品排期，与算法、工程等同学紧密配合，保障高质量交付。
4.用户运营与 NPS：建立平台用户…