招聘城市:北京
岗位职责:
1.分布式 Dataloader:多源数据加载框架研发,优化预处理流水线、IO 瓶颈与数据倾斜,对接对象存储 / 分布式文件系统,支持动态采样与增量更新;;
2.Checkpoint 管理:设计高吞吐存储 / 加载方案,优化压缩、分片与冷热分层,实现版本管理、备份恢复与分布式训练框架兼容;;
3.系统优化:监控吞吐 / 延迟 / 显存指标,定位性能瓶颈,保障极端场景下训练连续性;;
4.跨团队协作:对齐业务需求,沉淀技术最佳实践。。
岗位要求:
1.本科及以上学历,3 年 + AI Infra / 分布式系统 / HPC 经验;;
2.精通 Python/C++,深入理解 Linux 内核、IO 模型,熟悉 PyTorch(优先)及分布式训练原理;;
3.有分布式 Dataloader 研发与 IO 密集型任务优化相关经验;;
4.有 checkpoint 存储 / 加载 / 压缩…
岗位职责:
1.分布式 Dataloader:多源数据加载框架研发,优化预处理流水线、IO 瓶颈与数据倾斜,对接对象存储 / 分布式文件系统,支持动态采样与增量更新;;
2.Checkpoint 管理:设计高吞吐存储 / 加载方案,优化压缩、分片与冷热分层,实现版本管理、备份恢复与分布式训练框架兼容;;
3.系统优化:监控吞吐 / 延迟 / 显存指标,定位性能瓶颈,保障极端场景下训练连续性;;
4.跨团队协作:对齐业务需求,沉淀技术最佳实践。。
岗位要求:
1.本科及以上学历,3 年 + AI Infra / 分布式系统 / HPC 经验;;
2.精通 Python/C++,深入理解 Linux 内核、IO 模型,熟悉 PyTorch(优先)及分布式训练原理;;
3.有分布式 Dataloader 研发与 IO 密集型任务优化相关经验;;
4.有 checkpoint 存储 / 加载 / 压缩…