牛大妈在社招职位搜索LongCat - 预训练算法研究员 有 3 条结果

招聘城市：北京，上海
…训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。
1、设计更高效的模型结构，提高给定数据量、计算量、硬件资源、序列长度等约束下的模型能力和潜力，如长序列能力、记忆能力、推理能力等。
2、探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知。探索更前沿的训练范式（如diffusion LLM，test-time scaling等具有潜力的技术），发现更高效和稳定的scaling路径。
3、研究模型结构和数据的耦合关系，优化分阶段训练范式。研究模型早期表现和能力上限之间的关系。
4、结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程…

招聘城市：北京，上海
…中的一个或多个：
1、研究多模态与文本模态的深度融合策略，包括 early fusion 架构设计、多模态 / 文本数据配比优化、多模态上下文建模等，实现视觉能力与语言能力的协同提升。
2、从互联网及业务场景中大规模挖掘、清洗和构建高质量多模态训练数据，覆盖图文交错、视频、网页、文档、GUI、代码和交互轨迹等数据形态，支撑模型在 browser use、复杂文档理解、vision-to-code 等生产力场景的能力突破。
3、设计兼顾理解、重建与生成的视觉表征体系，包括离散视觉 tokenizer、多尺度视觉 token、视频 tokenization 以及连续 / 离散混合表征；基于理解与生成统一的表征，规模化构建图文交错、视频序列等多模态自监督预训练数据，解锁新的多模态智能维度。
4…

招聘城市：北京，上海
…研究并缓解预训练数据中的污染、偏差、重复、低质、隐私、安全和合规风险，提升数据策略的可靠性、可控性和可持续性。
任职要求：
1、熟悉 Python 和 PyTorch 等深度学习框架，具备扎实的机器学习、深度学习、概率统计和算法基础。
2、熟悉大语言模型或多模态基础模型训练流程，理解预训练数据、训练动态、模型能力和评估体系之间的关系；有大规模预训练、Data Mixture、合成数据或模型评估经验者优先。
3、对预训练数据有系统性理解，熟悉数据清洗、去重、污染检测、质量评估、覆盖度建模、长序列组织、合成 / 蒸馏数据和数据配比等关键问题。
3、具备优秀的实验设计和分析能力，能够围绕数据与模型能力提出 hypothesis，设计可复现实验，并基于训练…