小红书 离线计算引擎工程师（AGI 数据链路方向）
全职 上海，北京，杭州
招聘城市：上海，北京，杭州
岗位职责：
1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理；
2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障；
任职要求：
任职资格
1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查；
2、掌握 Java/C++/Python 至少一门编程语言，代码能力优秀；
3、对 AGI 数据处理领域有兴趣，学习能力强，具备良好沟通协作能力。
加分项
1、参与过 AGI / 大模型训练数据链路相关项目；
2、了解 Spark 等组件源码或有开源社区贡献经验。
岗位职责：
1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理；
2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障；
任职要求：
任职资格
1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查；
2、掌握 Java/C++/Python 至少一门编程语言，代码能力优秀；
3、对 AGI 数据处理领域有兴趣，学习能力强，具备良好沟通协作能力。
加分项
1、参与过 AGI / 大模型训练数据链路相关项目；
2、了解 Spark 等组件源码或有开源社区贡献经验。