牛大妈在社招职位搜索混元大模型数据爬虫架构工程师北京 有 1 条结果

招聘城市：深圳
岗位职责：
1.负责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性；
2.设计并优化分布式爬虫架构，提升系统并发能力和容错性，提升系统性能；
3.维护数据采集链路，协同系统数据分析团队完成数据交付与应用。
岗位要求：
1.计算机相关专业，本科以上学历，2年以上架构经验；
2.精通C++/Go/Java中至少一门开发语言，熟悉常见的数据结构和算法；
3.熟悉任务调度与性能优化，深入理解HTTP协议，能独立分析动态网页结构；
4.有分布式爬虫开发经验者优先。