牛大妈在社招职位搜索＂数据采集工程师＂ 有 1 条结果

招聘城市：北京，上海
岗位职责：
【数据采集工程师】
工作职责
1、负责分布式爬虫系统的设计与优化
2、负责大规模广域爬虫引擎的部署、开发、维护
3、负责大规模网页数据采集系统开发，互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类
【数据解析工程师】
工作职责：
1、负责百亿级搜索内容解析系统建设，持续提升解析效果和性能
2、应用大模型技术，提升数据解析质量和成功率
3、负责互联网海量数据（网页、文档、富媒体等）的去重、清洗、结构化导入、分类、信息抽取与价值评估
任职要求：
【数据采集工程师】
任职资格
1、3年以上爬虫 或 数据解析开发经验，熟练掌握 python、java、go 之一的语言
2、熟悉分布式爬虫架构，熟悉常见的风控策略、JS混淆…