牛大妈在社招职位搜索网页解析和处理算法工程师 有 4 条结果

招聘城市：北京
…提升大规模网页解析能力。
URL 归一化：优化 URL 解析与去重策略，提升爬虫抓取效率、内容聚合能力，构建高质量索引库。
页面质量评估：基于机器学习（ML）+ 自然语言处理（NLP）+ 规则工程，构建高质量内容筛选算法，识别低质量/垃圾/重复页面，提高训练数据质量。
知识抽取与语义理解：基于BERT/GPT/LLM 等技术，解析网页、文档、视频等多模态内容，构建网页内容理解、网页分类、实体识别等模型，助力大模型训练数据优化。
搜索数据优化：结合大模型能力+外部索引库，优化爬虫抓取策略，提升数据覆盖率、时效性，服务于搜索与问答产品。
爬虫数据分析与反爬对抗：基于数据挖掘分析网页特征，优化反爬检测、爬虫模拟行为、动态渲染等策略，提高数据采集成功率。
网页知识图谱构建…

招聘城市：北京，上海
…数据格式解析(网页，PDF等)、数据策略、模型能力、下游任务的全链路归因能力
建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系，分析和量化每个维度的影响
针对模型核心能力进行重点强化，包括不限于数学、推理、Code、Agent、ICL、OCR等
探索如何使用更少数据量，达到同样模型能力的策略，持续提升per token的通用能力训练效果
探索基于各类策略
任职要求：
对大模型方向充满兴趣，且能充分意识到数据对于模型能力的重要价值和数据侧的巨大空间
有很好的数据感觉，对人类文明积累下来的优质数据分布有很好的判断
有很好的NLP/多模态经验，在数据和算法方向上有深度的工作
工程能力强…

招聘城市：北京，上海
…规模数据管道（ETL），提升网页数据的抽取、转换、加载（ETL） 效率，确保数据高效流转和存储。
负责 超大规模分布式数据处理架构 设计，支撑搜索引擎及大模型预训练数据处理需求。
研究并优化数据存储、索引及查询架构，提高 语料数据的组织方式，支持大规模 文本、结构化/非结构化数据 的高效检索。
研发 高效的数据清洗、去重、质量评估 体系，确保大模型训练数据的高质量输入。
与 算法、搜索、模型训练团队 深度合作，提升数据可用性，助力大模型预训练及微调。
关注高性能计算，优化数据处理任务的并发执行、计算资源管理，提升计算效率和存储利用率。
任职要求：
本科及以上学历，计算机科学、软件工程、大数据等相关专业，5 年以上大规模数据处理经验…

招聘城市：北京，上海
…提升网页数据的抽取、转换、加载（ETL） 效率，确保数据高效流转和存储。
3、负责 超大规模分布式数据处理架构 设计，支撑搜索引擎及大模型预训练数据处理需求。
4、研究并优化数据存储、索引及查询架构，提高 语料数据的组织方式，支持大规模 文本、结构化/非结构化数据 的高效检索。
5、研发 高效的数据清洗、去重、质量评估 体系，确保大模型训练数据的高质量输入。
6、与 算法、搜索、模型训练团队 深度合作，提升数据可用性，助力大模型预训练及微调。
7、关注高性能计算，优化数据处理任务的并发执行、计算资源管理，提升计算效率和存储利用率。
任职要求：
-本科及以上学历，计算机科学、软件工程、大数据等相关专业，5 年以上大规模数据处理…