牛大妈在社招职位搜索数据采集解析工程师 有 18 条结果

小红书 数据采集&解析工程

全职 北京,上海
招聘城市:北京,上海
…网海量数据(网页、文档、富媒体等)的去重、清洗、结构化导入、分类、信息抽取与价值评估
任职要求:
数据采集工程
任职资格
1、3年以上爬虫 或 数据解析开发经验,熟练掌握 python、java、go 之一的语言
2、熟悉分布式爬虫架构,熟悉常见的风控策略、JS混淆、浏览器引擎
3、熟悉chromium内核/js/dom/html/css 等网页相关语言,能够完成数据解析工作,有大模型解析经验者优先
4、熟悉Linux常用命令,独立完成日常部署更新等,熟悉SSH、redis、mongodb等工具的使用
数据解析工程
能力要求
1、计算机相关专业,熟练掌握 Python/Go/Java 至少一种编程语言
2、深入理解网站架构和内容组织方式,具备网页结构分析能力
2、有全网万亿级优质内容采集和…
招聘城市:北京,上海
…规则工程,构建高质量内容筛选算法,识别低质量/垃圾/重复页面,提高训练数据质量。
4、知识抽取与语义理解:基于BERT/GPT/LLM 等技术,解析网页、文档、视频等多模态内容,构建网页内容理解、网页分类、实体识别等模型,助力大模型训练数据优化。
5、搜索数据优化:结合大模型能力+外部索引库,优化爬虫抓取策略,提升数据覆盖率、时效性,服务于搜索与问答产品。
6、爬虫数据分析与反爬对抗:基于数据挖掘分析网页特征,优化反爬检测、爬虫模拟行为、动态渲染等策略,提高数据采集成功率。
7、网页知识图谱构建:结合NLP、CV、OCR、知识图谱等技术,从网页、视频等内容中抽取实体、关系、事件等信息,构建高质量知识库。
任职要求:
1、计算机科学、人工智能、数据
招聘城市:北京
… 规则工程,构建高质量内容筛选算法,识别低质量/垃圾/重复页面,提高训练数据质量。
知识抽取与语义理解:基于BERT/GPT/LLM 等技术,解析网页、文档、视频等多模态内容,构建网页内容理解、网页分类、实体识别等模型,助力大模型训练数据优化。
搜索数据优化:结合大模型能力+外部索引库,优化爬虫抓取策略,提升数据覆盖率、时效性,服务于搜索与问答产品。
爬虫数据分析与反爬对抗:基于数据挖掘分析网页特征,优化反爬检测、爬虫模拟行为、动态渲染等策略,提高数据采集成功率。
网页知识图谱构建:结合NLP、CV、OCR、知识图谱等技术,从网页、视频等内容中抽取实体、关系、事件等信息,构建高质量知识库。
任职要求:
计算机科学、人工智能、数据挖掘相关背景,本科及…
招聘城市:上海
…音频)与多模态数据爬取;深度对抗国内外顶级风控体系,主导分布式高可用爬虫系统设计与技术攻坚,为基座模型训练、业务分析提供高质量国内外数据源,技术挑战与成长空间充足。
二、岗位职责
1.分布式爬虫系统研发设计、开发与维护高可用、高并发分布式爬虫系统,支撑国内外海量多媒体数据的稳定采集解析与存储。
2.国内外风控对抗攻坚研究并突破 YouTube、Instagram、TikTok、Reddit、Bangumi 等国内外主流站点的反爬机制,解决 IP 封禁、账号限制、行为风控、地域限制等问题。
3.多媒体数据处理完成视频、音频、图片等非结构化数据的抓取、元数据提取、去重与质量校验,保障数据完整性与可用性。
4.全端逆向工程负责…
招聘城市:苏州
…协议构建高性能嵌入式服务器与客户端程序,实现实时控制指令下发、状态数据上报及远程固件升级等功能;主导嵌入式软件项目的跨平台构建管理,基于CMake维护多模块、多架构(ARMv7/AArch64)的自动化编译系统,统一管理第三方库依赖、编译选项及版本发布流程;编写嵌入式Linux应用程序及底层驱动(包括GPIO、UART、SPI、I2C、DMA、中断控制器等外设驱动),完成传感器数据采集、指令解析与执行器驱动;参与系统联调联测,配合硬件工程完成高速ADC/DAC接口、LVDS/JESD204B数据链路的调试与验证;撰写相关技术文档(设计方案、通信协议规范、测试报告、用户手册等),参与加速器现场调试。任职要求:专业与学历:电子工程、自动化、通信工程、计算机科学与技术…
招聘城市:上海
…负责对样品的检测及管理,对分析数据进行处理并形成报告、审核等工作;3、按照实验室5S管理要求,做好所用仪器设备及环境的日常维护工作;4、完成质量体系相关技术任务;5、完成领导交办的其他任务。任职要求:1、本科以上化学、材料或半导体相关专业,有3年以上第三方检测行业相关经历,熟悉检测实验室流程;2、熟悉并独立操作核磁共振波谱仪NMR,多角度激光散射系统、紫外/可见光检测器(GPC联用),基质辅助激光解析电离串联飞行时间质谱仪MALDI-TOF;3、能胜任细致的工作并有较强的责任心,有较强的沟通协调及分析解决问题能力;4、了解实验室质量管理。研发工程(高纯石英方向)岗位职责…
招聘城市:杭州
…与定时任务,保障全天候稳定运行;开展数据库备份、优化、异常数据处置,保障数据安全可追溯;对接各业务部门梳理痛点、收集优化需求,推进系统迭代升级,配合信息化改造项目实施;负责第三方软硬件系统对接调试,联动厂商处理对接问题,保障业务流程通畅。任职要求本科及以上学历,计算机、软件工程等相关专业,英语水平CET4以上;精通C#/.NET系列开发,熟练WinForm开发,掌握多线程、Socket、串口、异步等技术,可独立开发调试功能并优化代码;熟练Oracle、SQL Server,精通复杂SQL、存储过程、性能调优、数据表设计,能处理各类数据库异常与数据修复;熟悉TCP、RS232/485工业通信协议,有PLC对接经验,可独立开发WebAPI、对接第三方系统、设备数据采集,熟练JSON、XML解析;具备需求分析…

招商车研 加入我们招商车研2026最新社招岗位发布

全职 重庆,合肥,北京
招聘城市:重庆,合肥,北京
…R156.ISO21434法规要求。3.具有网络安全、软件升级、数据安全体系建设、产品开发咨询经验。4.熟悉常见信息安全测试工具,如KaliLinux、BurpSuite等,熟悉漏洞扫描、渗透测试技术;熟练掌握C/C++、Python等编程语言,能够编写测试脚本,深入理解汽车电子电气架构,知晓CAN、LIN等车载网络协议。5.具有3-5年汽车信息安全或相关领域测试经验,参与过整车开发项目者优先。岗位7ADS/ADAS测试研究工程(重庆)岗位职责1.负责整车L2组合辅助驾驶、L3自动驾驶测试技术研究和项目封闭场地测试执行。2.负责GSR出口认证主动安全部分标准跟踪和测试实施;参与跟踪智能网联相关标准制修订。3.负责国内外NCAP规程的解析和跟踪实施,包括EuroNCAP、ASEAN-NCAP、CNCAP、i-VISTA…
招聘城市:南昌,美国
…策划主任工程南昌岗位职责:推进10.0管理质量域流程的建设和优化;建立运行重大质量问题复盘、诊断、定责及改善闭环流程;负责公司质量文化建设,制定年度规划,并策划落地活动。任职要求:本科及以上学历,理工背景;对IATF16949\ISO9001\VDA6.3等质量管理体系熟悉;熟悉质量管理相关工作内容及流程;有质量活动策划与统筹能力。质量策划工程南昌岗位职责:负责质量数据采集、分析,推动报表向可视化看板转化;协调内部资源,将业务可视化需求转化为技术方案。任职要求:本科及以上学历,统计学、质量管理等相关专业;具有两年及以上数据可视化开发经验,有车载行业相关知识,能够依据行业特性实现质量数据可视化。韩/英语CQE工程南昌岗位…
招聘城市:重庆,合肥
…外标准(如QC/T740-2017、GB8410、GB38262、QC/T844-2011等)。4.性格外向,善于团队协作,自学能力较强,具有创新意识;能够阅读和理解英文技术资料,持有驾照。岗位16碰撞测试工程(合肥)岗位职责1.负责规划、执行和分析整车及零部件的碰撞安全试验,根据国家法规(如C-NCAP)、企业标准及项目需求,制定详细的碰撞试验方案。2.负责试验车辆的准备,包括传感器布置、数据采集、高速摄像系统架设等。3.负责对试验后采集数据进行处理、分析和解读,并出具试验报告。4.负责相关试验设备的日常维护、校准和管理。任职资格1.硕士及以上学历,车辆、机械等相关专业。2.具备2年及以上汽车碰撞安全试验相关工作经验,熟悉整车或零部件碰撞试验流程…
招聘城市:上海
…岗位职责1. 负责PETCT设备的日常性能测试、校准、常规维护保养及周期性质控,确保系统处于最佳工作状态,保障实验数据准确、可靠且可追溯。2. 独立或协助完成科研及临床前动物实验的PETCT影像采集,涵盖静态与动态扫描、图像重建、多模态融合及常规后处理,产出标准化影像数据。3. 与科研团队深度配合,参与实验方案设计与成像可行性评估,协助准备项目申请、伦理审查、实验记录等环节所需的技术材料,并承担相关科研任务。4. 承担设备常见技术故障的一线排查与应急处理,建立问题上报与跟踪闭环机制,并负责与厂家售后工程的专业对接,确保故障及时排除并完整记录。5. 制定并持续优化PETCT操作标准作业程序、机房管理规范及辐射…

中粮集团 中粮集团下属企业社会招聘公告

全职 北京市朝阳区,江苏省张家港,安徽省巢湖,福建省漳州,山东省菏泽,湖北省黄冈,北京市昌平区
招聘城市:北京市朝阳区,江苏省张家港,安徽省巢湖,福建省漳州,山东省菏泽,湖北省黄冈,北京市昌平区
…全日制大学本科及以上学历,机械、电气、自动化专业等相关专业。3.工作经验:5年以上项目管理或工程维修经验,具备设备管理、数据统计解析、设备故障分析等能力。4.专业能力:熟悉设备全生命周期管理模式,具备设备故障研判、复盘分析实操经验;能够识别设备数据采集过程中的问题,可推动规范落地;具备设备管理培训能力。5.工作能力:具备较强的团队合作精神和组织协调能力;责任心强、具备较强的抗压能力;具有扎实的文字功底;熟练应用办公软件。中粮油脂安全生产与项目管理部生产技术工程岗位招聘人数:1人向上滑动阅览详情工作职责:1.负责压榨产线(预处理、压榨、浸出)工艺技术积累与维护;制定榨油产线分级配置标准…
招聘城市:成都
…检测,认真完成实验并填写相关记录;4、对报告中的检测数据负责。医药 检测销售工程(5人)薪酬待遇:面议专业要求:医药、化学、食品等相关专业大专及以上学历;2年以上医药、医疗等相关领域工作经验者优先。职位描述:1、负责公司业务拓展。老客户的维护和跟踪,新客户的开发;2、主要对接客户医药(含医疗器械等),食品,化工企业及相关单位,负责涉及第三方检测服务的对接;3、利用客户名单等线索,通过电话、陌生拜访等方式,将公司涉及的检测服务推介给客户,获取商机,达成合作;4、处理客户在售前、售中、售后的问题,往专业型商务销售发展;食品 检测销售工程(5人)薪酬待遇:6-9w/年专业要求:食品、农产品、医药…
…CMA/CNAS、ISO/IEC 17025等实验室资质标准及相关行业法规;具备良好的应急处理能力和多任务并行管理能力,能适应科研支撑工作的高强度与多样性。
RECRUITMENT 岗位3:知识库应用开发工程 - 岗位职责 - 1.RAG系统开发:负责基于LLM的知识库问答系统(RAG)的设计与开发,核心工作包括文档解析、文本切片(Chunking)、向量化(Embedding)及检索策略的实现。
2. 数据清洗与ETL:处理多模态/多格式的非结构化数据(如PDF、Word、Markdown、Excel等),编写高效的ETL脚本,提升入库数据的质量,这是知识库效果的基石。
3. 检索效果优化:优化向量检索与关键词检索的混合策略(Hybrid Search),引入重排序(Re-ranking)模型,持续提升知识检索的准确率和召回率。…
招聘城市:苏州,合肥
数据从硬件到PC/移动端的高速率、低延迟、高稳定性传输。(2)负责搭建脑机接口应用系统的软件平台,开发实时生理信号处理与可视化软件,集成信号采集数据解析、波形实时渲染、特征提取及反馈交互等功能。(3)负责脑机接口相关产品在移动端的APP设计与开发,实现用户管理、设备连接控制、数据上传、集成离线/在线数据分析、以及基于相关交互界面展示。(4)与硬件工程紧密配合,完成软硬件联调及功能验证;负责产品生命周期内的软件迭代、性能优化及Bug修复。(5)负责撰写软件开发文档、接口说明文档、测试方案及产品使用手册。任职要求(1)全日制硕士研究生及以上学历,具备计算机科学与技术、软件工程、电子信息工程、生物医学工程

小红书 大模型数据工程

全职 北京,上海
招聘城市:北京,上海
…计算,优化数据处理任务的并发执行、计算资源管理,提升计算效率和存储利用率。
任职要求:
本科及以上学历,计算机科学、软件工程、大数据等相关专业,5 年以上大规模数据处理经验。
精通大数据技术栈,包括但不限于:
计算框架:Hadoop、Spark、Flink、Ray 等,具备流批一体化数据处理经验。
存储系统:HBase、ClickHouse、Cassandra、Elasticsearch、Iceberg、Delta Lake 等,能够根据业务需求选择最优存储方案。
分布式消息队列:Kafka、Pulsar 等,优化大规模数据流传输。
ETL 及数据管道:精通 Airflow、KubeFlow 等数据编排工具,能够高效构建数据流转任务。
熟练掌握至少一种编程语言(Python、Java、Scala),具备良好的代码优化及系统调优能力。
深入理解大数据架构设计,具备超大规模数据管道的架构设计与落地经验…

小红书(xiaohongshu) 大模型数据工程

全职 北京,上海
招聘城市:北京,上海
…计算,优化数据处理任务的并发执行、计算资源管理,提升计算效率和存储利用率。
任职要求:
-本科及以上学历,计算机科学、软件工程、大数据等相关专业,5 年以上大规模数据处理经验。
-精通大数据技术栈,包括但不限于:
-计算框架:Hadoop、Spark、Flink、Ray 等,具备流批一体化数据处理经验。
-存储系统:HBase、ClickHouse、Cassandra、Elasticsearch、Iceberg、Delta Lake 等,能够根据业务需求选择最优存储方案。
-分布式消息队列:Kafka、Pulsar 等,优化大规模数据流传输。
-ETL 及数据管道:精通 Airflow、KubeFlow 等数据编排工具,能够高效构建数据流转任务。
-熟练掌握至少一种编程语言(Python、Java、Scala),具备良好的代码优化及系统调优能力。
-深入理解大数据架构设计,具备超大规模数据管道的架构设计与落地经验…
招聘城市:深圳
数据管线日常跟进与质量质检:深入世界模型与实时视频生成模型底层数据的全生命周期管理;执行并优化训练数据集(如游戏录制、白盒解析等)的构建方案,严格落实质量抽检机制,对每日流转数据的合规性与交付质量把关;
2.跨团队协同与进度追踪:串联算法、工程、客户端及外部供应商(外包)团队的日常对接;跟进梳理模型从数据采集、训练到 Demo 部署验证的业务链路,保障流水线高效流转;
3.供应商与日常开发排期管理:跟进执行世界模型核心子项目的进度与外包资源调度;敏锐识别多线并行开发中的技术卡点(如工具 Bug、引擎Condition数据录制异常),并通过项管工具推动各方按期解决;
4.数据异常分析与…