**********************
数据开发工程师
  • 收藏职位
  • 分享职位
18-30万 乌鲁木齐 研究生 5-8年 招聘 1 人 预计佣金 33K 两周前发布
JD基本信息
岗位职责
1.负责参与数据仓库架构设计与建模,根据业务需求和数据特点规划分层架构(如ODS、DWD、DWS等),设计数据模型(如星型、雪花模型),并制定数据处理与业务个性化规范,保障结构合理性、扩展性和规范性。 2.负责数据的采集、清洗和预处理工作,从多种数据源(如数据库、日志、API等)进行抽取、去重、错误修正与标准化处理,确保数据质量与可用性。 3.负责ETL流程的设计、开发与维护,制定数据抽取策略和转换逻辑,实现数据的高效提取、清洗、转换与加载,保障数据的准确性、完整性与一致性。 4.构建和维护高效可靠的数据管道,实现数据从源端到目标系统的稳定传输,优化数据处理流程,保障实时性与可扩展性,并实施自动化监控与故障处理。 5.负责数据仓库的日常管理、性能监控与优化,包括索引优化、分区调整、查询性能调优等,提升数据处理与访问效率。 6.设计和开发数据服务接口(如RESTful API、WebService等),支持业务部门与分析团队的数据需求,确保接口稳定、安全与易用,并持续监控与优化接口性能。 7.参与企业数据平台(如Hadoop、Spark、Flink等)的部署、维护与优化,监控资源使用与运行状态,处理故障与性能瓶颈,推动技术升级以提升平台能力。 8.制定数据安全与合规策略,实施数据加密、脱敏与权限控制,确保数据在采集、存储、传输和处理过程中的安全性与合规性,定期开展合规检查与整改。 9.协同业务、数据分析等部门,理解数据需求,提供技术支持,推动数据项目实施,编写技术文档(如数据字典、接口文档、开发规范等),并组织技术分享与知识传递。
任职要求
1.学历:研究生学历; 2.专业:数据科学、计算机科学与技术、软件工程、信息管理等相关专业; 3.年龄:35周岁及以下; 4.政治面貌:中共党员优先; 5.工作经验:5年及以上大数据开发经验,具备独立负责复杂数据项目的能力,有大型数据仓库或大数据平台建设成功案例者优先,有交通行业背景者优先; 6.熟练掌握至少一门编程语言(如Java、Python、Scala),具备良好的编程规范与大型项目建设经验。 7.精通SQL,能编写复杂查询,熟练操作MySQL、PostgreSQL、Oracle等关系数据库,具备海量数据ETL处理能力,熟悉NoSQL及GIS数据处理者优先。 8.精通Hadoop、Spark、Flink、Kafka、Hive等大数据组件,熟悉其架构与运行机制,具备ETL开发及平台运维能力。 9.熟悉数据仓库理论,掌握维度建模方法,具有元数据管理、数据质量、主数据管理等相关经验,熟悉Hive、Snowflake、Redshift等工具。 10.熟悉Linux系统及常用Shell命令,能运用Shell进行文本处理与系统操作。 11.了解数据安全与合规要求,熟悉数据加密、脱敏及访问控制机制,具备数据清洗、指标开发、机器学习建模分析能力者优先。 12.逻辑清晰,对数据敏感,学习与沟通协作能力强。持有大数据相关认证者优先,如华为HCIA/HCIP-Big Data、Cloudera CCA/CDP、AWS Certified Data Analytics、Google Professional Data Engineer、CDMP(数据管理专业人士认证)等国内外相关认证。
所属行业:
计算机服务、互联网
职能分类:
数据开发
工作城市:
乌鲁木齐,招聘1人,详细地址:乌鲁木齐市沙依巴克区新疆软件园B5栋
职位要求
学历要求:
研究生
工作年限:
5-8年
技能/证书:
-
薪资福利
年薪范围:
18-30万*12薪
薪资福利:
福利项目:社保、公积金、企业年金、补贴、津贴、工会福利、其他福利(午餐、采暖费、高温补贴、慰问费等) 津贴包括:项目津贴、一线津贴、关键证书津贴 工会福利包括:职工生日福利、全年节日福利、年度体检、采暖费 工作时间:双休,早10晚19:30 食宿:职工食堂,公司不提供住宿,可自行申请集团人才公寓
团队架构
所属部门:
云数智慧中心
下属人数:
-
部门架构:
-
汇报对象:
-
职级职称:
-
面试信息
面试轮次:
2轮
面试流程:
-
视频面试:
可以接受
为你推荐