数据开发工程师

该职位来源于猎聘 负责数据全链路开发与交付，覆盖数据采集、加工、建模、指标体系建设及可视化呈现，保障高质量数据供给，了解数据库与服务器基础，具备数据治理体系思维，为数据分析、机器学习及业务应用提供高质量数据与可视化支持。

一、 岗位职责 1. 根据业务需求，设计、开发和维护数据管道，熟练编写复杂SQL实现数据 动化采集、清洗、转换和加载，完成全流程ETL/ELT开发与调度。 2. 负责关系型数据库、NoSQL、API接口、日志文件多源异构数据集成，了解数据库与服务器基础，设计安全高效的数据共享方案供业务部门数据使用。 3. 负责管理数据平台，优化元数据查询性能，开展维度建模、宽表与主题域设计，打通数据库到前端展示的数据结构，独立开发指标报表并实现可视化大屏展示落地。 4. 参与制定数据标准与质量规则，开发监控脚本，具备数据治理体系思维，保障数据完整性、准确性、一致性。 5. 编写清晰、规范的技术文档，包括数据模型设计文档、数据管道开发文档、API接口文档等。 二、任职资格 1. 全日制统招本科及以上，计算机科学、软件工程、数据科学与大数据技术等相关专业。 2. 三年及以上数据开发相关经验，具备完整数据开发项目实施经验，至少1个数据治理项目经验。 3. 持有CDMP、数据治理工程师等认证优先考虑。 4. 掌握数据开发全流程技术、数据模型设计理论、数据治理方法论，了解数据存储、数据质量、数据可视化相关基础知识。 5. 精通SQL、可完成复杂查询、数据加工、存储过程、数据清洗等开发工作；熟练掌握ETL/ELT开发流程，能使用 DataStage、Kettle 等工具，熟悉 Airflow、DolphinScheduler 等调度工具；熟悉MySQL、PostgreSQL、HBase、ClickHouse等主流数据库及数据仓库设计。 6. 具备数据模型设计能力，掌握维度建模、逻辑/物理模型设计方法；可独立完成指标体系、统计报表、数据可视化大屏的开发与交付；熟练使用Python/Java/Scala任一编程语言，用于数据脚本与工具开发；了解Linux 服务器基础操作、环境部署与常规使用；了解数据治理框架、数据标准、数据质量体系，具备数据治理体系思维。