深圳四方精创资讯股份有限公司
Linkedin · Posted 3d ago
大数据开发工程师
Continue to application
Add your email once, then Caio opens the original posting.
Indexed description
该职位来源于猎聘 【DataArts、SparkSQL、Python】 岗位职责：
- 使用SparkSQL与Python设计、开发并维护高效数据管道，处理海量数据集。
- 管理并优化Hadoop分布式文件系统（HDFS）中的数据存储与检索。
- 通过Trino查询分析数据，支持业务分析与报表需求。
- 与数据专家、分析师及利益相关方协作，理解数据需求并提供可靠解决方案。
- 确保所有数据流程与系统中的数据质量、完整性与安全性。
- 监控并优化数据管道与查询性能，保障可扩展性与效率。
- （可选）通过Tableau创建并维护仪表盘与可视化，支持业务洞察。
- 及时排查并解决数据相关问题。 任职要求： 1、学历/专业：全日制本科或以上学历，计算机相关专业。 2、工作经验：1年以上金融基建类项目经验。 3、技能要求： 3.1、必备技能：
- 1年以上数据工程或相关领域专业经验。
- 精通SparkSQL，擅长处理与查询大规模数据集。
- 具备HDFS（Hadoop分布式文件系统）实战经验，熟悉数据存储与管理。
- 精通Trino（原PrestoSQL），擅长分布式SQL查询执行。
- 熟练使用Python进行数据处理、脚本编写与自动化。
- 理解数据管道架构、ETL/ELT流程与数据建模。
- 熟悉分布式计算概念与大数据技术。
- 通过华为通过HCCDA-Big Data认证者优先。 3.2、通用技能：
- 有Tableau数据可视化与仪表盘开发经验。
- 熟悉云平台（如AWS、华为HCS）。
- 掌握SQL优化与性能调优。 4、工作素质： （1）工作认真细致负责，有良好的自学能力，独立思考能力，能够在短时间内学习并应用新技术； （2）积极热情、沟通能力强，有强烈的责任心，具有良好的团队合作精神和敬业精神； （3）能够承受工作压力，能在规定的时间内高效完成任务，具有良好的团队合作精神。 5、语言要求：英语或粤语可作为工作语言
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search
Want help applying to roles like this?
Search Caio for free. If repetitive applications get heavy, Managed Job Search adds supervised execution for $99/month.
View Managed Job Search
