Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

Atuar na implantação e evolução da Plataforma Corporativa de Dados (Enterprise Lakehouse);

Participar da modernização do ecossistema analítico corporativo, com migração de workloads da Azure para AWS e Databricks;

Desenvolver, manter e evoluir pipelines de dados escaláveis, confiáveis e de alta performance;

Construir soluções de ingestão, transformação e disponibilização de dados utilizando arquitetura Lakehouse;

Implementar padrões de Engenharia de Dados, DataOps, CI/CD e versionamento de código;

Apoiar iniciativas de governança, qualidade e catalogação de dados;

Reestruturar pipelines legados em soluções modernas baseadas em Apache Spark e Databricks;

Trabalhar com integrações complexas entre sistemas corporativos, garantindo escalabilidade, governança e confiabilidade dos dados;

Colaborar na implementação de arquiteturas de Data Lake, Data Warehouse e Lakehouse em ambiente Cloud.

Requisitos e qualificações

Domínio de SQL avançado;

Experiência na construção de pipelines ETL/ELT;

Vivência prática com Databricks; Conhecimento em Apache Spark;

Experiência com arquiteturas Data Lake, Data Warehouse e/ou Lakehouse;

Conhecimento em modelagem de dados analítica e dimensional;

Experiência com processamento de grandes volumes de dados;

Vivência com ambientes Cloud, preferencialmente AWS;

Conhecimento em AWS Glue, Unity Catalog e Lake Formation;

Experiência com Git e versionamento de código;

Conhecimento de práticas de CI/CD aplicadas à Engenharia de Dados;

Vivência com ferramentas como Airflow, Kafka e dbt;

Conhecimento em bancos de dados SQL e NoSQL (PostgreSQL, MongoDB e Cassandra);

Experiência em projetos de modernização e migração de plataformas corporativas de dados;

Capacidade de atuar em integrações complexas entre sistemas corporativos e ambientes distribuídos.