Engenharia de Dados | Remota - 134797 (Alphaville - Barueri, BR, 06.454-000)

O que buscamos:

Profissional para atuar em projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines atualmente implementados em DataStage e Azure Synapse. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse.

Responsabilidades:

• Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL;
• Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão;
• Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto;
• Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover;
• Implementar regras de negócio e transformações com testes automatizados;
• Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse;
• Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads;
• Contribuir com a documentação técnica das regras migradas;
• Apoiar a priorização e execução das waves de migração;

Requisitos e Qualificações:

• Conhecimento avançado em PySpark e Python;
• Experiência com desenvolvimento de pipelines batch em larga escala;

• Conhecimento avançado em SQL;

• Experiência com modelagem de dados relacional e dimensional;
• Experiência com Databricks e Delta Lake em ambiente produtivo;
• Conhecimento em arquitetura medalhão (bronze, silver e gold);
• Experiência com Delta Live Tables, Lakeflow e Asset Bundles;
• Vivência em migração ou reconstrução de pipelines ETL;
• Experiência com tradução de regras de negócio de plataformas legadas para Spark;
• Conhecimento em ingestão CDC e batch a partir de bancos relacionais;
• Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions);
• Conhecimento em Azure Synapse (SQL Pools e Pipelines);
• Experiência com qualidade e reconciliação de dados;
• Conhecimento em testes automatizados e controles de Data Quality;
• Experiência com Git e CI/CD aplicados à engenharia de dados;

Diferenciais:

• Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa;
• Experiência em programas de migração de Data Warehouse para Lakehouse;
• Conhecimento em Unity Catalog (permissões, lineage e contratos de dados);
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks Data Engineer Associate ou Professional;

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#LetsGoBeyond

#ProudToBeGFT

Originally posted on Himalayas