Engenheiro de Dados - Sênior

A FCamara busca um Engenheiro de Dados - Sênior, para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado.

Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias.

Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras.

Responsabilidades e atribuições

• Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse.• Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria.• Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter.• Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake.• Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança.• Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos.• Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture.• Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault.• Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas.• Implementar mecanismos de resiliência, como retry, idempotência e dead-letter.• Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos.• Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados.• Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis.• Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture.

Requisitos e qualificações

• Experiência sólida como Engenheiro(a) de Dados Sênior.• Experiência em projetos de migração e modernização de plataformas legadas de dados.• Conhecimento avançado em Oracle e Informatica PowerCenter.• Experiência com Azure Databricks, PySpark e Spark SQL.• Conhecimento em Delta Lake e arquiteturas Lakehouse.• Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault.• Vivência na construção de pipelines batch, ELT e near real-time.• Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture.• Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows.• Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage.• Experiência em otimização de performance de aplicações Spark e consultas SQL.• Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento.• Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead-letter.• Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança.• Boa comunicação para interação com áreas de negócio e equipes multidisciplinares.

Diferenciais:• Forte experiência em modernização de plataformas legadas.• Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter.• Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance.• Conhecimento em estratégias de otimização e redução de custos no Azure Databricks.• Experiência na integração entre soluções open source e ambientes cloud.• Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos.• Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault.