Engenheiro de Dados GCP - Sênior

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Responsabilidades e atribuições

Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery;

Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes;

Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer;

Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos;

Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo;

Contagem de linhas: Verificação por tabela e por partição;

Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery);

Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados;

Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

Requisitos e qualificações

Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), experiência profissional de no mínimo 6 anos;

Sólido domínio técnico em SQL avançado e Python/PySpark, experiência profissional de no mínimo 6 anos;

Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta;

Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt;

Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes).

Informações adicionais

Projeto temporário com prazo de até 4 meses de duração, podendo haver continuidade.