Engenheiro de Dados Sênior

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!Responsabilidades e atribuiçõesSobre a oportunidadeVocê vai arquitetar e evoluir o datalake que é o sistema nervoso de dados da companhia — a fundação que alimenta, em tempo real, o motor de precificação dinâmica, os modelos de ML e a inteligência comercial do grupo. É um papel de dono: você define a arquitetura Lakehouse multi-tenant, do streaming à camada semântica, e responde pela sua confiabilidade, governança e custo. Seus Desafios • Arquitetura Lakehouse — desenhar e evoluir o data lake em Apache Iceberg sobre S3 — camadas bem definidas, particionamento e compaction, time-travel e suporte a DELETE/UPDATE para a LGPD. • Streaming e CDC — construir ingestão em tempo real (Kafka, Flink, CDC com Debezium) com evolução de schema controlada (Schema Registry) e garantias de entrega. • Transformação e orquestração — modelar a camada de transformação em dbt e orquestrar fluxos batch e de qualidade em Airflow, do crawler ao backfill. • Camada semântica — manter as definições de métricas em Cube.js — a fonte única que alimenta o BI e os agentes de IA e garante consistência em toda a empresa. • Acesso e performance — operar consulta federada e OLAP de baixa latência sobre o lake, com isolamento de custo e acesso por tenant e queries performáticas. • Qualidade, linhagem e FinOps — assegurar testes de dados, lineage e eficiência de custo, mantendo a plataforma confiável à medida que escala. Você trabalha lado a lado com cientistas de dados, ML engineers e as áreas de negócio.Requisitos e qualificaçõesStack & Ferramentas Lakehouse & storage: Apache Iceberg, Amazon S3, Athena + Glue (Trino + Hive na evolução) Streaming & ingestão: Kafka (MSK), Apache Flink, Debezium (CDC), Schema Registry Transformação & orquestração: dbt, Apache Airflow Semantic layer & OLAP: Cube.js, ClickHouse, Apache Pinot, Trino Governança & qualidade: OpenMetadata, Lake Formation, Great Expectations Infra & dev: EKS/Kubernetes, ArgoCD, Crossplane, GitHub, Claude Code O que Buscamos Essenciais • Domínio de SQL e otimização de queries em ambientes distribuídos (Mínimo 5 anos). • Python com experiência sólida em PySpark ou processamento distribuído. • Orquestração (Airflow), ELT e dbt aplicados em larga escala (Mínimo 4 anos) . • Streaming (Kafka, Flink) e arquiteturas Lakehouse com Apache Iceberg (Mínimo 3 anos). • Sólida noção de governança, qualidade e modelagem de dados. • Conforto com desenvolvimento assistido por IA (Claude Code). Diferenciais • CDC (Debezium) e OLAP de baixa latência (ClickHouse, Pinot, Trino/Athena). • Semantic Layers (Cube.js, dbt) e arquiteturas Data Mesh.• Governança e catálogo (OpenMetadata, Lake Formation). • Vector databases (Qdrant) e pipelines de dados para ML. Informações adicionaisTrabalho RemotoTempo de Projeto: 6 meses, com possibilidade de extensão/internalização.