Engenheiro(a) de Dados Sênior Databricks

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior com sólida experiência em Databricks, para atuar na construção, evolução e sustentação de soluções modernas de dados em ambientes de alta volumetria e complexidade.

Buscamos uma pessoa com forte conhecimento técnico, visão de arquitetura e preocupação com qualidade, performance e escalabilidade. O profissional atuará em conjunto com times multidisciplinares na criação de pipelines, processamento e disponibilização de dados para consumo analítico e demais soluções de negócio.

Se você possui experiência com ecossistemas de dados modernos, gosta de desafios técnicos e tem domínio de Databricks, essa oportunidade pode ser para você!

Responsabilidades e atribuições

Desenvolver, manter e otimizar pipelines de dados (ETL/ELT) utilizando Databricks;

Construir soluções de processamento de dados utilizando Apache Spark e PySpark;

Trabalhar com grandes volumes de dados, garantindo performance, escalabilidade e confiabilidade;

Desenvolver e manter processos de ingestão, transformação e disponibilização de dados;

Atuar na construção e evolução de arquiteturas Data Lake e Lakehouse;

Desenvolver e otimizar consultas utilizando SQL;

Implementar boas práticas de qualidade, governança e segurança de dados;

Realizar análise e otimização de performance de jobs, pipelines e consultas;

Apoiar definições técnicas e arquiteturais relacionadas à plataforma de dados;

Implementar processos de monitoramento e tratamento de falhas nos pipelines;

Trabalhar com versionamento de código e processos de CI/CD;

Participar de cerimônias ágeis e atuar de forma colaborativa com Engenharia de Dados, Analytics, Arquitetura e áreas de negócio;

Apoiar tecnicamente profissionais do time, contribuindo com boas práticas e evolução das soluções.

Requisitos e qualificações

Experiência sólida como Engenheiro(a) de Dados, preferencialmente em nível Sênior;

Experiência comprovada com Databricks;

Domínio de Apache Spark e PySpark;

Experiência avançada com SQL;

Conhecimento em Delta Lake;

Experiência na construção e manutenção de pipelines ETL/ELT;

Conhecimento de arquiteturas Data Lake, Lakehouse e/ou Data Warehouse;

Experiência com processamento de grandes volumes de dados;

Conhecimento em modelagem e transformação de dados;

Experiência com Git e práticas de CI/CD;

Conhecimento de boas práticas de segurança, governança e qualidade de dados;

Capacidade de análise de performance e troubleshooting de pipelines;

Perfil analítico, colaborativo e com autonomia para conduzir demandas técnicas Desejáveis:Experiência com Databricks Unity Catalog;

Conhecimento de Databricks Workflows/Jobs;

Experiência com Medallion Architecture (Bronze, Silver e Gold);

Conhecimento em Python para Engenharia de Dados;

Experiência com serviços de dados em AWS, Azure ou GCP;

Conhecimento em ferramentas de orquestração, como Apache Airflow ou Azure Data Factory;

Experiência com infraestrutura como código, como Terraform;

Certificações relacionadas ao Databricks ou plataformas Cloud;

Experiência em ambientes de alta volumetria e soluções críticas de dados.

Informações adicionais

Vale Alimentação e/ou Vale Refeição;

Convênio Sesi e Sesc, oferecendo acesso a serviços de saúde, bem-estar e lazer;

Parceria com Instituições de Ensino, com descontos exclusivos em cursos e programas educacionais;

Possibilidade de crescimento na empresa e de participação em projetos estratégicos;

Oportunidade de trabalhar em uma empresa do mercado em plena expansão.