Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia;

Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse;

Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming;

Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados;

Garantir qualidade, governança, segurança e performance dos dados;

Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões;

Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio;

Mentorar profissionais de Engenharia de Dados.

Requisitos e qualificações

Experiência sólida em Engenharia de Dados e arquitetura de dados;

Conhecimento avançado em Azure Data Factory e Databricks;

Experiência com Apache Spark e processamento distribuído;

Experiência na construção de pipelines batch e streaming;

Conhecimento em ferramentas de orquestração, como Airflow;

Conhecimento em Kafka e dbt;

Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;

Conhecimento em plataformas e serviços de dados em cloud, AWS e GCP;

Experiência com arquiteturas Data Lake e Data Lakehouse;

Conhecimento em práticas de governança, qualidade e segurança de dados.