Data Engineer (Databricks) | PL (Remote)

.

Responsabilidades e atribuições

Desenvolvimento de uma plataforma de Crédito Comercial e de Agronegócio;

Elaborar modelagem funcional e de dados levando em consideração as necessidades de negócio;

Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento; Ingestão, transformação e disponibilização de dados com qualidade e performance;

Requisitos e qualificações

Experiência com Apache Spark para processamento distribuído de dados;

Experiência com Apache Airflow para orquestração de pipelines de dados;

Conhecimento em Apache Kafka para processamento e integração de dados em tempo real;

Experiência com dbt (Data Build Tool) para transformação e modelagem de dados;

Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;

Experiência com plataformas de dados em nuvem, como Databricks, AWS Glue e BigQuery;

Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse;