Data Engineer - GCP | PL (Hybrid/SP)

.

Responsabilidades e atribuições

Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance; Trabalhar com Apache Spark, Airflow, Kafka, DBT, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (GCP - BigQuery);

Implementando arquiteturas de Data Lake e Data Lakehouse;

Otimização e redução de custos no ambiente produtivo;

Requisitos e qualificações

Experiência e conhecimento avançado em GCP (BigQuery); Experiência com Modelagem de dados;

Esperiência com Apache Spark, Experiência com Airflow;

Experiência com DBT;

Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);

Experiência com plataformas cloud (BigQuery);

Experiência com a implementando arquiteturas de Data Lake e Data Lakehouse;

Conhecimento em Kubernetes;

Conhecimento em Kafka;

Desejável - Vivência prática do uso de agentes de IA, visando automação de processos;