Data Engineer - GCP | SR (Hybrid/SP)

.

Responsabilidades e atribuições

Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;

Organização e Estrutura das Bases de Dados e Modelagem de Dados;

Gestão de Tabelas de Equivalência (DE/PARA); Conexão Direta com Fontes (APIs);

Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;

Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;

Requisitos e qualificações

Experiência e conhecimento avançado em GCP (BigQuery); Experiência com Apache Spark; Experiência com Airflow;

Conhecimento em Kafka;

Conhecimento em DBT;

Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);

Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery);

Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse;

Desejável conhecimento na estruturação de modelos de IA;