GCP Data Engineer| Senior (Remote)

.

Responsabilidades e atribuições

Desenvolver e manter pipelines de dados batch e streaming em ambiente Google Cloud Platform (GCP);

Construir fluxos de ingestão e transformação utilizando Dataflow e Apache Beam;

Integrar dados provenientes de diferentes fontes, incluindo Oracle, SQL Server, MySQL, ambientes on-premise e buckets externos;

Trabalhar com BigQuery para processamento, transformação e otimização de dados;

Organizar e estruturar dados em Cloud Storage seguindo arquitetura de Data Lake (Raw, Bronze, Silver e Gold);

Orquestrar workflows e pipelines utilizando Cloud Composer (Airflow);

Desenvolver processos de ETL/ELT e transformações analíticas utilizando SQL;

Desenvolver automações e integrações de dados utilizando Python;

Garantir a qualidade e confiabilidade dos dados processados;

Apoiar iniciativas de migração de relatórios e ativos analíticos para uma nova plataforma de Data Visualization;

Atuar em conjunto com times de Engenharia, Analytics, Ciência de Dados e áreas de negócio.

Requisitos e qualificações

Experiência com Google Cloud Platform (GCP);

Conhecimento em BigQuery;

Experiência com Dataflow e Apache Beam;

Experiência com Cloud Storage e Pub/Sub;

Vivência com Cloud Composer (Airflow) ou ferramentas equivalentes de orquestração;

Conhecimento em Python para desenvolvimento de pipelines e processos ETL/ELT;

SQL avançado para transformação e manipulação de dados;

Experiência com integração de dados em bancos relacionais como Oracle, SQL Server e MySQL;

Conhecimento em arquitetura de Data Lake (Raw, Bronze, Silver e Gold);

Experiência na construção e manutenção de pipelines de dados;

Diferencial

Conhecimento em Dataform, dbt ou ferramentas similares;

Experiência com processamento de dados em streaming;

Conhecimento de boas práticas de qualidade e governança de dados;

Experiência em projetos de migração de BI, Analytics ou Data Visualization;

Conhecimento em otimização de performance e custos em ambientes GCP.