Data Engineer (Azure/Databricks) | SR (Remote)

.

Responsabilidades e atribuições

Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;

Desenvolver modelagem de dados, utilizando Databricks, SAP Datasphere, Data Factory, Azure Data Lake Storage (ADLS), Python e BD (SQL Server, Oracle). Extração de dados e criação de data lake de dados e tabelas;

Estruturar RAG dos dos contratos e demais documentos; Realizar ETL a partir das APIs do CXL e transforma-los e trata-los em base de dados no Databricks;

Estruturar tabelas de dados no Databricks;

Desenvolvimento de ETL para análise de dados estruturados e não estruturados, utilizando API para análise de arquivos e validação dos dados;

Requisitos e qualificações

Requisitos:Experiência e conhecimento avançado no Databricks;

Experiência com Data Factory, Azure Data Lake Storage (ADLS);

Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse;

Experiência com Python, Apache Spark; Experiência com Airflow; Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);

Desejável:Conhecimento em Kafka;

Conhecimento em DBT;

Conhecimento em AWS Glue, BigQuery; Conhecimento em AI/RAG;

Conhecimento em SAP Datasphere;