Data Engineer (Databricks) | SR (Remote)

.

Responsabilidades e atribuições

Colaborar com as equipes de engenharia de dados para entender os requisitos e fornecer soluções eficientes;

Atuar no desenvolvimento e sustentação das tecnologias Azure, Databricks (PysPark), Python, Data Lake e SQL;

Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;

Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;

Atuar com a disponibilidade, estabilidade e evolução contínua dos sistemas do cliente assegurando alta performance;

Atuar com a parte de segurança e conformidade dos requisitos de negócio, por meio de uma gestão proativa, automação de processos e melhoria contínua dos serviços de sustentação;

Trabalhar com a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;

Manter documentação técnica abrangente para os processos e soluções implementadas;

Apoio com ações corretivas, suportando as entregas em produção, acompanhando CHGs;

Requisitos e qualificações

Experiência com SQL (Regex), Databricks, PySpark e Python: conhecimento fundamental nessas tecnologias;

Conhecimento em manipulação de texto em programação e análise de dados, principalmente Regex;

Experiência em modelagem de dados SQL e básico de computação distribuída;

Disponibilidade para atuar no regime de sobreaviso após o horário comercial e finais de semana;

Experiência com Data Lake;