Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados;

Modelar e estruturar dados em ambientes Data Lake e Data Lakehouse;

Desenvolver processos de ETL/ELT utilizando Databricks, Python e Azure Data Factory.

Integrar dados provenientes de APIs, bancos de dados e arquivos estruturados e não estruturados;

Atuar em projetos envolvendo SAP Datasphere e Azure Data Lake Storage (ADLS);

Desenvolver soluções para processamento de dados com foco em performance, qualidade e governança;

Participar de iniciativas de IA Generativa, como estruturação de bases para RAG e processamento de documentos;

Colaborar com equipes multidisciplinares na evolução de soluções de dados.

Requisitos e qualificações

Ensino superior completo em Tecnologia da Informação ou pós-graduação em TI (mínimo de 360 horas reconhecidas pelo MEC);

Experiência avançada com Databricks;

Sólidos conhecimentos em modelagem de dados;

Experiência com Python e SQL;

Conhecimento em Azure Data Factory e Azure Data Lake Storage (ADLS);

Experiência com SAP Datasphere;

Vivência com bancos de dados relacionais, como SQL Server e Oracle;

Experiência na construção e manutenção de pipelines de dados escaláveis e confiáveis;

Diferencial

Conhecimento em Apache Spark, Airflow, Kafka ou dbt, experiência com arquiteturas Data Lake e Data Lakehouse, vivência com integrações via APIs, experiência em projetos de IA Generativa, RAG e processamento de documentos, conhecimento em outras plataformas cloud e ecossistemas de dados modernos.