Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)

.

Responsabilidades e atribuições

Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh.

Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing.

Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios.

Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma.

Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura.

Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados.

Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.

Requisitos e qualificações

Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows;

Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage;

Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos;

Padrões de ingestão de dados: streaming e batch em escala;

CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares);

Ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;

IaC (Terraform, incluindo o provider do Databricks);

Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma;

SQL avançado;

Data Contracts e ferramentas de metadados como OpenMetadata;

DataDog : para controles e monitoramentos de observabilidade;

Desejáveis:

Vivência em projetos de Data Mesh (domínios, data products, governança federada) —

diferencial

importante;

Experiência no mercado financeiro ou de crédito —

diferencial

importante;

Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados);

FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute);

Delta Sharing em cenários cross-company, cross-cloud ou cross-region;

Certificações AWS (ex.: Data Engineer Associate, Solutions Architect);

Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator);

Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).