AWS Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

Atuar no desenvolvimento e evolução de uma plataforma Data Mesh self-service para compartilhamento governado de dados em ambiente AWS;

Projetar integrações com engines de consumo de dados, principalmente Databricks, além de Glue ETL, Athena/Presto/Trino e Spark;

Desenvolver e manter APIs REST e serviços backend, garantindo segurança, versionamento, testes e qualidade em produção;

Evoluir mecanismos de virtualização, contratos de dados e compartilhamento entre produtores e consumidores;

Implementar automações e integrações utilizando Python, Java, AWS Lambda e arquiteturas orientadas a eventos com SNS/SQS;

Administrar e integrar componentes AWS como S3, Glue Catalog, Lake Formation e IAM em ambientes multi-account;

Automatizar provisionamento de recursos, permissões e fluxos de governança de dados;

Apoiar decisões de arquitetura, documentação técnica, observabilidade da plataforma e evolução contínua do produto.

Requisitos e qualificações

Experiência sólida como Engenheiro(a) de Dados Sênior em ambientes AWS e plataformas de dados distribuídas;

Domínio de AWS: S3 (Access Points e políticas), Glue Catalog/ETL, Lake Formation (grants, LF-Tags, cross-account) e IAM (roles e políticas);

Experiência com Databricks, Unity Catalog, integração com S3 e, idealmente, Glue Catalog/Lake Formation;

Conhecimento avançado em Python para APIs, automações e engenharia de dados;

Sólida experiência com Java para manutenção de serviços backend;

Experiência com desenvolvimento e sustentação de APIs REST em produção;

Conhecimento avançado em SQL e engines distribuídas como Spark, Athena, Presto ou Trino;

Experiência com arquiteturas orientadas a eventos utilizando SNS, SQS e Lambda;

Conhecimento de conceitos Data Mesh, governança de dados e contratos de dados;

Desejável experiência com PostgreSQL, Terraform/CloudFormation/CDK, EMR, Spark, AWS Bedrock e ambientes AWS multi-account.