AWS Data Engineer | Senior (Remote)
Indexed description
.Responsabilidades e atribuiçõesDesenvolver novas integrações da plataforma com engines de consumo de dados, com foco em Databricks, Glue ETL e AWS Lambda; Evoluir APIs proprietárias e fluxos orientados a eventos que sustentam a plataforma; Implementar e automatizar o provisionamento de recursos e permissões em ambiente AWS multi-account;Evoluir o mecanismo de virtualização e compartilhamento de dados entre produtores e consumidores, baseado em contratos de dados;Garantir a observabilidade, governança e segurança da plataforma; Apoiar os times de produtores e consumidores no uso da solução;Participar de decisões de arquitetura, documentação técnica e mentoria do time.Requisitos e qualificaçõesExperiência sólida com AWS, especialmente S3, Glue, Lake Formation e IAM; Vivência com Databricks, incluindo Unity Catalog e integração com Glue Catalog e Lake Formation;Domínio de Python para desenvolvimento de APIs e automações; Conhecimento sólido em Java para manutenção de APIs e serviços backend; Experiência no desenvolvimento e manutenção de APIs REST em produção; Vivência com arquiteturas orientadas a eventos utilizando SNS e SQS;SQL avançado e experiência com engines de consulta distribuída (Athena, Presto, Trino e Spark);Experiência com ambientes AWS multi-account e políticas de acesso entre contas;Diferenciais: Conhecimento em conceitos de Data Mesh, Data Products e governança federada, Experiência com Open Data Contract Standard, Conhecimento em PostgreSQL, Vivência com Infraestrutura como Código (Terraform, CloudFormation ou CDK), Experiência com EMR (EC2 e Serverless) e otimização de workloads Spark, Conhecimento em AWS Lambda para pipelines orientados a eventos. Experiência com Amazon Bedrock ou serviços de IA Generativa na AWS.
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search