Data Engineer (Alteryx | AWS) | PL (Remote)

.

Responsabilidades e atribuições

Manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;

Atuar na migração de workflows e códigos desenvolvidos em Alteryx para a plataforma AWS, utilizando AWS Glue;

Será responsável por reestruturar pipelines de dados, adaptar lógicas existentes para um ambiente cloud-native e garantir a performance, escalabilidade e governança das soluções implementadas;

Realizar a migração de fluxos do Alteryx para o ecossistema de dados do Data Mesh. Análise, reescrita e reestruturação dos programas existentes, sua adequação aos padrões de desenvolvimento definidos para o Mesh, bem como a orquestração e integração com os domínios de dados do Mesh;

Requisitos e qualificações

Experiência com Apache Spark, Apache Airflow, Apache Kafka e dbt, além de bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;

Experiência com plataformas de dados em nuvem, incluindo Databricks, AWS Glue e BigQuery;

Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse, garantindo escalabilidade, governança e alto desempenho no processamento de dados;