Engenheiro de dados

Na DreamSquad, acreditamos que dados são a base para transformar tecnologia em soluções que geram impacto real para os nossos clientes.

Estamos em busca de um Engenheiro de Dados para atuar na construção, evolução e otimização de pipelines de dados, trabalhando com grandes volumes de informações e tecnologias AWS, processamento distribuído e soluções de dados para aplicações de Inteligência Artificial.

Principais atividades

Construção e Otimização de Pipelines de Dados (ETL/ELT)

- Desenvolvimento de Jobs de Transformação

- Ingestão de Dados em Larga Escala

- Modelagem e Estruturação de Dados

Suporte e Governança de Dados para IA

- Preparação de Datasets para Agentes

- Monitoramento de Qualidade de Dados

- Exploração e Análise de Dados

Requisitos:

Linguagens e Fundamentos

- Proficiência em Python e domínio avançado em SQL para manipulação e transformação de dados.

- Sólida compreensão de Data Lakes (Amazon S3) e Data Warehouses (Ex: Amazon Redshift).

Processamento Distribuído e ETL

- Experiência na construção e otimização de Spark Jobs para processamento de dados em larga escala.

- Proficiência na utilização de AWS Glue (com PySpark) para desenvolver e gerenciar pipelines de ETL/ELT.

- Habilidade para consultar e explorar dados do Data Lake (S3) utilizando Amazon Athena.

Streaming e Ingestão de Dados

- Experiência mínima com serviços de streaming de dados, como Apache Kafka ou Amazon MSK.

- Conhecimento e uso de Amazon Kinesis (Streams e/ou Analytics).

- Familiaridade com Amazon Kinesis Firehose para entrega de dados em Data Lakes ou Data Warehouses.

Diferenciais (O que vai te destacar)

- Experiência com ferramentas de orquestração (Ex: Apache Airflow ou AWS Step Functions).

- Noções de Infraestrutura como Código (IaC) (Ex: Terraform ou CloudFormation).

- Conhecimento em Amazon SageMaker ou conceitos de MLOps para integração com Machine Learning.

- Familiaridade com metodologias Ágeis e ferramentas de versionamento (Git).

Orquestração e Automação de Fluxos

- Desenvolvimento de Orquestração

- Automação de Infraestrutura (IaC)

Integração com MLOps e Ciclo de Vida de Agentes de IA

- Integração de Dados com Agentes

- Suporte a MLOps