Engenheiro de Dados
Indexed description
Capacidade de comunicar ideias de forma clara e objetiva com stakeholders técnicos e não técnicos.
Habilidade para negociar prazos e prioridades com diferentes áreas.
Planejamento e Organização
Capacidade de estruturar cronogramas com entregas bem definidas.
Organização na priorização e acompanhamento de tarefas.
Idiomas
Inglês avançado para leitura (documentação técnica, fóruns, artigos).
Inglês básico/intermediário para conversação técnica.
Engenharia De Dados
Domínio em processos de ETL/ELT, com construção de pipelines eficientes e escaláveis.
Modelagem de dados de ambientes analíticos.
Garantia da qualidade, integridade e rastreabilidade dos dados.
Linguagens e Ferramentas
SQL avançado (CTEs, janelas, subqueries, tuning, CDC, procedures).
Conhecimento avançado de Python (Pandas, MLFlow, Flask).
Containers, escalabilidade em Cloud, filas e processamento paralelo.
Familiaridade com Google BigQuery - diferencial positivo.
Manipulação de grandes volumes de dados (Big Data) com foco em performance e custo.
Desenvolvimento de API REST para integração e extração de dados externos.
Versionamento de código com Git/GitHub e documentação técnica utilizando o Confluence.
Modelagem e Arquitetura De Dados
Experiência com modelagem dimensional (Star Schema, Snowflake, Flat Tables, cubos).
Conhecimento de normalização de dados (1FN, 2FN, 3FN).
Prática com CDC (Change Data Capture) e controle de versionamento de dados.
Arquiteturas de dados como Lakehouse e modelo em camadas (raw, refined, trusted).
Pipeline de dados em diferentes modos: batch, online, near real-time.
Qualidade e Governança
Técnicas de data quality e validação de dados.
Boas práticas de nomeação, padronização e organização de schemas, tabelas e queries.
Garantia da consistência do dado end-to-end, desde o sistema de origem até a camada analítica.
Conhecimento de segurança da informação e LGPD para tratamento de dados sensíveis, utilizando criptografia e anonimização.
Automação e Orquestração
Experiência com ferramentas de scheduling e orquestração de pipelines (Dataflow, Airflow).
Conhecimento em DAGs, agendamento de jobs e estratégias de self-service para dados.
Extração/Scraping e manipulação de dados não estruturados, e conversão para JSON, Parquet, Avro ou CSV.
Desenvolvimento e Testes
Metodologias de desenvolvimento ágil aplicadas a projetos de dados (Scrum, Kanban).
Criação de massas de dados para testes, versionamento e deploy de pipelines. Inglês básico/intermediário para conversação técnica.
Experiência nível Pleno
Create a free Caio profile to unlock more results and save your role and location preferences.
Unlock free search