ENGENHEIRO DE DADOS ESPECIALISTA

Olha o que você encontra aqui na Dotz 🧡Sonho GrandeGente que entrega resultadosValorizamos nossa GenteFome de donoCurtimos a Jornada com Paixão

Responsabilidades e atribuições

Stack & Ambiente:Ambiente 100% em Google Cloud Platform (GCP): BigQuery, Dataflow, Dataproc, Cloud Storage, Pub/Sub, Vertex AI;

Orquestração com Cloud Composer (Airflow gerenciado no GCP);

Desenvolvimento de Software:Desenvolvimento de DAGs em Airflow (Cloud Composer) para ETL de dados usando Python;

Desenvolvimento de scripts para ETL de dados em Dataflow (Java), Dataproc (Python) e BigQuery (SQL);

Desenvolvimento de software para suportar processos de ETL, primariamente com Python;

Desenvolvimento e integração de pipelines de dados com APIs externas e processamento de arquivos em diferentes formatos (JSON, CSV, Parquet, Avro, etc.);

Desenvolvimento e manutenção de pipelines de dados para treinamento e inferência de modelos de Machine Learning e IA no Vertex AI;

Análise e Manipulação de Dados:Capacidade de efetuar análises de dados para identificação e resolução de bugs nos processos de ETL;

Experiência com feature engineering e preparação de datasets para modelos de ML/IA;

Avaliação crítica de outputs de ferramentas de IA generativa aplicadas a dados (LLMs, agentes de dados, etc.);

Inteligência Artificial e Automação:Conhecimento em orquestração de workflows com agentes de IA para automação de processos de dados;

Experiência ou interesse em integração de LLMs em pipelines de dados (ex: enriquecimento, classificação, extração de entidades);

Capacidade de avaliar, adotar e adaptar ferramentas de IA para aumentar a produtividade da engenharia de dados;

Comunicação Eficaz:Desenvolver e manter comunicação eficaz, facilitando a interação entre as áreas de Engenharia, Dados e Negócios da Dotz;

Requisitos e qualificações

Formação:Graduação em Ciência da Computação, Engenharia ou áreas afins;

Experiência Técnica:Experiência no desenvolvimento e uso do Airflow (preferencialmente Cloud Composer no GCP);

Experiência comprovada em desenvolvimento de software, preferencialmente com projetos públicos no GitHub ou similar;

Conhecimento sólido em SQL e Python para desenvolvimento de ETLs;

Experiência com serviços GCP: BigQuery, Dataflow, Dataproc, Cloud Storage;

Experiência comprovada em análise de dados, preferencialmente em ambiente corporativo;

Experiência com integração de APIs e processamento de arquivos em múltiplos formatos;

Inteligência Artificial:Familiaridade com conceitos de ML/IA aplicados a dados (feature engineering, pipelines de treinamento, inferência);

Experiência ou conhecimento em Vertex AI ou plataformas equivalentes de ML em cloud;

Capacidade de utilizar ferramentas de IA generativa (LLMs, agentes, copilots) para aumentar produtividade no dia a dia;

Diferenciais:Certificações GCP (Associate Cloud Engineer, Professional Data Engineer);

Experiência com Java para desenvolvimento no Dataflow;

Contribuições em projetos open source relacionados a dados ou IA;

Habilidades Comunicativas:Excelentes habilidades de comunicação verbal e escrita;

Capacidade de facilitar discussões entre diferentes áreas e desbloquear temas críticos;

Informações adicionais

Modelo de trabalho híbrido

Assistência médica SulAmérica

Assistência odontológica SulAmérica

Remuneração anual variável (PLR)

Cartão de

benefícios

flexível: Flash

Day Off de aniversário

Dotz no aniversário

Dotz no aniversário por tempo de casa a partir do segundo anoDescontos em grandes redes de farmácias

TotalPass

Auxílio creche

Parceria com a Open English

Parceria com a C4life: Conte com um cuidado através de orientação especializada nessas diversas áreas: Psicológica, Jurídica, Financeira, Social e Pets

Diversas outras ações e muitos Dotz dentro do nosso Programa Ganha Mais que tem como objetivo: trazer os melhores

benefícios

para os Dotzeiros. Cuidar da #NossaGente é um dos nossos principais propósitos, por isso estaremos sempre buscando oferecer o melhor para que possamos seguir curtindo a jornada com paixão. #Vem pra Dotz!