Data Engineer

Responsable de diseñar, desarrollar y mantener la arquitectura de datos de la empresa. Su función principal es asegurar que los datos fluyan de manera eficiente y confiable desde diversas fuentes hasta los sistemas de almacenamiento y procesamiento, como un lago de datos (data lake), para que puedan ser utilizados para análisis y generación de reportes .

Requisitos:

• Experiencia en la interpretación de requerimientos de negocio y su traducción a tareas técnicas para el equipo de ingeniería.
• Capacidad para trabajar de forma colaborativa en equipos de desarrollo, utilizando metodologías ágiles como Scrum.
• Conocimiento sólido en procesos de ETL (Extracción, Transformación y Carga) y ELT (Extracción, Carga y Transformación).
• Experiencia demostrable en el análisis de grandes volúmenes de datos.

Habilidades técnicas

• SQL: Nivel avanzado para consultas complejas y optimización.
• Python: Dominio del lenguaje, incluyendo librerías para manipulación de datos como Pandas y Polars
• Google Cloud Platform (GCP): Experiencia específica con servicios como BigQuery, Dataflow y Storage
• Herramientas de orquestación: Conocimiento en la creación y mantenimiento de flujos de trabajo con herramientas como Airflow
• Procesamiento de datos: Experiencia con motores de procesamiento distribuido como Spark y su API en Python (pyspark)
• Conocimiento en otras plataformas de datos como Databricks y Hadoop
• Experiencia con sistemas de mensajería en tiempo real como Kafka .
• Habilidad en Shell scripting para automatización de tareas
• Familiaridad con prácticas de Integración Continua y Despliegue Continuo (CI/CD)
• Manejo de herramientas de gestión de proyectos y colaboración como Jira y Confluence

Actividades a Realizar

• Diseñar, crear, implementar y optimizar pipelines de datos para la integración y procesamiento de información
• Modelar tablas y estructuras de datos dentro del lago de datos de la compañía
• Validar las fuentes de datos para asegurar su calidad y consistencia
• Crear y mantener flujos de datos que alimenten la generación de reportes y dashboards
• Colaborar con el equipo utilizando la metodología Scrum para el desarrollo de proyectos
• Realizar análisis sobre grandes volúmenes de datos para extraer información de valor