Data Engineer Senior

Requerimientos del cargo

• 4+ años en Data Engineering con experiencia productiva en Apache Spark / PySpark
• Databricks con Delta Lake, Unity Catalog y arquitectura Medallion
• Python 3.10+ (PEP8, pytest)
• GitHub + GitHub Actions con flujo profesional
• Azure Data Factory o equivalente
• ADLS Gen2 o cloud storage equivalente

Projects

Sobre la empresa
Somos una corporación multinacional de bebidas y alimentos con operaciones regionales, un portafolio amplio de marcas y una estrategia acelerada de transformación digital. Dentro de Apex Digital / M5, el área de Data & Analytics habilita productos analíticos, datos gobernados y capacidades avanzadas para las unidades de negocio, incluyendo CBC, Beliv, BIA y las iniciativas transversales de transformación digital.Como parte de esta evolución, la organización está avanzando hacia una arquitectura empresarial de AI Agents basada en Databricks, ADLS Gen2, Unity Catalog, Azure AI / Microsoft Foundry, Copilot Studio y Power Automate.Perfil que buscamos:Ingeniero de Datos con experiencia sólida en pipelines PySpark productivos sobre Databricks, foco en optimización y buenas prácticas de desarrollo, capaz de mentorizar a ingenieros junior y aportar criterio técnico al equipo.

Funciones del cargo

Diseño y arquitectura: Diseñar pipelines escalables sobre Databricks + Unity Catalog + ADLS Gen2 aplicando arquitectura Medallion (Bronze/Silver/Gold), con estrategias de particionado apropiadas al volumen y patrones de consulta.Optimización Spark/PySpark: Optimizar pipelines productivos (shuffles, broadcasts, small files, cache), diagnosticar bottlenecks con Spark UI y planes de ejecución, y operar Databricks de forma costo-eficiente.Código limpio y patrones: Escribir código modular, legible y testeable. Aplicar patrones de diseño con criterio donde aporten claridad. Cumplir PEP8 e implementar tests unitarios sobre lógica crítica.Calidad y robustez: Automatizar ETL/ELT con data quality integrada sin degradar throughput. Implementar pipelines idempotentes (MERGE INTO, replaceWhere) y manejar SCD con join temporal correcto.CI/CD y operación: Versionar código en GitHub con flujo profesional (feature branches, PRs, code review) y mantener pipelines CI/CD con GitHub Actions (linters, tests, validaciones).Mentoría:Mentorizar a ingenieros junior con feedback técnico constructivo. Conducir code reviews que enseñen el "por qué". Mantener documentación robusta y proponer mejoras con evidencia.
Principales retos

• Procesar volúmenes crecientes sin que los costos en la nube se disparen
• Implementar data quality que no impacte la velocidad de procesamiento
• Escribir código que el equipo pueda mantener y extender en el tiempo
• Balancear contribución técnica directa con desarrollo del equipo junior

Condiciones

• Ambiente de trabajo colaborativo y dinámico.
• Desarrollo profesional continuo y oportunidades de crecimiento.
• Flexibilidad de horarios y equilibrio entre vida laboral y personal.

Opcionales

• Optimización de pipelines con volúmenes altos (cientos de GB diarios o más)
• Terraform o infraestructura como código
• Ingesta desde MongoDB, PostgreSQL, Kafka o Event Hubs
• Plataformas multi-tenant o frameworks de ingesta reutilizables
• Auto Loader o Delta Live Tables
• Certificaciones Databricks (Data Engineer Associate/Professional)