Data Engineer

Proposito:

Diseñar, estructurar y automatizar el flujo de información crítica del negocio para contar con una visión consolidada de los mismos. Esto incluye la creación y gestión de pipelines de datos, el diseño de data warehouses y la implementación de soluciones de procesamiento y análisis. El objetivo es que la información se actualice automáticamente y esté disponible en dashboards que faciliten la toma de decisiones tácticas y estratégicas.

Responsabilidades Principales

• Diseño y construcción de pipelines de datos: Diseñar, construir y mantener pipelines para la ingestión, limpieza, transformación y carga (ETL/ELT) de datos desde múltiples fuentes hacia almacenes de datos y plataformas analíticas, asegurando calidad y consistencia.
• Administración de la infraestructura y almacenamiento de datos: Configurar y administrar bases de datos, sistemas de almacenamiento y herramientas de procesamiento, garantizando escalabilidad, disponibilidad, rendimiento y continuidad operativa.
• Optimización de rendimiento y eficiencia: Identificar y resolver cuellos de botella en pipelines y sistemas de almacenamiento, implementando mejoras que aumenten la velocidad de procesamiento, reduzcan tiempos y optimicen recursos.
• Gestión de metadatos y documentación: Desarrollar y mantener mecanismos de catalogación y documentación (metadatos) para conjuntos de datos, pipelines y procesos de transformación, facilitando la trazabilidad, el uso y la gobernanza.
• Seguridad, control y cumplimiento de datos: Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de la información, incluyendo encriptación, autenticación y control de accesos.
• Colaboración e integración con equipos y productos: Trabajar de forma articulada con equipos de ciencia de datos, producto, ingeniería de software y operaciones para asegurar la integración efectiva de los sistemas de datos en productos, servicios y tableros de analítica.
• Entendimiento del negocio para orientar el uso del dato: Profundizar en el conocimiento del negocio y del sector, para asegurar que los datos y las soluciones construidas respondan a necesidades reales y habiliten decisiones
  tácticas y estratégicas.

Nivel de educación:

Profesional en Ingeniería de Software, Ingeniería informatica, Ingeniería de Datos o Ciencia de Datos, Estadística o afines.

Experiencia:

Mínimo 3 años de experiencia en roles relacionados con análisis de datos, ingeniería de datos o desarrollo de soluciones analíticas.
Experiencia demostrada conectando fuentes de datos diversas, automatizando procesos y visualizando información para áreas de negocio.

Conocimiento específico en:

SQL y manejo de sistemas de gestión de bases de datos como PostgreSQL, MySQL, entre otros.

Tecnologías de almacenamiento de datos, incluyendo data lakes y/o data warehouses (Redshift, BigQuery, Snowflake)

Programación: Manejo de Python para automatización, ETL y análisis

Herramientas de orquestación de flujos de datos como Airflow o similares.

Visualización: Desarrollo de dashboards en Qlik (preferible), Power BI o Tableau

Integración de datos desde múltiples fuentes: APIs, archivos planos, sistemas internos, entre otros.

Entornos de nube como AWS (S3, Redshift, Glue), GCP o Azure.

Originally posted on Himalayas