Ingeniero de data Senior (Inglés intermedio - avanzado)

Estamos buscando un Ingeniero de Datos Senior para ser el principal responsable técnico de nuestra capa de pipelines de datos: los sistemas que trasladan datos desde más de 15 sistemas fuente a través de la arquitectura medallón (Bronze → Silver → Gold) y los ponen a disposición de analistas y modelos de ML. El trabajo abarca orquestación con Python (Dagster), extracción (dlt) y modelado de transformaciones con dbt, con un enfoque a corto plazo en migrar el motor de transformación de Databricks a Trino/Iceberg sobre OpenShift. Este es un rol senior de contribución individual con responsabilidades de mentoría, incluyendo revisión de código y propiedad arquitectónica. Reportarás al Arquitecto de Datos dentro del Hub Central de Plataforma e Ingeniería.

Responsabilidades clave

• Liderar el proyecto de orquestación con Dagster de extremo a extremo: definiciones de assets, jobs, sensores, programaciones, recursos e IO managers.

• Diseñar e implementar nuevos pipelines de extracción con dlt siguiendo el patrón de pod de ejecución única; ampliar la biblioteca compartida de fuentes (SQL Server, Postgres, MariaDB, BigQuery, SharePoint).

• Ser responsable de las capas Bronze y Silver de dbt y brindar soporte de ingeniería para modelos Gold fundacionales y transversales a dominios.

• Hacer cumplir el acuerdo de granularidad antes de construir cualquier modelo: granularidad, claves primarias, frecuencia de actualización, retención y SLA definidos y aprobados antes de escribir SQL.

• Liderar la migración de modelos dbt de dbt-databricks a dbt-trino, validando la paridad en cada capa de la arquitectura medallón antes de la promoción.

• Tratar las fallas de pruebas de dbt como alertas intencionales de calidad de datos: investigar los datos aguas arriba en lugar de ocultarlas con reintentos.

• Ser responsable del justfile como la única fuente de verdad para operaciones locales y de CI.

• Mentorear a dos ingenieros de datos de nivel medio y realizar revisiones de código enfocadas en idempotencia, corrección incremental y eficiencia de recursos.

Habilidades requeridas

• Más de 5 años de experiencia en ingeniería de datos, con enfoque en desarrollo y transformación de pipelines.

• Nivel experto en Python 3.10+ (tipado, dataclasses, patrones asíncronos, empaquetado).

• Experiencia práctica profunda con Dagster (assets, jobs, recursos, IO managers, sensores, programaciones), o con un orquestador equivalente y disposición para profundizar en Dagster.

• Experiencia en producción con dlt (fuentes, destinos, carga incremental, evolución de esquema).

• SQL sólido: consultas complejas, funciones de ventana, CTEs y optimización de rendimiento en almacenes columnares.

• Experiencia en producción con dbt (modelos, pruebas, macros, paquetes, dbt-databricks o dbt-trino).

• Familiaridad con ADLS, Parquet, Delta Lake o Apache Iceberg como capa de almacenamiento.

Stack tecnológico

• Orquestación y extracción: Dagster, dlt

• Transformación: dbt (actualmente sobre Databricks, migrando a Trino)

• Lakehouse: Trino + Apache Iceberg + Apache Ranger

• Lenguajes: Python 3.10+, SQL avanzado

• Plataforma y herramientas: OKD/OpenShift, Forgejo, Tekton, ArgoCD, just

Deseable

• Trino o Presto como motor de consultas (altamente preferido debido a la hoja de ruta de migración).

• Databricks (SQL Warehouse, Unity Catalog, ADLS Gen2, Delta Lake).

• Autoría de cargas de trabajo en OpenShift/Kubernetes (solicitudes de recursos, especificaciones de pods, emptyDir).

• Experiencia con just / justfile para la automatización del flujo de trabajo de desarrollo.

• Experiencia mentoreando a ingenieros de datos junior o de nivel medio.

Qué ofrecemos

• Salario competitivo y beneficios de salud integrales.

• Flexibilidad de trabajo híbrido, ofreciendo un equilibrio entre trabajo presencial y remoto.

• Oportunidades de aprendizaje y mentoría para ayudarte a crecer profesionalmente.

• Una ruta clara hacia roles senior, con orientación y apoyo del liderazgo.

• Trabajar con un stack tecnológico moderno y de nivel productivo en una empresa de rápido crecimiento con alcance global.

• Integrarte a un equipo colaborativo y multicultural que trabaja en proyectos de impacto en el sector de seguros.