Data Engineer Senior

Requerimientos indispensables

• 7+ años de experiencia en Data Engineering, con ownership senior sobre plataformas productivas.
• Inglés avanzado – Obligatorio
• Experiencia real y profunda en Entity Resolution / Master Data Management.
• Experiencia práctica con: Matching determinístico y probabilístico, Blocking, Confidence scoring, Survivorship, Human-in-the-loop / revisión manual.
• PySpark a escala y experiencia sólida con Delta Lake.
• Experiencia con Microsoft Fabric, especialmente Lakehouse, Warehouse, Notebooks y Pipelines.
• T-SQL y Azure SQL avanzados, incluyendo operaciones de MERGE / upsert bajo carga concurrente.
• Experiencia diseñando pipelines configurables, llevando las diferencias entre fuentes a configuración en lugar de hardcodearlas.
• Experiencia trabajando con datos de múltiples fuentes con estructuras inconsistentes o contratos poco definidos.
• Experiencia trabajando con PII y datos regulados, considerando seguridad, trazabilidad y auditabilidad.
• Capacidad para documentar claramente reglas, decisiones técnicas y procesos.

Projects

En Improving South America, brindamos servicios de TI para transformar la percepción del profesional de TI. Nos enfocamos en consultoría de TI, desarrollo de software y formación ágil. La empresa promueve una cultura de trabajo excepcional basada en el trabajo en equipo, la excelencia y la diversión, con enfoque en crecimiento personal y recompensas compartidas. Al integrarse, el/la candidato/a formará parte de una comunidad que prioriza la comunicación abierta y relaciones laborales sólidas a largo plazo, respaldada por una estructura de desarrollo profesional y aprendizaje continuo.

Responsabilidades del rol

Buscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas.

El desafío principal será construir procesos de matching y deduplicación de alta precisión, capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches.

Lo que harás:

• Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas.
• Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual.
• Procesar grandes volúmenes de datos con PySpark y Delta Lake.
• Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes.
• Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos.
• Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse.
• Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching.
• Definir y monitorear criterios de calidad, latencia y actualización de los datos.
• Documentar reglas, decisiones técnicas y funcionamiento de los pipelines.
• Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos.
• Participar en la evolución y mantenimiento de una plataforma de datos productiva.

Beneficios que ofrecemos

• Contrato a largo plazo.
• 100% Remoto.
• Vacaciones y PTOs
• Posibilidad de recibir 2 bonos al año.
• 2 revisiones salariales al año.
• Clases de inglés.
• Equipamiento Apple.
• Plataforma de cursos en linea
• Budget para compra de libros.
• Budget para compra de materiales de trabajo
• mucho mas..

Plus relevante

• Experiencia profunda en Databricks o Azure Synapse y transición hacia Microsoft Fabric.
• Experiencia con Splink, Zingg u otras herramientas de Entity Resolution.
• Experiencia con frameworks internos o configurables de orquestación sobre Spark.
• Conocimiento de property management / real estate data y modelos de lease, household, co-signer, roommate, etc.
• Experiencia con datos destinados a procesos operativos o de facturación, más allá de escenarios puramente analíticos o de reporting.
• Experiencia reduciendo deuda técnica y evolucionando plataformas de datos existentes.
• Experiencia con Azure DevOps y CI/CD para data engineering.
• Experiencia con ADLS Gen2, Azure SQL, T-SQL y Power BI.