Senior Data Engineer

Dołącz do NATEK Polska jako Senior Data Engineer i wesprzyj realizację projektów dla jednego z naszych klientów z branży produkcyjnej. Będziesz odpowiedzialny za projektowanie, rozwój i optymalizację nowoczesnej platformy danych wspierającej analitykę, Business Intelligence oraz rozwiązania z obszaru Machine Learning.

Your Responsibilities

• Projektowanie, rozwój i optymalizacja skalowalnych procesów przetwarzania danych w modelu batch oraz real-time.
• Projektowanie i rozwój procesów integracji, transformacji oraz przechowywania danych.
• Projektowanie modeli danych oraz zapewnienie spójności, jakości i dostępności danych.
• Optymalizacja wydajności oraz kosztów infrastruktury danych.
• Tworzenie i rozwój rozwiązań wspierających automatyzację oraz orkiestrację procesów danych.
• Monitorowanie, diagnozowanie i optymalizacja procesów przetwarzania danych oraz zapewnienie ich wysokiej dostępności.
• Współpraca z zespołami inżynierskimi, data scientistami oraz analitykami biznesowymi przy projektowaniu i rozwoju rozwiązań danych.
• Wdrażanie dobrych praktyk z zakresu Data Engineering, bezpieczeństwa danych oraz zgodności z obowiązującymi regulacjami.
• Ocena i wdrażanie nowych technologii oraz udział w rozwoju architektury danych.
• Wspieranie rozwoju mniej doświadczonych członków zespołu oraz dzielenie się wiedzą.

• Minimum 8 lat doświadczenia w obszarze Data Engineering, rozwoju procesów ETL lub technologii Big Data.
• Bardzo dobra znajomość Databricks, Python oraz SQL.
• Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem dbt, Apache Airflow, Azure Data Factory lub Apache NiFi.
• Praktyczne doświadczenie z platformami danych działającymi w środowisku chmurowym, takimi jak Azure Synapse, Databricks, Snowflake lub BigQuery.
• Doświadczenie w modelowaniu danych z wykorzystaniem Data Vault 2.0, Star Schema oraz strategii normalizacji danych.
• Doświadczenie z technologiami przetwarzania rozproszonego, takimi jak Apache Spark, Hadoop, Apache Kafka lub Event Hub.
• Doświadczenie z Databricks Structured Streaming.
• Doświadczenie z rozwiązaniami Infrastructure as Code, takimi jak Terraform, Pulumi lub ARM Templates.
• Znajomość zagadnień związanych z Data Governance, bezpieczeństwem danych (RBAC, Data Lineage, szyfrowanie, zgodność z regulacjami).
• Doświadczenie w pracy w środowisku Federated Engineering oraz z dużymi platformami danych klasy enterprise.
• Znajomość narzędzi do monitorowania i obserwowalności procesów danych, takich jak Monte Carlo, DataDog oraz Great Expectations.
• Doświadczenie w pracy zgodnie z metodykami Agile oraz DevSecOps.
• Wykształcenie wyższe na kierunku Informatyka, Data Engineering, Systemy Informacyjne lub pokrewnym.
• Doświadczenie w optymalizacji i skalowaniu procesów przetwarzania danych.
• Umiejętność samodzielnego prowadzenia inicjatyw technicznych oraz wpływania na decyzje architektoniczne.
• Bardzo dobra znajomość języka angielskiego.

• Długofalowa współpraca oparta o nasze wartości: doświadczenie, partnerstwo i odpowiedzialność,
• Praca w projektach dedykowanych dla największych marek na świecie
• Możliwość wymiany doświadczeń w międzynarodowych środowisku i rozwoju w projektach realizowanych globalnie
• Elastyczne godziny pracy,
• Prywatną opiekę medyczną,
• Karta Multisport lub My Cafeteria,
• Ubezpieczenie na życie,
• NATEK loyalty Club,
• Możliwość dołączenia do społeczności odpowiedzialnej społecznie i uczestniczenia w inicjatywach firmowych,
• Dla kontraktorów - uprawnienie do 23 dodatkowych dni świadczenia usług w roku,
• Dodatkowy płatny dzień wolny na wolontariat dla pracowników na etacie.