Data Platform Developer

O kliencie

Nasz Klient to jeden z wiodących banków uniwersalnych w Polsce, należący do międzynarodowej grupy finansowej. Organizacja oferuje kompleksowe usługi bankowe dla klientów indywidualnych oraz biznesowych, rozwijając nowoczesne rozwiązania w obszarze bankowości codziennej, finansowania i systemów płatniczych.

O projekcie

Osoba na tym stanowisku będzie odpowiedzialna za projektowanie, budowę i utrzymanie nowoczesnych, skalowalnych rozwiązań

event-driven. Platforma opiera się na Apache Kafka, Kafka Connect, kSQL, Kafka Streams, Spring Boot, Quarkus/graalVM oraz usługach NoSQL i analitycznych (MongoDB, GraphQL, Apache Iceberg). Poszukujemy osoby, która posiada solidne doświadczenie w programowaniu backendowym, rozumie zasady DevOps i potrafi wdrażać rozwiązania w środowiskach chmurowych i on-premise.

Tryb pracy

Świadczenie usług odbywa się w modelu zdalnym (1 x raz w miesiącu praca z biura Klienta we Wrocławiu)

Realizację projektu ułatwi Ci

• Minimum 3 lata praktycznego doświadczenia w pracy ze środowiskami produkcyjnymi
• Bardzo dobra znajomość Apache Kafka, w tym brokerów, topiców, producerów, consumerów, logów oraz mechanizmów replikacji
• Praktyczna i bardzo dobra znajomość Kafka Streams oraz kSQL
• Doświadczenie w konfiguracji i rozwijaniu Kafka Connect, zarówno z wykorzystaniem gotowych, jak i własnych konektorów
• Bardzo dobra znajomość Javy oraz frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security i Spring Data
• Doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań w bazach NoSQL, w szczególności MongoDB
• Doświadczenie w implementacji usług GraphQL – definiowanie schematów, tworzenie resolverów oraz integracja z warstwą danych
• Podstawowa znajomość Apache Iceberg, w tym formatu tabel oraz mechanizmów zarządzania metadanymi
• Znajomość Python
• Doświadczenie z rozwiązaniami observability: Prometheus, Grafana oraz OpenTelemetry
• Znajomość zagadnień bezpieczeństwa: TLS, SASL, ACL, szyfrowanie danych w spoczynku oraz podczas transmisji
• Doświadczenie w pracy w metodykach Scrum/Kanban oraz z narzędziami Jira i Confluence

Twój wkład do projektu

• Projektowanie, prototypowanie i rozwój rozwiązań event-driven z wykorzystaniem Apache Kafka, Kafka Connect, Kafka Streams i kSQL
• Definiowanie schematów danych w Avro, Protobuf i JSON Schema oraz zarządzanie ich wersjonowaniem
• Tworzenie mikroserwisów w Spring Boot obsługujących zdarzenia Kafka – producerów, consumerów oraz mechanizmy stream processing
• Budowa warstwy GraphQL API z wykorzystaniem Quarkus/GraalVM, udostępniającej dane przechowywane w MongoDB
• Konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Apache Iceberg oraz innych baz danych i systemów
• Implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów
• Automatyzacja tworzenia i zarządzania konfiguracją topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams
• Implementacja monitoringu i obserwowalności: Prometheus, Grafana, OpenTelemetry, Dynatrace, Vector, ELK
• Diagnozowanie problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem zdarzeń
• Optymalizacja konfiguracji Kafki, m.in. w zakresie partycjonowania, retencji oraz poziomów ISR
• Współpraca z Data Engineerami, DevOpsami i analitykami w środowisku Agile (Scrum/Kanban)
• Dzielenie się wiedzą w zespole poprzez prowadzenie warsztatów oraz tworzenie dokumentacji technicznej