Software Engineer, Data Platform
Inżynierka / Inżynier oprogramowania platformy danych (Data Platform Engineer)
Point72 · Warszawa
Opis stanowiska
Zakres obowiązków
- Budowanie rdzeniowych możliwości platformy danych wspierających badania inwestycyjne, analitykę i procesy operacyjne firmy.
- Projektowanie niezawodnych pipeline’ów batch i streaming do przetwarzania, transformacji i dostarczania danych w środowiskach produkcyjnych.
- Rozwój skalowalnych rozwiązań do przetwarzania danych w Pythonie i Scali, z wykorzystaniem wzorców obliczeń rozproszonych.
- Optymalizacja prac obciążenia Spark poprzez poprawę wzorców wykonawczych, wykorzystania zasobów i efektywności przetwarzania dużych zbiorów danych.
- Praca z danymi w środowiskach chmurowych (AWS) oraz zapewnienie niezawodności, obserwowalności i odzyskiwalności systemów.
- Modelowanie i przygotowywanie danych na różnych poziomach (surowce, znormalizowane, gotowe do użytku) dla poprawy ich przydatności, spójności i zaufania.
- Współpraca z zespołami inżynieryjnymi, produktowymi i biznesowymi w celu przekształcania potrzeb danych w trwałe rozwiązania platformowe.
- Poprawa praktyk inżynierii platformowej poprzez testowanie, monitorowanie, orchestrację, dokumentację i ciągłe doskonalenie pipeline’ów produkcyjnych.
Wymagania
- Doświadczenie w projektowaniu, budowaniu i eksploatacji niezawodnych pipeline’ów batch i streaming w środowiskach produkcyjnych.
- Zaawansowane umiejętności programowania w Pythonie i Scali do skalowalnego przetwarzania danych.
- Znajomość Spark, w tym koncepcji przetwarzania danych, optymalizacji wydajności i wzorców wykonawczych rozproszonych.
- Doświadczenie w budowaniu pipeline’ów streamingowych z użyciem Spark Streaming dla zastosowań przetwarzania danych o niskiej latenencji.
- Praca w środowiskach danych w chmurze, takich jak AWS (magazynowanie, obliczenia, przetwarzanie danych).
- Doświadczenie w tworzeniu i eksploatacji obciążeń produkcyjnych na platformie danych, np. Databricks.
- Rozumienie modelowania danych, orchestracji, testowania, monitorowania i praktyk wsparcia produkcji.
- Umiejętności komunikacji i współpracy z różnymi stakeholderami.
- Zaangażowanie w najwyższe standardy etyczne.
Oferta
- Rozwój zawodowy i wsparcie w rozwoju umiejętności technicznych od pierwszego dnia pracy.
- Opieka nad zdrowiem i samopoczuciem: karta sportowa, prywatne ubezpieczenie zdrowotne i stomatologiczne, program emerytalny, wsparcie wolontariatu.
- Programy wsparcia dla grup zawodowych, w tym dla kobiet, osób pochodzenia afroamerykańskiego i społeczności LGBT+.
- Ubezpieczenie na wypadek wypadków podczas podróży służbowych.
- Program wsparcia psychologicznego i refundacja kosztów edukacyjnych.
Podobne oferty
-
Senior Full-Stack Product Engineer
Senior Programistka / Programista Full-Stack (Product Engineer)
Zdalnie -
Product Engineer
Inżynierka / Inżynier Produktu (Product Engineer)
Zdalnie -
Senior Software Engineer
Senior Programistka / Programista (AI, SaaS, Backend)
Zdalnie -
Senior Backend Engineer, Cloud Platform
Starsza inżynierka / inżynier backendu platformy chmurowej (Cloud Platform)
Zdalnie -
Senior Database Reliability Engineer
Starsza inżynierka / inżynier ds. niezawodności baz danych (Database Reliability Engineer)
Zdalnie