Senior Data Engineer
Senior Data Engineer (Data Scientist)
Keyrock · Zdalnie, Warszawa, Kraków
Opis stanowiska
Zakres obowiązków
- Budowa strumieniowych i batchowych pipeline’ów do przetwarzania danych rynkowych, transakcyjnych i portfelowych, odpornych na awarie źródeł.
- Tworzenie narzędzi self-service (SDK, wzorce, szablony) dla innych zespołów, umożliwiających publikację i wykorzystanie produktów danych bez zależności od zespołu CDT.
- Opracowywanie kontraktów danych i ewolucji schematów, minimalizowanie koordynacji międzyzespołowej przy zmianach.
- Projektowanie warstwy lakehouse i baz czasowych (ClickHouse, TimescaleDB) z uwzględnieniem wzorców zapytania.
- Budowa frameworka do zarządzania jakością danych: detekcja przestarzałych feedów, walidacja schematów, kontrole zakresów, pisanie idempotentne, linia pochodzenia, samonaprawa.
- Twórcze rozwiązania analityczne dla biznesu: spready między giełdami, VWAP, mikrostruktura ksiąg zamówień, widoki portfeli, ekspozycja, performance.
- Zapewnienie obserwowalności, optymalizacji kosztów i wydajności od podstaw.
- Praca z infrastrukturą jako kodem (Docker, Terraform, CI/CD) w ścisłej współpracy z zespołem infrastruktury.
Wymagania
- 8+ lat doświadczenia w budowie systemów danych wykorzystywanych przez inne zespoły.
- Zaawansowana znajomość Pythona i SQL (rozumienie mechanizmów silnika baz danych).
- Doświadczenie w projektowaniu i eksploatacji systemów strumieniowych (Kafka, Redpanda, Kinesis) oraz baz czasowych (ClickHouse, TimescaleDB).
- Zrozumienie architektury lakehouse i optymalizacja pod kątem wydajności zapytania i kosztów przechowywania.
- Praktyczne podejście do jakości danych, idempotencji i samo-naprawy systemów.
- Znajomość narzędzi DevOps (Docker, Terraform, CI/CD) jako standard pracy.
- Zainteresowanie rynkami finansowymi i danymi transakcyjnymi (krypto, tradycyjne rynki lub oba).
Oferta
- Wpływ na kształtowanie platformy danych od podstaw jako jedna z pierwszych osób w zespole CDT.
- Współpraca z zespołami architektury, infrastruktury i platformy oraz bezpośredni dostęp do zespołów biznesowych.
- Pełna autonomia w wyborze narzędzi i metod pracy, elastyczne godziny, model zdalny z możliwością spotkań stacjonarnych.
- Atrakcyjne wynagrodzenie oraz korzyści dla pracowników.
- Kultura zespołowa oparta na regularnych spotkaniach online i rocznym spotkaniu stacjonarnym.
Do pogodzenia z życiem: co pisze pracodawca
- Elastyczne godziny
Flexible hours, remote-first
Podobne oferty
-
Penetration Tester
Specjalistka / Specjalista ds. cyberbezpieczeństwa (penetration tester)
-
Regional Platform Engineering Focal (Americas)
Specjalistka / Specjalista ds. zarządzania platformami endpointowymi (macOS, Windows, MDM)
Zdalnie -
Modernization AI Engineer
Specjalistka / Specjalista ds. modernizacji AI (AI Engineer)
Zdalnie -
Senior Software Engineer (Java/DevOps)
Starsza programistka / Programista Java z doświadczeniem DevOps
-
Senior Software Engineer DevOps
Starsza inżynierka / inżynier DevOps
Zdalnie