Data Engineer
Inżynierka / Inżynier danych (Data Engineer)
Integral Solutions · Zdalnie, Warszawa
Opis stanowiska
Zakres obowiązków
Rozwijasz, projektujesz i optymalizujesz złożone procesy integracji danych w środowiskach GCP i on-prem, wykorzystując narzędzia MLOps/DevOps oraz wysokowydajne technologie. Pracujesz z dużymi wolumenami danych (do 100 TB), projektujesz bazy danych (BigQuery, Bigtable, ScyllaDB) oraz tworzyasz usługi REST API.
- Projektowanie i optymalizacja procesów ETL w GCP (Airflow, Dataflow, Dataproc) oraz on-prem (Informatica PowerCenter, NIFI).
- Praca z systemami kolejkowymi (Kafka, Pub/Sub) i relacyjnymi bazami danych (Oracle, PostgreSQL, ScyllaDB).
- Tworzenie narzędzi i frameworków w języku Rust oraz programowanie w Pythonie (PySpark).
- Wdrażanie rozwiązań wysokowydajnościowych dla przetwarzania i udostępniania danych.
Wymagania
- Minimum 5 lat doświadczenia jako Data Engineer GCP.
- Zaawansowana znajomość narzędzi ETL, baz danych i systemów kolejkowych.
- Ekspercka znajomość Pythona, Rust, oraz relacyjnych baz danych.
- Doświadczenie w tworzeniu usług REST API i pracy z systemem Linux.
- Znajomość narzędzi DevOps/MLOps (Git, Grafana, JMeter).
Oferta
- Umowa B2B.
- Praca hybrydowa (4 dni zdalnie, 1 dzień w biurze w Warszawie).
- Prezenty i wydarzenia firmowe.
Podobne oferty
-
Fullstack Engineer (React+Python) - Splunk
Programistka / Programista Fullstack (React, Python)
-
Forward Deployed Engineer, Customer Experience AI
Inżynierka / Inżynier ds. wdrażania AI w obsłudze klienta (Customer Experience AI)
-
Software Engineer Technical Lead - Kubernetes Platform
Lead Inżynierka / Inżynier oprogramowania (Platforma Kubernetes)
Zdalnie -
Senior Software Engineer
Starsza programistka / Programista oprogramowania (Software Engineer)
-
Frontend Engineer
Programistka / Programista frontend (Angular, JavaScript)