Data Engineer

Inżynierka / Inżynier danych (Data Engineer)

Integral Solutions · Zdalnie, Warszawa

Opis stanowiska

Zakres obowiązków

Rozwijasz, projektujesz i optymalizujesz złożone procesy integracji danych w środowiskach GCP i on-prem, wykorzystując narzędzia MLOps/DevOps oraz wysokowydajne technologie. Pracujesz z dużymi wolumenami danych (do 100 TB), projektujesz bazy danych (BigQuery, Bigtable, ScyllaDB) oraz tworzyasz usługi REST API.

  • Projektowanie i optymalizacja procesów ETL w GCP (Airflow, Dataflow, Dataproc) oraz on-prem (Informatica PowerCenter, NIFI).
  • Praca z systemami kolejkowymi (Kafka, Pub/Sub) i relacyjnymi bazami danych (Oracle, PostgreSQL, ScyllaDB).
  • Tworzenie narzędzi i frameworków w języku Rust oraz programowanie w Pythonie (PySpark).
  • Wdrażanie rozwiązań wysokowydajnościowych dla przetwarzania i udostępniania danych.

Wymagania

  • Minimum 5 lat doświadczenia jako Data Engineer GCP.
  • Zaawansowana znajomość narzędzi ETL, baz danych i systemów kolejkowych.
  • Ekspercka znajomość Pythona, Rust, oraz relacyjnych baz danych.
  • Doświadczenie w tworzeniu usług REST API i pracy z systemem Linux.
  • Znajomość narzędzi DevOps/MLOps (Git, Grafana, JMeter).

Oferta

  • Umowa B2B.
  • Praca hybrydowa (4 dni zdalnie, 1 dzień w biurze w Warszawie).
  • Prezenty i wydarzenia firmowe.

Podobne oferty