Data Engineer - Azure / Databricks / AWS
Inżynierka / Inżynier danych (Data Engineer)
Integral Solutions · Zdalnie, Warszawa
150-180 zł netto / godz.
Opis stanowiska
Zakres obowiązków
- Projektowanie, budowa i utrzymanie procesów ETL/ELT dla danych z różnych źródeł.
- Wdrażanie architektury Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS.
- Optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark).
- Modelowanie danych i implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.
- Integracja danych z systemami ERP, CRM, API oraz źródłami zewnętrznymi.
- Zapewnienie jakości danych poprzez walidację, monitoring i kontrolę procesów.
- Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD.
- Współpraca z zespołami Data Science, BI oraz Architektury IT.
- Tworzenie dokumentacji technicznej i standardów przetwarzania danych.
- Wsparcie inicjatyw związanych z Data Governance, Security oraz Data Lineage.
Wymagania
- Minimum 3–5 lat doświadczenia na stanowisku Data Engineer.
- Zaawansowana znajomość SQL oraz modelowania danych.
- Doświadczenie w tworzeniu procesów ETL/ELT.
- Praktyczna znajomość Azure Data Platform oraz Azure Databricks.
- Znajomość języka Python oraz usług danych AWS (S3, Glue, Athena, Redshift, EMR, Lambda).
- Zrozumienie architektury Data Lake, Data Warehouse oraz Lakehouse.
- Znajomość narzędzi kontroli wersji (Git).
- Umiejętność pracy w środowisku Agile/Scrum.
Oferta
- Praca zdalna z siedzibą w Warszawie.
- Umowa B2B z wynagrodzeniem 150–180 zł netto/godzinę.
- Prezenty na różne okazje, wydarzenia firmowe, dostęp do platformy szkoleniowej i językowej.
Podobne oferty
-
Expert Snowflake Data Engineer
Specjalistka / Specjalista ds. inżynierii danych w Snowflake (Data Engineer)
1 100-1 300 zł / dzień Zdalnie -
Software Engineer (HYBRID REMOTE)
Programistka / Programista Java (Backend)
Zdalnie -
Senior Software Engineer (HYBRID REMOTE)
Starsza programistka / Programista (Senior) Java
Zdalnie -
Senior Software Engineer (Automation)
Starsza programistka / Programista automatyzacji testów (QA)
-
Senior Software Engineer
Starsza programistka / Programista .NET (Senior)