Principal Engineer, On-Device Inference & GPU Kernels
Inżynierka / Inżynier główny ds. inferencji na urządzeniu i optymalizacji GPU (AI/ML, kernel programming)
Opera · Warszawa, Wrocław, hybrydowo
Opis stanowiska
Zakres obowiązków
- Projektowanie i implementacja algorytmów speculacyjnego dekodowania (np. draftery, DSpark, EAGLE) oraz optymalizacja wydajności modeli językowych na sprzęcie konsumenckim.
- Pisanie, fuzja i optymalizacja kernelów dla operacji uwagi, mnożenia macierzy, routingu MoE, próbkowania i weryfikacji, z uwzględnieniem różnych back-endów (CUDA, Metal/MLX, Vulkan, OpenVINO).
- Projektowanie schematów mieszanej precyzji dla wag, aktywacji i pamięci KV, dostosowywanie formatów do sprzętu (4-bit integer, FP8, FP4, microscaling).
- Optymalizacja czasu generowania pierwszych tokenów i szybkości generacji (tokens per second) za pomocą technik takich jak flash attention, paged attention i zarządzanie pamięcią.
- Budowa hierarchicznych systemów cache dla pamięci KV i kontekstu, łączących pamięć GPU, RAM i SSD, z mechanizmami prefetchingu i smart eviction.
- Tworzenie testów, telemetrii wydajności i bram regressionowych, które wykrywają problemy z wydajnością, błędne wyniki numeryczne lub zablokowane interfejsy użytkownika.
- Wdrażanie narzędzi monitorowania i instrumentacji, umożliwiających badaczom i zespołom bezpieczeństwa analizę modeli bez utraty wydajności.
Wymagania
- Zaawansowane doświadczenie w programowaniu GPU (CUDA, Metal/MLX lub Vulkan compute) oraz zdolność przenoszenia rozwiązań na inne back-endy.
- Doświadczenie w speculatywnym dekodowaniu, w tym implementacji drafterów i optymalizacji szybkości i akceptacji modeli.
- Dokumentowane osiągnięcia w przyspieszaniu obliczeń inferencji (tokens per second, opóźnienie, zużycie pamięci) z konkretnymi wynikami.
- Zrozumienie kwantyzacji i jej wpływu na jakość modeli, w tym metody pomiaru degradacji jakości.
- Dyscyplina w walidacji poprawności numerycznej i pomiarze jakości, nie tylko wydajności.
Oferta
- Dostęp do zaawansowanych zasobów obliczeniowych: Apple Silicon, NVIDIA (w tym klasa Blackwell), AMD, Intel oraz chmurowe GPU do treningu modeli.
- Techniczna odpowiedzialność za krytyczne rozwiązania AI w Opera, w bezpośredniej współpracy z kierownictwem AI.
- Globalny wpływ: rozwiązania AI wykorzystywane przez setki milionów użytkowników przeglądarki Opera na różnych platformach sprzętowych.
- Możliwość udziału w badaniach i publikacji wyników technicznych.
Podobne oferty
-
Senior Power Systems & Transformer Engineer
Starsza inżynierka / Inżynier systemów energetycznych i transformatorów (Power Systems & Transformer Engineer)
Zdalnie -
Solution Architect/Tech Lead
Architektka / Architekt rozwiązań IT (Solution Architect) / Tech Lead
Zdalnie -
Embedded Software Engineer - Communication & Diagnostics
Inżynierka / Inżynier oprogramowania embedded (automotive)
-
Functional Safety Engineer
Inżynierka / Inżynier ds. bezpieczeństwa funkcjonalnego (Functional Safety Engineer)
Zdalnie -
Power Systems Engineer / Software Engineer
Inżynierka / Inżynier systemów energetycznych i oprogramowania (Power Systems Engineer / Software Engineer)