Principal Engineer, On-Device Inference & GPU Kernels

Inżynierka / Inżynier główny ds. inferencji na urządzeniu i optymalizacji GPU (AI/ML, kernel programming)

Opera · Warszawa, Wrocław, hybrydowo

Opis stanowiska

Zakres obowiązków

  • Projektowanie i implementacja algorytmów speculacyjnego dekodowania (np. draftery, DSpark, EAGLE) oraz optymalizacja wydajności modeli językowych na sprzęcie konsumenckim.
  • Pisanie, fuzja i optymalizacja kernelów dla operacji uwagi, mnożenia macierzy, routingu MoE, próbkowania i weryfikacji, z uwzględnieniem różnych back-endów (CUDA, Metal/MLX, Vulkan, OpenVINO).
  • Projektowanie schematów mieszanej precyzji dla wag, aktywacji i pamięci KV, dostosowywanie formatów do sprzętu (4-bit integer, FP8, FP4, microscaling).
  • Optymalizacja czasu generowania pierwszych tokenów i szybkości generacji (tokens per second) za pomocą technik takich jak flash attention, paged attention i zarządzanie pamięcią.
  • Budowa hierarchicznych systemów cache dla pamięci KV i kontekstu, łączących pamięć GPU, RAM i SSD, z mechanizmami prefetchingu i smart eviction.
  • Tworzenie testów, telemetrii wydajności i bram regressionowych, które wykrywają problemy z wydajnością, błędne wyniki numeryczne lub zablokowane interfejsy użytkownika.
  • Wdrażanie narzędzi monitorowania i instrumentacji, umożliwiających badaczom i zespołom bezpieczeństwa analizę modeli bez utraty wydajności.

Wymagania

  • Zaawansowane doświadczenie w programowaniu GPU (CUDA, Metal/MLX lub Vulkan compute) oraz zdolność przenoszenia rozwiązań na inne back-endy.
  • Doświadczenie w speculatywnym dekodowaniu, w tym implementacji drafterów i optymalizacji szybkości i akceptacji modeli.
  • Dokumentowane osiągnięcia w przyspieszaniu obliczeń inferencji (tokens per second, opóźnienie, zużycie pamięci) z konkretnymi wynikami.
  • Zrozumienie kwantyzacji i jej wpływu na jakość modeli, w tym metody pomiaru degradacji jakości.
  • Dyscyplina w walidacji poprawności numerycznej i pomiarze jakości, nie tylko wydajności.

Oferta

  • Dostęp do zaawansowanych zasobów obliczeniowych: Apple Silicon, NVIDIA (w tym klasa Blackwell), AMD, Intel oraz chmurowe GPU do treningu modeli.
  • Techniczna odpowiedzialność za krytyczne rozwiązania AI w Opera, w bezpośredniej współpracy z kierownictwem AI.
  • Globalny wpływ: rozwiązania AI wykorzystywane przez setki milionów użytkowników przeglądarki Opera na różnych platformach sprzętowych.
  • Możliwość udziału w badaniach i publikacji wyników technicznych.

Podobne oferty