Jako AI Quality Engineer:

Przetwarzasz oczekiwania biznesowe i ryzyka operacyjne na mierzalne kryteria oceny systemów AI.
Definiujesz kryteria sukcesu, częściowego sukcesu i niepowodzenia dla systemów konwersacyjnych i autonomicznych.
Projektujesz metody oceny dla systemów wieloetapowych i nieokreślanych, tworzysz i utrzymujesz reprezentatywne zestawy danych testowych.
Analizujesz błędy pod kątem kategorii, ścieżki użytkownika i prawdopodobnego źródła, rozróżniając problemy modelu od błędów w integracjach, promptach czy danych.
Weryfikujesz automatyczne narzędzia oceny (w tym LLM-as-a-Judge) w porównaniu z oceną ludzką.
Identyfikujesz ślepe punkty, zniekształcenia i ryzyka w wynikach testów oraz tworzysz testy regresyjne dla porównywania wersji systemów.
Komunikujesz wyniki, ograniczenia i ryzyka w sposób wspierający decyzje produkcyjne.

Doświadczenie w quality engineeringu, testowaniu oprogramowania, automatyzacji, data science lub inżynierii oprogramowania.
Znajomość Pythona i umiejętność pisania czytelnego, utrzymywalnego kodu.
Analityczne myślenie, umiejętność identyfikacji przyczyn błędów i tłumaczenia wyników zarówno technicznym, jak i biznesowym stakeholderom.
Zainteresowanie AI, systemami autonomicznymi i ich oceną.

Umowa o pracę z bonusem za wyniki.
Opieka medyczna, wsparcie psychologiczne, dodatkowe urlopy (w tym rodzicielskie i zaangażowanie społeczne).
Program udziałów pracowniczych, dodatkowe dni wolne (m.in. za urodziny).
Model hybrydowy: praca zdalna z kilkoma wizytami w biurze w Warszawie (Gdański Business Center) miesięcznie.
Dostęp do platform e-learningowych, wsparcie dla osób z niepełnosprawnościami.

AI Quality Engineer

Opis stanowiska