Wymagania

Technologie wymagane

SQL

Technologie mile widziane

Github Actions

Airflow

MapReduce

Spark

Flink

Kafka

Docker

Kubernetes

TensorFlow

PyTorch

Spark ML

AWS

Sagemaker

Python

Go

Nasze wymagania

• Wykształcenie wyższe informatyczne lub pokrewne
• Co najmniej 3-letnie doświadczenie w projektowaniu i wdrażaniu systemów uczenia maszynowego
• Znajomość narzędzi CI/CD (np. Github Actions, Airflow itp.), ETL lub big data (np. MapReduce, Spark, Flink, Kafka, Docker, Kubernetes itp.)
• Znajomość głównych bibliotek ML (np. TensorFlow, PyTorch, Spark ML itp.) i/lub rozwiązań chmurowych (np. AWS, Sagemaker itp.)
• Umiejętności programowania w Python, Go lub innych językach OOP
• Doświadczenie w SQL i bazach danych, w tym optymalizacji zapytań SQL
• Doświadczenie z frameworkami testów jednostkowych
• Znajomość struktur danych, algorytmów i zasad inżynierii oprogramowania

Mile widziane

• Rozległe doświadczenie ze Snowflake, Snowpark i Redis/Aerospike
• Doświadczenie w branży reklamowej, systemach rekomendacji lub ekosystemie real-time bidding (RTB)

Twój zakres obowiązków

• Opracowywanie, testowanie, wdrażanie i utrzymywanie danych, skalowalnych produktów uczenia maszynowego o niskim opóźnieniu i potoków wspierających produkty ML, biorąc pod uwagę takie czynniki, jak charakter danych, złożoność problemu i dostępne zasoby obliczeniowe
• Weryfikacja wydajności modelu na niewidocznych danych, upewnienie się, że model dobrze generalizuje i nie jest nadmiernie dopasowany do danych treningowych
• Przeprowadzenie rygorystycznych testów w celu zidentyfikowania i rozwiązania potencjalnych problemów, takich jak stronniczość lub uczciwość
• Projektowanie i rozwijanie platformy uczenia maszynowego nowej generacji w celu jednoczesnej obsługi tysięcy potoków szkoleniowych modeli i tysięcy miliardów dziennych prognoz wsadowych
• Badanie najnowszych technologii platformy uczenia maszynowego, przesuwających granice tego, co jest obecnie możliwe dzięki ML i śledzenie na bieżąco trendów i zmian w branży
• Eksperymentowanie z nowymi platformami ML dostosowanymi do naszego środowiska i tworzenie szybkich prototypów/ weryfikacji koncepcji
• Usprawnienie wdrażania modeli, testów jednostkowych, testów integracyjnych i testów warunków skrajnych oraz zapewnienie jakości inżynieryjnej
• Wspieranie automatyzacji potoku ML przy użyciu zasad CI/CD, promowanie spójności, odtwarzalności i zwinności
• Współpraca z analitykami danych w celu wprowadzenia nowych funkcji platformy ML, usprawnienia procesu tworzenia modeli i skrócenia czasu ich produkcji
• Ścisła współpraca z różnymi wewnętrznymi zespołami ML (np. Data Scientists i MLOps) w celu poprawy stanu bazy kodu i produktu