Job description

Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowych

O DEVTALENTS oraz model zatrudnienia

W DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta.

Twoje obowiązki

• Prowadzenie projektowania, rozwoju i utrzymania potoków danych oraz procesów ETL/ELT obsługujących duże, zróżnicowane zbiory danych.

• Optymalizacja procesów pobierania, transformacji i dostarczania danych z wykorzystaniem SQL, PySpark i Pythona.

• Wykorzystywanie frameworków takich jak Apache Airflow, AWS Glue, Kafka i Redshift w celu zapewnienia wydajnej orkiestracji danych, przetwarzania wsadowego/strumieniowego i wysokiej wydajności analiz.

• Wdrażanie najlepszych praktyk w zakresie kontroli wersji (Git), infrastruktury jako kodu (Terraform, Ansible) oraz pipeline’ów CI/CD, aby zapewnić solidne, powtarzalne i skalowalne wdrożenia.

• Ścisła współpraca z zespołami Data Science, Analityki i Product Management przy projektowaniu modeli danych i architektur wspierających cele biznesowe.

• Monitorowanie, debugowanie i optymalizacja potoków ETL, zapewnianie wysokiej niezawodności, niskich opóźnień i efektywności kosztowej.

• Mentoring inżynierów na poziomie średnim i juniorskim oraz budowanie kultury dzielenia się wiedzą, ciągłego doskonalenia i innowacji.

Nasze wymagania

• Duża biegłość w SQL, PySpark i Pythonie w zakresie transformacji danych oraz tworzenia skalowalnych potoków danych (minimum 6 lat doświadczenia komercyjnego).

• Praktyczne doświadczenie w pracy z Apache Airflow, AWS Glue, Kafka i Redshift. Znajomość pracy z dużymi wolumenami danych strukturalnych i częściowo strukturalnych. Mile widziane doświadczenie z DBT.

• Biegłość w korzystaniu z Gita do kontroli wersji. Airflow jest kluczowy do orkiestracji procesów.

• Solidne doświadczenie w pracy z AWS (Lambda, S3, CloudWatch, SNS/SQS, Kinesis) oraz znajomość architektur serverless.

• Doświadczenie w automatyzacji i zarządzaniu infrastrukturą za pomocą Terraform i Ansible.

• Umiejętności w zakresie monitorowania potoków ETL, rozwiązywania problemów z wydajnością oraz utrzymywania wysokiej niezawodności operacyjnej.

• Znajomość procesów CI/CD w celu automatyzacji testów, wdrożeń i wersjonowania potoków danych.

• Umiejętność projektowania rozproszonych systemów, które skalują się horyzontalnie dla dużych wolumenów danych. Wiedza o architekturach przetwarzania w czasie rzeczywistym (Lambda) i wsadowym (Kappa) będzie dodatkowym atutem.

• Doświadczenie w tworzeniu API (REST, GraphQL, OpenAPI, FastAPI) do wymiany danych.

• Znajomość zasad Data Mesh i narzędzi self-service do danych będzie dużym plusem. Wcześniejsze doświadczenie w budowaniu skalowalnych platform danych i przetwarzaniu dużych zbiorów danych jest wysoko cenione.

• Wyższe wykształcenie w zakresie informatyki lub kierunków pokrewnych.

• Znajomość języka angielskiego na poziomie co najmniej B2.

Podejście i nastawienie

• Proaktywne podejście do rozwiązywania problemów, pasja do podejmowania decyzji w oparciu o dane i nieustannego doskonalenia.

• Doskonałe umiejętności komunikacyjne pozwalające przekładać złożone koncepcje inżynierii danych na zrozumiały język dla odbiorców technicznych i nietechnicznych.

• Umiejętność współpracy w środowisku wielofunkcyjnym i zwinnym oraz gotowość do wspierania i mentorowania członków zespołu.

• Chęć śledzenia trendów branżowych, eksperymentowania z nowymi technologiami i wdrażania innowacji w praktykach inżynierii danych.