Wymagania

Technologie wymagane

Python

Apache Spark

SQL

Git

Jenkins

GitHub

Technologie mile widziane

Scala

Airflow

Control-M

Docker

Kubernetes

Microsoft Azure

AWS

S3

Databricks

Bash

Sonar

Nasze wymagania

• Minimum 1 rok doświadczenia w programowaniu w Pythonie lub Scali (otwartość na naukę Scali w trakcie pracy)
• Wykształcenie wyższe (lub w trakcie studiów) informatycznych lub pokrewnych
• Podstawowe doświadczenie z Apache Spark lub innymi technologiami Big Data
• Znajomość SQL i relacyjnych baz danych
• Znajomość podstaw integracji danych (API, mikroserwisy)
• Podstawowa wiedza o narzędziach CI/CD (Git, Jenkins, GitHub)
• Bardzo dobra znajomość języka angielskiego (min. B2/C1)

Mile widziane

• Airflow, Control-M
• Docker, Kubernetes, chmura (Azure / AWS / S3 / Databricks)
• Bash scripting
• Podstawy testów jednostkowych i narzędzi jakościowych (np. Sonar)

Twój zakres obowiązków

• Tworzenie i rozwój procesów ETL z wykorzystaniem Apache Spark (Python lub Scala)
• Integracja danych z różnych źródeł do Data Hub
• Implementacja rozwiązań dla regulatory reporting
• Udział w projektach o szerokim zakresie danych i skalowalności
• Współpraca z zespołami z różnych krajów oraz działami biznesowymi
• Dokumentowanie rozwiązań w JIRA / Confluence
• Współtworzenie i utrzymanie pipeline’ów CI/CD
• Testowanie i zapewnienie jakości dostarczanych rozwiązań