O projekcie

• Wspólnie z naszym partnerem z branży ubezpieczeniowej poszukujemy eksperta/ki na pozycję ✨Data Engineer (Azure)✨
• Nasz klient realizuje strategiczny, wieloletni program wdrożenia DataHubów – rozwiązania wspierającego różne obszary biznesowe poprzez integrację różnych danych w organizacji. Projekt oparty jest o architekturę medalinową (bronze/silver/gold) oraz model Data Vault 2.0, a jego celem jest stworzenie skalowalnej mini hurtowni danych wdrażanej kolejno w spółkach zagranicznych naszego Partnera Biznesowego.

Twój zakres obowiązków

• Modelowanie danych z uwzględnieniem wzorców logicznych i architektury Data Vault 2.0.
• Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure i Databricks.
• Wdrażanie funkcji walidacji danych, wykrywania anomalii i monitoringu jakości danych.
• Optymalizacja przetwarzania oraz przechowywania danych dla dużych wolumenów.
• Ścisła współpraca z architektami danych, zespołami AI i przedstawicielami biznesu.
• Tworzenie dokumentacji modeli danych, potoków oraz decyzji projektowych.
• Tworzenie rozwiązań umożliwiających analitykę w czasie rzeczywistym.
• Budowanie oraz optymalizacja potoków ETL/ELT w Spark/PySpark.
• Automatyzacja procesów z użyciem CI/CD (Azure DevOps).
• Udział w spotkaniach i ceremoniach Agile (Scrum).

Nasze wymagania

• Minimum 4 lata doświadczenia na stanowisku Data Engineer.
• Zdolność do tworzenia wydajnych rozwiązań dla dużych zbiorów danych.
• Bardzo dobra znajomość Pythona, Spark, PySpark oraz SQL.
• Znajomość Azure, Azure Databricks, Azure DevOps.
• Język angielski - min. B2.

Mile widziane

• Znajomość modelu Data Vault 2.0.
• Doświadczenie z DBT (Data Build Tools).
• Znajomość Terraform, Docker, Kubernetes.
• Doświadczenie z rozwiązaniami CI/CD.

Technologie, których używamy

Tak pracujemy nad projektem

• TDD

To oferujemy

• Tryb pracy zdalnej z okazjonalnymi spotkaniami zespołu w biurze w centrum Warszawy (raz w miesiącu).

• Udział w strategicznym projekcie realizowanym dla międzynarodowego Partnera Biznesowego.

• Realny wpływ na architekturę i rozwój rozwiązania wdrażanego w wielu krajach.

• Dedykowane wsparcie opiekuna Connectis przez cały czas trwania współpracy.

• Współpracę z doświadczonym zespołem inżynierów danych i DevOpsów.

• Możliwość przedłużenia współpracy w kolejnych fazach programu.

• 5000 PLN za polecenie znajomego do naszych projektów.

• Szybki, zdalny proces rekrutacyjny.