Czym będziesz się zajmować? Celem projektu jest stworzenie zaawansowanego systemu przetwarzania danych, który umożliwi efektywne i skalowalne zarządzanie dużymi zbiorami danych w czasie rzeczywistym. Projekt zakłada budowę i optymalizację danych z wykorzystaniem narzędzi takich jak Apache Spark, Apache Hive, Apache Airflow oraz SQL Server, a także zapewnienie integralności i jakości danych na każdym etapie przetwarzania. Celem jest także stworzenie wydajnych rozwiązań do przetwarzania, przechowywania i analizowania danych, które wspierać będą decyzje biznesowe oraz rozwój organizacji w oparciu o dane.Zakres zadań:Projektowanie i implementacja skalowalnych rurociągów danych z wykorzystaniem Apache Spark i Pythona.Rozwój i utrzymanie rozwiązań hurtowni danych opartych na Apache Hive.Orkiestracja złożonych przepływów pracy danych za pomocą Apache Airflow.Zarządzanie bazami danych oraz zapytaniami w SQL Server.Współpraca z naukowcami danych i analitykami w celu zrozumienia wymagań dotyczących danych oraz dostarczania odpowiednich rozwiązań.Optymalizacja i rozwiązywanie problemów z zadaniami przetwarzania danych, aby zapewnić wydajność i niezawodność.Projektowanie, rozwój i utrzymanie baz danych SQL Server.Optymalizacja wydajności baz danych i rozwiązywanie problemów.

Kogo poszukujemy? Min. 5-letnie doświadczenie na stanowisku Data Engineer lub podobnym.Zaawansowana znajomość SQL Server, T-SQL oraz zasad projektowania baz danych.Umiejętność pisania czystego, efektywnego i łatwego do utrzymania kodu w Pythonie.Doświadczenie z Apache Spark, w tym umiejętność pracy z dużymi zbiorami danych i tworzenia rozwiązań przetwarzania danych w czasie rzeczywistym.Znajomość Apache Hive do tworzenia hurtowni danych i przetwarzania dużych zbiorów danych.Doświadczenie z Apache Airflow do orkiestracji procesów ETL.Silne umiejętności analityczne i rozwiązywania problemów.Zaawansowana znajomość j. angielskiego.