Czym będziesz się zajmować? Celem projektu jest budowa i optymalizacja skalowalnych pipeline'ów danych w ekosystemie AWS, umożliwiających efektywne przetwarzanie, analizę oraz integrację dużych zbiorów danych. Projekt koncentruje się na zwiększeniu wydajności, niezawodności oraz automatyzacji procesów przetwarzania danych, wspierając tym samym rozwój analityki i podejmowanie decyzji biznesowych opartych na danych.Obowiązki:projektowanie, rozwijanie i optymalizacja dużych pipeline'ów danych w ekosystemie AWS,implementacja oraz utrzymanie rozwiązań opartych na Apache Spark, Hadoop, MySQL i Cassandra,integracja oraz przetwarzanie danych w czasie rzeczywistym przy użyciu Kafka,optymalizacja zapytań SQL i operacji na dużych zbiorach danych,współpraca z zespołem w celu projektowania skalowalnych rozwiązań Big Data,monitorowanie, debugowanie i optymalizacja wydajności systemów przetwarzających dane,implementacja najlepszych praktyk dotyczących przechowywania i przetwarzania danych,współpraca z innymi zespołami technicznymi w celu integracji systemów danych.

Kogo poszukujemy? min. 4-letnie doświadczenie na podobnym stanowisku,doświadczenie w programowaniu w Scali (preferowana) lub Javie,bardzo dobra znajomość AWS i jego usług związanych z przetwarzaniem danych,biegłość w SQL,znajomość narzędzi Big Data: Apache Spark, Hadoop, MySQL, Cassandra,doświadczenie w pracy z Kafka,praktyczne doświadczenie w budowaniu dużych pipeline'ów danych w chmurze AWS,zaawansowana znajomość j. angielskiego.