Czym będziesz się zajmować? Start: ASAP Dla klienta z USA poszukujemy DataBrick Architecta. Klient działa w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań opartych na DataBricks. Klient posiada stałe zapotrzebowanie na specjalistów i ze względu na to jest w stanie zaproponować nowy temat po zakończeniu poprzedniego.Obecnie poszukiwani są specjaliści do projektu AI/ML (healthcare). Projekt dotyczy analizy danych tekstowych i obrazów generowanych przez urządzenia medyczne (rentgen, rezonans magnetyczny itp.). Dane będą migrowane do chmurowej bazy opartej na DataBricks. Platforma ma obsługiwać cały cykl życia danych w zgodzie z wbudowanymi funkcjonalnościami zapewniającymi zgodność z przepisami, możliwość przeprowadzania audytów, tworzenia kohort czy wtórnego wykorzystania modeli. Celem jest rozwiązanie problemów związanych z istniejącymi systemami zarządzania danych (rozproszone źródła, ręczne procesy, niewystarczające bezpieczeństwo).Zakres obowiązków:Zapewnienie bezpieczeństwa przechowywanie danychPrzetwarzanie i indeksowanie danych DICOMWalidacja danych, tworzenie pipeline'ów ETL, tworzenie i udostępnianie kohortZaplanowanie i przeprowadzenie migracjiŚcisła współpraca z zespołem (m.in. data engineers, data scientists, informatycy kliniczni, zespół wsparcia)

Kogo poszukujemy? Wymagania:Solidne doświadczenie w pracy w roli data engineera lub pokrewnych rolach (8+ lat)Bardzo dobra znajomość platformy DataBricks oraz Apache SparkBardzo dobra znajomość PythonDoświadczenie w przeprowadzaniu migracji chmurowychDoświadczenie w pracy w środowisku AWS (Amazon s3)Doświadczenie w prowadzeniu projektów związanych z AI / MLUmiejętności interpersonalne i zespołoweUmiejętność podejmowania inicjatywy i samodzielnośćAngielski na poziomie umożliwiającym swobodną komunikację w zespoleMile widziane:Doświadczenie w pracy w środowisku innych środowiskach chmurowych (np. Azure - Data Factory, Synapse, Logic Apps, Data Lake)Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą, DBT, SSIS, TimeXtender lub podobnych rozwiązań (ETL, ELT)Doświadczenie z dowolnymi platformami big data lub noSQL (Redshift, Hadoop, EMR, Google Data itp.)