O projekcie

• Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne/organizacyjne.
• Lokalizacja: Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc/dwa miesiące)

Twój zakres obowiązków

• Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych
• Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL/ELT) z wykorzystaniem Apache Spark (głównie PySpark)
• Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne
• Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów)
• Tworzenie i utrzymywanie dokumentacji architektonicznej
• Wdrażanie rozwiązań CI/CD oraz zarządzanie infrastrukturą jako kodem (IaC)
• Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych
• Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole

Nasze wymagania

• AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów
• Apache Spark (w szczególności PySpark), np. w usługach: Glue, EMR, Databricks, Synapse
• Git – zarządzanie branchami, rozwiązywanie konfliktów, code review
• Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych
• Python – doświadczenie programistyczne
• SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)
• Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)
• Airflow

Mile widziane

• Infrastructure-as-Code (IaC) – np. CloudFormation, Terraform, Ansible, ARM, Chef
• CI/CD – np. CodePipeline, GitHub Actions, GitLab, Jenkins, TeamCity
• AWS Glue, AWS Lambda (lub ich odpowiedniki na Azure/GCP)
• AWS Redshift – w tym Redshift Spectrum, procedury, materializowane widoki, tymczasowe tabele
• AWS Step Functions
• dbt
• Formaty plików typu Delta Lake, Apache Iceberg, Hudi
• HDFS
• Scala
• Doświadczenie z koncepcjami: Data Lakehouse, Data Quality, Data Lineage, Data Governance
• Praca z danymi strumieniowymi / w czasie rzeczywistym
• Znajomość modelowania danych: Star Schema, Kimball, Data Vault, Common Data Model
• Obszary: Master Data Management

Technologie, których używamy