Wymagania

Technologie wymagane

AWS

AWS S3

Apache Spark

PySpark

Glue

Databricks

Synapse

Git

Parquet

Python

SQL

Airflow

Hive

Metastone

Technologie mile widziane

CloudFormation

Terraform

Ansible

GitHub

GitLab

Jenkins

TeamCity

AWS Glue

AWS Lambda

Redshift

dbt

HDFS

Scala

Data Lake

Vault

Nasze wymagania

• AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów
• Apache Spark (w szczególności PySpark), np. w usługach: Glue, EMR, Databricks, Synapse
• Git – zarządzanie branchami, rozwiązywanie konfliktów, code review
• Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych
• Python – doświadczenie programistyczne
• SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)
• Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)
• Airflow

Mile widziane

• Infrastructure-as-Code (IaC) – np. CloudFormation, Terraform, Ansible, ARM, Chef
• CI/CD – np. CodePipeline, GitHub Actions, GitLab, Jenkins, TeamCity
• AWS Glue, AWS Lambda (lub ich odpowiedniki na Azure/GCP)
• AWS Redshift – w tym Redshift Spectrum, procedury, materializowane widoki, tymczasowe tabele
• AWS Step Functions
• dbt
• Formaty plików typu Delta Lake, Apache Iceberg, Hudi
• HDFS
• Scala
• Doświadczenie z koncepcjami: Data Lakehouse, Data Quality, Data Lineage, Data Governance
• Praca z danymi strumieniowymi / w czasie rzeczywistym
• Znajomość modelowania danych: Star Schema, Kimball, Data Vault, Common Data Model
• Obszary: Master Data Management

Twój zakres obowiązków

• Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych
• Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL/ELT) z wykorzystaniem Apache Spark (głównie PySpark)
• Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne
• Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów)
• Tworzenie i utrzymywanie dokumentacji architektonicznej
• Wdrażanie rozwiązań CI/CD oraz zarządzanie infrastrukturą jako kodem (IaC)
• Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych
• Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole