Opis ofertyProjekt dotyczy modernizacji i migracji istniejącej platformy danych do środowiska opartego na Databricks, z naciskiem na automatyzację, skalowalność i bezpieczeństwo. Zespół pracuje nad usprawnieniem procesów przetwarzania danych oraz wdrożeniem nowoczesnych rozwiązań CI/CD i monitoringu dla środowisk chmurowych.Zakres obowiązków Wspieranie migracji z Azure Synapse do Databricks poprzez budowanie i utrzymywanie stabilnej infrastruktury i pipeline’ów wdrożeniowych. Automatyzacja provisioning’u, konfiguracji i monitorowania środowisk Databricks w wielu strumieniach danych. Zapewnienie sprawnych procesów CI/CD dla zadań data engineering, w tym: automatyzacji inicjalnych załadunków danych wdrażania warstw data marts i warstw konsumpcyjnych integracji z raportowaniem i rozwiązaniami Power BI Współpraca z Data Engineerami, zespołami produktowymi i interesariuszami biznesowymi w celu zapewnienia niezawodnej i bezpiecznej dostawy danych. Optymalizacja wydajności, skalowalności i kosztów środowisk chmurowych. Implementacja monitoringu, alertowania i logowania w celu utrzymania wysokiej dostępności systemów. Tworzenie i utrzymanie Infrastructure as Code (IaC) dla powtarzalnych i kontrolowanych wersjami wdrożeń. Szybkie diagnozowanie i rozwiązywanie problemów związanych ze środowiskiem, pipeline’ami i integracjami. Opis wymagań 5+ lat doświadczenia zawodowego w DevOps, infrastrukturze chmurowej i automatyzacji. Silne praktyczne doświadczenie w środowiskach Azure i Databricks. Biegłość w narzędziach Infrastructure as Code (np. Terraform, ARM templates, Bicep lub podobne). Dobre umiejętności skryptowania i automatyzacji w Pythonie, Bashu lub PowerShellu. Znajomość pipeline’ów CI/CD (Azure DevOps, GitHub Actions lub podobne) dla workflowów data engineering. Wiedza o konteneryzacji i orkiestracji (Docker, Kubernetes jako plus). Doświadczenie w implementacji narzędzi monitoringu i obserwowalności (Azure Monitor, Prometheus, Grafana itd.). Dobre zrozumienie bezpieczeństwa chmurowego, governance i optymalizacji kosztów. Umiejętność współpracy z inżynierami w celu zapewnienia stabilnych, skalowalnych i łatwych w utrzymaniu rozwiązań. Doświadczenie w pracy w metodykach zwinnych (SCRUM).