Job Description
Ako Data Engineer budete migrovať on-prem riešenia (Cloudera, Oracle) do Azure Databricks, budovať Data Lake a optimalizovať dátové workloady z pohľadu výkonu aj nákladov. Očakávam silné skúsenosti s PySpark, Python a SQL, ako aj schopnosť navrhovať robustné pipeline. Vaša rola bude kľúčová pri prechode na moderné lakehouse riešenie a ďalšom rozvoji platformy v prostredí Microsoft Azure. Ak ste spoľahlivý odborník s výbornou angličtinou, ozvite sa mi.
🚀 Projekt
- migrácia existujúcich on-premise riešení (Cloudera & Oracle) do prostredia Azure Databricks
- návrh, budovanie a optimalizácia moderného Data Lake a nadväzujúcich datamartov
- optimalizácia spracovania dát v Databricks (výkon a nákladová efektívnosť)
- vývoj a údržba dátových pipeline a ETL/ELT procesov
- priebežný data engineering a ďalší rozvoj dátovej platformy
- spolupráca na dlhodobom projekte v rámci stabilného bankového pr...