Data engineer állások Budapesten (it programozás, fejlesztés)

• Design and implement data models aligned with industry best practices
• Build and optimize scalable data warehousing and lakehouse solutions and ensure data integrity end-to-end
• Create and own robust ELT pipelines connecting multiple internal and external data sources

• Establish data feeds with custodian banks, data vendors, and other service providers
• Support senior leadership, clients, and the broader Data Team in executing analyses and providing data-driven answers to questions
• Fully automate and centralize existing data integration processes

• Adat töltések fejlesztése
• Mesterséges intelligencia modellek fejlesztésében részvétel
• Alkalmazás fejlesztésekben részvétel

• Cloudera Data Platform környezetek üzemeltetése
• Hadoop, HDFS, YARN, Hive, Impala, Kafka és Ozone alapú szolgáltatások támogatása
• Platformfrissítések, patch-elések és verzióváltások
• Kapacitás- és teljesítménymenedzsment
• Incidensek kivizsgálása, hibaanalízis és problémamenedzsment

Performing tasks related to the position....

• Build, operate, and improve production data pipelines using Python, Airflow, Kubernetes, and related technologies
• Design scalable data pipelines and data models for growing data volumes and processing needs

• Delivery of complex data engineering projects across industries
• Leading small delivery teams
• Management of customer relationships alone or with a Project Manager
• Mentoring more junior engineers
• Evaluating the quality of junior engineers' work
• Contributing to hiring best-in-class data engineers

• Design and implement data fabric architecture across heterogeneous data sources and platforms
• Develop scalable ETL/ELT pipelines for batch and real-time data integration
• Integrate structured and unstructured data from databases, APIs, SaaS applications, data lakes, and enterprise systems

• Design, build, and maintain large-scale distributed data systems
• Develop data processing pipelines using technologies such as Spark and streaming solutions
• Work on systems that evaluate and ensure the quality and integrity of large-scale knowledge graphs

• Design and own the Azure Native Data & AI Platform architecture
• Lead Azure Databricks platform implementation and evolution
• Define enterprise data, analytics, ML and AI platform standards and best practices
• Design Lakehouse and Medallion architectures

• Build and maintain Azure Databricks solutions
• Develop scalable ETL/ELT pipelines
• Implement and optimize Lakehouse solutions
• Develop Spark applications
• Develop reusable data and AI platform components
• Build and maintain MLOps pipelines using Azure Databricks
• Automate platform, data and ML deployments

• Azure, Databricks, SQL usage
• CI/CD, Terraform/IaC management
• Monitoring, logging, alerting
• Incident management, troubleshooting, root cause analysis
• Performance tuning, platform administration, and high availability

• Ownership of data engineering features, architecture, and code quality
• Design, implementation, and maintenance of Databricks-based data pipelines and workflows
• Building and optimization of ETL/ELT processes using Apache Spark on Databricks

Design, develop, and maintain interactive Power BI dashboards and reports to support spend analysis, supplier performance, contract lifecycle management, and procurement KPIs...

• Komplex adatfeldolgozás és elemzés: különböző egyetemi adatforrások feldolgozása, összekapcsolása, összetett SQL-lekérdezések és elemzések készítése.
• Adatmodellezés: elemzési és riportolási célú adatmodellek, adatstruktúrák és számítási logikák megtervezése, kialakítása és továbbfejlesztése.

• Client-facing communication
• Participation in pre-sales discussions
• Collaboration with sales and customer success teams
• Communication with clients' technical teams
• Design and configuration of data labeling and processing pipelines
• Combination of multiple data labeling components into automated workflows

• A Data Science & Analytics üzletágunk projektjeiben, fejlesztéseiben részvétel változatos iparágakban
• Önálló statisztikai elemzési és modellezési feladatok megoldása (tervezés, becslés, fejlesztés, tesztelés, dokumentáció)

• A Data Science & Analytics üzletágunk projektjeiben, fejlesztéseiben részvétel változatos iparágakban
• Önálló statisztikai elemzési és modellezési feladatok megoldása (tervezés, becslés, fejlesztés, tesztelés, dokumentáció)

• Design, implement, and manage Azure cloud infrastructure to support Databricks and data platform workloads
• Build and maintain Azure resources including Resource Groups, VNets, Key Vaults, Storage Accounts, and Azure Active Directory (AAD) integrations

• Implementation and maintenance of large-scale data pipelines and the Azure/Databricks data platform
• Building robust, scalable pipelines using Azure Databricks (PySpark / SQL)
• Design and enforcement of data architecture standards including Delta Lake / Lakehouse architecture and data modeling