23 Data Engineer Jobs

ADMET Data Pipeline Development: Design, build and maintain scalable pipelines for ingesting, processing, and harmonizing diverse ADMET datasets from public sources (e.g., ChEMBL, PubChem) and proprietary assays., Data Harmonization: Standardize heterogeneous ADMET data formats (e.g., in vitro assays, in silico predictions) across network participants to enable modelling readiness of the data, Model-Ready Dataset Curation: Preprocess raw ADMET data (e.g., normalizing units, handling missing values) to support AI/ML model training for a variety of endpoints (like bioavailability, hERG inhibition, or CYP450 interactions), Data Quality Assurance: Implement and automate validation checks to ensure ADMET data integrity, Cross-Functional Integration: Work with computational chemists to optimize data structures for AI-driven ADMET models (e.g., graph-based representations for metabolic pathways), Work with our customers and potentially academic partners to define data preprocessing, selection, and benchmarking strategies for novel training tasks involving ADMET data, including leveraging and harmonizing assay data from different sources., Collaborate cross-functionally to ensure data and resulting models address real-world drug discovery needs., Mentor and guide team members on a content level, supporting the planning and breakdown of complex ADMET data preparation., Influence strategic decisions on data infrastructure and data quality assurance, Contribute to publications or open-source contributions where relevant.

Aufbereitung und Verknüpfung von Daten aus verschiedenen Systemen zur Schaffung einer einheitlichen Datenbasis, Anbindung und Integration von Kunden- und Lieferantendaten (EDI, Onlineportale, u.Ä.), Erstellung, Pflege und Optimierung von Berichten zur datengetriebenen Unterstützung unternehmerischer Entscheidungen, Analyse und Optimierung unserer SQL-Serverlandschaft für maximale Effizienz, Performance und Skalierbarkeit, Entwicklung von Skripten und Programmierlösungen zur Automatisierung von Datenprozessen, Analytische Auswertung von Daten in Berichten zur Ableitung fundierter Handlungsempfehlungen

Design and build robust, scalable data pipelines (ETL/ELT) using Python, SQL, dbt, and Spark/Snowpark., Own and evolve our data architecture across platforms like BigQuery, Azure Data Lake, or S3, ensuring high performance and flexibility., Implement data quality monitoring, validation, and enforce clear data contracts., Develop and maintain modular analytics layers and ML-ready datasets using modern formats (e.g., Parquet, Iceberg)., Enable self-service analytics through well-modeled data and intuitive Power BI dashboards., Collaborate with cross-functional teams to translate business needs into data solutions., Drive engineering excellence through mentorship, documentation, and best practices.

Develop & Optimize Data Pipelines, Enable Better Decision-Making, Ensure Data Quality & Governance, Collaborate Across Teams

Analyseinstrumente und -methoden erstellen, weiterentwickeln und dabei auf die Anforderungen der Fachbereiche ausrichten, Analyse und Verknüpfung (REST APIs) von verschiedenen Datenquellen und Insel-Lösungen sowie die effektive Verarbeitung großer Datenmengen, Identifikation geeigneter Algorithmen zur Lösung konkreter Fragestellungen in neuen Bereichen, Erarbeitung neue KI Lösungen mit dem bestehenden Team um Prozesse zu optimieren

Optimize end-to-end data pipeline performance, Develop and maintain scalable data processing solutions and backends, Integrate data sources using modern ETL/ELT practices, Clean and transform raw data using dbt, Build and maintain robust data quality frameworks and validation processes, Maintain and troubleshoot data architecture and infrastructure, Design, enhance, and maintain data processes and security best practices, Support ML & AI Engineers in building efficient data pipelines, Contribute to AI-driven applications

Assisting teams with data-related tasks, including data management, processing, and analysis, Contributing to the administration and maintenance of our PostgreSQL database to ensure optimal performance, security, and reliability, Collaborating with teams across Agora, where opportunities may arise to support and enhance communication strategies by leveraging data processing and visualisation for additional analytical insights, Support engagement with Agora's partner network and the wider energy data and modelling community, sharing best practices and supporting knowledge and capability development

Build and maintain data transformations for downstream consumption (ETL, ELT, streaming), Negotiate interfaces between software producers and data consumers, Work with social impact data to portray how education systems evolve over time, Use streaming pipelines and batch processing technologies to handle large amounts of data, Research and learn new technologies to adopt best practices, Collaborate cross-functionally with stakeholders, data scientists, BI analysts, engineers, product owners, and users, Drive the design and implementation of new features, Own data engineering projects from start to end, Manage different portions of critical data infrastructure

Unterstützung bei der Implementierung von robusten und skalierbaren Datenpipelines, Unterstützung bei der Automatisierung von Datenflüssen, Optimierung von Schnittstellen und Cloud-Architektur, Mitarbeit an der Optimierung der Dateninfrastruktur in der Cloud (z.B. Kubernetes-Cluster), Automatisierung von Deployments, Schaffung von zuverlässigen Monitoring- und Alerting-Lösungen, Unterstützung beim Einrichten von Monitoring-Tools (z.B. Prometheus, Grafana)

Beteiligung am Aufbau eines Datenintegrationszentrums mit dem Ziel der Bereitstellung standardisierter klinischen Daten für die medizinische Forschung zur Verbesserung der Behandlung und Versorgung von Patient*innen, Datenextraktion aus klinischen Primärsystemen, Entwurf, Implementierung und Überwachung von ETL-Prozessen, Integration von heterogenen Daten, Datenharmonisierung, semantische Datenannotationen, Übernahme von Standardterminologien, Aufbau einer nachhaltigen IT-Infrastruktur sowie Entwurf und Etablierung von effizienten Prozessen für das Datenmanagement

Unterstützung bei der Implementierung von robusten und skalierbaren Datenpipelines, Unterstützung bei der Optimierung unserer Dateninfrastruktur in der Cloud (z.B. Kubernetes-Cluster), Automatisierung von Deployments und Schaffung von zuverlässigen Monitoring- und Alerting-Lösungen, Unterstützung beim Einrichten von Monitoring-Tools (z.B. Prometheus, Grafana), Optimierung von Schnittstellen und Cloud-Architektur

Du planst, steuerst, analysierst und bereinigst Fehler in Produktionsabläufen, um produktive Hochverfügbarkeit von Daten, Datenbank- und Softwaresystemen sicherzustellen., Du unterstützt die Prozesssteuerung bei der Einhaltung der Datenfahrpläne bei z/OS, bist für die Fehlerbehebung und damit für die Sicherstellung und Einhaltung definierter Termine der Batch-Produktion auf z/OS verantwortlich., Du erstellst mit dem Team maßgeschneiderte Prozessabläufe "on premise" und perspektivisch cloudorientierte Workflows., Durch eine effiziente Jobsteuerung sorgst Du für ein einwandfreies Anwendungserlebnis auf Kundenseite., Du erlernst das Thema Service Orchestration in Cloud-Umgebungen., Du arbeitest im Mehrschichtbetrieb.

Forschung und Entwicklung im Teilprojekt „Nutzer:innen-zentrierte Digitalisierung für nachhaltige Entwicklung, Konzeption und Umsetzung von Lösungen zur Erfassung, Verarbeitung und Bereitstellung von Daten (ETL, APIs), Konzeption, Umsetzung und Erprobung von Vorhersagemodellen mit Verfahren der Künstlichen Intelligenz Beratung von und fachliche Abstimmung mit Partnern im Rahmen des Projekts, insbesondere mit Kommunen und KMU im Themenfeld „Digitalisierung“, Durchführung wissenschaftlicher Recherchen, Aufbereitung der Ergebnisse und Anfertigung von Publikationen

Mitarbeit bei der Entwicklung und Implementierung einer modularen, skalierbaren Datenarchitektur, Verantwortlich für Data Engineering Aufgaben innerhalb der Customer Data Plattform und der Azure Cloud, Verantwortlich für die Organisation und Sicherstellung der Verfügbarkeit von Daten, Sicherstellung der Datenverfügbarkeit durch effiziente und stabile ETL-Prozesse, Übersetzung von Business Anforderungen in wertschöpfende Lösungen, Verantwortliche Programmierung, Wartung und Optimierung von Datenabruf-, Datenspeicherungs- und Daten- verarbeitungsprozessen

Aufbau, Entwicklung und Implementierung von Datenarchitekturen zur Optimierung der Datenverarbeitung und -analyse, Entwicklung und Gestaltung der Datenstrategie sowie Sicherstellung der Datenqualität, Sicherstellung von Datenschutz und Compliance-Anforderungen, Evaluierung neuer Technologien und Best Practices im Bereich Data Architecture inkl. Schulung der Fachbereiche, Analyse und Lenkung von Datenströmen, Ansprechpartner für die Data Owner der Fachabteilungen

Design, Aufbau und Konfiguration des zentralen Data Warehouse der KALO, mit Fokus auf das analytische Datenmodell, Entwicklung von strukturierten, robusten und performanten Datenmodellen für die weitere Verarbeitung durch Data Analysts sowie Power User im Unternehmen, Kombination von sowohl fachlichen Reporting- und Analyseanforderungen als auch technischen Best-Practices und längerfristigem Denken (z.B. Datenqualität im Warehouse)., Dokumentation und Definition der entwickelten Kennzahlen und Datenprodukte, Sparringpartner beim Review der in der Strategie definierten Architektur und Technologiekomponenten, Coaching und Austausch mit Deinen Teamkollegen, Enge Zusammenarbeit mit den Fachbereichen und der IT

Datenbereinigung (Aufbereiten, Filtern, Normieren), Datenanalyse (Cluster erkennen, Ausreißer aufspüren, Trends erkennen, Statistiken erfassen), Datenvisualisierung für Kommunikation und Diskussion, Leiste einen maßgeblichen Beitrag zum Aufbau von Pipelines, die eine nahtlose und kontinuierliche Verarbeitung sowie Auswertung ermöglichen, Übernehme spannende Projekte und bearbeite ein Thema aus einem großen Spektrum an Fragestellungen, bei denen persönliche Präferenzen berücksichtigt werden können

Weiterentwicklung und Skalierung unseres Self-Service Data Hubs auf Basis von Microsoft Fabric, Implementierung von Datenpipelines und ETL-Prozessen mit PySpark und SQL, Integration und Nutzung von KI-Technologien (z.B. Azure AI), um datenbasierte Anwendungen zu erweitern und zu verbessern, Zusammenarbeit mit Fachabteilungen und Datenverantwortlichen, um den Self-Service Data Hub optimal auf deren Bedürfnisse auszurichten, Unterstützung bei der Einführung und Weiterentwicklung des Data Mesh Ansatzes innerhalb der Apleona Gruppe

Support in developing cloud-based data pipelines, Maintain, develop and optimize data pipelines, Develop new features for our data pipeline, Optimize workflows and data structures

Verantwortung für die strukturierte, vollständige und termingerechte Erfassung, Pflege und Verwaltung unserer Daten., Analyse von Daten und Entwicklung fundierter Erkenntnisse zur Unterstützung strategischer Entscheidungen., Erstellung von Berichten und Präsentationen zur verständlichen und zielgerichteten Aufbereitung von Daten für interne Teams und externe Partner., Entwicklung von Maßnahmen zur Sicherung und kontinuierlichen Verbesserung der Datenqualität., Enge Zusammenarbeit mit den Fachbereichen, um Bedarfe zu verstehen und datenbasierte Lösungen bereitzustellen., Einsatz geeigneter Tools zur Datenverarbeitung und -analyse und Einbringung eigener Impulse.