30 Data Engineer Jobs

Develop and maintain ETL pipelines and APIs using tools like AWS Lambda, AWS Step Functions, GitHub Actions, Apache Kafka, and Airbyte., Assist in designing, implementing, and managing data models within our data warehouse (Snowflake) using dbt., Contribute to negotiating and designing data contracts using formats such as Protobuf, Apache Avro, and JSON., Help manage cloud infrastructure using Terraform and GitHub Actions., Monitor the integrity of our infrastructure and data quality using monitoring tools like Grafana, AWS CloudWatch, AWS Alerts, and Apache Superset., Work with a team to continuously improve our data platform’s reliability, performance, and scalability.

Implementing and maintaining data platforms and data infrastructure, Ensuring data quality and consistency across all data sources, Developing and maintaining data platforms on premises and in the cloud, Developing and maintaining Application Programming Interfaces (APIs) microservices, Collaborating with software developers to integrate data infrastructure into applications, Keeping up to date with the latest data engineering technologies and best practices

Build and maintain data processing pipelines and storage, Ensure high performance and cost-efficiency when training and executing machine learning models, Support in automating manual processes, Support in maintaining high data quality

Design and implement efficient data pipelines using Python, Scala or other technologies to ingest, process, and store geospatial data from various sources (e.g., remote sensing, GIS), Utilize geospatial data processing tools and libraries (e.g., sf, terra) to extract valuable insights, Collaborate with frontend and backend developers to integrate geospatial functionalities and geospatial APIs into web applications, Work closely with the QA team to ensure high-quality deliverables and timely issue resolution, Proactively identify areas for improvement in existing functionalities and implement innovative solutions, Participate in cross-functional project teams to provide geospatial expertise, Manage and maintain version control for geospatial data and code repositories, Provide technical support for GIS platforms and tools used within the organization, Ensure compliance with data governance policies and data security best practices.

Design, develop, and maintain data workflows of data ingestion, processing, normalisation and collaboration pipelines, Deliver key data and insights into leading software platforms, Source, process, and standardize data collection from multiple source formats, Develop, maintain and scale database architecture

Gestaltung der Zukunft der Datenintegration mit Lobster_Data, Effiziente Gestaltung von Datenprozessen in der Google Cloud Platform, Optimierung der Datenflüsse und Sicherstellung der Datenqualität, Entwicklung technischer Lösungen in agilen Teams, Standardisierung und Verbesserung bestehender Prozesse, Einbringen eigener Ideen in einem agilen Umfeld

Unterstützung beim Aufbau und der Weiterentwicklung einer unternehmensweiten Datenplattform (DWH), Sicherstellung der Datenverfügbarkeit für Analyse und Modellierung, Entwicklung und Implementierung von ETL-Prozessen zur Datenintegration, Enge Zusammenarbeit mit Fachbereichen zur Umsetzung von Datenanforderungen, Optimierung der Datenarchitektur und Automatisierung von Datenprozessen, Überwachung der Datenqualität und Implementierung von Maßnahmen zur Sicherstellung der Datenintegrität, Unterstützung bei der Erstellung und Pflege von Datenpipelines und Datenmodellen

Design, develop, and maintain robust data pipelines to support reporting, analytics, and decision-making across the organization., Collaborate closely with data engineers, analysts, and scientists to translate business requirements into scalable data engineering solutions., Build and maintain scalable data infrastructure and processes, ensuring reliability, efficiency, and alignment with industry best practices., Monitor, optimize, and troubleshoot database performance to ensure seamless data flow and minimal downtime., Enable advanced analytics and machine learning by designing cloud-based solutions that are scalable and efficient., Guarantee data quality and consistency, contributing to the creation of a single source of truth across the organization., Play a pivotal role in shaping how data powers key business decisions in a fast-paced e-commerce environment.

Entwicklung und Optimierung von Datenpipelines zur effizienten Verarbeitung großer Datenmengen, Integration verschiedener Datenquellen in die bestehende Infrastruktur, Verbesserung der Datenarchitektur durch Programmierkenntnisse, Anbindung der Kunden an die Systeme und Optimierung der Datenprozesse, Erstellung und Pflege der technischen Dokumentation

Erstellung von Datenflüssen aus verschiedensten Quellen in unsere Datenplattformen, Business-Analyse der Quellsysteme und den dazugehörigen Daten, Aufbereitung, Analyse und Visualisierung vielfältiger, projektbezogener Daten, Bereitstellung von Daten für Entwickler über Schnittstellen, Verantwortung für Datenanalysen einzelner Projekte, Konzeptionierung der Datenstruktur zusammen mit Data Steward und Data Warehouse Expert:innen für interne und externe Projekte um die Datenqualität zu steigern

Entwicklung und Implementierung von Python-Anwendungen zur Verarbeitung und Analyse großer Datenmengen, Design und Implementierung von Pipelines zur Datenverarbeitung, insbesondere für das Training von Machine-Learning-Modellen, Zusammenarbeit mit interdisziplinären Teams, um Anforderungen zu ermitteln und Lösungen zu entwickeln, Implementierung von Softwarelösungen, die eine effiziente und skalierbare Datenverarbeitung ermöglichen

Design, build and maintain our data lake/warehouse and our data pipelines., Work closely with data scientists to enable them to deliver world-class optimization and Machine Learning models in production., Work with other engineering teams to resolve data infrastructure challenges., Help leadership define our data strategy, develop our data tech radar and ensure continuous adoption of best-in-class data tools.

Weiterentwicklung der Data Warehousing Umgebung, Optimierung der bestehenden Datenmodelle, Automatisierung von Datenschnittstellen, Entwicklung von Aggregations- und Auswertungsverfahren, Sicherstellung der Datenqualität, Aktive Kommunikation mit Bedarfsträgern und Datenlieferanten

Entwicklung und Optimierung technischer Lösungen innerhalb der Lake-House-Plattform in der GCP (Google Cloud Plattform), Unterstützung der Weiterentwicklung der Plattform-Architektur, Modellierung und Entwicklung fachlicher Anforderungen als relationale Datenmodelle mit dbt, Integration neuer Datenquellen, z.B. aus APIs mit Python, Weiterentwicklung der Data-Governance der Plattform, Enger Austausch und Mitarbeit im Team sowie in agilen Arbeitsprozessen (Kanban/Jira)

Entwurf und Aufbau von Datenpipelines zur Automatisierung der Sammlung, Verarbeitung und Bereitstellung von Bild- und Videodaten, Implementierung von Datenextraktionsverfahren aus vielfältigen Quellen wie Sensoren, Kameras und Online-Datenbanken, Entwicklung von Algorithmen und Routinen zur Datenbereinigung und Vorverarbeitung, Anwendung spezifischer Bildvorverarbeitungstechniken zur Optimierung der Bildqualität, Annotation und Labeling von Bild- und Videodaten mit präzisen Tags, Erstellung und Verwaltung spezifischer Datasets für Validierung und Tests, Automatisierung der Datenbereinigungs- und Annotationsprozesse durch Programmierung in modernen Skriptsprachen, Implementierung von Datenübertragungs- und Speicherprozessen für eine effiziente Handhabung großer Datenmengen, Monitoring und Optimierung der Datenpipeline-Leistung, Entwicklung von Fehlerbehandlungsstrategien und Überwachung der Datenqualität, Dokumentation der Datenverarbeitungsprozesse, Methoden und Tools

Weiterentwicklung und Erweiterung der Decision Management Plattform, Entwicklung hocheffizienter Entscheidungsmodule im Finance- und Payment-Bereich, Implementierung innovativer Machine Learning Modelle in Zusammenarbeit mit Data Specialists, Sicherstellung der hohen Qualität und Integrität der Daten im Decision Management System und Data-Mart, Integration neuer Datenquellen und Datenpunkte zur Verbesserung der Analysen und Entscheidungsfindung, Entwicklung und Pflege des Data-Mart zur Stärkung der Datenbasis für Entscheidungen, Implementierung von Datenqualitätsprüfungen und -validierungen, Optimierung der Performance und Skalierung der Dateninfrastruktur, Konzeption und Entwicklung von Prozessautomatisierungen zur Optimierung der Arbeitsabläufe

Verantwortung für die Weiterentwicklung und Zuverlässigkeit des Preiskalkulationstools übernehmen, Datenbasierte Themen und Anliegen aus den Teams umsetzen – von Dashboards bis hin zu maßgeschneiderten Analysen, Automatisierungslogiken entwickeln, um Prozesse smarter zu gestalten, Datenstrukturen untersuchen, Trends, Ausreißer oder Anomalien identifizieren und fundierte Empfehlungen ableiten, Analytics Projekte umsetzen, von Descriptive bis Prescriptive Analytics

Entwicklung und Wartung von ETL-Prozessen zur Integration und Transformation von Daten aus verschiedenen Quellen, Nutzung von Azure und Microsoft Fabric zur Implementierung skalierbarer und sicherer Datenlösungen, Einsatz von dbt (Data build tool) zur Erstellung und Verwaltung von Datenpipelines, Arbeit in agilen Entwicklungsteams und aktive Teilnahme an Scrum-Meetings und Sprints, Automatisierung von Daten-Workflows und Entwicklung von Lösungen zur Datenintegration, Überwachung von Datenprozessen und Sicherstellung der Datenqualität durch Implementierung von Best Practices, Enge Zusammenarbeit mit dem Business-Intelligence-Team zur Umsetzung von Datenanforderungen

Entwicklung von KI Use Cases von der Konzeptionierung und Umsetzung bis zur Roll-Out-Phase, KI-Entwicklung und Implementierung an der Schnittstelle zum firmeneigenen ERP, Weiterentwicklung des Analytics- und KI-Toolstacks und der Datenstrategie, Entwicklung und Implementierung von KI-Algorithmen für Text- und Bildklassifikation sowie zur Informationsextraktion aus Dokumenten unterschiedlicher Formate, Entwicklung erklärbarer KI-Modelle zur Unterstützung von Entscheidungsprozessen, Integration von Large Language Models (LLMs) zur automatisierten Generierung von Texten / Dokumenten, API-Dokumentation in Open-Source-Qualität

Entwicklung von KI Use Cases von der Konzeptionierung und Umsetzung bis zur Roll-Out-Phase, KI-Entwicklung und Implementierung an der Schnittstelle zum firmeneigenen ERP, Weiterentwicklung des Analytics- und KI-Toolstacks und der Datenstrategie, Entwicklung und Implementierung von KI-Algorithmen für Text- und Bildklassifikation sowie zur Informationsextraktion aus Dokumenten unterschiedlicher Formate, Entwicklung erklärbarer KI-Modelle zur Unterstützung von Entscheidungsprozessen, Integration von Large Language Models (LLMs) zur automatisierten Generierung von Texten / Dokumenten, API-Dokumentation in Open-Source-Qualität