5 Data Engineer Jobs Berlin

API-based Data Flows: Automate and manage REST API imports/exports for BigQuery, including both streaming and batch ingestion., Airflow & Pipeline Orchestration: Maintain and optimize our Kubernetes-deployed Airflow environment, ensuring efficient DAG execution., Event-Driven Processing: Manage GCP’s resources as Eventarc and PubSub for event-driven workflows and integration with various services., Cost & Performance Optimization: Optimize BigQuery slot usage, autoscaling, and query performance., Reliability & Security: Implement monitoring, logging, and access controls to ensure data reliability and security.

Build and maintain data transformations for downstream consumption (ETL, ELT, streaming), Negotiate interfaces between software producers and data consumers, Work with social impact data to portray how education systems evolve over time, Use streaming pipelines and batch processing technologies to handle large amounts of data, Research and learn new technologies to adopt best practices, Collaborate cross-functionally with stakeholders, data scientists, BI analysts, engineers, product owners, and users, Drive the design and implementation of new features, Own data engineering projects from start to end, Manage different portions of critical data infrastructure

Implementierung von Features und Tools zur intuitiven Gestaltung der Data Platform, Entwicklung von IaC und Tools für Deployment und Management der Infrastruktur der Data Platform, Gestaltung der Zukunft der Platform durch Entwicklung und Einbringung eigener innovativer Ideen, Überwachung von Performance sowie Kosten der Platform und der Data Pipelines, und Unterstützung bei der Umsetzung von Optimierungsmöglichkeiten, Unterstützung der Dokumentation von Architektur und Prozessen, Best Practices und Blueprints der Plattform und Teilen des Wissens mit dem Team und den Usern, Zusammenarbeit mit Teamkollegen verschiedener Erfahrungsstufen (z.B. im Pairing) und gegenseitige Unterstützung beim Lernen

Establish best practices, standards, and governance frameworks for SAP Data and AI development, deployment, and monitoring to ensure ethical and responsible usage, Lead workshops with business and IT teams, defining AI-driven strategies and data roadmaps tailored to their needs, Design and implement strategies that leverage SAP Data/Analytics and BTP AI services, Collaborate closely with stakeholders to ensure adherence to the defined guidelines and standards, Stay ahead of the curve with the latest SAP Data, Analytics and AI advancements, Research, evaluate, and recommend Data and AI frameworks, tools, and platforms to build robust and innovative solutions, Stay up-to-date with the latest trends and technologies

Aufbau, Wartung und Optimierung der Data-Science-Infrastruktur, einschließlich der Integration von Open-Source- und Enterprise-Lösungen (GitLab, Docker, Kubernetes), Implementierung von CI/CD und MLOps-Prozessen, Gewährleistung der Skalierbarkeit und Leistung der Infrastruktur, einschließlich GPU-Support und Cloud-Readiness, Sicherstellung der IT-Sicherheit und Einhaltung von Datenschutzrichtlinien, Implementierung und Pflege von Single Sign-On- (SSO-) Lösungen sowie Verwaltung von Authentifizierungsmechanismen, Optimierung von Paketinstallationen und Softwarebereitstellung zur Unterstützung von Data-Science-Projekten, Bereitstellung einer zuverlässigen und innovativen Infrastruktur durch enge Zusammenarbeit mit Data Scientist:innen und Softwareentwickler:innen, Dokumentation der Systemarchitektur sowie Monitoring der IT-Umgebung, um kontinuierliche Betriebsbereitschaft zu gewährleisten, First- und Second-Level-Support für Benutzeranfragen und technische Probleme, Weiterentwicklung Ihrer technischen Fähigkeiten

Entwicklung von KI-Assistenten für Normen-Anwender und innerbetriebliche Prozesse der DIN-Gruppe mithilfe von Large Language Models (LLMs) und Retrieval-Augmented Generation (RAG), Anwendung von Natural Language Processing (NLP) Methoden, Anpassung von Machine Learning Modellen und LLMs, um Wissen aus Normen-Daten automatisch zu extrahieren und zu strukturieren, Planung, Entwicklung, Betrieb und Optimierung von Infrastrukturen mit Hilfe von DevOps, LLMOps, und Cloud-Diensten, um die Bereitstellung und den Betrieb zukünftiger KI-Lösungen sicherzustellen, Arbeiten in interdisziplinären Teams, um Entwicklungen in bestehende und neue Produkte und Lösungen der DIN Media zu integrieren, Entwicklung von Prototypen und Bewertung von Technologien, die als Grundlage für neue und innovative Produkte und Lösungen dienen, Projektmanagement und Projektsupport für KI-Projekte mit externen Dienstleistern, Mitarbeit in DIN- und KI-Netzwerken und die Unterstützung bei DIN-gruppenweitem Wissensaufbau im Bereich Künstliche Intelligenz

Entwicklung und Bewertung von wegweisenden Data Science Use Cases im Kontext von Prozessoptimierung und -absicherung, Implementierung von Methoden und Konzepten aus den Bereichen Data Engineering, Artificial Intelligence, Machine Learning and Advanced Analytics, Aktive fachliche und technische Entwicklung neuer Use Cases von der Konzeption über die Prototypisierung bis zur Integration in unsere Softwareprodukte