Projekte – Media Engineering

Lumina Pax

Lumina Pax (lat. Licht, Frieden) ist eine immersive Lichtinstallation, die im Mai 2025 als Projektarbeit der Studierenden des 5. und 6. Semesters Media Engineering auf der Blauen Nacht in Nürnberg präsentiert wurde.

In den Nürnberger Felsengängen schwebten leuchtende Origami-Tauben durch die Dunkelheit und erfüllten die unterirdische Mauer mit Leben. Die Verbindung aus Licht, Klang und der historischen Atmosphäre der Felsengänge entführte die Besucher:innen auf eine eindrucksvolle Reise voller Symbolik und Emotion.

Nürnberger Felsengänge. Bildquelle: Historische Felsengänge Nürnberg

Blaue Nacht

80 Jahre nach dem Ende des Zweiten Weltkriegs erstrahlt Die Blaue Nacht am 17. Mai 2025 unter dem Motto „Love and Peace“. Inspiriert von der rebellischen Leichtigkeit und dem farbenfrohen Ausdruck der Hippie-Bewegung steht das Thema für den Wunsch nach weltweitem Frieden, gelebter Solidarität und einem offenen, demokratischen Miteinander. Es ist ein Ruf nach Hoffnung, Gemeinschaft und dem Vertrauen darauf, dass Kunst Veränderung möglich macht.

Kurzdokumentation

Die Umsetzung des Projekts erfolgte mit der Game Engine Godot. Animationen, Scripting, Shader und Mapping wurden vollständig in Godot realisiert. Für die Modellierung der Objekte, wie der Ziegelsteinwand, kam Blender zum Einsatz.

Bevor wir mit der Umsetzung begonnen haben, wurde die Location mithilfe des LiDAR-Sensors eines iPads und der Software Polycam gescannt. Das daraus erzeugte 3D-Modell diente als Ausgangspunkt für unsere virtuelle Szene – um dieses Modell herum entwickelten wir alle weiteren Elemente.

Eine besondere Herausforderung bestand darin, die einzelnen Ziegel präzise zu erfassen und so zu mappen, dass die Projektion nahtlos mit der realen Struktur übereinstimmt.

Mithilfe des Projection Mappings gelang es uns, digitale Inhalte exakt auf die physische Oberfläche abzustimmen und ein immersives visuelles Erlebnis zu erzeugen.

Mit der Wand als Grundlage konnten wir unser Konzept umsetzen, welches wir auf das Motto der Blauen Nach abgestimmt haben. Die Wand öffnet sich und Origami-Tauben erwachen zum Leben. Sie symbolisieren Frieden und finden die wahre Liebe. Abgerundet werden die schönen Animationen durch eingebaute Sounds. Die Vorstellung brachte das Publikum der Blauen Nacht zum Schmunzeln und Lachen.

Über uns

Wir sind ein kreatives und engagiertes Team von Studierenden im Bereich Media Engineering an der OHM Nürnberg.

Unsere Leidenschaft liegt darin, Technik und Kunst miteinander zu verbinden und innovative Ideen in die Realität umzusetzen.

von links nach rechts: Lena Kern, Illia Soloviov, Darina König, Denis Tallo, Marina Harling

NetWatch

Online-Sicherheit für Jugendliche verständlich gemacht

NetWatch ist eine interaktive Lernplattform für Jugendliche, die das Thema Online-Sicherheit einfach, verständlich und alltagsnah vermittelt. Die Website behandelt zentrale Themen wie Phishing, Datenschutz und unsichere Webseiten.

Mit dem zunehmenden Einstieg Jugendlicher in die digitale Welt entstehen auch neue Herausforderungen im Bereich der Online-Sicherheit. Viele junge Menschen wissen nicht, wie sie sich im Netz schützen können oder erkennen Risiken wie Phishing oder Datenmissbrauch nicht rechtzeitig. Unser Ziel war es daher, eine Lösung zu entwickeln, die nicht nur aufklärt, sondern auch aktiv zum Mitmachen einlädt.

Unsere Hauptzielgruppe sind Jugendliche im Alter von 12 bis 17 Jahren, die regelmäßig online unterwegs sind, aber noch keine tiefgehenden Kenntnisse über IT-Sicherheit besitzen. Sekundär richtet sich unser Projekt auch an Eltern und Lehrpersonen, die Jugendliche beim sicheren Umgang mit digitalen Medien begleiten.

Was macht NetWatch besonders?

Entwicklung in enger Rücksprache mit der Zielgruppe
Fokus auf Nutzerfreundlichkeit und visuelles Lernen
Verzicht auf überfordernde Technik und komplexe Sprache
Motivation durch Mitmachformate & Quizformate
Keine Account-Pflicht, keine Datenspeicherung

🛠️ Projektverlauf

1. Kontextanalyse & Zielgruppendefinition
Zu Beginn haben wir uns mit verschiedenen Nutzungsgewohnheiten und Herausforderungen im Bereich Usable Security beschäftigt. Durch Recherche und Interviews mit Jugendlichen konnten wir zentrale Problemfelder identifizieren, u. a. das fehlende Wissen über sichere Passwörter, Unsicherheiten bei verdächtigen Links und unverständliche Datenschutzeinstellungen.

2. Entwicklung eines Lösungskonzepts
Basierend auf den Erkenntnissen entwickelten wir das Konzept für eine interaktive Lernplattform, die auf jugendgerechtes Design, Gamification-Elemente und einfache Sprache setzt. Die Inhalte wurden durch wissenschaftliche Recherchen zu UX-Design für Jugendliche und bestehenden Lösungen im Sicherheitsbereich abgestimmt.

3. Prototyping & Testing
Ein erster klickbarer Prototyp wurde mit Figma umgesetzt, in der Zwischenpräsentation vom 5. Semester vorgestellt und getestet. Das Feedback half uns, Inhalte klarer zu strukturieren und neue interaktive Elemente zu integrieren.

4. Technische Umsetzung
Für die finale Umsetzung der Plattform entschieden wir uns für SvelteKit, ein modernes JavaScript-Framework, das eine komponentenbasierte, modulare Entwicklung ermöglicht. Die Plattform wurde responsiv gestaltet, sodass sie auf verschiedenen Endgeräten optimal nutzbar ist. Die fertige Website wird als statische Seite ausgeliefert und auf einem eigenen Server gehostet.

Das Team

NetWatch wurde im Rahmen der Projektarbeit im 5. und 6. Semester im Studiengang Media Engineering an der Technische Hochschule Nürnberg entwickelt. Das Projektteam besteht aus Kardelen Arpa, Hannah Klausner, Lucas Schröder, Armin Wach und Juan Sanchez mit der Unterstützung von Prof. Dr. Timo Jakobi als Betreuer des Projekts.

zu netwatch!

Fun with Robots – Technik spielerisch entdecken

In unserem Projekt Fun with Robots ging es nicht nur ums Löten und Schrauben, sondern vor allem um eins: Technik erlebbar machen – mit Spaß, Neugier und Kreativität möchten wir Kinder und Jugendliche für Technik begeistern.
Unser Ziel bleibt: frühzeitig Interesse an Technologie zu wecken und die Tüftler:innen von morgen zu inspirieren – mit selbstgebauten Robotern, die nicht perfekt sein müssen, aber richtig Charakter zeigen.

Unsere Roboter im Überblick

🐶 Laufende Hunde
Unsere Roboterhunde setzen sich mit einfachen Schrittabfolgen in Bewegung und zeigen, wie bereits mit wenigen Servos eine fortlaufende Gehbewegung realisiert werden kann.

🦀 Krabbe
Unsere Krabbe ist durch ihre unregelmäßigen Bewegungsmuster besonders auffällig. Sie bewegt sich nicht linear, sondern folgt einer vorhersehbaren Route.

🐰 Hase
Dieser kleine Kerl will hoch hinaus. Mit einem selbstgebauten Hoppelmechanismus imitiert er ein echtes Hasenhüpfen – fast wie in freier Wildbahn, nur mit Servos.

🔧 Gabelstapler
Nicht nur süß, sondern auch praktisch: Unser kleiner Gabelstapler kann nach vorne fahren und sogar seine Gabel heben und senken

🤖 Wall·E
Wall·E ist ein besonders auffälliger Roboter voller Überraschungen innerhalb unserer Sammlung – nicht nur wegen seines Designs, sondern auch durch die Art, wie er sich bewegt und mit seiner Umgebung interagiert.

🐞 Rollender Käfer
Klein, rund, schnell – Unser rollender Käfer zeichnet sich durch eine überraschend hohe Geschwindigkeit und Wendigkeit aus. Und er fährt auch gerne mal davon, bevor man „Stopp“ sagen kann.

Über uns

Fun with Robots wurde als Projektarbeit im 5. und 6. Semester im Studiengang Media Engineering an der Technischen Hochschule Nürnberg ins Leben gerufen.
Wir – Annika Neubauer, Aylin Gökce, Ece Nur Keles, Merve Özkan, Tilo Brockmann und Yannick Rosenauer – sind ein Team aus sechs Studierenden, das mit viel Begeisterung, Neugier und Teamgeist an der Idee gearbeitet hat, Technik spielerisch erlebbar zu machen.
Unterstützt wurden wir dabei von Prof. Dr. Ralph Lano, der uns als Projektbetreuer mit Rat und Erfahrung zur Seite stand.

Neugierig geworden?

Folgt uns auf Instagram, um noch mehr spannende Einblicke in unser Projekt zu bekommen! Wir teilen kurze Videos unserer Roboter in Aktion und spannende Updates rund um Fun with Robots.
Wenn du sehen willst, wie unsere Projekte lebendig werden, schau gern vorbei!

media::error

Hi! Wir sind das Team media::error.
Ein Jahr lang haben wir für euch programmiert, gespielt und gebastelt, damit ihr euch bei uns austoben könnt! Ganz frei nach dem Motto „Interaktion trifft Ausstellung“.

Wir haben es uns zur Aufgabe gemacht technische Fehler als ästhetisches Mittel zu nutzen. Wir haben uns also mit der Frage auseinandergesetzt: Wie können wir es schaffen, ungewollte Effekte – ob Verpixelung, Verzerrung oder einfach nur ein Rauschen – als künstlerisches Stilmittel zu verwenden.

Die Ausstellung ist in 3 Exponate aufgebaut mit dem Konzept RGB (also Rot, Grün und Blau). Jedes Team hatte nur das Grundkonzept als Vorgabe und hat dann im Laufe des Projekts ein vollständiges Exponat entwickelt.

Exponat Rot

analog::organisch::eigen

In dieser Installation könnt ihr mit zwei Interaktionen spielen. Einerseits haben wir einen Controller mit fünf Reglern gebaut, mit denen ihr jeweils den Sound, sowie auch die Grafiken beeinflussen könnt. Andererseits die Pflanze, bei der ihr mit Antippen auch einiges auslösen könnt.

Exponat Grün

digital::körper::verzerrung

In dieser Installation könnt ihr grafische Fehler mit Bodytracking erforschen. Bei Berührung mit dem Logo wird dessen Effekt auf einen selber übertragen. Bei gezielter Bewegung mit Hand oder Fuß kann man die Logos in eine Richtung ’schlagen‘. Wenn das Logo eine Ecke des Bildes trifft, kann man einen ‚globalen Effekt‘ auslösen.

Exponat Blau

bewegung::wasser:licht

Wir haben es uns zur Aufgabe gemacht Meeresleuchten (Biolumineszenz) digital umzusetzen. Jede Bewegung soll ein Spektakel an Licht und Farbe auslösen. Hier seht ihr unsere Interpretation davon in media::error Stil.

Über Uns

Wir sind ein studentisch organisiertes Projekt unter der Leitung von Prof. Anja Freudenreich. Unser Team besteht aus sieben Personen, die über die Zeit der Zusammenarbeit zu einem harmonischen Team zusammengewachsen ist. Unsere Arbeiten leben von Bewegung, Interaktion, Überraschung – und dem Mut, Fehler nicht nur zu akzeptieren, sondern willkommen zu heißen.

*Anordnung von links nach rechts: Noah Wagner, Noël Brand, Ines Baumann, Alexandra Dimov, Kiyomi Wilberg, Simon Neumeier, Daniel Lenert*

Tipsy Terminal

Tipsy Terminal ist ein Virtual-Reality-Spiel, das im Rahmen einer Projektarbeit im Studiengang Media Engineering an der Technischen Hochschule Nürnberg entstanden ist. Das VR-Spiel geht humorvoll, aber bewusst mit dem Thema Alkoholkonsum um. In der Rolle eines leicht angetrunkenen Passagiers versuchen die Spieler:innen, sich durch einen Flughafen zu navigieren – inklusive wackeligem Gang, verzerrter Wahrnehmung und chaotischen Mini-Games. Neben dem spielerischen Spaß vermittelt das Spiel auf unterhaltsame Weise, wie stark Alkohol die Reaktionsfähigkeit und Orientierung beeinflusst – und setzt damit ein Zeichen für mehr Bewusstsein im Umgang mit Alkohol.

Das erwartet euch im Spiel

Interaktive Minigames

Im Flughafenterminal müsst ihr unter Alkoholeinfluss scheinbar einfache Aufgaben lösen – wie das Quiz beim Check-In oder das Sortieren eures Gepäcks bei der Sicherheitskontrolle.

Realistische Beeinträchtigungen

Dank gezielter visueller und physikalischer Effekte wie Unschärfe, Farbverzerrung oder verzögerte Eingaben simuliert das Spiel authentische Rauschzustände.

Prävention durch Erleben

Statt auf Statistiken oder erhobenen Zeigefinger zu setzen, vermittelt Tipsy Terminal auf spielerische Weise, wie gefährlich Alkohol in Alltagssituationen sein kann.

Unser Team

Wir – Luca-Marie Döhler, Magdalena Heel, Melanie Deringer, Seymen Akarsu, Vasilios Chrissikopoulos und Pascal Hain – sind ein sechsköpfiges Team aus dem Studiengang Media Engineering. Unser gemeinsames Ziel: ein gesellschaftlich relevantes Thema mit modernen Technologien greifbar machen.

Neugierig geworden?

Mehr Einblicke und Updates findet ihr auf unserem Instagram-Kanal! Folgt uns auf @tipsyterminal, um das Projekt weiter zu verfolgen!

Vivian – Interaktiver Messestand

Vivian Projektbanner Quelle: KI generiert durch ChatGPT

Unser Projekt präsentiert einen interaktiven Messestand für das Softwareframework Vivian. Mit Vivian lassen sich technische Geräte bereits vor der physischen Fertigung mittels Augmented Reality (AR) und Virtual Reality (VR) erleben und testen. Ziel ist es, durch Vivian technische Geräte so zu gestalten und zu evaluieren, dass potenzielle Usability-Probleme der technischen Geräte frühzeitig erkannt und Entwicklungsprozesse effizienter realisiert werden.

Als Demonstrator haben wir einen Cocktailautomaten entwickelt – sowohl als virtuellen Prototyp in einer VR-Umgebung als auch als funktionierenden, realen Prototyp.

Cocktailautomat

Projektkomponenten

VR/AR-Bereich

- Virtueller Messestand in 3D erstellt
- Cocktailautomat digital modelliert (Blender)
- Interaktive Präsentation in VR/AR

Physischer Cocktailautomat

- Einzelteile im 3D-Druckverfahren gefertigt
- Hardware individuell zusammengestellt
- Holzelemente Laser bearbeitet und verarbeitet

Interface

- Touchsteuerung über Tablet
- Eigene Benutzeroberfläche (GUI)

Framework: Vivian

- Schnittstelle zwischen VR-Anwendung und realer Hardware

Digitale und physische Umsetzung

Digitale Seite: AR/VR-Messestand

Messestand virtuell

Im Mittelpunkt der digitalen Umsetzung steht unser vollständig in Blender modellierter Cocktailautomat. Dieses Modell wurde in eine interaktive, virtuelle Messestand-Umgebung eingebettet, die es erlaubt, Produkte realitätsnah in AR und VR zu präsentieren und mit potentiellen Nutzer:innen zu testen.

Testbare Benutzeroberfläche (UI/UX):
Nutzer:innen können die Interaktion im digitalen Raum erproben und frühzeitig Schwachstellen erkennen.

Realitätsnahe Simulation:
Produkterlebnisse ohne physischen Prototyp durch immersive VR-Darstellung.

Flexible Präsentation:
Der virtuelle Messestand ist mobil, anpassbar und vielseitig einsetzbar, ideal für Messen.

Physische Seite: Der reale Cocktailautomat

Mechanik

Flüssigkeiten werden über elektrisch gesteuerte Ventile ausgegeben, ein 270°-Servomotor sorgt für die Eiswürfelausgabe.

Gehäusebau

Der Automat wurde aus zugeschnittenen Holzplatten gebaut, die unter anderem mit Laser- und Plasmacutting-Verfahren bearbeitet wurden.

3D-gedruckte Teile

Wir haben eigene CAD-Modelle für Tanks, Halterungen, Auslässe und Eiswürfelfächer erstellt und gedruckt.

Elektronik

Die Steuerung der Ventile, des Servomotors und des Touchscreens erfolgt durch einen Arduino-Mikrocontroller.

Team Cocktailautomat

Realisierung durch fünf Studierende des Studiengangs Media Engineering:
David Fuhrmann, Isabella Nawratil, Christian Ulrich, Leon Schubert, Altan Çer.

Betreuung durch Prof. Dr. Patrick Harms vom Ohm UX Center, Spezialist für Usability Engineering und User Experience Design.

Framework Vivian von Prof. Dr. Patrick Harms

GitLab-Repository: Vivian auf GitLab

Forschungsprojekte am Ohm-UX Center: Projektseite

Betreuender Professor: Prof. Dr. Patrick Harms

Kohmi

Hi! Wir sind das Team hinter Kohmi, einem interaktiven Projekt von Media Engineering Studierenden an der TH Nürnberg. Unser Ziel war es, den Studiengang nicht nur zu erklären, sondern ihn direkt erlebbar zu machen. Das Ergebnis ist eine Webanwendung, die spielerisch, interaktiv und mit einem digitalen Maskottchen zeigt, was Media Engineering wirklich bedeutet.

Kohmi als Maskottchen

Im Zentrum unseres Projekts steht Kohmi, ein liebevoll gestalteter Charakter, der Besucher*innen durch die Anwendung begleitet. Kohmi ist nicht nur niedlich – er ist auch clever. Über kleine Aufgaben, Quizformate und gezielte Fragen hilft er Studieninteressierten dabei, erste Einblicke in den Studiengang zu gewinnen und herauszufinden, ob Media Engineering zu ihnen passt.

Dabei ist Kohmi weit mehr als nur eine Figur: Er agiert als interaktives Aushängeschild unseres Studiengangs und bringt die Inhalte auf Augenhöhe und mit einem Augenzwinkern näher.

Der Studiengang als Spiel

Media Engineering ist ein kreativer und vielseitiger Studiengang – das wollten wir in ein Format bringen, das mehr ist als ein klassischer Infotext. Unsere Lösung: die Kohmi Game Applikation. Hier können Nutzer*innen in kleinen, interaktiven Aufgaben selbst ausprobieren, was im Studium gefragt ist. Gleichzeitig zeigt die App ganz praktisch, was mit Media Engineering möglich ist – denn sie wurde von Studierenden selbst konzipiert, gestaltet und technisch umgesetzt. So wird Kohmi nicht nur zur Informationsquelle, sondern auch zum konkreten Beispiel für das, was man im Studium lernen und erschaffen kann.

Kohmi Game Engine Spiel 3: Connection Protokoll

Kohmi Game Engine Spiel 2: Grafikprotokoll

Frag Kohmi, nicht Google

Neben den interaktiven Aufgaben bietet die Applikation auch die Möglichkeit, direkt mit Kohmi ins Gespräch zu kommen. Über ein integriertes Large Language Model (LLM) können Nutzer*innen Fragen rund um das Studium stellen.
Ob es um Studieninhalte, den Alltag an der TH Nürnberg, wichtige Voraussetzungen oder berufliche Perspektiven geht – Kohmi liefert Antworten.
Die Inhalte basieren auf Erfahrungen und Wissen echter Studierender und vermitteln so einen ehrlichen, praxisnahen und persönlichen Einblick in das, was Media Engineering wirklich ausmacht.

Warum das Ganze?

Unsere Anwendung richtet sich an alle, die neugierig auf Media Engineering sind, aber noch keine klare Vorstellung davon haben, was sie im Studium erwartet. Vor allem Schüler*innen und Menschen in der Orientierungsphase.
Deshalb soll die Applikation auf Studien- und Bildungsmessen zum Einsatz kommen, wo Besucher*innen in Echtzeit und interaktiv erleben können, was Media Engineering ausmacht. Kohmi beantwortet typische Fragen zum Studiengang und lädt dazu ein, diesen zu entdecken – ganz ohne Infobroschüren.

Website: www.kohmi.de

ohmforyou.

.. entdecken
und verstehen.

OhmForYou ist eine App-Plattform, die Kindern und Jugendlichen Technik spielerisch und nachhaltig näherbringt – inspiriert von den erfolgreichen Veranstaltungen der Fakultät EFI an der Technischen Hochschule Nürnberg. Unser Ziel: Eine dauerhafte Verbindung zwischen jungen Menschen und der Welt der Technik schaffen.

Warum OhmForYou?

Workshops, Wettbewerbe und Events wie die KinderUNI oder der Ohm-Tag sind tolle Formate – aber oft einmalige Erlebnisse. Mit OhmForYou möchten wir diese Begeisterung digital verlängern: Die App soll Kindern und Jugendlichen ermöglichen, auch außerhalb der Hochschule Technik zu entdecken – eigenständig, nachhaltig und mit Spaß.

Unsere App bietet:

Interaktive Inhalte & Gamification
Plattformübergreifende Nutzung (Android & iOS)
Inhalte für Kinder, Jugendliche, Eltern & Lehrer:innen
Ergänzung zu bestehenden Präsenzveranstaltungen
Förderung langfristiger Technikbildung

Ein kleiner Einblick in die App

Die App ist so gestaltet, dass Kinder und Jugendliche Technik eigenständig und mit Freude entdecken können. Auf der Startseite werden personalisierte Workshop-Empfehlungen angezeigt, die sich an den individuellen Interessen und dem bisherigen Fortschritt orientieren. Bereits begonnene Inhalte können jederzeit fortgesetzt werden – unterstützt durch Fortschrittsbalken, Levelsysteme und motivierende Elemente.

Ein zentrales Feature ist der eigene Avatar: ein individuell gestaltbarer Roboter, der die Nutzer:innen begleitet. Durch das Absolvieren von Workshops lassen sich neue Badges, Accessoires und Designs freischalten, mit denen der Roboter personalisiert werden kann. Auf der Profilseite behalten Kinder und Jugendliche ihre Erfolge, gesammelten Belohnungen und ihren Lernfortschritt jederzeit im Blick.

Eine Workshopliste bietet eine strukturierte Übersicht über alle verfügbaren Inhalte sowie die aktuell oder bereits abgeschlossenen Formate. Zusätzlich können durch das Scannen oder manuelle Eingeben von QR-Codes – zum Beispiel nach einem Präsenz-Workshop – Belohnungen, Fortschritte oder exklusive Items freigeschaltet werden.

Abgerundet wird die Nutzererfahrung durch eine eigene Sammlung: In einer Galerieansicht sind alle bisher freigeschalteten Anpassungen des Roboters sichtbar – und gleichzeitig wird spielerisch der Sammeltrieb gefördert, um weitere Inhalte freizuschalten.

Über uns

Wir sind ein interdisziplinäres Projektteam aus dem Studiengang Media Engineering im 5. und 6. Semester an der TH Nürnberg. Gemeinsam entwickeln wir die App mit Fokus auf Nutzerfreundlichkeit, Barrierefreiheit und pädagogischem Mehrwert. Unser Team besteht aus 5 Mitgliedern: Diana Gazenbiller, Jonas Wilfer, Liam Moosburger, Merve Kurt, Orlando Boyny.

Betreut durch Prof. Dr. Sven Winkelmann & Prof. Dr. Bernhard Kausler.

Deepfakes

Im Rahmen einer Projektarbeit wurden die Tools und die Technologie rund um Deepfake-Videos, also dem Ersetzen einer Person durch eine Andere innerhalb einer Filmaufnahme bzw. eines Live-Videos, analysiert und angewendet.

Werbevideo für das Deepfake-Modell Heinz 2.0

Motivation

Ein Rapbattle zwischen Donald Trump und Joe Biden, widersprüchliche Weihnachtsgrüße der Queen oder Donald Trump, der Belgien rät aus dem Pariser Klimaabkommen auszutreten – alles Situationen, die für uns nur schwer vorstellbar sind. Warum sollten berühmte Persönlichkeiten, wie Politiker oder Hollywood-Stars, solche Aussagen überhaupt treffen und das mögliche Ende ihre Karriere heraufbeschwören? Die Antwort darauf lässt sich ganz einfach sagen: gar nicht. Es handelt sich um gefälschte Medieninhalte, sogenannte DeepFakes. In einer Welt voller Fake News ist es für viele Menschen allerdings zum Alltag geworden, kritische Nachrichten anzuzweifeln und diese zu hinterfragen. Aber was macht es mit uns, auf einmal eine Person in unserem direkten Umfeld in solch einer Situation zu finden? Auf genau diesen Effekt zielen wir mit unserem Projekt ab. Mit Heinz 2.0 kann jede beliebige Person, mit Hilfe von Deepfakes, zu dem in den Ruhestand eingetretenen Professor Heinz Brünig werden.

Bildschirm mit Webcam, Website Heinz 2.0 ist sichtbar, daneben eine große Lampe — Aufbau während der Projektpräsentation

DeepFaceLive

DeepFaceLive ist eine Erweiterung von DeepFaceLab. Die Arbeit mit Deepfacelab war unser Hauptfokus aus der ersten Projekthälfte, denn diese Software macht die Erstellung von hochwertigen Deepfake-Videos möglich. DFLive hingegen ermöglicht einen Gesichter Tausch (auch FaceSwap genannt), welcher Live vor einer Webcam stattfindet, also in Echtzeit. Normalerweise werden Deepfake-Videos mit dem Ziel trainiert ein bestimmtes Gesicht mit einem weiteren bestimmten Gesicht zu tauschen. Die daraus entstehenden Deepfake-Modelle sind aufeinander abgestimmt und eine Wiederverwendung für andere Gesichter ist nicht möglich. Dieser Vorgang muss dann auch noch für jedes weitere Deepfake Video oder Modell wiederholt werden. Wie können wir also dieses Konzept abändern, um Modelle zu erstellen welche für mehrere Gesichter anwendbar sind? Wie kann man also die trainierten Modelle für den Live-Betrieb und für weitere Deepfake-Videos wieder verwenden?

Der große Unterschied bei DeepFaceLive besteht darin, dass sogenannte RTM Modelle (Ready-To-Merge Modelle) zum Einsatz kommen. Im Zuge der Projektarbeit Heinz 2.0 wurde auf die Erstellung eines solchen Modells eingegangen um den in Ruhestand gehenden Professor Heinz Brünig für das Hochschulleben zu erhalten.

Mehrere Gesichter denen mithilfe eines Deepfakes die Gesichtszüge gegen die von Heinz Brünig ausgetauscht wurden. — Mehrere Beispiele von Heinz 2.0 als Deepfake

„Kidnapp’d“

Das sprachgesteuerte Escape-Room-Game

In einer Projektarbeit des Studiengangs Media Engineering wurde in Anlehnung an alte klassische Textadventures ein Escape Room konzipiert und realisiert, der völlig auf visuelle Elemente verzichtet und ausschließlich durch ein CUI (Converstional User Interface) mit Sprache gesteuert wird. Dazu wurde für Amazon „Alexa“ ein Skill implementiert.

Was ist ein Escape Room?

Der Escape Room ist eine neue Erscheinung, die sich mittlerweile einer großen Beliebtheit erfreut. Die Spieler werden dabei in einem Raum eingesperrt und müssen aus diesem entkommen, indem Rätsel gelöst werden. Escape Rooms sprechen jede Altersgruppe an. Eine der wichtigsten Fähigkeiten, um in so einem Raum zu bestehen, ist Teamfähigkeit. Viele Aufgaben müssen im Team gemeistert werden.

Die Escape Rooms sind je nach Setting verschieden eingerichtet. Ob königliches Schlosszimmer oder heruntergekommene Bruchbude – es ist alles möglich.

Rätsel können verschieden ausgelegt sein. Zum einen können Rätsel Nacheinander angeordnet sein so dass die Lösung eines Rätsels zu einem anderen führt. Die parallele Rätselbearbeitung ist ebenfalls möglich. So können zum Beispiel die Ergebnisse vieler einzelner Rätsel die Zahlenkombination eines Schlosses ergeben. Auch die Interaktion mit Gegenständen ist fester Bestandteil von Escape Rooms, wie das Drücken von Knöpfen, Verschieben von Möbeln, Öffnen von Schubladen oder Schränken etc

Story

Die Story handelt von einem namenlosen Protagonisten, der gekidnappt wurde und in einer unbekannten Umgebung aufwacht. Das ganze Setting soll dazu anregen, den Spieler auf der einen Seite neugierig auf die Umgebung zu machen und anderseits animieren die Situation des Protagonisten zu verbessen und aus den Räumen zu entkommen.

Der Alexa Skill

Die Alexa Developer Console ist das webbasierte Tool von Amazon, um Alexa Skills zu entwickeln. Über das Tool wird der End-Point eingetragen, das Interaction Model sowie die jeweilige Invocation eingetragen.

Amazon bietet 2 Möglichkeiten einen Skill zu betreiben.

1. Amazon Lambdafunktionen gehostet über den Amazon Web Service (AWS)

Amazon als einer der größten Anbieter von Cloudservices bietet die Möglichkeit seinen Skill komplett über die webbasierte Anwendung Aws-Services zu realisieren. Das bedeutet das die Skilllogik als Lambdafunktion bei Amazon hinterlegt ist und diese auch mit der Alexa Developer Console kommuniziert.

2. Hosting eines eigenen Servers

Wir haben uns dafür entschieden, dass wir den Amazon Web Service nicht nutzten wollen, sondern den Skill auf unserem eigenen Server zu hosten. Der Amazon Alexa Services kommuniziert über HTTPS mit unserem Server. Diese Kommunikation funktioniert über die Post Methode in der JSON Dateien geschickt werden.

Damit die Alexa Developer Console den Applicationserver findet, wird in der Alexa Developer Console die URL zum Server abgelegt.

Intents

Intents sind ein wichtiger Bestandteil des Amazon-Kommunikation-Models. Dieses Kommunikation-Model gibt den Aufbau der zu erwartenden Befehle an. Intents nehmen in diesem Model den Platz der Befehle ein, die dann in dem entsprechenden Code verarbeitet werden und eine Reaktion des jeweiligen provozieren.